Datenplattformen & Pipelines
Daten hereinholen, prüfen und richtig halten — von einer Handvoll Tabellen bis zu Millionen Zeilen am Tag.
Datenverarbeitung · Datenstandards & Validierung · Transaktionale Datenbanken · Web-Datenbeschaffung
Open Source
Fairspec
Eine Spezifikation zur Beschreibung tabellarischer Datensätze, mit Referenzimplementierungen in TypeScript und Python.
Aufnahmeapplication.fairspec.org
FairspecDaten-Framework in TypeScript und Python
Was es ist
Ein Datenaustauschformat zur Beschreibung von Datensätzen — was ein Datensatz enthält, wie seine Tabellen aufgebaut sind, wer ihn erstellt hat und unter welcher Lizenz er weiterverwendet werden darf. Ein Deskriptor ist ein einfaches JSON-Dokument: Er lässt sich von Hand schreiben, von einer Pipeline erzeugen, in der CI validieren und von einem Werkzeug lesen, das noch nie von Fairspec gehört hat.
Warum es existiert
Datensätze werden ständig veröffentlicht und uneinheitlich beschrieben. Die Metadaten, die einen davon wiederverwendbar machen würden — Spaltentypen, Einheiten, Herkunft, Lizenz —, stehen meist in einer README, einem Paper oder in jemandes Kopf. Die FAIR-Prinzipien besagen, dass Daten auffindbar, zugänglich, interoperabel und wiederverwendbar sein sollen, aber Prinzipien sind kein Dateiformat, und eine Maschine kann mit einem Prinzip nichts anfangen. Fairspec ist bewusst kompatibel mit zwei Dingen, die es bereits gibt, statt gegen sie anzutreten: DataCite für Zitations-Metadaten und JSON Schema für die Validierung.
Unser Anteil daran
Wir verfassen die Spezifikation und pflegen die Referenzimplementierungen in TypeScript und Python, dazu die Werkzeuge, die sie nutzen. Einen Standard zu verfassen heißt, dass die Entwurfsentscheidungen und die Kompatibilitätszusagen unsere Sache sind.
Was wir für Sie bauen können
Entwicklung von Webanwendungen
Von der Datenebene bis zur Oberfläche: Suche, Integrationen, Hintergrundprozesse und die Infrastruktur, die alles am Laufen hält.
Full-Stack-Webanwendungen · Typisierte APIs · Durable Workflows · Container-Orchestrierung
Worauf wir es bauen
Spaltenorientierte Dataframes statt Ad-hoc-Skripten, damit eine Million Zeilen so viel kostet wie tausend.
Schemas, die mit den Daten mitreisen, und ein Validierungs-Contract von der Datenbank bis zum Browser.
Modelle hinter einer Schnittstelle, die wir kontrollieren, mit Retrieval und Evaluation drumherum.
Native Apps, die Typen und Regeln des Webprodukts mitnutzen, statt sie abzuspalten.
Kontakt aufnehmen
Sagen Sie uns, was gebaut werden soll.
Wir sind ein kleines Team in Portugal und arbeiten zu Londoner Zeiten. Eine Website, eine App, ein internes Werkzeug oder die Plattform dahinter — beginnen Sie mit einem Satz zum Problem, den Rest übernehmen wir.