Datenplattformen & Pipelines
Daten hereinholen, prüfen und richtig halten — von einer Handvoll Tabellen bis zu Millionen Zeilen am Tag.
Datenverarbeitung · Datenstandards & Validierung · Transaktionale Datenbanken · Web-Datenbeschaffung
Daten & Speicher
Datenstandards & Validierung
Schemas, die mit den Daten mitreisen, und ein Validierungs-Contract von der Datenbank bis zum Browser.
- Fairspec
- Data Package
- JSON Schema
- Zod
- Pydantic
- DataCite
Was es ist
Maschinenlesbare Beschreibungen dessen, was ein Datensatz oder ein Payload enthält, und die Laufzeitprüfungen, die ihn an jeder Grenze an diese Beschreibung binden.
Warum wir es gewählt haben
Die meisten Integrationsfehler sind Schemafehler, die zu spät auffallen. Wir nutzen Zod als einzigen Laufzeit-Contract innerhalb von TypeScript, Pydantic auf der Python-Seite und JSON Schema überall dort, wo der Contract eine Sprachwahl überdauern muss. Fairspec, die Spezifikation, die wir verfassen, weitet das auf ganze Datensätze aus: ein Datenaustauschformat, kompatibel mit DataCite und JSON Schema, das Daten auffindbar und wiederverwendbar macht statt nur herunterladbar. Schemas werden aus der Datenbank erzeugt statt von Hand kopiert, es gibt also eine Definition und keine zweite Kopie, die man vergessen könnte.
Was wir damit bauen
Wo wir es einsetzen
An jeder API-Grenze und in jedem Datei-Import, den wir bauen, und als Gegenstand der Standardisierungsarbeit, die wir offen veröffentlichen.
Aufnahmeapplication.fairspec.org
Fairspec — Daten-Framework in TypeScript und Python
Eine Spezifikation zur Beschreibung tabellarischer Datensätze, mit Referenzimplementierungen in TypeScript und Python.
wir verfassen
Kontakt aufnehmen
Sagen Sie uns, was gebaut werden soll.
Wir sind ein kleines Team in Portugal und arbeiten zu Londoner Zeiten. Eine Website, eine App, ein internes Werkzeug oder die Plattform dahinter — beginnen Sie mit einem Satz zum Problem, den Rest übernehmen wir.