Piattaforme dati e pipeline
Far entrare i dati, verificarli e mantenerli corretti — da qualche foglio di calcolo a milioni di righe al giorno.
Elaborazione dati · Standard dati e validazione · Database transazionali · Acquisizione dati dal web
Dati e archiviazione
Standard dati e validazione
Schemi che viaggiano con i dati, e un unico contratto di validazione dal database al browser.
- Fairspec
- Data Package
- JSON Schema
- Zod
- Pydantic
- DataCite
Che cos'è
Descrizioni leggibili da una macchina di ciò che contiene un dataset o un payload, e i controlli a runtime che lo tengono fedele a quella descrizione a ogni confine che attraversa.
Perché l'abbiamo scelto
La maggior parte dei fallimenti di integrazione sono fallimenti di schema scoperti tardi. Usiamo Zod come unico contratto a runtime dentro TypeScript, Pydantic sul lato Python, e JSON Schema ovunque il contratto debba sopravvivere alla scelta di un linguaggio. Fairspec, la specifica di cui siamo autori, estende tutto questo a interi dataset: un formato di scambio dati compatibile con DataCite e JSON Schema che rende i dati trovabili e riutilizzabili invece che soltanto scaricabili. Gli schemi sono generati dal database invece di essere copiati a mano, così c'è una sola definizione e nessuna seconda copia da dimenticare.
Che cosa ci costruiamo
Dove lo usiamo
In ogni confine di API e in ogni importazione di file che costruiamo, e come oggetto del lavoro sugli standard che pubblichiamo apertamente.
schermataapplication.fairspec.org
Fairspec — framework dati in TypeScript e Python
Una specifica per descrivere dataset tabellari, con implementazioni di riferimento in TypeScript e Python.
siamo autori
Contattateci
Raccontateci che cosa volete costruire.
Siamo un piccolo team in Portogallo, con orario di Londra. Un sito, un'app, uno strumento interno o la piattaforma che ci sta dietro — iniziate con una frase sul problema e poi ci pensiamo noi.