Piattaforme dati e pipeline
Far entrare i dati, verificarli e mantenerli corretti — da qualche foglio di calcolo a milioni di righe al giorno.
Elaborazione dati · Standard dati e validazione · Database transazionali · Acquisizione dati dal web
Dati e archiviazione
Elaborazione dati
Dataframe colonnari invece di script improvvisati, così un milione di righe costa quanto mille.
- Polars
- Parquet
- Arrow
- Data Package
Che cos'è
Leggere, rimodellare e validare dataset troppo grandi per un foglio di calcolo e troppo irregolari per una singola istruzione SQL — il lavoro che sta tra un file grezzo che arriva e una tabella su cui si può costruire qualcosa.
Perché l'abbiamo scelto
Polars ci dà dataframe colonnari e multi-thread con un pianificatore di query lazy, sia in TypeScript sia in Python, così la stessa logica di trasformazione è disponibile a una pipeline e a un'API. Parquet e Arrow sono i formati con cui spostiamo i dati, perché mantengono i tipi intatti oltre i confini dei processi, dove il CSV li perde in silenzio. Lo standard Data Package avvolge il risultato, così un dataset arriva con il suo schema attaccato invece che descritto in un README a fianco.
Che cosa ci costruiamo
Dove lo usiamo
Dietro ogni pipeline di ingestione che gestiamo e dentro gli strumenti dati open source che pubblichiamo — lo stesso motore serve entrambi, ed è per questo che gli strumenti restano realistici.
schermataapplication.fairspec.org
Fairspec — framework dati in TypeScript e Python
Una specifica per descrivere dataset tabellari, con implementazioni di riferimento in TypeScript e Python.
siamo autori
schermatamycarro.app
Mycarro — marketplace auto e CRM per rivenditori
Un marketplace di auto usate attivo in Portogallo. Ricerca per il consumatore su annunci raccolti da tutto il mercato, un back office per i rivenditori con contatti, magazzino e fatturazione, e un'app mobile — costruito end-to-end.
l'abbiamo costruito
Contattateci
Raccontateci che cosa volete costruire.
Siamo un piccolo team in Portogallo, con orario di Londra. Un sito, un'app, uno strumento interno o la piattaforma che ci sta dietro — iniziate con una frase sul problema e poi ci pensiamo noi.