Datenplattformen & Pipelines
Daten hereinholen, prüfen und richtig halten — von einer Handvoll Tabellen bis zu Millionen Zeilen am Tag.
Datenverarbeitung · Datenstandards & Validierung · Transaktionale Datenbanken · Web-Datenbeschaffung
Daten & Speicher
Datenverarbeitung
Spaltenorientierte Dataframes statt Ad-hoc-Skripten, damit eine Million Zeilen so viel kostet wie tausend.
- Polars
- Parquet
- Arrow
- Data Package
Was es ist
Datensätze lesen, umformen und validieren, die zu groß für eine Tabellenkalkulation und zu unregelmäßig für ein einzelnes SQL-Statement sind — die Arbeit zwischen der ankommenden Rohdatei und einer Tabelle, auf der sich etwas bauen lässt.
Warum wir es gewählt haben
Polars gibt uns spaltenorientierte, mehrfädige Dataframes mit einem Lazy-Query-Planner, in TypeScript wie in Python, sodass dieselbe Transformationslogik einer Pipeline und einer API zur Verfügung steht. Parquet und Arrow sind die Formate, in denen wir Daten bewegen, weil sie Typen über Prozessgrenzen hinweg erhalten, wo CSV sie still verliert. Der Data-Package-Standard umschließt das Ergebnis, sodass ein Datensatz mit angehängtem Schema ankommt statt mit einer Beschreibung in einer README daneben.
Was wir damit bauen
Wo wir es einsetzen
Hinter jeder Ingestion-Pipeline, die wir betreiben, und in den Open-Source-Datenwerkzeugen, die wir veröffentlichen — dieselbe Engine bedient beides, weshalb die Werkzeuge realistisch bleiben.
Aufnahmeapplication.fairspec.org
Fairspec — Daten-Framework in TypeScript und Python
Eine Spezifikation zur Beschreibung tabellarischer Datensätze, mit Referenzimplementierungen in TypeScript und Python.
wir verfassen
Aufnahmemycarro.app
Mycarro — Automarktplatz und Händler-CRM
Ein Gebrauchtwagen-Marktplatz, live in Portugal. Verbrauchersuche über Inserate aus dem gesamten Markt, ein Händler-Back-Office für Leads, Bestand und Rechnungen sowie eine mobile App — end to end gebaut.
wir haben gebaut
Kontakt aufnehmen
Sagen Sie uns, was gebaut werden soll.
Wir sind ein kleines Team in Portugal und arbeiten zu Londoner Zeiten. Eine Website, eine App, ein internes Werkzeug oder die Plattform dahinter — beginnen Sie mit einem Satz zum Problem, den Rest übernehmen wir.