dpkit Terminal und TypeScript vorgestelltZur Ankündigung

Über den Build hinaus

Datenplattformen & Pipelines

Daten hereinholen, prüfen und richtig halten — von einer Handvoll Tabellen bis zu Millionen Zeilen am Tag.

abdatist · pricing
5.000 €
Festpreis ab
2 Wochen
Lieferung ab
Beides schriftlich vereinbart, bevor jemand anfängt

Was es ist

Alles zwischen ankommenden Daten und Daten, denen Sie trauen können: sie einsammeln, ihnen eine Form geben, sie gegen diese Form prüfen und sie richtig halten, während sie sich ändern — ob sie aus einer Handvoll Tabellen kommen oder aus ein paar Millionen Zeilen am Tag.

Was Sie bekommen

Pipelines, die laut scheitern, statt still etwas Falsches zu schreiben. Ein geschriebenes Schema, gegen das Ihre Daten bei jedem Lauf geprüft werden, sodass eine schlechte Datei schon an der Tür auffällt und nicht erst bei dem, der sie einen Monat später verarbeitet. Und Formate, die uns überdauern — offen, dokumentiert und ohne unsere Software lesbar.

Wie wir es bauen

Spaltenorientierte Verarbeitung, sodass eine Million Zeilen näher an den Kosten von tausend liegt, als man erwarten würde, und ein Schema, das mit den Daten mitreist, statt in einem Dokument daneben zu stehen. Das ist unser ältestes Arbeitsgebiet: Wir verfassen das Austauschformat Fairspec, wir haben die TypeScript-Implementierung des Data-Package-Standards im Rahmen einer NLnet-Förderung geschrieben, und das Python-Framework dahinter wird rund 700.000 Mal im Monat heruntergeladen.

Wo wir es gebaut haben

Aufnahmeapplication.fairspec.org
Die Website von Fairspec, dem Datenaustauschformat, das wir verfassen, mit seinen Python- und TypeScript-Implementierungen.

FairspecDaten-Framework in TypeScript und Python

Eine Spezifikation zur Beschreibung tabellarischer Datensätze, mit Referenzimplementierungen in TypeScript und Python.

wir verfassen

Aufnahmemycarro.app
Die Fahrzeugsuche von Mycarro, wie sie heute läuft, über die aktuellen portugiesischen Inserate.

MycarroAutomarktplatz und Händler-CRM

Ein Gebrauchtwagen-Marktplatz, live in Portugal. Verbrauchersuche über Inserate aus dem gesamten Markt, ein Händler-Back-Office für Leads, Bestand und Rechnungen sowie eine mobile App — end to end gebaut.

wir haben gebaut

Worauf wir es bauen

  • Spaltenorientierte Dataframes statt Ad-hoc-Skripten, damit eine Million Zeilen so viel kostet wie tausend.

  • Schemas, die mit den Daten mitreisen, und ein Validierungs-Contract von der Datenbank bis zum Browser.

  • Ein Postgres je Produkt, wobei Schema und Queries bewusst verschiedenen Werkzeugen gehören.

  • Höfliche, fortsetzbare Crawls, die laut scheitern, statt still leer zu bleiben.

Kontakt aufnehmen

Sagen Sie uns, was gebaut werden soll.

Wir sind ein kleines Team in Portugal und arbeiten zu Londoner Zeiten. Eine Website, eine App, ein internes Werkzeug oder die Plattform dahinter — beginnen Sie mit einem Satz zum Problem, den Rest übernehmen wir.

Alle Leistungen
Angebot anfordern