Datenplattformen & Pipelines
Daten hereinholen, prüfen und richtig halten — von einer Handvoll Tabellen bis zu Millionen Zeilen am Tag.
Datenverarbeitung · Datenstandards & Validierung · Transaktionale Datenbanken · Web-Datenbeschaffung
Daten & Speicher
Web-Datenbeschaffung
Höfliche, fortsetzbare Crawls, die laut scheitern, statt still leer zu bleiben.
- Crawlee
- Playwright
- Cheerio
- Firecrawl
Was es ist
Daten von Websites und Diensten holen, die keine brauchbare API anbieten — nach Zeitplan, in großem Umfang und ohne dass der Kunde dabei geblockt wird.
Warum wir es gewählt haben
Crawlee übernimmt die Teile, die mühsam richtig zu machen sind: Request-Queues, Retries, Proxy-Rotation, Concurrency-Limits und höfliches Rate-Limiting. Cheerio nehmen wir, wenn das Markup fertig ausgeliefert wird, und Playwright nur, wenn eine Seite wirklich einen Browser braucht, denn ein Headless-Browser pro Seite ist der Unterschied zwischen einem Crawl, der Cent kostet, und einem, der Hunderte kostet. Woran wir festhalten: Ein Crawler muss laut scheitern — ein Selektor, der nicht mehr passt, löst einen Fehler aus, statt ein leeres Ergebnis über gute Daten zu schreiben.
Was wir damit bauen
Wo wir es einsetzen
Hinter Marktplatz- und Suchprodukten, bei denen der Bestand aus vielen Quellen zusammengetragen werden muss, bevor er sich zu einem Katalog normalisieren lässt.
Aufnahmemycarro.app
Mycarro — Automarktplatz und Händler-CRM
Ein Gebrauchtwagen-Marktplatz, live in Portugal. Verbrauchersuche über Inserate aus dem gesamten Markt, ein Händler-Back-Office für Leads, Bestand und Rechnungen sowie eine mobile App — end to end gebaut.
wir haben gebaut
Kontakt aufnehmen
Sagen Sie uns, was gebaut werden soll.
Wir sind ein kleines Team in Portugal und arbeiten zu Londoner Zeiten. Eine Website, eine App, ein internes Werkzeug oder die Plattform dahinter — beginnen Sie mit einem Satz zum Problem, den Rest übernehmen wir.