Découvrez dpkit Terminal et TypeScriptVoir l'annonce
Datist

Données et stockage

Traitement de données

Des dataframes en colonnes plutôt que des scripts bricolés : un million de lignes coûte ce que coûtent mille.

  • Polars
  • Parquet
  • Arrow
  • Data Package

Ce que c'est

Lire, remodeler et valider des jeux de données trop gros pour un tableur et trop irréguliers pour une seule requête SQL — le travail entre l'arrivée d'un fichier brut et une table sur laquelle on peut construire.

Pourquoi nous l'avons choisi

Polars nous donne des dataframes en colonnes et multi-thread avec un planificateur de requêtes paresseux, en TypeScript comme en Python : la même logique de transformation est disponible pour un pipeline et pour une API. Parquet et Arrow sont les formats dans lesquels nous déplaçons les données, parce qu'ils gardent les types intacts d'un processus à l'autre là où le CSV les perd silencieusement. Le standard Data Package emballe le résultat : un jeu de données arrive avec son schéma attaché plutôt que décrit dans un README à côté.

Ce que nous construisons avec

Plateformes de données et pipelines

Faire entrer les données, les vérifier et les garder correctes — de quelques tableurs à des millions de lignes par jour.

Traitement de données · Standards de données et validation · Bases de données transactionnelles · Acquisition de données web

Où nous l'utilisons

Derrière chaque pipeline d'ingestion que nous exploitons, et à l'intérieur des outils de données open source que nous publions — le même moteur sert les deux, ce qui garde ces outils réalistes.
captureapplication.fairspec.org
Le site Fairspec, le format d'échange de données que nous écrivons, avec ses implémentations Python et TypeScript.

Fairspec — framework de données en TypeScript et Python

Une spécification pour décrire des jeux de données tabulaires, avec des implémentations de référence en TypeScript et en Python.

nous l'écrivons

capturemycarro.app
Le moteur de recherche automobile Mycarro tel qu'il tourne aujourd'hui, sur ses annonces portugaises en ligne.

Mycarro — place de marché auto et CRM concessionnaires

Une place de marché de voitures d'occasion en ligne au Portugal. Une recherche grand public sur des annonces collectées dans tout le marché, un back-office concessionnaires pour les leads, le stock et la facturation, et une application mobile — construits de bout en bout.

nous l'avons construit

Nous contacter

Dites-nous ce que vous voulez faire construire.

Nous sommes une petite équipe au Portugal, aux horaires de Londres. Un site, une application, un outil interne, ou la plateforme derrière — commencez par une phrase sur le problème et nous prenons la suite.

Entamer la conversationVoir sur GitHub
Toutes les technologies
Demander un devis