Processamento de dados

Ler, transformar e validar conjuntos de dados grandes demais para uma folha de cálculo e irregulares demais para uma única instrução SQL — o trabalho entre a chegada de um ficheiro em bruto e uma tabela sobre a qual se possa construir.

O Polars dá-nos dataframes colunares e multi-thread com um planeador de consultas lazy, tanto em TypeScript como em Python, por isso a mesma lógica de transformação está disponível para um pipeline e para uma API. Parquet e Arrow são os formatos em que movemos dados, porque mantêm os tipos intactos entre processos onde o CSV os perde silenciosamente. A norma Data Package envolve o resultado, para que um conjunto de dados chegue com o seu esquema anexado em vez de descrito num README ao lado.