Procesamiento de datos

Leer, transformar y validar conjuntos de datos demasiado grandes para una hoja de cálculo y demasiado irregulares para una sola sentencia SQL — el trabajo entre la llegada de un archivo en bruto y una tabla sobre la que se pueda construir.

Polars nos da dataframes columnares y multihilo con un planificador de consultas perezoso, tanto en TypeScript como en Python, así que la misma lógica de transformación está disponible para un pipeline y para una API. Parquet y Arrow son los formatos en los que movemos los datos, porque mantienen los tipos intactos entre procesos donde CSV los pierde en silencio. El estándar Data Package envuelve el resultado, para que un conjunto de datos llegue con su esquema adjunto en lugar de descrito en un README al lado.