Dados e armazenamento

Aquisição de dados da web

Recolhas educadas e retomáveis, que falham de forma ruidosa em vez de ficarem silenciosamente vazias.

Crawlee
Playwright
Cheerio
Firecrawl

O que é

Recolher dados de sites e serviços que não oferecem uma API utilizável — com periodicidade, em volume, e sem que o cliente acabe bloqueado.

Porque o escolhemos

O Crawlee trata das partes que são aborrecidas de acertar: filas de pedidos, repetições, rotação de proxies, limites de concorrência e limitação de ritmo. Recorremos ao Cheerio quando o markup vem completo e ao Playwright apenas quando uma página precisa mesmo de um browser, porque um browser headless por página é a diferença entre uma recolha que custa cêntimos e outra que custa centenas. A regra que seguimos é que um crawler tem de falhar de forma ruidosa: um seletor que deixa de corresponder levanta um erro em vez de escrever um resultado vazio por cima de dados bons.

O que construímos com ele

Plataformas e pipelines de dados

Trazer os dados para dentro, verificá-los e mantê-los corretos — de meia dúzia de folhas de cálculo a milhões de linhas por dia.

Processamento de dados · Normas de dados e validação · Bases de dados transacionais · Aquisição de dados da web

Onde o usamos

Por trás de produtos de marketplace e de pesquisa, onde o inventário tem de ser reunido a partir de muitas fontes antes de poder ser normalizado num único catálogo.

capturamycarro.app

O motor de busca de automóveis Mycarro tal como funciona hoje, pesquisando os anúncios que tem ativos em Portugal.

Mycarro — marketplace de automóveis e CRM para stands

Um marketplace de carros usados a funcionar em Portugal. Pesquisa para o consumidor sobre anúncios reunidos de todo o mercado, um back office para stands gerirem leads, inventário e faturação, e uma aplicação móvel — construído de ponta a ponta.

construímos

Entre em contacto

Diga-nos o que precisa de construir.

Somos uma equipa pequena em Portugal, a trabalhar no horário de Londres. Um site, uma aplicação, uma ferramenta interna, ou a plataforma por trás deles — comece por uma frase sobre o problema e nós tratamos do resto.

Iniciar uma conversa Ver no GitHub

Todas as tecnologias