Acquisition de données web

Collecter des données sur des sites et des services sans API utilisable — de façon planifiée, à volume, et sans faire bloquer le client.

Crawlee prend en charge ce qui est fastidieux à faire correctement : files de requêtes, reprises, rotation de proxys, limites de concurrence et respect des cadences. Nous utilisons Cheerio quand le balisage est servi entier et Playwright seulement quand une page a vraiment besoin d'un navigateur, parce qu'un navigateur sans interface par page fait la différence entre un crawl qui coûte quelques centimes et un crawl qui en coûte des centaines. La règle que nous tenons : un crawler doit échouer bruyamment — un sélecteur qui cesse de correspondre lève une erreur au lieu d'écrire un résultat vide par-dessus de bonnes données.