scrapy

Scrapy est un framework de web scraping pour Python, utilisé pour extraire des données structurées à partir de sites web. Le fichier README le décrit comme un framework de crawl et de scraping web rapide et de haut niveau. Il est multiplateforme et nécessite Python 3.10 ou une version ultérieure. Le projet est maintenu par Zyte (anciennement Scrapinghub) et de nombreux autres contributeurs. L'installation se fait via pip : pip install scrapy La documentation officielle sur docs.scrapy.org explique comment utiliser le framework, et un guide de contribution est disponible pour ceux qui souhaitent participer. Le README du dépôt inclut des badges indiquant la version PyPI, les versions de Python prises en charge, l'état des tests, la couverture de code, le package conda-forge et DeepWiki. Scrapy est couramment utilisé pour construire des spiders qui collectent et structurent systématiquement les données provenant de sites web, ce qui en fait un outil pratique pour le crawl web, l'extraction de données et les tâches d'automatisation connexes. Sa conception de haut niveau vise à fournir une base solide pour créer des scrapers évolutifs tout en gérant les requêtes, les réponses et les pipelines de données.