オープンソース。新しい可能性。

Scrapyは、Python用の高速で高レベルなWebスクレイピングフレームワークです。構造化データの抽出に使用され、クロスプラットフォーム対応でPython 3.10以上が必要です。Zyteおよびコントリビューターによって維持管理されています。

Python向けの適応型Webスクレイピングフレームワーク。インテリジェントなDOM追跡、アンチボット回避フェッチャー、一時停止/再開可能な並行クロール、プロキシローテーション、MCP/AI対応出力を備える。

Firecrawlは、ウェブサイトをLLM対応データに変換するオープンソースAPIサービスです。検索、スクレイピング、クロール、サイトマッピング、バッチスクレイピング、AIエージェント機能を提供し、AIエージェントやRAGパイプラインを構築する開発者向けに設計されています。

Crawleeは、Python向けのWebスクレイピングおよびブラウザ自動化ライブラリで、信頼性の高いクローラーを構築するために設計されています。HTTPおよびヘッドレスブラウザでのクロール、自動リトライ、プロキシローテーション、AI/LLMアプリケーション向けのデータ保存をサポートします。

Maigret is a free, open-source OSINT tool that builds a dossier on a person from just a username by checking 3000+ sites, extracting profile data, and exporting reports in HTML, PDF, JSON, CSV, graph and other formats.