مصدر مفتوح. آفاق جديدة.

newspaper3k هو مكتبة بايثون 3 مستخدمة في استخراج والمحرر من المقالات الإخبارية، توفر أدوات لاستخراج النص الكامل والبيانات الوصفية.

易采集EasySpider是一款免费可视化无代码网页爬虫工具，通过图形界面点选元素即可设计采集任务，支持命令行执行、流程图逻辑、定时任务与二次开发。

واجهة برمجة بيانات ذاتية الاستضافة لـ Douyin وTikTok. تجمع المنشورات والملفات الشخصية والتعليقات وقوائم التشغيل، وتحميل مقاطع الفيديو والألبومات دون علامات مائية. تتميز بمجموعة هويات تتعافى ذاتيًا، وأرشفة PostgreSQL، وREST API، وخادم MCP، وCLI، ولوحة ويب.

Scrapy هو إطار عمل سريع وعالي المستوى لبرمجة الويب بلغة بايثون، يُستخدم لاستخراج البيانات المهيكلة من المواقع الإلكترونية. يدعم المنصات المتعددة ويتطلب بايثون 3.10 أو أحدث.

Lux أداة سطر أوامر مفتوحة المصدر لتحميل مقاطع الفيديو بواسطة Go، تدعم مواقع متعددة كـ YouTube وBilibili.

إطار عمل تكيُّفي لاستخراج بيانات الويب بلغة بايثون: تتبُّع ذكي لعناصر DOM، وجالبات بيانات لتجاوز أنظمة مكافحة الروبوتات، وزحف متزامن مع إمكانية الإيقاف والاستئناف، وتدوير الوكلاء، ومخرجات جاهزة للذكاء الاصطناعي عبر MCP.

Firecrawl هي واجهة برمجة تطبيقات مفتوحة المصدر لبيانات الويب للبحث والكشط والزحف والتفاعل مع المواقع، وتحويل الصفحات إلى Markdown أو JSON أو لقطات شاشة جاهزة لنماذج اللغة الكبيرة لوكلاء الذكاء الاصطناعي والتطبيقات.

AH Crawler هو أداة مفتوحة المصدر للبحث والتحليل على المواقع، يدعم التشغيل في بيئة PHP.

Crawlee هي مكتبة Python لجمع بيانات الويب وأتمتة المتصفح لبناء زاحفات موثوقة. تدعم الزحف عبر HTTP والمتصفح بدون واجهة، وإعادة المحاولة التلقائية، وتدوير البروكسي، وتخزين البيانات لتطبيقات الذكاء الاصطناعي.