ওপেন সোর্স। নতুন সম্ভাবনা।

Maigret is an OSINT command-line tool that builds a dossier on a person from a username alone, checking 3000+ sites, extracting profile data, and exporting reports in HTML, PDF, JSON, CSV and graph formats.

Scrapy হলো পাইথনের জন্য একটি দ্রুত, উচ্চ-স্তরের ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক যা ওয়েবসাইট থেকে কাঠামোগত ডেটা বের করতে ব্যবহৃত হয়। এটি ক্রস-প্ল্যাটফর্ম এবং Python 3.10+ প্রয়োজন, যা Zyte এবং অন্যান্য অবদানকারীদের দ্বারা পরিচালিত।

পাইথনের জন্য অ্যাডাপটিভ ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক: বুদ্ধিমান DOM ট্র্যাকিং, অ্যান্টি-বট বাইপাস ফেচার, পজ/রিজিউমসহ কনকারেন্ট ক্রলিং, প্রক্সি রোটেশন এবং MCP/AI-রেডি আউটপুট।

Firecrawl একটি ওপেন-সোর্স ওয়েব ডেটা API, যা ওয়েবসাইট অনুসন্ধান, স্ক্র্যাপিং, ক্রলিং এবং ইন্টারঅ্যাক্ট করার সুবিধা দেয়। এটি পেজগুলোকে পরিষ্কার Markdown, JSON বা স্ক্রিনশটে রূপান্তর করে, যা AI এজেন্ট ও অ্যাপ্লিকেশনের জন্য LLM-রেডি ডেটা হিসেবে ব্যবহৃত হয়।

Crawlee হল একটি Python ওয়েব স্ক্র্যাপিং এবং ব্রাউজার অটোমেশন লাইব্রেরি যা নির্ভরযোগ্য ক্রলার তৈরি করতে ব্যবহৃত হয়। এটি HTTP এবং হেডলেস ব্রাউজার ক্রলিং, স্বয়ংক্রিয় রিট্রাই, প্রক্সি রোটেশন এবং AI/LLM অ্যাপ্লিকেশনের জন্য ডেটা স্টোরেজ সমর্থন করে।