ওপেন সোর্স। নতুন সম্ভাবনা।

newspaper3k হলো ওয়েব থেকে নিবন্ধ বের করা ও এদেরকে পরিচালনা করার জন্য তৈরি একটি Python 3 লাইব্রেরি, যা সম্পূর্ণ টেক্সট ও মেটাডেটা এক্সট্রাকশনের টুলস সরবরাহ করে।

Scrapy হলো পাইথনের জন্য একটি দ্রুত, উচ্চ-স্তরের ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক যা ওয়েবসাইট থেকে কাঠামোগত ডেটা বের করতে ব্যবহৃত হয়। এটি ক্রস-প্ল্যাটফর্ম এবং Python 3.10+ প্রয়োজন, যা Zyte এবং অন্যান্য অবদানকারীদের দ্বারা পরিচালিত।

পাইথনের জন্য অ্যাডাপটিভ ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক: বুদ্ধিমান DOM ট্র্যাকিং, অ্যান্টি-বট বাইপাস ফেচার, পজ/রিজিউমসহ কনকারেন্ট ক্রলিং, প্রক্সি রোটেশন এবং MCP/AI-রেডি আউটপুট।

Crawlee হল একটি Python ওয়েব স্ক্র্যাপিং এবং ব্রাউজার অটোমেশন লাইব্রেরি যা নির্ভরযোগ্য ক্রলার তৈরি করতে ব্যবহৃত হয়। এটি HTTP এবং হেডলেস ব্রাউজার ক্রলিং, স্বয়ংক্রিয় রিট্রাই, প্রক্সি রোটেশন এবং AI/LLM অ্যাপ্লিকেশনের জন্য ডেটা স্টোরেজ সমর্থন করে।