ওপেন সোর্স। নতুন সম্ভাবনা।

Firecrawl একটি ওপেন-সোর্স ওয়েব ডেটা API, যা ওয়েবসাইট অনুসন্ধান, স্ক্র্যাপিং, ক্রলিং এবং ইন্টারঅ্যাক্ট করার সুবিধা দেয়। এটি পেজগুলোকে পরিষ্কার Markdown, JSON বা স্ক্রিনশটে রূপান্তর করে, যা AI এজেন্ট ও অ্যাপ্লিকেশনের জন্য LLM-রেডি ডেটা হিসেবে ব্যবহৃত হয়।

Crawlee হল একটি Python ওয়েব স্ক্র্যাপিং এবং ব্রাউজার অটোমেশন লাইব্রেরি যা নির্ভরযোগ্য ক্রলার তৈরি করতে ব্যবহৃত হয়। এটি HTTP এবং হেডলেস ব্রাউজার ক্রলিং, স্বয়ংক্রিয় রিট্রাই, প্রক্সি রোটেশন এবং AI/LLM অ্যাপ্লিকেশনের জন্য ডেটা স্টোরেজ সমর্থন করে।