প্রকল্প সম্পর্কে

Crawlee হল Node.js-এর জন্য একটি ওয়েব স্ক্র্যাপিং এবং ব্রাউজার অটোমেশন লাইব্রেরি, যা TypeScript-এ লেখা এবং `crawlee` NPM প্যাকেজ হিসেবে বিতরণ করা হয়। এটি ক্রলিং এবং স্ক্র্যাপিং সম্পূর্ণভাবে কভার করার লক্ষ্য রাখে, HTTP ক্রলিং এবং প্রকৃত ব্রাউজার ক্রলিং উভয়ের জন্য একটি একক ইন্টারফেস প্রদান করে। README-তে বর্ণিত মূল ক্ষমতাগুলি: - HTTP এবং হেডলেস ব্রাউজার ক্রলিংয়ের জন্য একক ইন্টারফেস - ক্রল করার জন্য URL-এর স্থায়ী সারি, ব্রেডথ-ফার্স্ট এবং ডেপথ-ফার্স্ট ক্রম সমর্থন করে - ট্যাবুলার ডেটা এবং ফাইলের জন্য প্লাগেবল স্টোরেজ, ডিফল্টরূপে স্থানীয় `./storage` ডিরেক্টরি - উপলব্ধ সিস্টেম রিসোর্সের সাথে স্বয়ংক্রিয় স্কেলিং - ইন্টিগ্রেটেড প্রক্সি রোটেশন এবং সেশন ম্যানেজমেন্ট - হুক দিয়ে কাস্টমাইজযোগ্য লাইফসাইকেল - প্রজেক্ট বুটস্ট্র্যাপ করার জন্য একটি CLI (`npx crawlee create my-crawler`) - কনফিগারযোগ্য রাউটিং, এরর হ্যান্ডলিং এবং রিট্রাই - ডিপ্লয়ের জন্য প্রস্তুত Dockerfile - জেনেরিকসহ TypeScript-এ লেখা HTTP ক্রলিং বৈশিষ্ট্যগুলির মধ্যে রয়েছে জিরো-কনফিগ HTTP2 সাপোর্ট (এমনকি প্রক্সির জন্যও), ব্রাউজার-সদৃশ হেডার স্বয়ংক্রিয়ভাবে তৈরি, ব্রাউজার TLS ফিঙ্গারপ্রিন্টের প্রতিলিপি, ইন্টিগ্রেটেড দ্রুত HTML পার্সার (Cheerio এবং JSDOM), এবং JSON API স্ক্র্যাপ করার ক্ষমতা। প্রকৃত ব্রাউজার ক্রলিং বৈশিষ্ট্যগুলির মধ্যে রয়েছে JavaScript রেন্ডারিং এবং স্ক্রিনশট, হেডলেস এবং হেডফুল সাপোর্ট, মানব-সদৃশ ফিঙ্গারপ্রিন্টের জিরো-কনফিগ জেনারেশন, স্বয়ংক্রিয় ব্রাউজার ম্যানেজমেন্ট, এবং Chrome, Firefox, Webkit এবং অন্যান্য জুড়ে একই ইন্টারফেসের মাধ্যমে Playwright এবং Puppeteer ব্যবহারের ক্ষমতা। ইনস্টলেশনের জন্য Node.js 16 বা তার বেশি প্রয়োজন। প্রস্তাবিত দ্রুত শুরু Crawlee CLI ব্যবহার করে, যেখানে ম্যানুয়াল ইনস্টলেশনে একটি বিদ্যমান প্রজেক্টে `crawlee` এবং `playwright`-এর মতো একটি ব্রাউজার অটোমেশন লাইব্রেরি যোগ করা জড়িত। একটি সংক্ষিপ্ত উদাহরণে একটি `PlaywrightCrawler` দেখানো হয়েছে যা পেজের শিরোনাম লগ করে, ফলাফল একটি ডেটাসেটে পুশ করে এবং লিঙ্ক এনকিউ করে। বিটা বিল্ড `crawlee@next` হিসেবে প্রকাশিত হয়। প্রজেক্টটি Apify দ্বারা ডেভেলপ করা হয়েছে, ওপেন-সোর্স, এবং যেকোনো জায়গায় চলে, Apify প্ল্যাটফর্মে ডিপ্লয়মেন্টের জন্য নথিভুক্ত সাপোর্টসহ। এটি Apache License 2.0-এর অধীনে লাইসেন্সকৃত। সাপোর্ট চ্যানেলগুলির মধ্যে রয়েছে GitHub issues, Stack Overflow, GitHub Discussions এবং একটি Discord সার্ভার। একটি Python প্রতিরূপ, Crawlee for Python-ও উল্লেখ করা হয়েছে।