منصوبے کے بارے میں

Crawlee Node.js کے لیے ایک ویب اسکریپنگ اور براؤزر آٹومیشن لائبریری ہے، جو TypeScript میں لکھی گئی ہے اور `crawlee` NPM پیکیج کے طور پر تقسیم کی جاتی ہے۔ اس کا مقصد کرالنگ اور اسکریپنگ کو شروع سے آخر تک کور کرنا ہے، اور یہ HTTP کرالنگ اور حقیقی براؤزر کرالنگ دونوں کے لیے ایک واحد انٹرفیس فراہم کرتی ہے۔ README میں بیان کردہ اہم صلاحیتیں: - HTTP اور ہیڈ لیس براؤزر کرالنگ کے لیے واحد انٹرفیس - کرال کیے جانے والے URLs کے لیے مستقل قطار، جو breadth-first اور depth-first ترتیب کی حمایت کرتی ہے - ٹیبلر ڈیٹا اور فائلوں کے لیے پلگ ایبل اسٹوریج، جو بطور ڈیفالٹ مقامی `./storage` ڈائریکٹری استعمال کرتی ہے - دستیاب سسٹم وسائل کے ساتھ خودکار اسکیلنگ - مربوط پراکسی روٹیشن اور سیشن مینجمنٹ - hooks کے ذریعے حسب ضرورت لائف سائیکلز - پروجیکٹس کے آغاز کے لیے ایک CLI (`npx crawlee create my-crawler`) - قابل ترتیب روٹنگ، ایرر ہینڈلنگ، اور دوبارہ کوششیں - تعیناتی کے لیے تیار Dockerfiles - generics کے ساتھ TypeScript میں لکھی گئی HTTP کرالنگ کی خصوصیات میں زیرو کنفگ HTTP2 سپورٹ (پراکسیز کے لیے بھی)، براؤزر جیسے ہیڈرز کی خودکار تخلیق، براؤزر TLS فنگر پرنٹس کی نقل، مربوط تیز HTML پارسرز (Cheerio اور JSDOM)، اور JSON APIs کو اسکریپ کرنے کی صلاحیت شامل ہیں۔ حقیقی براؤزر کرالنگ کی خصوصیات میں JavaScript رینڈرنگ اور اسکرین شاٹس، ہیڈ لیس اور ہیڈ فل سپورٹ، انسانی جیسے فنگر پرنٹس کی زیرو کنفگ تخلیق، خودکار براؤزر مینجمنٹ، اور Chrome، Firefox، Webkit اور دیگر میں ایک ہی انٹرفیس کے ذریعے Playwright اور Puppeteer استعمال کرنے کی صلاحیت شامل ہیں۔ انسٹالیشن کے لیے Node.js 16 یا اس سے زیادہ درکار ہے۔ تجویز کردہ فوری آغاز Crawlee CLI استعمال کرتا ہے، جبکہ دستی انسٹالیشن میں موجودہ پروجیکٹ میں `crawlee` اور براؤزر آٹومیشن لائبریری جیسے `playwright` شامل کرنا ہوتا ہے۔ ایک مختصر مثال ایک `PlaywrightCrawler` دکھاتی ہے جو صفحہ کے عنوانات لاگ کرتا ہے، نتائج کو ڈیٹاسیٹ میں بھیجتا ہے، اور لنکس کو قطار میں شامل کرتا ہے۔ بیٹا بلڈز `crawlee@next` کے طور پر شائع کیے جاتے ہیں۔ یہ پروجیکٹ Apify کی طرف سے تیار کیا گیا ہے، اوپن سورس ہے، اور کہیں بھی چلتا ہے، جس میں Apify پلیٹ فارم پر تعیناتی کے لیے دستاویزی سپورٹ شامل ہے۔ یہ Apache License 2.0 کے تحت لائسنس یافتہ ہے۔ سپورٹ چینلز میں GitHub issues، Stack Overflow، GitHub Discussions، اور ایک Discord سرور شامل ہیں۔ Python کے لیے ایک ہم منصب، Crawlee for Python، کا بھی حوالہ دیا گیا ہے۔