منصوبے کے بارے میں

Crawl4AI ایک اوپن سورس پیتھن لائبریری اور CLI ٹول ہے جو ویب کرائلنگ اور سکرپنگ کے لیے ڈیزائن کیا گیا ہے تاکہ صاف، LLM تیار مارکڈاون آؤٹ پٹ پیدا کیا جا سکے۔ یہ RAG پائپ لائنز، AI ایجنٹس، اور ڈیٹا ایکسٹرکشن ورک فلو کی تعمیر میں وسیع پیمانے پر استعمال ہوتا ہے۔ ## جائزہ Crawl4AI ویب کو نیچے کے AI پروسیسنگ کے لیے موزوں ساختی مارکڈاون میں تبدیل کرتا ہے۔ یہ پروگراممیٹک پیتھن استعمال اور کمانڈ لائن انٹرفیس دونوں کو سپورٹ کرتا ہے، اختیاری LLM چلائیں جانے والی ساختی ڈیٹا اخذ اور CSS/XPath بنیاد/schema اخذ کے ساتھ۔ ## اہم صلاحیتیں ### مارکڈاون جنریشن - ہیڈنگز، ٹیبلز، اور کوڈ بلاکس کے ساتھ صاف، ساختی مارکڈاون پیدا کرتا ہے - Fit Markdown موڈ شور اور بے ربط مواد ہٹانے کے لیے ہیوریسٹک فلٹرنگ لاگو کرتا ہے - سرٹیفکیشن آگاہ آؤٹ پٹ لنکس کو نمبر شدہ حوالوں میں تبدیل کرتا ہے - BM25 بنیاد/پر مواد فلٹرنگ کوئری کے مطابق اخذ کے لیے - پلگیبل مارکڈاون جنریشن حکمت عملییں ### ساختی ڈیٹا اخذ - LiteLLM کے ذریعے LLM چلائیں اخذ، دونوں اوپن سورس اور پراپرٹیری ماڈلز کو سپورٹ کرتا ہے - CSS سیلیکٹر اور XPath کا استعمال کرتے ہوئے JSON schema بنیاد اخذ - ہدف کے مطابق پروسیسنگ کے لیے ٹاپک بنیاد، regex، جملہ لیول چنکنگ حکمت عملییں - مفہومی مواد میچنگ کے لیے cosine similiarity سرچ ### براؤزر انٹیگریشن - Playwright کی طاقتور async براؤزر پول - محفوظ auth حالتوں اور cookies کے ساتھ صارف منیج کردہ براؤزر پروفائلز کا استعمال - Chrome DevTools Protocol کے ذریعے ریموٹ براؤزر کنٹرول - تصدیق کے ساتھ proxy سپورٹ - بوٹ تشخیص کم کرنے کے لیے اسٹلتھ موڈ - ایک سے زائد براؤزر سپورٹ (Chromium, Firefox, WebKit) - ڈائنمک واپٹ ایڈجسٹمنٹ ### کرائلنگ فیچرز - تیز رفتار async/sync واٹ سپورٹ کے ساتھ JavaScript ایکسیکیوشن - کرائلنگ کے دوران سکرین شاٹ کیپچر - میڈیا اخذ (تصاویر، آڈیو، ویڈیو، responsive srcset/picture فارمیٹس) - خام HTML اور مقامی فائل پروسیسنگ - iframe مواد سمیت جامع لنک اخذ - lazy load ہینڈلنگ اور انفنٹ اسکرول کے لیے مکمل پیج اسکین - ہر کرائلنگ مرحلے پر hook بنیاد کسٹمائزیشن - بلٹ ان کشنگ ### ڈپلائمنٹ - API بنیاد ورک فلو کے لیے Dockerized FastAPI سرور - JWT ٹوکن تصدیق (حالیہ ورژنز میں ڈیفالٹ طور پر فعال) - `/dashboard` اور `/playground` پر مانیٹرنگ ڈیش بورڈ اور انٹرایکٹیو پلی گرؤنڈ - AI ٹول کنکشنز کے لیے MCP انٹیگریشن - ایک سے زائد آرکٹیچر Docker امیجز (AMD64/ARM64) - کلاؤڈ ڈپلائمنٹ کے لیے تیار ## انسٹالیشن ```bash pip install -U crawl4ai crawl4ai-setup ``` Manual Playwright انسٹالیشن کے لیے: ```bash python -m playwright install --with-deps chromium ``` ## استعمال ### پیتھن API ```python import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result = await crawler.arun(url="https://example.com") print(result.markdown) asyncio.run(main()) ``` ### CLI ```bash # Basic crawl crwl https://example.com -o markdown # Deep crawl crwl https://example.com --deep-crawl bfs --max-pages 10 # LLM extraction crwl https://example.com -q "Extract all product prices" ``` ### Docker ```bash docker pull unclecode/crawl4ai:latest docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest ``` پھر مانیٹرنگ UI کے لیے `http://localhost:11235/dashboard` یا انٹرایکٹیو ٹیسٹ ماحول کے لیے `http://localhost:11235/playground` وزٹ کریں۔ ## پروجیکٹ کی تفصیلات - Repository: unclecode/crawl4ai - PyPI: crawl4ai - Documentation: https://docs.crawl4ai.com/ - Discord community: https://discord.gg/jP8KfhDhyN - Sponsors: https://github.com/sponsors/unclecode یہ پروجیکٹ اوپن دستیابی اور سستی پر زور دیتا ہے، اپنے آپ کو کمیرشل ویب ایکسٹرکشن APIs کا self-hosted متبادل کے طور پر پیش کرتا ہے۔ اس نے 50,000 سے زائد GitHub stars حاصل کیے ہیں اور باقاعدہ ریلیزز کے ذریعے سیکیورٹی کی فعال نگہداشت کرتا ہے۔