منصوبے کے بارے میں

Scrapling پائتھون کے لیے ایک موافق ویب اسکریپنگ فریم ورک ہے جو سنگل پیج درخواستوں سے لے کر مکمل متوازی کرال تک سب کچھ کور کرتا ہے۔ یہ ان ڈویلپرز اور ویب اسکریپرز کے لیے ڈیزائن کیا گیا ہے جنہیں سائٹس میں تبدیلی کے وقت سلیکٹرز کو مسلسل دوبارہ لکھنے کی ضرورت کے بغیر مضبوط ڈیٹا ایکسٹریکشن درکار ہوتا ہے۔ بنیادی صلاحیتیں شامل ہیں: - موافق پارسنگ: پارسر عناصر کے مقامات یاد رکھتا ہے اور ویب سائٹ کے دوبارہ ڈیزائن کے بعد مماثلت پر مبنی میچنگ کے ذریعے انہیں دوبارہ تلاش کر سکتا ہے، جس میں مضبوط CSS سلیکشن کے لیے adaptive=True یا auto_save=True جیسے اختیارات شامل ہیں۔ - لچکدار فیچرز: HTTP فیچرز جو براؤزر TLS فنگر پرنٹس اور ہیڈرز کی نقل کر سکتے ہیں، متحرک صفحات کے لیے براؤزر آٹومیشن فیچرز، اور ایک اسٹیلتھ فیچر جو Cloudflare Turnstile جیسے عام اینٹی بوٹ سسٹمز کو بائی پاس کرنے کے لیے بنایا گیا ہے۔ تمام فیچرز async ویریئنٹس اور مستقل سیشن کلاسز پیش کرتے ہیں۔ - مکمل اسپائیڈر فریم ورک: Scrapy جیسی API جس میں start_urls، async parse کال بیکس، متوازی کرالنگ، فی ڈومین تھروٹلنگ، توقف/بحالی چیک پوائنٹس، اسٹریمنگ آئٹم آؤٹ پٹ، بلاک شدہ درخواست کی شناخت، خودکار تھروٹلنگ، robots.txt سپورٹ، اور ایک ڈیولپمنٹ موڈ شامل ہے جو کیش شدہ جوابات دوبارہ چلاتا ہے۔ - پراکسی اور سیشن مینجمنٹ: بلٹ ان پراکسی روٹیشن، فی درخواست پراکسی اوور رائیڈز، DNS-over-HTTPS کے ذریعے DNS لیک کی روک تھام، اور CDP کے ذریعے ریموٹ براؤزرز سے اختیاری کنکشن۔ - AI اور ایجنٹ انٹیگریشنز: ایک MCP سرور AI اسسٹنٹس کو HTTP، متحرک، یا اسٹیلتھ فیچز کے ذریعے اسکریپ کرنے دیتا ہے، جس میں انجیکشن کے خطرے کو کم کرنے کے لیے صفحات سے پرامپٹس ہٹا دیے جاتے ہیں؛ ایک ایجنٹ اسکل کوڈنگ ایجنٹس کو موجودہ API استعمال کرنے میں مدد کرتا ہے؛ اور page.markdown() بغیر کسی LLM کے لوپ میں صاف LLM/RAG کے لیے تیار Markdown تیار کرتا ہے۔ - ڈویلپر تجربہ: ایک انٹرایکٹو IPython پر مبنی شیل، بغیر کوڈ کے CLI اسکریپنگ، بھرپور DOM نیویگیشن، خودکار سلیکٹر جنریشن، بلٹ ان JSON/JSONL/CSV/XML ایکسپورٹ، اور Scrapy کال بیکس کے ساتھ ڈراپ ان انٹیگریشن۔ یہ پروجیکٹ مکمل ٹائپ ہنٹس، خودکار ٹائپ چیکنگ، تمام براؤزرز کے ساتھ ایک Docker امیج، اور لائبریری بھر میں ٹیسٹ کوریج برقرار رکھتا ہے۔