اوپن سورس۔ نئے امکانات۔

ميجر ایک اوپن سورس OSINT کمانڈ لائن ٹول ہے جو صارف نام سے کسی شخص کی پروفائل 3000+ ویب سائٹس پر چیک کرتا ہے اور HTML, PDF, JSON, CSV رپورٹس بناتا ہے۔

اسکرپی پائیتھن کے لیے ایک تیز اور ہائی لیول ویب اسکرپنگ فریم ورک ہے جو ویب سائٹس سے ساختی ڈیٹا نکالنے کے لیے استعمال ہوتا ہے۔ یہ کراس پلیٹ فارم ہے اور پائیتھن 3.10 یا اس سے نیا ورژن درکار ہے۔

پائتھون کے لیے موافق ویب اسکریپنگ فریم ورک: ذہین DOM ٹریکنگ، اینٹی بوٹ بائی پاس فیچرز، توقف/بحالی کے ساتھ متوازی کرالنگ، پراکسی روٹیشن، اور MCP/AI کے لیے تیار آؤٹ پٹ۔

Firecrawl ایک اوپن سورس ویب ڈیٹا API ہے جو ویب سائٹس کو تلاش، اسکریپ، کرال اور انٹرایکٹ کرنے کے لیے استعمال ہوتی ہے، اور صفحات کو LLM کے لیے تیار صاف Markdown، JSON یا اسکرین شاٹس میں تبدیل کرتی ہے۔

Crawlee ایک Python ویب اسکریپنگ اور براؤزر آٹومیشن لائبریری ہے جو قابل اعتماد کرالر بنانے کے لیے استعمال ہوتی ہے۔ یہ HTTP اور ہیڈلیس براؤزر کرالنگ، خودکار ریٹرائیز، پراکسی گردش، اور AI/LLM ایپلیکیشنز کے لیے ڈیٹا اسٹوریج کو سپورٹ کرتی ہے۔