منصوبے کے بارے میں

theHarvester ایک Python پر مبنی اوپن سورس انٹیلیجنس ٹول ہے جو مجاز سیکیورٹی تشخیص کے ابتدائی ریکونیسنس مرحلے کے لیے بنایا گیا ہے۔ یہ عوامی فراہم کنندگان اور ڈیٹا ذرائع سے استفسار کرتا ہے، پھر نتائج جیسے سب ڈومینز اور دیگر ہوسٹ نیم، ای میل ایڈریس، IP ایڈریس، URLs، ASNs، افراد اور خلاف ورزی کے ناموں کو ایک مشترکہ شواہد ماڈل میں نارملائز کرتا ہے۔ بنیادی کمانڈ لائن انٹرفیس ایک بار کی انیومریشن اور شیل ورک فلو کو سپورٹ کرتا ہے۔ صارفین انفرادی فراہم کنندگان منتخب کر سکتے ہیں یا صلاحیت سلیکٹرز جیسے subdomains، emails، ips، asns، urls، people اور breaches استعمال کر سکتے ہیں۔ سورس کنکرنسی، نتائج کی حد، ہوسٹ نیم اخراج، DNS ریزولوشن، پراکسیز اور آؤٹ پٹ نام کنفیگر کیے جا سکتے ہیں۔ ریپوزٹری میں 60 دریافت ذرائع درج ہیں، جن میں سرٹیفکیٹ ٹرانسپیرنسی سروسز، سرچ انجن، کوڈ ریپوزٹریز، غیر فعال DNS فراہم کنندگان، URL آرکائیوز اور سیکیورٹی انٹیلیجنس پلیٹ فارم شامل ہیں۔ کچھ ذرائع کو API کیز درکار ہوتی ہیں، جبکہ کئی غیر فعال ذرائع بغیر اسناد کے استعمال کیے جا سکتے ہیں۔ سرگرمی کو تین اسکوپ کلاسز میں تقسیم کیا گیا ہے۔ P0 ذرائع موجودہ فراہم کنندگان یا ڈیٹا سیٹس سے استفسار کرتے ہیں بغیر ٹارگٹ کو براہ راست ٹریفک بھیجے۔ P1 DNS سے متعلق سرگرمی کا احاطہ کرتا ہے جیسے ریزولوشن، بروٹ فورس، ریورس لوک اپ اور ریکرسیو DNS۔ P2 براہ راست تعامل کا احاطہ کرتا ہے، بشمول HTTP یا TLS درخواستیں، اسکرین شاٹس، ٹیک اوور چیکس، ورچوئل ہوسٹ چیکس، پورٹ سے متعلق سرگرمی اور API پاتھ اسکیننگ۔ P1 اور P2 اعمال صرف اس وقت چلتے ہیں جب واضح طور پر منتخب کیے جائیں، اور دستاویزات اس بات پر زور دیتی ہیں کہ صرف ان ڈومینز یا اینڈ پوائنٹس کی جانچ کریں جن کا آپریٹر مالک ہے یا جن کا جائزہ لینے کی واضح اجازت ہے۔ نتائج JSONL کے طور پر ایکسپورٹ کیے جا سکتے ہیں، ساتھ ہی JSON اور XML مطابقت رپورٹس بھی تیار کی جاتی ہیں۔ مکمل شدہ رنز ایک مقامی SQLite شواہد اسٹور میں محفوظ کیے جاتے ہیں۔ JSONL آؤٹ پٹ میں رن کا خلاصہ شامل ہوتا ہے جس کے بعد سورس اور ایکشن پروویننس کے ساتھ ڈی ڈپلیکیٹڈ نتائج ہوتے ہیں؛ منتخب نتیجہ اقسام میں DNS شواہد، Shodan ہوسٹس، ٹیک اوور انڈیکیٹرز، مشاہدات اور دیگر افزودہ ریکارڈز کے لیے ساختی تفصیلات شامل ہو سکتی ہیں۔ HarvestView رنز شروع کرنے، تاریخ اور آرٹیفیکٹس کا جائزہ لینے، سورس نتائج کا معائنہ کرنے، ہوسٹ نیم تبدیلیوں کا موازنہ کرنے اور شیڈولز کا انتظام کرنے کے لیے ایک مقامی براؤزر انٹرفیس اور API فراہم کرتا ہے۔ یہ بطور ڈیفالٹ لوپ بیک پر چلتا ہے، API کلید اور مشتق HttpOnly سیشن کوکی استعمال کرتا ہے، اور شیڈول کردہ محدود رنز کو مقامی ورکر کے ساتھ سیریل طور پر انجام دیتا ہے۔ ایک علیحدہ رپورٹنگ کمانڈ حتمی شدہ رنز کا موازنہ کر سکتی ہے اور مکمل شدہ سورس نتائج کی بنیاد پر ہوسٹ نیمز کو نئے رپورٹ شدہ، اب بھی رپورٹ شدہ، اب رپورٹ نہیں شدہ یا غیر یقینی کے طور پر درجہ بند کر سکتی ہے۔ REST API تصدیق شدہ اینڈ پوائنٹس کے ذریعے رن تخلیق اور منسوخی، سورس لسٹنگ، شواہد درآمد اور برآمد، رن ہسٹری، شیڈول مینجمنٹ اور ڈسپیچ ہسٹری کو ظاہر کرتا ہے۔ Docker Compose تعیناتی دستاویز شدہ ہے، جس میں سروس ایک غیر مراعات یافتہ صارف کے طور پر چلتی ہے، لوکل ہوسٹ سے منسلک ہوتی ہے، رنز کو ایک نامزد والیوم میں محفوظ کرتی ہے، اور آپریٹر کلید کو فائل سیکرٹ سے پڑھتی ہے۔ صارف کنفیگریشن ڈائریکٹری کے تحت کنفیگریشن فائلیں فراہم کنندہ API کیز، پراکسیز اور اختیاری تصدیق شدہ سروسز کا انتظام کرتی ہیں۔