इस प्रोजेक्ट के बारे में

theHarvester एक Python-आधारित ओपन-सोर्स खुफिया उपकरण है जो अधिकृत सुरक्षा मूल्यांकन के प्रारंभिक टोही चरण के लिए है। यह सार्वजनिक प्रदाताओं और डेटा स्रोतों से पूछताछ करता है, फिर सबडोमेन और अन्य होस्टनाम, ईमेल पते, IP पते, URL, ASN, लोग और उल्लंघन नाम जैसे निष्कर्षों को एक साझा साक्ष्य मॉडल में सामान्यीकृत करता है। प्राथमिक कमांड-लाइन इंटरफ़ेस एक-बार की गणना और शेल वर्कफ़्लो का समर्थन करता है। उपयोगकर्ता व्यक्तिगत प्रदाताओं का चयन कर सकते हैं या सबडोमेन, ईमेल, ips, asns, urls, लोग और उल्लंघन जैसे क्षमता चयनकर्ताओं का उपयोग कर सकते हैं। स्रोत समवर्तीता, परिणाम सीमाएँ, होस्टनाम बहिष्करण, DNS समाधान, प्रॉक्सी और आउटपुट नामकरण कॉन्फ़िगर करने योग्य हैं। रिपॉजिटरी में 60 डिस्कवरी स्रोत सूचीबद्ध हैं, जिनमें प्रमाणपत्र पारदर्शिता सेवाएँ, खोज इंजन, कोड रिपॉजिटरी, निष्क्रिय DNS प्रदाता, URL संग्रह और सुरक्षा-खुफिया प्लेटफ़ॉर्म शामिल हैं। कुछ स्रोतों को API कुंजियों की आवश्यकता होती है, जबकि कई निष्क्रिय स्रोतों का उपयोग बिना क्रेडेंशियल के किया जा सकता है। गतिविधि को तीन दायरे वर्गों में विभाजित किया गया है। P0 स्रोत मौजूदा प्रदाताओं या डेटासेट से पूछताछ करते हैं बिना सीधे लक्ष्य पर ट्रैफ़िक भेजे। P1 DNS-संबंधित गतिविधि जैसे समाधान, ब्रूट फोर्स, रिवर्स लुकअप और रिकर्सिव DNS को कवर करता है। P2 प्रत्यक्ष इंटरैक्शन को कवर करता है, जिसमें HTTP या TLS अनुरोध, स्क्रीनशॉट, टेकओवर जाँच, वर्चुअल-होस्ट जाँच, पोर्ट-संबंधित गतिविधि और API पथ स्कैनिंग शामिल हैं। P1 और P2 क्रियाएँ केवल तभी चलती हैं जब स्पष्ट रूप से चयनित हों, और दस्तावेज़ीकरण केवल उन डोमेन या एंडपॉइंट्स का परीक्षण करने पर जोर देता है जिनके मालिक ऑपरेटर है या जिनका मूल्यांकन करने की स्पष्ट अनुमति है। परिणाम JSONL के रूप में निर्यात किए जा सकते हैं, साथ ही JSON और XML संगतता रिपोर्ट भी उत्पन्न होती हैं। पूर्ण रन स्थानीय SQLite साक्ष्य स्टोर में बनाए रखे जाते हैं। JSONL आउटपुट में एक रन सारांश शामिल होता है जिसके बाद स्रोत और क्रिया प्रोवेनेंस के साथ डीडुप्लिकेटेड निष्कर्ष होते हैं; चयनित परिणाम प्रकार DNS साक्ष्य, Shodan होस्ट, टेकओवर संकेतक, अवलोकन और अन्य समृद्ध रिकॉर्ड के लिए संरचित विवरण शामिल कर सकते हैं। HarvestView रन शुरू करने, इतिहास और आर्टिफैक्ट्स की समीक्षा करने, स्रोत परिणामों का निरीक्षण करने, होस्टनाम परिवर्तनों की तुलना करने और शेड्यूल प्रबंधित करने के लिए एक स्थानीय ब्राउज़र इंटरफ़ेस और API प्रदान करता है। यह डिफ़ॉल्ट रूप से लूपबैक पर चलता है, API कुंजी और व्युत्पन्न HttpOnly सत्र कुकी का उपयोग करता है, और स्थानीय कार्यकर्ता के साथ शेड्यूल किए गए सीमित रन को क्रमिक रूप से निष्पादित करता है। एक अलग रिपोर्टिंग कमांड पूर्ण रन की तुलना कर सकता है और पूर्ण स्रोत परिणामों के आधार पर होस्टनामों को नए रिपोर्ट किए गए, अभी भी रिपोर्ट किए गए, अब रिपोर्ट नहीं किए गए या अनिश्चित के रूप में वर्गीकृत कर सकता है। REST API प्रमाणित एंडपॉइंट्स के माध्यम से रन निर्माण और रद्दीकरण, स्रोत सूची, साक्ष्य आयात और निर्यात, रन इतिहास, शेड्यूल प्रबंधन और डिस्पैच इतिहास उजागर करता है। Docker Compose तैनाती प्रलेखित है, जिसमें सेवा एक अनप्रिविलेज्ड उपयोगकर्ता के रूप में चलती है, लोकलहोस्ट से बंधती है, रन को नामित वॉल्यूम में संग्रहीत करती है, और फ़ाइल गुप्त से ऑपरेटर कुंजी पढ़ती है। उपयोगकर्ता कॉन्फ़िगरेशन निर्देशिका के तहत कॉन्फ़िगरेशन फ़ाइलें प्रदाता API कुंजी, प्रॉक्सी और वैकल्पिक प्रमाणित सेवाओं का प्रबंधन करती हैं।