عن المشروع

theHarvester هي أداة استخباراتية مفتوحة المصدر مبنية على لغة Python، مصممة لمرحلة الاستطلاع المبكرة في تقييمات الأمان المصرح بها. تقوم بالاستعلام عن المزودين العامين ومصادر البيانات، ثم تطبيع النتائج مثل النطاقات الفرعية وأسماء المضيفين الأخرى، عناوين البريد الإلكتروني، عناوين IP، عناوين URL، أرقام ASN، الأشخاص، وأسماء الاختراقات في نموذج أدلة مشترك. تدعم واجهة سطر الأوامر الأساسية التعداد الفردي وسير عمل الصدفة. يمكن للمستخدمين اختيار مزودين فرديين أو استخدام محددات القدرات مثل النطاقات الفرعية، البريد الإلكتروني، عناوين IP، أرقام ASN، عناوين URL، الأشخاص، والاختراقات. يمكن تكوين التزامن المصدر، حدود النتائج، استبعاد اسم المضيف، تحليل DNS، الخوادم الوكيلة، وتسمية المخرجات. يسرد المستودع 60 مصدر اكتشاف، بما في ذلك خدمات شفافية الشهادات، محركات البحث، مستودعات الأكواد، مزودي DNS السلبيين، أرشيفات URL، ومنصات استخبارات الأمان. تتطلب بعض المصادر مفاتيح API، بينما يمكن استخدام العديد من المصادر السلبية بدون بيانات اعتماد. ينقسم النشاط إلى ثلاث فئات نطاق. تستعلم مصادر P0 عن المزودين أو مجموعات البيانات الحالية دون إرسال حركة مرور مباشرة إلى الهدف. يغطي P1 الأنشطة المتعلقة بـ DNS مثل التحليل، القوة الغاشمة، البحث العكسي، و DNS المتكرر. يغطي P2 التفاعل المباشر، بما في ذلك طلبات HTTP أو TLS، لقطات الشاشة، فحوصات الاستيلاء، فحوصات المضيف الافتراضي، الأنشطة المتعلقة بالمنافذ، ومسح مسار API. يتم تشغيل إجراءات P1 و P2 فقط عند اختيارها صراحة، وتؤكد الوثائق على اختبار النطاقات أو نقاط النهاية التي يملكها المشغل أو مصرح له بتقييمها فقط. يمكن تصدير النتائج بتنسيق JSONL، مع إنشاء تقارير توافق بتنسيق JSON و XML أيضًا. يتم الاحتفاظ بعمليات التشغيل المكتملة في مخزن أدلة محلي SQLite. يتضمن إخراج JSONL ملخصًا للتشغيل متبوعًا بالنتائج المكررة مع مصدر وإجراءات؛ يمكن أن تتضمن أنواع النتائج المحددة تفاصيل منظمة لأدلة DNS، مضيفي Shodan، مؤشرات الاستيلاء، الملاحظات، والسجلات المثرية الأخرى. توفر HarvestView واجهة متصفح محلية و API لبدء عمليات التشغيل، مراجعة التاريخ والقطع الأثرية، فحص نتائج المصدر، مقارنة تغييرات اسم المضيف، وإدارة الجداول الزمنية. تعمل على الحلقة المحلية افتراضيًا، وتستخدم مفتاح API وملف تعريف جلسة HttpOnly مشتق، وتنفذ عمليات التشغيل المحدودة المجدولة بشكل تسلسلي مع عامل محلي. يمكن لأمر تقارير منفصل مقارنة عمليات التشغيل النهائية وتصنيف أسماء المضيفين على أنها تم الإبلاغ عنها حديثًا، أو لا تزال مبلغ عنها، أو لم يعد يتم الإبلاغ عنها، أو غير مؤكدة بناءً على نتائج المصدر المكتملة. تكشف REST API عن إنشاء وإلغاء عمليات التشغيل، قائمة المصادر، استيراد وتصدير الأدلة، تاريخ التشغيل، إدارة الجدول الزمني، وتاريخ الإرسال من خلال نقاط نهاية مصادق عليها. يتم توثيق نشر Docker Compose، مع تشغيل الخدمة كمستخدم غير مميز، والربط بالمضيف المحلي، وتخزين عمليات التشغيل في وحدة تخزين مسماة، وقراءة مفتاح المشغل من سر ملف. تدير ملفات التكوين الموجودة تحت دليل تكوين المستخدم مفاتيح API للمزود، الخوادم الوكيلة، والخدمات الاختيارية المصادق عليها.