theharvester

theHarvesterは、認可されたセキュリティ評価の初期偵察段階を目的としたPythonベースのオープンソースインテリジェンスツールです。公開プロバイダーやデータソースに問い合わせ、サブドメインやその他のホスト名、メールアドレス、IPアドレス、URL、ASN、人物、侵害名などの調査結果を共通の証拠モデルに正規化します。 主要なコマンドラインインターフェースは、単発の列挙とシェルワークフローをサポートします。ユーザーは個別のプロバイダーを選択するか、subdomains、emails、ips、asns、urls、people、breachesなどの機能セレクターを使用できます。ソースの並行性、結果の上限、ホスト名の除外、DNS解決、プロキシ、出力名は設定可能です。リポジトリには、証明書透過性サービス、検索エンジン、コードリポジトリ、パッシブDNSプロバイダー、URLアーカイブ、セキュリティインテリジェンスプラットフォームを含む60の検出ソースが記載されています。一部のソースはAPIキーが必要ですが、複数のパッシブソースは認証情報なしで使用できます。 アクティビティは3つのスコープクラスに分かれています。P0ソースは、ターゲットに直接トラフィックを送信せずに既存のプロバイダーやデータセットに問い合わせます。P1は、解決、ブルートフォース、逆引き、再帰的DNSなどのDNS関連アクティビティを対象とします。P2は、HTTPまたはTLSリクエスト、スクリーンショット、乗っ取りチェック、バーチャルホストチェック、ポート関連アクティビティ、APIパススキャンなどの直接的な対話を対象とします。P1およびP2アクションは明示的に選択された場合にのみ実行され、ドキュメントでは、オペレーターが所有するか、明示的に評価が許可されたドメインまたはエンドポイントのみをテストすることが強調されています。 結果はJSONLとしてエクスポートでき、JSONおよびXMLの互換性レポートも生成されます。完了した実行はローカルのSQLite証拠ストアに保持されます。JSONL出力には、実行サマリーと、ソースおよびアクションの来歴を含む重複排除された調査結果が含まれます。選択された結果タイプには、DNS証拠、Shodanホスト、乗っ取り指標、観測、その他の強化されたレコードの構造化詳細を含めることができます。 HarvestViewは、実行の開始、履歴とアーティファクトの確認、ソース結果の検査、ホスト名の変更の比較、スケジュールの管理を行うためのローカルブラウザインターフェースとAPIを提供します。デフォルトではループバックで実行され、APIキーと派生したHttpOnlyセッションCookieを使用し、スケジュールされた有限実行をローカルワーカーで直列に実行します。別のレポートコマンドで、完了した実行を比較し、完了したソース結果に基づいてホスト名を新規報告、引き続き報告、報告なし、不確実に分類できます。 REST APIは、認証済みエンドポイントを通じて、実行の作成とキャンセル、ソースの一覧表示、証拠のインポートとエクスポート、実行履歴、スケジュール管理、ディスパッチ履歴を公開します。Docker Composeによるデプロイが文書化されており、サービスは非特権ユーザーとして実行され、localhostにバインドし、実行を名前付きボリュームに保存し、オペレーターキーをファイルシークレットから読み取ります。ユーザー設定ディレクトリ内の設定ファイルで、プロバイダーAPIキー、プロキシ、オプションの認証済みサービスを管理します。