theharvester

theHarvester é uma ferramenta de inteligência de código aberto baseada em Python, destinada à fase inicial de reconhecimento em avaliações de segurança autorizadas. Ela consulta provedores e fontes de dados públicas, normalizando descobertas como subdomínios e outros hostnames, endereços de e-mail, IPs, URLs, ASNs, pessoas e nomes de violações em um modelo de evidência compartilhado. A interface de linha de comando principal suporta enumeração única e fluxos de shell. Usuários podem selecionar provedores individuais ou usar seletores de capacidade como subdomínios, e-mails, IPs, ASNs, URLs, pessoas e violações. Concorrência de fontes, limites de resultados, exclusão de hostnames, resolução DNS, proxies e nomeação de saída são configuráveis. O repositório lista 60 fontes de descoberta, incluindo serviços de transparência de certificados, buscadores, repositórios de código, provedores de DNS passivo, arquivos de URL e plataformas de inteligência de segurança. Algumas fontes exigem chaves de API, enquanto várias passivas podem ser usadas sem credenciais. A atividade é dividida em três classes de escopo. Fontes P0 consultam provedores ou conjuntos de dados existentes sem enviar tráfego diretamente ao alvo. P1 cobre atividades relacionadas a DNS, como resolução, força bruta, busca reversa e DNS recursivo. P2 cobre interação direta, incluindo requisições HTTP ou TLS, capturas de tela, verificações de takeover, verificações de host virtual, atividades de porta e varredura de caminhos de API. Ações P1 e P2 são executadas apenas quando explicitamente selecionadas, e a documentação enfatiza testar somente domínios ou endpoints que o operador possui ou tem permissão explícita para avaliar. Resultados podem ser exportados como JSONL, com relatórios de compatibilidade JSON e XML também gerados. Execuções concluídas são retidas em um armazenamento local de evidências SQLite. A saída JSONL inclui um resumo da execução seguido por descobertas deduplicadas com proveniência de fonte e ação; tipos de resultado selecionados podem incluir detalhes estruturados para evidências DNS, hosts Shodan, indicadores de takeover, observações e outros registros enriquecidos. HarvestView fornece uma interface de navegador local e API para iniciar execuções, revisar histórico e artefatos, inspecionar resultados de fontes, comparar mudanças de hostname e gerenciar agendamentos. Ele roda em loopback por padrão, usa uma chave de API e cookie de sessão HttpOnly derivado, e executa execuções finitas agendadas serialmente com um trabalhador local. Um comando de relatório separado pode comparar execuções finalizadas e classificar hostnames como recém-relatados, ainda relatados, não mais relatados ou incertos com base em resultados de fontes concluídas. A API REST expõe criação e cancelamento de execuções, listagem de fontes, importação e exportação de evidências, histórico de execuções, gerenciamento de agendamentos e histórico de despacho por meio de endpoints autenticados. A implantação via Docker Compose é documentada, com o serviço rodando como usuário não privilegiado, vinculado a localhost, armazenando execuções em volume nomeado e lendo a chave do operador de um segredo de arquivo. Arquivos de configuração sob o diretório de configuração do usuário gerenciam chaves de API de provedores, proxies e serviços autenticados opcionais.