autoresearch

autoresearch é uma estrutura de pesquisa autônoma de IA criada por Andrej Karpathy que permite que agentes de IA experimentem de forma independente o treinamento de LLM em uma única GPU. O sistema é construído em torno de uma implementação simplificada de nanochat para uma única GPU, onde um agente de IA modifica autonomamente o código de treinamento (train.py), executa experimentos com um orçamento fixo de 5 minutos de tempo decorrido, avalia resultados usando bits de validação por byte (val_bpb) e itera—mantendo melhorias e descartando regressões. O projeto é deliberadamente mínimo, consistindo em três arquivos-chave: prepare.py (preparação de dados e utilitários fixos, não modificado), train.py (o único arquivo que o agente edita, contendo o modelo GPT completo, otimizador e loop de treinamento) e program.md (instruções de base para o agente, editado pelo humano). O papel do humano muda de escrever código Python para programar os arquivos Markdown program.md que definem a organização autônoma de pesquisa. O program.md padrão é intencionalmente mantido como uma base enxuta, embora seja óbvio como alguém iteraria sobre ele ao longo do tempo para encontrar o 'código de organização de pesquisa' que alcança o progresso de pesquisa mais rápido, ou adicionar mais agentes à mistura. O treinamento roda por exatamente 5 minutos, independentemente dos detalhes de computação, permitindo aproximadamente 12 experimentos por hora e cerca de 100 experimentos durante a noite. Esse orçamento fixo de tempo torna os experimentos diretamente comparáveis, independentemente do que o agente altera (tamanho do modelo, tamanho do lote, arquitetura etc.) e garante que o sistema encontre o modelo ideal para a plataforma dada dentro dessa restrição. A métrica val_bpb é independente do tamanho do vocabulário, permitindo comparação justa entre mudanças arquitetônicas. Os requisitos incluem uma única GPU NVIDIA (testada em H100), Python 3.10+ e uv. O projeto é autocontido, sem dependências externas além de PyTorch e alguns pacotes pequenos—sem treinamento distribuído ou configurações complexas. Forks notáveis existem para plataformas macOS, Windows e AMD. O projeto é licenciado sob MIT.