agent-lightning

Agent Lightning é uma estrutura de código aberto da Microsoft para treinar agentes de IA com aprendizado por reforço. Ela foi projetada com foco na simplicidade, com aproximadamente 3.500 linhas de código, e permite que os agentes interajam com modelos por meio de um proxy sem exigir alterações no código existente do agente. A estrutura mantém ferramentas, contexto, fluxo de controle e ambientes no ciclo de treinamento. A arquitetura consiste em três componentes leves: um Trainer que executa verl e vLLM, um API Gateway que faz proxy das solicitações de modelo e captura dados de treinamento, e um Rollout Controller que executa agentes localmente ou como Kubernetes Jobs. O suporte nativo ao Kubernetes permite executar agentes diretamente como jobs, sem serviços de sandbox externos. O projeto inclui um exemplo completo de treinamento de agente de codificação. Usando 6.000 amostras de treinamento, um fluxo de trabalho ponta a ponta Qwen3.5-9B melhora o desempenho no SWE-bench Verified de 41,8% para 56,4%, um ganho de 14,6 pontos percentuais. O pipeline liberado inclui limpeza de dados, prevenção de hacking de recompensa e scripts de treinamento. A documentação cobre instalação, início rápido, configuração do trainer, configuração do gateway de API, configuração do controlador e treinamento assíncrono. Os exemplos incluem Calc-X, GSM8K, ScienceWorld, Search-R1, LLM-in-Sandbox e um agente de codificação treinado com testes de repositório. O projeto é liberado sob a Licença MIT e foi avaliado em relação ao Microsoft Responsible AI Standard.