ml-engineering

Machine Learning Engineering Open Book é um repositório prático e orientado pela experiência, criado por Stas Bekman, que documenta metodologias, ferramentas e comandos prontos para copiar e colar no treinamento e operação de modelos de linguagem grandes (LLMs) e modelos de visão-linguagem (VLMs). O conteúdo baseia-se no trabalho prático com BLOOM-176B, IDEFICS-80B e sistemas RAG na Contextual.AI. O repositório está organizado em sete partes: insights sobre engenharia de IA e decisões de nuvem/GPU; orientações de hardware abrangendo computação, armazenamento e rede; sistemas de orquestração, incluindo SLURM; guias de treinamento e inferência; recursos de desenvolvimento para depuração, testes e solução de problemas; e recursos diversos, como diários de treinamento de LLM/VLM. As ferramentas práticas incluem scripts de benchmark de rede como all_reduce_bench.py, testes de conectividade entre nós com torch-distributed-gpu-test.py e medição de TFLOPS de aceleradores via mamf-finder.py. O projeto também fornece tabelas comparativas de desempenho de aceleradores e velocidades de rede, um arquivo SKILL.md para ensinar agentes de IA e versões de ebook em PDF/EPUB para download. O conteúdo está licenciado sob CC BY-SA 4.0 e aceita contribuições e discussões da comunidade.