ml-engineering

机器学习工程开放书是由 Stas Bekman 维护的一个实用、以经验为驱动的代码库，记录了用于训练和运行大型语言模型（LLM）及视觉语言模型（VLM）的方法论、工具和可直接复制的命令。内容源自 Contextual.AI 在 BLOOM-176B、IDEFICS-80B 和 RAG 系统上的实践工作。 该代码库分为七个部分：关于 AI 工程和云/GPU 决策的见解；涵盖计算、存储和网络的硬件指南；包括 SLURM 在内的编排系统；训练和推理指南；用于调试、测试和故障排查的开发资源；以及诸如 LLM/VLM 训练日志等其他资源。 实用工具包括网络基准测试脚本（如 all_reduce_bench.py）、使用 torch-distributed-gpu-test.py 进行节点间连通性测试，以及通过 mamf-finder.py 测量加速器 TFLOPS。该项目还提供加速器性能和网络速度的对比表、用于教导 AI 代理的 SKILL.md 文件，以及可下载的 PDF/EPUB 电子书版本。内容采用 CC BY-SA 4.0 许可，并欢迎社区贡献和讨论。