프로젝트 소개

Machine Learning Engineering Open Book은 Stas Bekman이 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 학습하고 운영하기 위한 방법론, 도구, 복사-붙여넣기 가능한 명령어를 문서화한 실무 중심의 저장소입니다. 콘텐츠는 Contextual.AI에서 BLOOM-176B, IDEFICS-80B, RAG 시스템을 직접 다룬 경험을 바탕으로 합니다. 저장소는 일곱 부분으로 구성되어 있습니다: AI 엔지니어링과 클라우드/GPU 결정에 대한 인사이트, 컴퓨팅·스토리지·네트워킹을 다루는 하드웨어 지침, SLURM을 포함한 오케스트레이션 시스템, 학습 및 추론 가이드, 디버깅·테스트·문제 해결을 위한 개발 리소스, 그리고 LLM/VLM 학습 로그북과 같은 기타 리소스입니다. 실용 도구로는 all_reduce_bench.py와 같은 네트워크 벤치마크 스크립트, torch-distributed-gpu-test.py를 이용한 노드 간 연결 테스트, mamf-finder.py를 통한 가속기 TFLOPS 측정이 포함됩니다. 또한 가속기 성능 및 네트워크 속도 비교표, AI 에이전트 교육용 SKILL.md 파일, 다운로드 가능한 PDF/EPUB 전자책 버전도 제공합니다. 콘텐츠는 CC BY-SA 4.0 라이선스로 제공되며 커뮤니티 기여와 토론을 환영합니다.