ml-engineering

Machine Learning Engineering Open Bookは、Stas Bekmanによる実践的で経験に基づいたリポジトリであり、大規模言語モデル（LLM）および視覚言語モデル（VLM）のトレーニングと運用に関する方法論、ツール、コピー＆ペースト可能なコマンドを文書化しています。内容は、Contextual.AIでのBLOOM-176B、IDEFICS-80B、RAGシステムに関する実践的な作業に基づいています。 リポジトリは7つのパートに分かれています：AIエンジニアリングとクラウド/GPUの意思決定に関する洞察；計算、ストレージ、ネットワークをカバーするハードウェアガイダンス；SLURMを含むオーケストレーションシステム；トレーニングと推論のガイド；デバッグ、テスト、トラブルシューティングのための開発リソース；LLM/VLMトレーニングログブックなどのその他リソース。 実用的なツールには、all_reduce_bench.pyなどのネットワークベンチマークスクリプト、torch-distributed-gpu-test.pyによるノード間接続テスト、mamf-finder.pyによるアクセラレータTFLOPS測定が含まれます。プロジェクトはまた、アクセラレータのパフォーマンスとネットワーク速度の比較表、AIエージェントを教えるためのSKILL.mdファイル、ダウンロード可能なPDF/EPUB電子ブック版も提供しています。コンテンツはCC BY-SA 4.0の下でライセンスされており、コミュニティの貢献と議論を歓迎しています。