automodel

NeMo AutoModelは、NVIDIA NeMo Frameworkの一部であるオープンソースのトレーニングライブラリで、大規模トレーニング向けのPyTorch DTensorネイティブSPMDライブラリと説明されています。大規模言語モデル、視覚言語モデル、拡散モデル、検索モデルのトレーニングとファインチューニングを対象としており、小規模な実験からマルチGPU、マルチノード展開までをサポートすることを目指しています。 READMEから確認できる主な特徴は以下の通りです。 - Hugging Faceをすぐにサポートし、多くのモデルファミリーとチェックポイント向けのレシピを提供。 - PyTorchネイティブの並列処理（テンソル、パイプライン、エキスパート、コンテキスト、データ並列処理）と、パックされたシーケンストレーニングをサポート。 - 全パラメータSFTやLoRA/PEFTなどのファインチューニング手法を提供し、LLMおよびVLMワークロード向けのYAMLレシピ例を用意。 - Mixture-of-Expertsモデル、ハイブリッドアテンションバックボーン、投機的デコーディングのドラフタートレーニング（EAGLEバリアント、DFlash、DSpark）をサポート。 - 拡散モデルおよびテキストから画像へのファインチューニング例と、検索モデルのカバレッジを提供。 - リポジトリには、ドキュメント、モデルカバレッジページ、パフォーマンス概要、チュートリアル、エージェント指向スキルが含まれています。 このプロジェクトはPython（3.10以降）で書かれており、再現可能でスケーラブルなトレーニングワークフローを必要とする研究者やエンジニアを対象としています。READMEでは、ベンチマークの主張ではなく、レシピ、ガイド、例を重視しています。