llamafactory

LlamaFactoryは、大規模言語モデル（LLM）とマルチモーダルモデルをファインチューニングするためのオープンソースフレームワークです。READMEでは、LLaMA/LLaVA、Mistral、Mixtral、Qwen3/Qwen2.5-VL、DeepSeek、Gemma、GLM、Phi、GPT-OSS、InternVLなど、多くのモデルファミリーへの対応が強調されています。継続事前学習、教師ありファインチューニング、報酬モデリング、PPO、DPO、KTO、ORPO、SimPOなどの選好学習や強化学習アプローチを含む幅広い学習手法を統合しています。また、全パラメータ、フリーズ、LoRA、量子化QLoRAチューニングをサポートし、AQLM、AWQ、GPTQ、LLM.int8、HQQ、EETQによる2/3/4/5/6/8ビット量子化にも対応しています。プロジェクトには、GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、PiSSA、FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune、rsLoRAなどの高度なオプティマイザとパフォーマンス技法が含まれています。最近の変更履歴では、Megatron-core学習バックエンド、SGLang推論サポート、GPT-OSS、Qwen2.5 Omni、GLM-4.1V-Thinking、Intern-S1-miniモデルのファインチューニング対応も言及されています。 LlamaFactoryは、コマンドラインインターフェースとGradioで構築されたLLaMA Board Web UIを通じてゼロコードでの使用を提供し、さらにColabノートブックやPAI-DSW、Hugging Face Spacesなどのプラットフォーム向けのクラウドデプロイテンプレートも用意しています。ファインチューニングされたチェックポイントはエクスポートでき、OpenAI互換API、Gradioインターフェース、またはCLIを通じて提供でき、vLLMやSGLangをより高速な推論バックエンドとして利用できます。実験追跡はTensorBoard、WandB、MLflow、SwanLab、LlamaBoardでサポートされています。モデルとデータセットはHugging Face、ModelScope、Modelers Hubからダウンロードできます。READMEでは、Amazon、NVIDIA、Aliyunでの使用も引用され、ドキュメント、Dockerイメージ、サンプルノートブック、プロジェクトの公式ブログへのリンクも掲載されています。