minimind

MiniMindは、個人開発者がLLMの全プロセスを迅速に再現できるよう、軽量な大規模言語モデルの完全なトレーニングパイプラインを提供します。プロジェクトのコアアルゴリズムはPyTorchでネイティブに実装されており、高レベルの抽象インターフェースに依存しないため、教育的および実践的な意義が非常に高いのが特徴です。 主な能力と特性： 1. 完全なトレーニングパイプライン：データクリーニングから、事前学習 (Pretrain)、教師あり微調整 (SFT)、LoRA、RLHF (DPO)、そしてRLAIF (PPO/GRPO/CISPO) までの全フローをカバーしています。 2. モデル構造：メインラインの構造はQwen3エコシステムに準拠しており、DenseとMoEの2つのアーキテクチャをサポートしています。64M (Dense) や 198M (MoE) など、さまざまな規模のモデルバージョンを提供しています。 3. 機能拡張：Tool Use（ツール呼び出し）、Agentic RL、適応的思考 (Reasoning)、およびモデル蒸留をサポートしています。また、視覚モデル (MiniMind-V) やマルチモーダルモデル (MiniMind-O) へも拡張されています。 4. エコシステム互換性：transformers、trl、peftなどの主要フレームワークと互換性があり、llama.cpp、vllm、ollamaなどの推論エンジンをサポートしています。 5. 実用的なツール：OpenAI API互換のサーバーサイドおよびStreamlitベースのWebUIチャットインターフェースを提供しています。 6. データセット：事前学習、SFT、およびRL段階をカバーする高品質なデータセットをオープンソース化しています。