minimind

MiniMind 提供了一套完整的轻量级大语言模型训练链路，旨在让个人开发者能够快速复现 LLM 的全过程。项目核心算法采用 PyTorch 原生实现，不依赖高层抽象接口，具有极强的教育和实践意义。 主要能力与特性： 1. 完整训练链路：覆盖了从数据清洗、预训练 (Pretrain)、监督微调 (SFT)、LoRA、RLHF (DPO) 到 RLAIF (PPO/GRPO/CISPO) 的全流程。 2. 模型结构：主线结构对齐 Qwen3 生态，支持 Dense 和 MoE 两种架构。提供 64M (Dense) 和 198M (MoE) 等多种规模的模型版本。 3. 功能拓展：支持 Tool Use（工具调用）、Agentic RL、自适应思考 (Reasoning) 以及模型蒸馏。同时拓展了视觉 (MiniMind-V) 和多模态 (MiniMind-O) 模型。 4. 生态兼容：兼容 transformers、trl、peft 等主流框架，支持 llama.cpp、vllm、ollama 等推理引擎。 5. 实用工具：提供兼容 OpenAI API 的服务端以及基于 Streamlit 的 WebUI 聊天界面。 6. 数据集：开源了涵盖预训练、SFT 和 RL 阶段的高质量数据集。