minimind

O MiniMind oferece um fluxo completo de treinamento de modelos de linguagem de grande escala leves, visando permitir que desenvolvedores individuais reproduzam rapidamente todo o processo de LLM. O algoritmo central do projeto é implementado nativamente em PyTorch, sem depender de interfaces de abstração de alto nível, possuindo forte significado educacional e prático. Principais capacidades e características: 1. Fluxo de treinamento completo: Cobre todo o processo, desde a limpeza de dados, pré-treinamento (Pretrain), ajuste fino supervisionado (SFT), LoRA, RLHF (DPO) até RLAIF (PPO/GRPO/CISPO). 2. Estrutura do modelo: A estrutura principal está alinhada ao ecossistema Qwen3, suportando as arquiteturas Dense e MoE. Oferece diversas versões de escala de modelo, como 64M (Dense) e 198M (MoE). 3. Expansão de funcionalidades: Suporta Tool Use (chamada de ferramentas), Agentic RL, raciocínio adaptativo (Reasoning) e destilação de modelos. Simultaneamente, expandiu para modelos de visão (MiniMind-V) e multimodais (MiniMind-O). 4. Compatibilidade de ecossistema: Compatível com frameworks populares como transformers, trl, peft, e suporta motores de inferência como llama.cpp, vllm e ollama. 5. Ferramentas utilitárias: Fornece um servidor compatível com a API da OpenAI e uma interface de chat WebUI baseada em Streamlit. 6. Conjuntos de dados: Disponibiliza datasets de alta qualidade abrangendo as fases de pré-treinamento, SFT e RL.