minimind

MiniMind proporciona un flujo completo de entrenamiento de modelos de lenguaje ligeros, destinado a que los desarrolladores individuales puedan reproducir rápidamente todo el proceso de un LLM. El algoritmo central del proyecto está implementado de forma nativa en PyTorch, sin depender de interfaces de abstracción de alto nivel, lo que le otorga un gran valor educativo y práctico. Capacidades y características principales: 1. Flujo de entrenamiento completo: Cubre todo el proceso, desde la limpieza de datos, preentrenamiento (Pretrain), ajuste fino supervisado (SFT), LoRA, RLHF (DPO) hasta RLAIF (PPO/GRPO/CISPO). 2. Estructura del modelo: La estructura principal está alineada con el ecosistema Qwen3, soportando arquitecturas Dense y MoE. Ofrece versiones de diversos tamaños, como 64M (Dense) y 198M (MoE). 3. Expansión de funciones: Soporta Tool Use (llamada a herramientas), Agentic RL, razonamiento adaptativo (Reasoning) y destilación de modelos. Asimismo, ha expandido los modelos a visión (MiniMind-V) y multimodalidad (MiniMind-O). 4. Compatibilidad del ecosistema: Compatible con frameworks predominantes como transformers, trl y peft, y soporta motores de inferencia como llama.cpp, vllm y ollama. 5. Herramientas prácticas: Proporciona un servidor compatible con la API de OpenAI y una interfaz de chat WebUI basada en Streamlit. 6. Conjuntos de datos: Ha liberado datasets de alta calidad que abarcan las etapas de preentrenamiento, SFT y RL.