minimind

MiniMind propose une chaîne complète d'entraînement de modèles de langage légers, conçue pour permettre aux développeurs individuels de reproduire rapidement l'ensemble du processus LLM. L'algorithme central du projet est implémenté nativement en PyTorch, sans dépendre d'interfaces d'abstraction de haut niveau, ce qui lui confère une valeur éducative et pratique considérable. Capacités et caractéristiques principales : 1. Chaîne d'entraînement complète : couvre tout le flux, du nettoyage des données au pré-entraînement (Pretrain), au réglage fin supervisé (SFT), LoRA, RLHF (DPO) et RLAIF (PPO/GRPO/CISPO). 2. Structure du modèle : la structure principale est alignée sur l'écosystème Qwen3, prenant en charge les architectures Dense et MoE. Plusieurs versions de tailles de modèles sont proposées, notamment 64M (Dense) et 198M (MoE). 3. Extensions fonctionnelles : supporte le Tool Use (appel d'outils), l'Agentic RL, le raisonnement adaptatif (Reasoning) ainsi que la distillation de modèles. Des modèles visuels (MiniMind-V) et multimodaux (MiniMind-O) ont également été développés. 4. Compatibilité écosystème : compatible avec les frameworks dominants tels que transformers, trl, peft, et supporte les moteurs d'inférence comme llama.cpp, vllm et ollama. 5. Outils pratiques : fournit un serveur compatible avec l'API OpenAI ainsi qu'une interface de chat WebUI basée sur Streamlit. 6. Jeux de données : mise à disposition en open-source de jeux de données de haute qualité couvrant les phases de pré-entraînement, SFT et RL.