minimind

MiniMind предоставляет полный набор легковесных инструментов для обучения больших языковых моделей, позволяя индивидуальным разработчикам быстро воспроизвести весь процесс создания LLM. Основные алгоритмы проекта реализованы на чистом PyTorch без использования высокоуровневых абстрактных интерфейсов, что имеет большое образовательное и практическое значение. Основные возможности и характеристики: 1. Полный цикл обучения: охватывает все этапы от очистки данных, предварительного обучения (Pretrain), контролируемого тонкого настроя (SFT), LoRA, RLHF (DPO) до RLAIF (PPO/GRPO/CISPO). 2. Структура модели: основная архитектура соответствует экосистеме Qwen3, поддерживаются две архитектуры: Dense и MoE. Предоставляются модели различных масштабов, такие как 64M (Dense) и 198M (MoE). 3. Расширение функционала: поддержка Tool Use (вызов инструментов), Agentic RL, адаптивного мышления (Reasoning) и дистилляции моделей. Также разработаны визуальная (MiniMind-V) и мультимодальная (MiniMind-O) модели. 4. Совместимость с экосистемой: совместимость с основными фреймворками, такими как transformers, trl, peft, а также поддержка движков вывода llama.cpp, vllm и ollama. 5. Практические инструменты: предоставляется сервер, совместимый с OpenAI API, и веб-интерфейс чата на базе Streamlit. 6. Наборы данных: открыты высококачественные датасеты для этапов предварительного обучения, SFT и RL.