minimind

MiniMind는 개인 개발자가 LLM의 전체 과정을 빠르게 재현할 수 있도록 설계된 완전한 경량 대규모 언어 모델 학습 파이프라인을 제공합니다. 프로젝트의 핵심 알고리즘은 PyTorch로 네이티브하게 구현되어 고수준 추상화 인터페이스에 의존하지 않으며, 교육적 및 실천적 의미가 매우 큽니다. 주요 기능 및 특징: 1. 완전한 학습 파이프라인: 데이터 정제, 사전 학습(Pretrain), 지도 미세 조정(SFT), LoRA, RLHF(DPO)부터 RLAIF(PPO/GRPO/CISPO)까지의 전 과정을 포괄합니다. 2. 모델 구조: 메인 구조는 Qwen3 생태계와 정렬되어 있으며, Dense와 MoE 두 가지 아키텍처를 지원합니다. 64M(Dense) 및 198M(MoE) 등 다양한 규모의 모델 버전을 제공합니다. 3. 기능 확장: Tool Use(도구 호출), Agentic RL, 적응형 사고(Reasoning) 및 모델 증류(Distillation)를 지원합니다. 또한 시각(MiniMind-V) 및 멀티모달(MiniMind-O) 모델로 확장되었습니다. 4. 생태계 호환성: transformers, trl, peft 등 주요 프레임워크와 호환되며, llama.cpp, vllm, ollama 등 추론 엔진을 지원합니다. 5. 실용적 도구: OpenAI API와 호환되는 서버 사이드 및 Streamlit 기반의 WebUI 채팅 인터페이스를 제공합니다. 6. 데이터셋: 사전 학습, SFT 및 RL 단계에 걸친 고품질 데이터셋을 오픈 소스로 공개했습니다.