عن المشروع

يوفر MiniMind سلسلة تدريب كاملة وخفيفة الوزن للنماذج اللغوية الكبيرة، تهدف إلى تمكين المطورين الأفراد من إعادة إنتاج العملية الكاملة لـ LLM بسرعة. تم تنفيذ الخوارزميات الأساسية للمشروع باستخدام PyTorch الأصلي، دون الاعتماد على واجهات تجريدية عالية المستوى، مما يمنحه قيمة تعليمية وعملية قوية. القدرات والميزات الرئيسية: 1. سلسلة تدريب كاملة: تغطي العملية بأكملها من تنظيف البيانات، والتدريب المسبق (Pretrain)، والضبط الدقيق الخاضع للإشراف (SFT)، وLoRA، وRLHF (DPO)، وصولاً إلى RLAIF (PPO/GRPO/CISPO). 2. بنية النموذج: تتماشى البنية الرئيسية مع منظومة Qwen3، وتدعم بنيتي Dense و MoE. يوفر إصدارات متعددة من أحجام النماذج مثل 64M (Dense) و 198M (MoE). 3. توسيع الوظائف: يدعم استخدام الأدوات (Tool Use)، وAgentic RL، والتفكير التكيفي (Reasoning)، وتقطير النماذج. كما تم توسيع النماذج لتشمل الرؤية (MiniMind-V) والنماذج متعددة الوسائط (MiniMind-O). 4. التوافق مع المنظومة: متوافق مع الأطر الرئيسية مثل transformers و trl و peft، ويدعم محركات الاستدلال مثل llama.cpp و vllm و ollama. 5. أدوات عملية: يوفر خادماً متوافقاً مع OpenAI API وواجهة دردشة WebUI تعتمد على Streamlit. 6. مجموعات البيانات: تم فتح مصدر مجموعات بيانات عالية الجودة تغطي مراحل التدريب المسبق و SFT و RL.