منصوبے کے بارے میں

MiniMind ایک مکمل لائٹ ویٹ لارج لینگویج ماڈل ٹریننگ چین فراہم کرتا ہے، جس کا مقصد انفرادی ڈویلپرز کو LLM کے مکمل عمل کو تیزی سے دوبارہ تیار کرنے کے قابل بنانا ہے۔ پروجیکٹ کے بنیادی الگورتھم PyTorch کے ذریعے نافذ کیے گئے ہیں، جو اعلیٰ سطح کے تجریدی انٹرفیس پر منحصر نہیں ہیں، جس کی وجہ سے یہ تعلیمی اور عملی طور پر انتہائی اہمیت رکھتے ہیں۔ بنیادی صلاحیتیں اور خصوصیات: 1. مکمل ٹریننگ چین: اس میں ڈیٹا کلیننگ، پری ٹریننگ (Pretrain)، سپروائزڈ فائن ٹیوننگ (SFT)، LoRA، RLHF (DPO) سے لے کر RLAIF (PPO/GRPO/CISPO) تک کا مکمل عمل شامل ہے۔ 2. ماڈل اسٹرکچر: مین لائن اسٹرکچر Qwen3 ایکو سسٹم کے مطابق ہے، اور Dense اور MoE دونوں آرکیٹیکچرز کو سپورٹ کرتا ہے۔ یہ 64M (Dense) اور 198M (MoE) جیسے مختلف سائز کے ماڈل ورژن فراہم کرتا ہے۔ 3. فنکشنل توسیع: یہ Tool Use (ٹول کالنگ)، Agentic RL، ایڈاپٹیو تھنکنگ (Reasoning) اور ماڈل ڈسٹلیشن کو سپورٹ کرتا ہے۔ ساتھ ہی بصری (MiniMind-V) اور ملٹی موڈل (MiniMind-O) ماڈلز کی توسیع بھی کی گئی ہے۔ 4. ایکو سسٹم ہم آہنگی: یہ transformers، trl، peft جیسے مین اسٹریم فریم ورکس کے ساتھ ہم آہنگ ہے، اور llama.cpp، vllm، ollama جیسے انفرنس انجنوں کو سپورٹ کرتا ہے۔ 5. عملی ٹولز: یہ OpenAI API کے ساتھ ہم آہنگ سرور سائیڈ اور Streamlit پر مبنی WebUI چیٹ انٹرفیس فراہم کرتا ہے۔ 6. ڈیٹا سیٹ: پری ٹریننگ، SFT اور RL مراحل کے لیے اعلیٰ معیار کے ڈیٹا سیٹس اوپن سورس کیے گئے ہیں۔