منصوبے کے بارے میں

Megatron-LM ایک حوالہ جاتی مثال ہے جو Megatron Core کو پہلے سے ترتیب شدہ تربیتی اسکرپٹس کے ساتھ جوڑتی ہے، جس کا مقصد تحقیقی ٹیموں، تقسیم شدہ تربیت سیکھنے، اور فوری تجربہ کرنا ہے۔ Megatron Core ایک کمپوزیبل لائبریری ہے جو کسٹم ٹریننگ فریم ورکس کے لیے GPU-بہتر بلڈنگ بلاکس فراہم کرتی ہے، جس میں ٹرانسفارمر اجزاء، اعلیٰ درجے کی ہم آہنگی کی حکمت عملیاں (ٹینسر، پائپ لائن، ڈیٹا، ماہر، اور سیاق و سباق کی ہم آہنگی)، مخلوط درستگی کی حمایت (FP16، BF16، FP8، اور FP4)، اور ماڈل آرکیٹیکچرز شامل ہیں۔ اس ذخیرے میں انفرنس انجن، ماڈل ایکسپورٹ یوٹیلیٹیز، تربیت کے بعد کے ٹولز جیسے کوانٹائزیشن اور ڈسٹلیشن، اور کمک سیکھنے کی حمایت بشمول RLHF بھی شامل ہے۔ Megatron Bridge Hugging Face اور Megatron فارمیٹس کے درمیان دو طرفہ چیک پوائنٹ تبدیلی فراہم کرتا ہے۔ یہ پروجیکٹ ہزاروں GPUs پر 2B سے 462B پیرامیٹرز تک کے ماڈلز کی تربیت کی اطلاع دیتا ہے، جس میں H100 کلسٹرز پر 47% تک ماڈل FLU استعمال ہوتا ہے۔ تنصیب PyPI یا سورس سے دستیاب ہے، اور دستاویزات میں پہلی تربیتی رنز، ہم آہنگی کی حکمت عملیاں، اور تعاون کے رہنما اصول شامل ہیں۔