عن المشروع

Megatron-LM هو مثال مرجعي يجمع Megatron Core مع نصوص تدريب مهيأة مسبقًا، ويستهدف فرق البحث وتعلم التدريب الموزع والتجريب السريع. Megatron Core هي مكتبة قابلة للتركيب من وحدات بناء محسّنة لوحدات معالجة الرسوميات لأطر التدريب المخصصة، وتوفر مكونات المحولات واستراتيجيات التوازي المتقدمة (توازي الموترات وخطوط الأنابيب والبيانات والخبراء والسياق) ودعم الدقة المختلطة (FP16 وBF16 وFP8 وFP4) وبنى النماذج. يتضمن المستودع أيضًا محركات استدلال وأدوات تصدير النماذج وأدوات ما بعد التدريب مثل التكميم والتقطير ودعم التعلم المعزز بما في ذلك RLHF. يوفر Megatron Bridge تحويلًا ثنائي الاتجاه لنقاط التفتيش بين صيغ Hugging Face وMegatron. يذكر المشروع تدريب نماذج من 2 مليار إلى 462 مليار معلمة عبر آلاف وحدات معالجة الرسوميات، مع استخدام يصل إلى 47% من عمليات النموذج الحسابية على مجموعات H100. يتوفر التثبيت عبر PyPI أو من المصدر، وتغطي الوثائق أولى عمليات التدريب واستراتيجيات التوازي وإرشادات المساهمة.