इस प्रोजेक्ट के बारे में

Megatron-LM एक संदर्भ उदाहरण है जो Megatron Core को पूर्व-कॉन्फ़िगर प्रशिक्षण स्क्रिप्ट के साथ बंडल करता है, जिसका उद्देश्य अनुसंधान टीमों, वितरित प्रशिक्षण सीखने और त्वरित प्रयोग के लिए है। Megatron Core कस्टम प्रशिक्षण फ्रेमवर्क के लिए GPU-अनुकूलित बिल्डिंग ब्लॉक की एक संयोजनीय लाइब्रेरी है, जो ट्रांसफार्मर घटक, उन्नत समानांतरता रणनीतियाँ (टेंसर, पाइपलाइन, डेटा, विशेषज्ञ और संदर्भ समानांतरता), मिश्रित परिशुद्धता समर्थन (FP16, BF16, FP8 और FP4), और मॉडल आर्किटेक्चर प्रदान करती है। रिपॉजिटरी में अनुमान इंजन, मॉडल निर्यात उपयोगिताएँ, क्वांटिज़ेशन और डिस्टिलेशन जैसे पोस्ट-ट्रेनिंग उपकरण, और RLHF सहित सुदृढीकरण सीखने का समर्थन भी शामिल है। Megatron Bridge Hugging Face और Megatron प्रारूपों के बीच द्विदिश चेकपॉइंट रूपांतरण प्रदान करता है। परियोजना हजारों GPU पर 2B से 462B पैरामीटर तक के मॉडल प्रशिक्षित करने की रिपोर्ट करती है, जिसमें H100 क्लस्टर पर 47% तक मॉडल FLOP उपयोग होता है। स्थापना PyPI के माध्यम से या स्रोत से उपलब्ध है, और दस्तावेज़ीकरण पहले प्रशिक्षण रन, समानांतरता रणनीतियों और योगदान दिशानिर्देशों को कवर करता है।