इस प्रोजेक्ट के बारे में

NeMo AutoModel NVIDIA NeMo फ्रेमवर्क के अंतर्गत एक ओपन-सोर्स ट्रेनिंग लाइब्रेरी है, जिसे बड़े पैमाने पर ट्रेनिंग के लिए PyTorch DTensor-नेटिव SPMD लाइब्रेरी के रूप में वर्णित किया गया है। इसका लक्ष्य बड़े भाषा मॉडल, विज़न-लैंग्वेज मॉडल, डिफ्यूजन मॉडल और रिट्रीवल मॉडल का ट्रेनिंग और फाइन-ट्यूनिंग करना है, जिसका उद्देश्य छोटे प्रयोगों और मल्टी-जीपीयू, मल्टी-नोड परिनियोजन दोनों का समर्थन करना है। README से प्रमाणित मुख्य विशेषताएं: - आउट-ऑफ-द-बॉक्स Hugging Face समर्थन, कई मॉडल परिवारों और चेकपॉइंट्स के लिए रेसिपी के साथ। - PyTorch-नेटिव समानांतरता, जिसमें टेंसर, पाइपलाइन, एक्सपर्ट, कॉन्टेक्स्ट और डेटा समानांतरता, साथ ही पैक्ड सीक्वेंस ट्रेनिंग शामिल है। - फुल-पैरामीटर SFT और LoRA/PEFT जैसी फाइन-ट्यूनिंग विधियां, LLM और VLM कार्यभार के लिए उदाहरण YAML रेसिपी के साथ। - मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल, हाइब्रिड अटेंशन बैकबोन, और स्पेक्युलेटिव डिकोडिंग ड्राफ्टर ट्रेनिंग (EAGLE वेरिएंट, DFlash, DSpark) के लिए समर्थन। - डिफ्यूजन और टेक्स्ट-टू-इमेज फाइन-ट्यूनिंग उदाहरण, साथ ही रिट्रीवल-मॉडल कवरेज। - रिपॉजिटरी में दस्तावेज़ीकरण, मॉडल कवरेज पेज, प्रदर्शन सारांश, ट्यूटोरियल और एजेंट-उन्मुख कौशल। यह प्रोजेक्ट Python (3.10+) में लिखा गया है और शोधकर्ताओं तथा इंजीनियरों के लिए है जिन्हें प्रतिलिपि योग्य, स्केलेबल ट्रेनिंग वर्कफ्लो की आवश्यकता होती है। README बेंचमार्क दावों के बजाय रेसिपी, गाइड और उदाहरणों पर जोर देता है।