इस प्रोजेक्ट के बारे में

🤗 Accelerate हगिंग फेस की एक लाइब्रेरी है जो PyTorch उपयोगकर्ताओं के लिए डिज़ाइन की गई है, ताकि वे अपने प्रशिक्षण स्क्रिप्ट को किसी भी डिवाइस या वितरित कॉन्फ़िगरेशन पर बिना बॉयलरप्लेट कोड लिखे चला सकें। यह केवल आवश्यक भागों—मल्टी-जीपीयू, टीपीयू, और मिश्रित परिशुद्धता (fp8, fp16, bf16)—को अमूर्त करता है, जबकि आपके बाकी कोड को अपरिवर्तित छोड़ देता है। एक मानक PyTorch स्क्रिप्ट में कुछ पंक्तियाँ जोड़कर, आप सिंगल सीपीयू, सिंगल जीपीयू, मल्टी-जीपीयू, या टीपीयू सेटअपों पर, मिश्रित परिशुद्धता के साथ या बिना, चला सकते हैं। लाइब्रेरी एक `Accelerator` क्लास प्रदान करती है जो डिवाइस प्लेसमेंट, मिश्रित परिशुद्धता, और वितरित प्रशिक्षण सेटअप को संभालती है। इसमें एक CLI टूल (`accelerate config` और `accelerate launch`) भी शामिल है जो प्रशिक्षण वातावरण को त्वरित रूप से कॉन्फ़िगर और लॉन्च करने के लिए है, जिससे `torch.distributed.run` या टीपीयू-विशिष्ट लॉन्चरों को याद रखने की आवश्यकता समाप्त हो जाती है। नोटबुक उपयोगकर्ताओं के लिए, एक `notebook_launcher` फ़ंक्शन कोलाब या कागल नोटबुक से वितरित प्रशिक्षण को सक्षम करता है। Accelerate उन्नत वितरित प्रशिक्षण के लिए DeepSpeed और PyTorch फुली शार्डेड डेटा पैरेलल (FSDP) के साथ-साथ Megatron-LM का समर्थन करता है। इसका उपयोग हगिंग फेस ट्रांसफॉर्मर्स के PyTorch प्रशिक्षण के बैकएंड के रूप में किया जाता है और यह fastai, Catalyst, और स्टेबल डिफ्यूजन वेब यूआई जैसे कई अन्य फ्रेमवर्क में एकीकृत है। स्थापना `pip install accelerate` के माध्यम से सीधी है, और इसके लिए Python 3.8+ और PyTorch 1.10.0+ की आवश्यकता है। परियोजना Apache 2.0 लाइसेंस के तहत ओपन-सोर्स है और इसमें व्यापक दस्तावेज़ीकरण और उदाहरण हैं।