इस प्रोजेक्ट के बारे में
PEFT (Parameter-Efficient Fine-Tuning) पूरे नेटवर्क के बजाय मॉडल मापदंडों के केवल एक छोटे उपसमुच्चय को फाइन-ट्यून करके बड़े प्रीट्रेंड मॉडल को डाउनस्ट्रीम कार्यों के लिए अनुकूलित करने में सक्षम बनाता है। यह दृष्टिकोण GPU मेमोरी आवश्यकताओं और चेकपॉइंट्स के लिए स्टोरेज स्पेस को काफी कम कर देता है।
मुख्य क्षमताओं में शामिल हैं:
- LoRA, Soft prompts और IA3 जैसे विभिन्न PEFT तरीकों का कार्यान्वयन।
- Hugging Face इकोसिस्टम के साथ एकीकरण, जिसमें ट्रेनिंग/इन्फरेंस के लिए Transformers, एडॉप्टर प्रबंधन के लिए Diffusers और डिस्ट्रिब्यूटेड कंप्यूटिंग के लिए Accelerate शामिल हैं।
- मेमोरी फुटप्रिंट को और कम करने के लिए क्वांटाइजेशन (जैसे, QLoRA) का समर्थन, जिससे उपभोक्ता-ग्रेड हार्डवेयर पर बड़े मॉडल को प्रशिक्षित करना संभव हो जाता है।
- पूर्ण मॉडल वेट के बजाय हल्के एडॉप्टर (अक्सर केवल कुछ MBs) को सहेजने और लोड करने की क्षमता।
- Direct Preference Optimization (DPO) सहित RLHF (Reinforcement Learning from Human Feedback) वर्कफ़्लो के लिए TRL के साथ अनुकूलता।