منصوبے کے بارے میں
PEFT (Parameter-Efficient Fine-Tuning) بڑے پری ٹرینڈ ماڈلز کو پورے نیٹ ورک کے بجائے ماڈل پیرامیٹرز کے صرف ایک چھوٹے subset کو فائن ٹیون کر کے ڈاؤن اسٹریم ٹاسکس کے مطابق ڈھالنے کے قابل بناتا ہے۔ یہ طریقہ GPU میموری کی ضروریات اور چیک پوائنٹس کے لیے اسٹوریج اسپیس کو نمایاں طور پر کم کرتا ہے۔
اہم صلاحیتوں میں شامل ہیں:
- LoRA، Soft prompts، اور IA3 جیسے مختلف PEFT طریقوں کا نفاذ۔
- Hugging Face ایکو سسٹم کے ساتھ انٹیگریشن، جس میں ٹریننگ/انفرنس کے لیے Transformers، اڈاپٹر مینجمنٹ کے لیے Diffusers، اور ڈسٹری بیوٹڈ کمپیوٹنگ کے لیے Accelerate شامل ہیں۔
- میموری فٹ پرنٹ کو مزید کم کرنے کے لیے quantization (مثلاً QLoRA) کی سپورٹ، جس سے بڑے ماڈلز کو کنزیومر گریڈ ہارڈویئر پر ٹرین کرنا ممکن ہو جاتا ہے۔
- پورے ماڈل ویٹس کے بجائے ہلکے پھلکے اڈاپٹرز (جو اکثر صرف چند MBs ہوتے ہیں) کو محفوظ کرنے اور لوڈ کرنے کی صلاحیت۔
- RLHF (Reinforcement Learning from Human Feedback) ورک فلو کے لیے TRL کے ساتھ مطابقت، جس میں Direct Preference Optimization (DPO) بھی شامل ہے۔