প্রকল্প সম্পর্কে
PEFT (Parameter-Efficient Fine-Tuning) পুরো নেটওয়ার্কের পরিবর্তে মডেল প্যারামিটারের একটি ছোট সাবসেট ফাইন-টিউন করার মাধ্যমে বড় প্রি-ট্রেইনড মডেলগুলোকে ডাউনস্ট্রিম টাস্কের জন্য উপযোগী করে তোলে। এই পদ্ধতিটি GPU মেমরি প্রয়োজনীয়তা এবং চেকপয়েন্টগুলোর জন্য স্টোরেজ স্পেস উল্লেখযোগ্যভাবে হ্রাস করে।
এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে:
- LoRA, Soft prompts এবং IA3-এর মতো বিভিন্ন PEFT পদ্ধতির বাস্তবায়ন।
- Hugging Face ইকোসিস্টেমের সাথে ইন্টিগ্রেশন, যার মধ্যে ট্রেনিং/ইনফারেন্সের জন্য Transformers, অ্যাডাপ্টার ম্যানেজমেন্টের জন্য Diffusers এবং ডিস্ট্রিবিউটেড কম্পিউটিংয়ের জন্য Accelerate অন্তর্ভুক্ত।
- মেমরি ফুটপ্রিন্ট আরও কমাতে কোয়ান্টাইজেশন (যেমন, QLoRA) সমর্থন, যা কনজিউমার-গ্রেড হার্ডওয়্যারে বড় মডেল প্রশিক্ষণের সুযোগ করে দেয়।
- সম্পূর্ণ মডেল ওয়েট-এর পরিবর্তে হালকা ওজনের অ্যাডাপ্টার (প্রায়শই মাত্র কয়েক MB) সংরক্ষণ এবং লোড করার ক্ষমতা।
- Direct Preference Optimization (DPO)-সহ RLHF (Reinforcement Learning from Human Feedback) ওয়ার্কফ্লোর জন্য TRL-এর সাথে সামঞ্জস্যতা।