প্রকল্প সম্পর্কে

NeMo AutoModel হলো NVIDIA NeMo Framework-এর অধীনে একটি ওপেন-সোর্স প্রশিক্ষণ লাইব্রেরি, যা বড় আকারের প্রশিক্ষণের জন্য PyTorch DTensor-ভিত্তিক SPMD লাইব্রেরি হিসেবে বর্ণিত। এটি বড় ভাষা মডেল, ভিশন-ল্যাঙ্গুয়েজ মডেল, ডিফিউশন মডেল এবং রিট্রিভাল মডেলের প্রশিক্ষণ ও ফাইন-টিউনিংয়ের লক্ষ্যে তৈরি, এবং ছোট পরীক্ষা থেকে মাল্টি-GPU, মাল্টি-নোড ডিপ্লয়মেন্ট পর্যন্ত সমর্থন করার চেষ্টা করে। README থেকে প্রাপ্ত মূল বৈশিষ্ট্যগুলি: - Hugging Face-এর জন্য আউট-অফ-দ্য-বক্স সমর্থন, অনেক মডেল পরিবার এবং চেকপয়েন্টের জন্য রেসিপি সহ। - PyTorch-নেটিভ প্যারালালিজম, যার মধ্যে টেনসর, পাইপলাইন, এক্সপার্ট, কনটেক্সট এবং ডেটা প্যারালালিজম, সাথে প্যাকড সিকোয়েন্স প্রশিক্ষণ। - ফুল-প্যারামিটার SFT এবং LoRA/PEFT-এর মতো ফাইন-টিউনিং পদ্ধতি, LLM এবং VLM ওয়ার্কলোডের জন্য উদাহরণ YAML রেসিপি সহ। - Mixture-of-Experts মডেল, হাইব্রিড অ্যাটেনশন ব্যাকবোন এবং স্পেকুলেটিভ ডিকোডিং ড্রাফটার প্রশিক্ষণ (EAGLE ভ্যারিয়েন্ট, DFlash, DSpark) সমর্থন। - ডিফিউশন এবং টেক্সট-টু-ইমেজ ফাইন-টিউনিং উদাহরণ, সাথে রিট্রিভাল মডেল কভারেজ। - রিপোজিটরিতে ডকুমেন্টেশন, মডেল কভারেজ পেজ, পারফরম্যান্স সারাংশ, টিউটোরিয়াল এবং এজেন্ট-ভিত্তিক দক্ষতা। প্রকল্পটি Python (3.10+) এ লেখা এবং গবেষক ও ইঞ্জিনিয়ারদের জন্য তৈরি যাদের পুনরুত্পাদনযোগ্য, স্কেলযোগ্য প্রশিক্ষণ ওয়ার্কফ্লো প্রয়োজন। README-তে বেঞ্চমার্ক দাবির চেয়ে রেসিপি, গাইড এবং উদাহরণের উপর জোর দেওয়া হয়েছে।