প্রকল্প সম্পর্কে

Megatron-LM একটি রেফারেন্স উদাহরণ যা Megatron Core-কে পূর্ব-কনফিগার করা প্রশিক্ষণ স্ক্রিপ্টের সাথে বান্ডিল করে, গবেষণা দল, ডিস্ট্রিবিউটেড প্রশিক্ষণ শেখা এবং দ্রুত পরীক্ষা-নিরীক্ষার লক্ষ্যে তৈরি। Megatron Core হলো কাস্টম প্রশিক্ষণ ফ্রেমওয়ার্কের জন্য GPU-অপ্টিমাইজড বিল্ডিং ব্লকের একটি কম্পোজেবল লাইব্রেরি, যা ট্রান্সফরমার কম্পোনেন্ট, উন্নত প্যারালালিজম কৌশল (টেনসর, পাইপলাইন, ডেটা, এক্সপার্ট এবং কনটেক্সট প্যারালালিজম), মিশ্র নির্ভুলতা সমর্থন (FP16, BF16, FP8 এবং FP4) এবং মডেল আর্কিটেকচার সরবরাহ করে। রিপোজিটরিতে ইনফারেন্স ইঞ্জিন, মডেল এক্সপোর্ট ইউটিলিটি, কোয়ান্টাইজেশন ও ডিস্টিলেশনের মতো পোস্ট-ট্রেনিং টুল এবং RLHF সহ রিইনফোর্সমেন্ট লার্নিং সমর্থনও অন্তর্ভুক্ত রয়েছে। Megatron Bridge Hugging Face এবং Megatron ফরম্যাটের মধ্যে দ্বিমুখী চেকপয়েন্ট রূপান্তর প্রদান করে। প্রকল্পটি হাজার হাজার GPU-তে 2B থেকে 462B প্যারামিটার পর্যন্ত মডেল প্রশিক্ষণের রিপোর্ট করে, H100 ক্লাস্টারে 47% পর্যন্ত Model FLOP Utilization অর্জন করেছে। ইনস্টলেশন PyPI থেকে বা সোর্স থেকে পাওয়া যায় এবং ডকুমেন্টেশনে প্রথম প্রশিক্ষণ রান, প্যারালালিজম কৌশল এবং অবদানের নির্দেশিকা অন্তর্ভুক্ত রয়েছে।