প্রকল্প সম্পর্কে

🤗 Accelerate হল Hugging Face-এর একটি লাইব্রেরি, যা PyTorch ব্যবহারকারীদের জন্য ডিজাইন করা হয়েছে যারা কোনো ডিভাইস বা ডিস্ট্রিবিউটেড কনফিগারেশনে প্রশিক্ষণ স্ক্রিপ্ট চালাতে চান, বয়লারপ্লেট কোড পুনর্লিখন ছাড়াই। এটি শুধুমাত্র প্রয়োজনীয় অংশগুলো—মাল্টি-GPU, TPU, এবং মিশ্র নির্ভুলতা (fp8, fp16, bf16)—অ্যাবস্ট্র্যাক্ট করে, বাকি কোড অপরিবর্তিত রেখে। একটি স্ট্যান্ডার্ড PyTorch স্ক্রিপ্টে মাত্র কয়েক লাইন যোগ করে, আপনি একক CPU, একক GPU, মাল্টি-GPU, বা TPU সেটআপে চালাতে পারেন, মিশ্র নির্ভুলতা সহ বা ছাড়া। লাইব্রেরিটি একটি `Accelerator` ক্লাস প্রদান করে যা ডিভাইস স্থাপন, মিশ্র নির্ভুলতা এবং ডিস্ট্রিবিউটেড প্রশিক্ষণ সেটআপ পরিচালনা করে। এতে একটি CLI টুল (`accelerate config` এবং `accelerate launch`) অন্তর্ভুক্ত রয়েছে যা প্রশিক্ষণ পরিবেশ দ্রুত কনফিগার ও চালু করতে সাহায্য করে, `torch.distributed.run` বা TPU-নির্দিষ্ট লঞ্চার মনে রাখার প্রয়োজনীয়তা দূর করে। নোটবুক ব্যবহারকারীদের জন্য, একটি `notebook_launcher` ফাংশন Colab বা Kaggle নোটবুক থেকে ডিস্ট্রিবিউটেড প্রশিক্ষণ সক্ষম করে। Accelerate উন্নত ডিস্ট্রিবিউটেড প্রশিক্ষণের জন্য DeepSpeed এবং PyTorch Fully Sharded Data Parallel (FSDP), পাশাপাশি Megatron-LM সমর্থন করে। এটি Hugging Face Transformers-এর PyTorch প্রশিক্ষণের ব্যাকএন্ড হিসেবে ব্যবহৃত হয় এবং fastai, Catalyst, এবং Stable Diffusion Web UI-এর মতো অনেক অন্যান্য ফ্রেমওয়ার্কে সংহত। ইনস্টলেশন সহজ: `pip install accelerate`, এবং এতে Python 3.8+ এবং PyTorch 1.10.0+ প্রয়োজন। প্রকল্পটি Apache 2.0 লাইসেন্সের অধীনে ওপেন-সোর্স এবং এর বিস্তৃত ডকুমেন্টেশন ও উদাহরণ রয়েছে।