প্রকল্প সম্পর্কে
Transformers হলো একটি ওপেন-সোর্স মডেল-ডেফিনিশন ফ্রেমওয়ার্ক যা টেক্সট, কম্পিউটার ভিশন, অডিও, ভিডিও এবং মাল্টিমোডাল মডেল সংক্রান্ত মেশিন লার্নিং টাস্কের জন্য ডিজাইন করা হয়েছে। এটি মেশিন লার্নিং ইকোসিস্টেমের একটি কেন্দ্রীয় হাব হিসেবে কাজ করে, যা প্রধান ট্রেনিং ফ্রেমওয়ার্ক (যেমন Axolotl, Unsloth, DeepSpeed, FSDP এবং PyTorch-Lightning), ইনফারেন্স ইঞ্জিন (vLLM, SGLang এবং TGI সহ) এবং llama.cpp ও mlx-এর মতো সংলগ্ন মডেলিং লাইব্রেরিগুলোর সাথে সামঞ্জস্যতা নিশ্চিত করে।
### মূল বৈশিষ্ট্যসমূহ
- **Unified API:** শত শত মডেল আর্কিটেকচারের উপর ট্রেনিং, মূল্যায়ন এবং ইনফারেন্স চালানোর জন্য একটি সামঞ্জস্যপূর্ণ ইন্টারফেস প্রদান করে।
- **Pipeline API:** টেক্সট জেনারেশন, অটোমেটিক স্পিচ রিকগনিশন, ইমেজ ক্লাসিফিকেশন এবং ভিজ্যুয়াল কোয়েশ্চেন অ্যানসারিং সহ একাধিক মোডালিটির দ্রুত ইনফারেন্সের জন্য একটি উচ্চ-স্তরের অ্যাবস্ট্রাকশন।
- **Framework Interoperability:** ব্যবহারকারীদের একটি একক মডেলকে PyTorch, JAX এবং TensorFlow 2.0-এর মধ্যে নির্বিঘ্নে স্থানান্তরের সুযোগ দেয়।
- **Hugging Face Hub Integration:** ১০ লক্ষেরও বেশি প্রি-ট্রেইনড মডেল চেকপয়েন্টে সরাসরি অ্যাক্সেস প্রদান করে।
- **Customizable Internals:** মডেল আর্কিটেকচারগুলো ন্যূনতম অ্যাবস্ট্রাকশনের সাথে ডিজাইন করা হয়েছে, যা অভ্যন্তরীণ স্ট্রাকচারগুলোকে উন্মুক্ত রাখে যাতে গবেষক এবং ডেভেলপাররা সহজেই মডেল ফাইলগুলো স্বাধীনভাবে কাস্টমাইজ এবং ইটারেট করতে পারেন।