इस प्रोजेक्ट के बारे में
Transformers एक ओपन-सोर्स मॉडल-डेफिनिशन फ्रेमवर्क है जिसे टेक्स्ट, कंप्यूटर विजन, ऑडियो, वीडियो और मल्टीमॉडल मॉडल से जुड़े मशीन लर्निंग कार्यों के लिए डिज़ाइन किया गया है। यह मशीन लर्निंग इकोसिस्टम में एक केंद्रीय हब के रूप में कार्य करता है, जो प्रमुख ट्रेनिंग फ्रेमवर्क्स (जैसे Axolotl, Unsloth, DeepSpeed, FSDP और PyTorch-Lightning), इन्फरेंस इंजनों (vLLM, SGLang और TGI सहित), और llama.cpp और mlx जैसी निकटवर्ती मॉडलिंग लाइब्रेरीज़ के साथ अनुकूलता सुनिश्चित करता है।
### मुख्य विशेषताएं
- **Unified API:** सैकड़ों मॉडल आर्किटेक्चर पर ट्रेनिंग, मूल्यांकन और इन्फरेंस चलाने के लिए एक सुसंगत इंटरफ़ेस प्रदान करता है।
- **Pipeline API:** टेक्स्ट जनरेशन, ऑटोमैटिक स्पीच रिकग्निशन, इमेज क्लासिफिकेशन और विजुअल क्वेश्चन आंसरिंग सहित कई मोडैलिटीज़ में त्वरित इन्फरेंस के लिए एक उच्च-स्तरीय एब्स्ट्रैक्शन।
- **Framework Interoperability:** उपयोगकर्ताओं को एक ही मॉडल को PyTorch, JAX और TensorFlow 2.0 के बीच सहजता से ले जाने की अनुमति देता है।
- **Hugging Face Hub Integration:** 1 मिलियन से अधिक प्री-ट्रेंड मॉडल चेकपॉइंट्स तक सीधी पहुंच प्रदान करता है।
- **Customizable Internals:** मॉडल आर्किटेक्चर को न्यूनतम एब्स्ट्रैक्शन के साथ डिज़ाइन किया गया है, जो आंतरिक संरचनाओं को उजागर करता है ताकि शोधकर्ता और डेवलपर्स स्वतंत्र रूप से मॉडल फाइलों को आसानी से कस्टमाइज़ और इटरेट कर सकें।