ओपन सोर्स। नई संभावनाएँ।

Swift Tokenizers, Hugging Face के Rust tokenizers crate का एक उच्च-प्रदर्शन वाला Swift रैपर है, जो केवल टोकनाइजेशन पर केंद्रित है और Hub निर्भरताओं के बिना काम करता है। यह macOS, iOS और Linux का समर्थन करता है और एन्कोडिंग, डिकोडिंग, स्ट्रीमिंग डिटोकनाइजेशन, चैट टेम्पलेट और टूल कॉलिंग प्रदान करता है।