مصدر مفتوح. آفاق جديدة.

Swift Tokenizers هي حزمة Swift عالية الأداء تغلّف مكتبة tokenizers المكتوبة بلغة Rust من Hugging Face، وتركز فقط على الترميز دون الاعتماد على Hub. تدعم macOS وiOS وLinux، وتوفر الترميز وفك الترميز وفك الترميز المتدفق وقالب الدردشة واستدعاء الأدوات.