اوپن سورس۔ نئے امکانات۔

Swift Tokenizers، Hugging Face کے Rust tokenizers crate کا ایک ہائی پرفارمنس Swift ریپر ہے جو صرف ٹوکنائزیشن پر مرکوز ہے اور Hub پر انحصار نہیں رکھتا۔ یہ macOS، iOS اور Linux کی حمایت کرتا ہے اور انکوڈنگ، ڈی کوڈنگ، اسٹریمنگ ڈی ٹوکنائزیشن، چیٹ ٹیمپلیٹس اور ٹول کالنگ کی سہولیات فراہم کرتا ہے۔