اوپن سورس۔ نئے امکانات۔

سرکاری کوڈ ریپوزٹری برائے 'Build a Large Language Model (From Scratch)': GPT نما ماڈلز کی مرحلہ وار PyTorch عمل درآمد، نوٹ بکس اور مشقوں کے ساتھ پری ٹریننگ اور فائن ٹیوننگ کا احاطہ۔

Swift Tokenizers، Hugging Face کے Rust tokenizers crate کا ایک ہائی پرفارمنس Swift ریپر ہے جو صرف ٹوکنائزیشن پر مرکوز ہے اور Hub پر انحصار نہیں رکھتا۔ یہ macOS، iOS اور Linux کی حمایت کرتا ہے اور انکوڈنگ، ڈی کوڈنگ، اسٹریمنگ ڈی ٹوکنائزیشن، چیٹ ٹیمپلیٹس اور ٹول کالنگ کی سہولیات فراہم کرتا ہے۔