منصوبے کے بارے میں

tiktoken ایک تیز بائٹ پیئر انکوڈنگ (BPE) ٹوکنائزر ہے جو OpenAI کے ماڈلز کے ساتھ استعمال کے لیے ڈیزائن کیا گیا ہے۔ یہ متن کو ٹوکن کی ترتیبوں میں تبدیل کرتا ہے جنہیں زبان کے ماڈل پروسیس کر سکتے ہیں، جس میں ریورسیبل اور بلا نقصان انکوڈنگ، صوابدیدی متن کے لیے معاونت، اور کمپریشن شامل ہے جہاں ہر ٹوکن اوسطاً 4 بائٹس پر مشتمل ہوتا ہے۔ لائبریری مخصوص انکوڈنگز جیسے o200k_base اور cl100k_base تک رسائی فراہم کرتی ہے، اور encoding_for_model کے ذریعے gpt-4o جیسے ماڈلز کے لیے مناسب ٹوکنائزر منتخب کر سکتی ہے۔ اس میں BPE طریقہ کار کو دیکھنے اور سیکھنے کے لیے ایک تعلیمی ذیلی ماڈیول شامل ہے۔ صارفین tiktoken کو براہ راست اپنی مرضی کے Encoding آبجیکٹ بنا کر یا tiktoken_ext پلگ ان میکانزم کے ذریعے نئی انکوڈنگز رجسٹر کر کے بڑھا سکتے ہیں۔ پروجیکٹ اپنے بینچ مارکس میں ایک موازنہ اوپن سورس ٹوکنائزر سے 3-6 گنا تیز کارکردگی کی اطلاع دیتا ہے۔