عن المشروع

tiktoken هو محلل رموز Byte Pair Encoding (BPE) سريع مصمم للاستخدام مع نماذج OpenAI. يحول النص إلى تسلسلات رموز يمكن لنماذج اللغة معالجتها، مع ترميز قابل للعكس وغير خاسر، ودعم للنص التعسفي، وضغط حيث يبلغ متوسط كل رمز حوالي 4 بايتات. توفر المكتبة الوصول إلى ترميزات محددة مثل o200k_base و cl100k_base، ويمكنها اختيار المحلل المناسب لنماذج مثل gpt-4o عبر encoding_for_model. تتضمن وحدة فرعية تعليمية لتصور وتعلم إجراء BPE. يمكن للمستخدمين توسيع tiktoken عن طريق إنشاء كائنات Encoding مخصصة مباشرة أو عن طريق تسجيل ترميزات جديدة عبر آلية إضافة tiktoken_ext. يبلغ المشروع عن أداء أسرع بمقدار 3-6 مرات من محلل رموز مفتوح المصدر مماثل في معاييره.