Об этом проекте

tiktoken — это быстрый токенизатор на основе Byte Pair Encoding (BPE), предназначенный для работы с моделями OpenAI. Он преобразует текст в последовательности токенов, которые могут обрабатывать языковые модели, обеспечивая обратимое кодирование без потерь, поддержку произвольного текста и сжатие, при котором каждый токен в среднем занимает около 4 байт. Библиотека предоставляет доступ к конкретным кодировкам, таким как o200k_base и cl100k_base, и может выбирать подходящий токенизатор для моделей вроде gpt-4o с помощью encoding_for_model. В состав входит обучающий подмодуль для визуализации и изучения процедуры BPE. Пользователи могут расширять tiktoken, создавая собственные объекты Encoding напрямую или регистрируя новые кодировки через механизм плагинов tiktoken_ext. В бенчмарках проекта заявлена производительность в 3–6 раз выше, чем у сопоставимого токенизатора с открытым исходным кодом.