tiktoken

tiktoken 是一款专为 OpenAI 模型设计的快速字节对编码（BPE）分词器。它能够将文本转换为语言模型可处理的 token 序列，具备可逆且无损的编码特性，支持任意文本输入，每个 token 平均占用约 4 字节以实现压缩。该库提供对特定编码（如 o200k_base 和 cl100k_base）的访问，并可通过 encoding_for_model 为 gpt-4o 等模型自动选择合适的分词器。此外，它还包含一个教育子模块，用于可视化和学习 BPE 流程。用户可通过直接创建自定义 Encoding 对象，或利用 tiktoken_ext 插件机制注册新编码来扩展 tiktoken。根据基准测试，该项目的性能比同类开源分词器快 3 到 6 倍。