tiktoken

tiktoken은 OpenAI 모델과 함께 사용하도록 설계된 고속 Byte Pair Encoding(BPE) 토크나이저입니다. 이는 언어 모델이 처리할 수 있는 토큰 시퀀스로 텍스트를 변환하며, 가역적이고 손실 없는 인코딩, 임의 텍스트 지원, 각 토큰이 평균 약 4바이트인 압축 기능을 제공합니다. 이 라이브러리는 o200k_base 및 cl100k_base와 같은 특정 인코딩에 대한 액세스를 제공하며, encoding_for_model을 통해 gpt-4o와 같은 모델에 적합한 토크나이저를 선택할 수 있습니다. 또한 BPE 절차를 시각화하고 학습하기 위한 교육용 하위 모듈을 포함합니다. 사용자는 사용자 정의 Encoding 객체를 직접 생성하거나 tiktoken_ext 플러그인 메커니즘을 통해 새 인코딩을 등록하여 tiktoken을 확장할 수 있습니다. 이 프로젝트는 벤치마크에서 유사한 오픈소스 토크나이저보다 3-6배 빠른 성능을 보고합니다.