Открытый код. Новые возможности.

Swift Tokenizers — это высокопроизводительная Swift-обёртка над Rust-крейтом tokenizers от Hugging Face, ориентированная исключительно на токенизацию без зависимостей от Hub. Поддерживает macOS, iOS и Linux, предлагая кодирование, декодирование, потоковую детокенизацию, чат-шаблоны и вызовы инструментов.