ওপেন সোর্স। নতুন সম্ভাবনা।

Swift Tokenizers হলো Hugging Face-এর Rust tokenizers crate-এর একটি উচ্চ-কর্মক্ষমতা Swift র্যাপার, যা শুধু টোকেনাইজেশনে মনোযোগ দেয় এবং Hub-নির্ভরতা ছাড়াই কাজ করে। এটি macOS, iOS ও Linux সমর্থন করে, encoding, decoding, streaming detokenization, chat templates ও tool calling সুবিধা দেয়।