swift-tokenizersDePasqualeOrg
신규Swift Tokenizers는 Hugging Face의 Rust tokenizers 크레이트를 래핑한 고성능 Swift 패키지입니다. Hub 의존성 없이 토큰화에만 집중하며 macOS, iOS, Linux를 지원합니다. 인코딩, 디코딩, 스트리밍 디토큰화, 채팅 템플릿 및 도구 호출 기능을 제공합니다.
OPEN SOURCE, OPEN TO EVERYONE
오픈 소스. 새로운 가능성.
우수한 오픈 소스 프로젝트를 발견하고, 익명으로 프로젝트를 제출하며, 내 프로젝트를 신청해 편집하세요.
✳편집자 선정 · 좋은 오픈 소스 발견4108발견됨
호기심으로 오픈 소스의 세계를 발견하세요.
THE FIRST COLLECTION내일의 스타
별 10개 미만, 최근 30일 동안 5회 이상 커밋 — 정성껏 만든 프로젝트입니다.
Topic: tokenization清除