프로젝트 소개

TurboFieldfare는 Apple Silicon Mac(8GB 머신 포함)에서 instruction-tuned Gemma 4 26B-A4B 모델을 실행하기 위해 Swift와 Metal로 작성된 모델 전용 추론 런타임입니다. 전체 약 14.3GB 체크포인트를 로드하는 대신, 공유 코어와 FP16 KV 캐시를 상주시킵니다(약 2GB의 가중치와 4K KV 캐시). 그리고 바운드된 expert 캐시를 통해 토큰마다 필요한 expert만 SSD에서 스트리밍합니다. 포함된 내용: - 양자화된 GEMV, attention, MoE, normalization, RoPE, sampling 및 fusion을 위한 커스텀 Metal 커널이 있는 Swift 라이브러리. - 네이티브 SwiftUI/AppKit Mac 앱과 로컬 디코드 서비스. - instruction chat 및 raw completion을 위한 명령줄 인터페이스. - 고정된 Hugging Face 바이트 범위를 가져와 .gturbo 레이아웃을 직접 작성하는 스트리밍 설치 프로그램/리패커와 설치 검증 및 재개 지원. - 스트리밍, function-tool 선언, 단일 prefix 프롬프트 재사용을 지원하는 실험적 루프백 OpenAI 호환 Chat Completions 서버. 원격 인증이나 TLS는 없습니다. - 별도로 설치된 vision companion pack(약 1.1GB)을 통한 선택적 이미지 입력. M2 이상 하드웨어가 필요하며, 텍스트 전용 추론은 M1에서 작동합니다. 가중치는 MLX affine 4-bit(group 64)이며 8-bit 라우터를 사용합니다. 프롬프트 prefill은 청크 단위(최대 128 토큰)로 처리되어 가져온 expert가 여러 행을 처리한 후 토큰별 생성이 이어집니다. README에 따르면 8GB M2 MacBook Air에서 5.1-6.3 tok/s, 24GB M5 Pro에서 31-35 tok/s의 디코드 속도가 측정되었으며, 이는 프롬프트 길이, 페이지 캐시 상태 및 하드웨어에 따라 달라집니다. 요구 사항은 macOS 26(Metal 4), Xcode 26, Swift 6.2 이상이며 arm64 전용입니다. 오디오와 비디오는 범위 밖입니다. 소스는 Apache 2.0이며, 모델 가중치는 자체 조건에 따라 별도로 다운로드되고, 이 프로젝트는 Google과 독립적이라고 명시하고 있습니다.