프로젝트 소개

NobodyWho는 대규모 언어 모델(LLM)을 모든 기기에서 로컬로 효율적으로 실행할 수 있게 해주는 추론 엔진입니다. Gemma, Qwen, Mistral을 포함한 GGUF 형식의 모든 채팅 LLM 실행을 지원하며, Vulkan 또는 Metal을 통한 GPU 가속을 제공합니다. 주요 기능으로는 자동 생성된 구조화 문법을 사용한 빠르고 타입 안전한 도구 호출, 멀티모달 입력(이미지 및 오디오), 텍스트 음성 변환, 음성 텍스트 변환, 음성 활동 감지가 있습니다. 모델은 Hugging Face 또는 임의의 URL에서 직접 다운로드할 수 있습니다. 이 엔진은 Rust로 구축되었으며 Kotlin, Swift, React Native/Expo, Flutter, Python, Godot용 바인딩을 제공하고, OpenAI Chat Completions API를 구현한 실험적 로컬 서버도 제공합니다. 데스크톱(Linux, macOS, Windows), Android, iOS, visionOS, watchOS에서 실행되며, 메모리 요구 사항은 데스크톱에서 모델 파일 크기의 약 1.5배, 모바일에서 2배입니다. 이 프로젝트는 EUPL-1.2 라이선스로 배포되어 독점 및 상업적 프로젝트에서도 사용할 수 있습니다.