Об этом проекте

NobodyWho — это движок логического вывода, который позволяет запускать большие языковые модели (LLM) локально и эффективно на любом устройстве. Он поддерживает запуск любых чат-LLM в формате GGUF, включая Gemma, Qwen и Mistral, с аппаратным ускорением через Vulkan или Metal. Ключевые особенности включают быстрые, типобезопасные вызовы инструментов с автоматически генерируемыми структурированными грамматиками, мультимодальный ввод (изображения и аудио), синтез речи, распознавание речи и обнаружение голосовой активности. Модели можно загружать напрямую с Hugging Face или по любому URL. Движок написан на Rust с привязками для Kotlin, Swift, React Native/Expo, Flutter, Python и Godot, а также предоставляет экспериментальный локальный сервер, реализующий API OpenAI Chat Completions. Он работает на настольных системах (Linux, macOS, Windows), Android, iOS, visionOS и watchOS, с требованиями к памяти примерно 1,5x размера файла модели на настольных системах и 2x на мобильных. Проект лицензирован под EUPL-1.2, что позволяет использовать его в проприетарных и коммерческих проектах.