nobodywho

NobodyWho est un moteur d'inférence qui vous permet d'exécuter des grands modèles de langage (LLM) localement et efficacement sur n'importe quel appareil. Il prend en charge l'exécution de tout LLM de chat au format GGUF, notamment Gemma, Qwen et Mistral, avec accélération GPU via Vulkan ou Metal. Les fonctionnalités clés incluent l'appel d'outils rapide et sûr au niveau des types avec des grammaires structurées générées automatiquement, l'entrée multimodale (image et audio), la synthèse vocale, la reconnaissance vocale et la détection d'activité vocale. Les modèles peuvent être téléchargés directement depuis Hugging Face ou n'importe quelle URL. Le moteur est construit en Rust avec des bindings pour Kotlin, Swift, React Native/Expo, Flutter, Python et Godot, et fournit également un serveur local expérimental implémentant l'API OpenAI Chat Completions. Il fonctionne sur ordinateur de bureau (Linux, macOS, Windows), Android, iOS, visionOS et watchOS, avec des besoins en mémoire d'environ 1,5 fois la taille du fichier de modèle sur ordinateur de bureau et 2 fois sur mobile. Le projet est sous licence EUPL-1.2, autorisant son utilisation dans des projets propriétaires et commerciaux.