nobodywho

NobodyWho é um motor de inferência que permite executar grandes modelos de linguagem (LLMs) localmente e com eficiência em qualquer dispositivo. Ele suporta a execução de qualquer LLM de chat no formato GGUF, incluindo Gemma, Qwen e Mistral, com aceleração de GPU via Vulkan ou Metal. Os principais recursos incluem chamadas de ferramentas rápidas e com segurança de tipos, com gramáticas estruturadas geradas automaticamente, entrada multimodal (imagem e áudio), conversão de texto em fala, conversão de fala em texto e detecção de atividade de voz. Os modelos podem ser baixados diretamente do Hugging Face ou de qualquer URL. O motor é construído em Rust com bindings para Kotlin, Swift, React Native/Expo, Flutter, Python e Godot, e também fornece um servidor local experimental que implementa a API OpenAI Chat Completions. Ele funciona em desktop (Linux, macOS, Windows), Android, iOS, visionOS e watchOS, com requisitos de memória de aproximadamente 1,5x o tamanho do arquivo do modelo em desktop e 2x em dispositivos móveis. O projeto é licenciado sob a EUPL-1.2, permitindo uso em projetos proprietários e comerciais.