nobodywho

NobodyWho es un motor de inferencia que te permite ejecutar modelos de lenguaje grandes (LLM) de forma local y eficiente en cualquier dispositivo. Admite la ejecución de cualquier LLM de chat en formato GGUF, incluidos Gemma, Qwen y Mistral, con aceleración por GPU mediante Vulkan o Metal. Las características clave incluyen llamadas a herramientas rápidas y con seguridad de tipos con gramáticas estructuradas generadas automáticamente, entrada multimodal (imagen y audio), texto a voz, voz a texto y detección de actividad de voz. Los modelos se pueden descargar directamente desde Hugging Face o cualquier URL. El motor está construido en Rust con enlaces para Kotlin, Swift, React Native/Expo, Flutter, Python y Godot, y también proporciona un servidor local experimental que implementa la API OpenAI Chat Completions. Se ejecuta en escritorio (Linux, macOS, Windows), Android, iOS, visionOS y watchOS, con requisitos de memoria aproximadamente 1,5 veces el tamaño del archivo del modelo en escritorio y 2 veces en móvil. El proyecto está licenciado bajo EUPL-1.2, lo que permite su uso en proyectos propietarios y comerciales.