Sobre el proyecto
Local Multimodal LLM es un plugin de Unreal Engine 5 que permite la inferencia local y offline de IA multimodal dentro del motor. Proporciona un conjunto de capacidades que incluyen el procesamiento de Large Language Model (LLM), Speech-to-Text (STT) y Text-to-Speech (TTS), junto con memoria de personajes, enrutamiento y llamadas a herramientas restringidas.
Las características técnicas clave incluyen:
- Runtimes de inferencia nativos de Win64 con soporte para CPU, Vulkan y aceleración opcional de CUDA 12 para GPUs de NVIDIA.
- Integración con modelos específicos como Gemma 4 E2B, Parakeet STT y Pocket TTS.
- APIs orientadas a Blueprint para la integración en proyectos de Unreal Engine.
- Un puente complementario de MetaHuman Audio Live Link para sincronizar el audio con personajes MetaHuman.
- Soporte para catálogos de voz neutrales respecto al proveedor y selección de voz por personaje.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.