Sobre el proyecto

Local Multimodal LLM es un plugin de Unreal Engine 5 que permite la inferencia local y offline de IA multimodal dentro del motor. Proporciona un conjunto de capacidades que incluyen el procesamiento de Large Language Model (LLM), Speech-to-Text (STT) y Text-to-Speech (TTS), junto con memoria de personajes, enrutamiento y llamadas a herramientas restringidas. Las características técnicas clave incluyen: - Runtimes de inferencia nativos de Win64 con soporte para CPU, Vulkan y aceleración opcional de CUDA 12 para GPUs de NVIDIA. - Integración con modelos específicos como Gemma 4 E2B, Parakeet STT y Pocket TTS. - APIs orientadas a Blueprint para la integración en proyectos de Unreal Engine. - Un puente complementario de MetaHuman Audio Live Link para sincronizar el audio con personajes MetaHuman. - Soporte para catálogos de voz neutrales respecto al proveedor y selección de voz por personaje.