Sobre o projeto

Local Multimodal LLM é um plugin para Unreal Engine 5 que permite a inferência local e offline para IA multimodal dentro do motor. Ele fornece um conjunto de capacidades, incluindo processamento de Large Language Model (LLM), Speech-to-Text (STT) e Text-to-Speech (TTS), juntamente com memória de personagem, roteamento e chamadas de ferramentas restringidas. As principais características técnicas incluem: - Runtimes de inferência nativos Win64 com suporte para CPU, Vulkan e aceleração opcional CUDA 12 para GPUs NVIDIA. - Integração com modelos específicos, como Gemma 4 E2B, Parakeet STT e Pocket TTS. - APIs voltadas para Blueprint para integração em projetos do Unreal Engine. - Uma ponte MetaHuman Audio Live Link complementar para sincronizar áudio com personagens MetaHuman. - Suporte para catálogos de voz neutros em relação ao provedor e seleção de voz por personagem.