Sobre o projeto
Local Multimodal LLM é um plugin para Unreal Engine 5 que permite a inferência local e offline para IA multimodal dentro do motor. Ele fornece um conjunto de capacidades, incluindo processamento de Large Language Model (LLM), Speech-to-Text (STT) e Text-to-Speech (TTS), juntamente com memória de personagem, roteamento e chamadas de ferramentas restringidas.
As principais características técnicas incluem:
- Runtimes de inferência nativos Win64 com suporte para CPU, Vulkan e aceleração opcional CUDA 12 para GPUs NVIDIA.
- Integração com modelos específicos, como Gemma 4 E2B, Parakeet STT e Pocket TTS.
- APIs voltadas para Blueprint para integração em projetos do Unreal Engine.
- Uma ponte MetaHuman Audio Live Link complementar para sincronizar áudio com personagens MetaHuman.
- Suporte para catálogos de voz neutros em relação ao provedor e seleção de voz por personagem.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.