Об этом проекте

Local Multimodal LLM — это плагин для Unreal Engine 5, который позволяет выполнять локальный офлайн-вывод для мультимодального ИИ внутри движка. Он предоставляет набор возможностей, включая обработку больших языковых моделей (LLM), преобразование речи в текст (STT) и текста в речь (TTS), а также память персонажей, маршрутизацию и ограниченные вызовы инструментов. Ключевые технические особенности включают: - Нативные среды выполнения Win64 с поддержкой CPU, Vulkan и опциональным ускорением CUDA 12 для GPU NVIDIA. - Интеграция со специфическими моделями, такими как Gemma 4 E2B, Parakeet STT и Pocket TTS. - API для Blueprint для интеграции в проекты Unreal Engine. - Сопутствующий мост MetaHuman Audio Live Link для синхронизации аудио с персонажами MetaHuman. - Поддержка нейтральных к провайдеру каталогов голосов и выбор голоса для каждого персонажа.