프로젝트 소개
Local Multimodal LLM은 엔진 내에서 멀티모달 AI의 오프라인 로컬 추론을 가능하게 하는 Unreal Engine 5 플러그인입니다. 이 플러그인은 대규모 언어 모델(LLM) 처리, Speech-to-Text(STT), Text-to-Speech(TTS)를 포함한 일련의 기능과 더불어 캐릭터 메모리, 라우팅 및 제약 조건이 있는 도구 호출 기능을 제공합니다.
주요 기술적 특징은 다음과 같습니다:
- CPU, Vulkan 및 NVIDIA GPU를 위한 선택적 CUDA 12 가속을 지원하는 네이티브 Win64 추론 런타임.
- Gemma 4 E2B, Parakeet STT, Pocket TTS와 같은 특정 모델과의 통합.
- Unreal Engine 프로젝트 통합을 위한 Blueprint 지향 API.
- 오디오를 MetaHuman 캐릭터와 동기화하기 위한 컴패니언 MetaHuman Audio Live Link 브리지.
- 제공자 중립적인 음성 카탈로그 및 캐릭터별 음성 선택 지원.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.