このプロジェクトについて
Local Multimodal LLMは、エンジン内でマルチモーダルAIのオフライン・ローカル推論を可能にするUnreal Engine 5用プラグインです。大規模言語モデル(LLM)処理、Speech-to-Text(STT)、Text-to-Speech(TTS)の一連の機能に加え、キャラクターメモリ、ルーティング、制約付きツールコールを提供します。
主な技術的特徴は以下の通りです:
- CPU、Vulkan、およびNVIDIA GPU向けのオプションのCUDA 12アクセラレーションをサポートするネイティブWin64推論ランタイム。
- Gemma 4 E2B、Parakeet STT、Pocket TTSなどの特定モデルとの統合。
- Unreal Engineプロジェクトへの統合のためのBlueprint向けAPI。
- オーディオをMetaHumanキャラクターと同期させるためのコンパニオンMetaHuman Audio Live Linkブリッジ。
- プロバイダーに依存しないボイスカタログと、キャラクターごとの音声選択のサポート。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.