このプロジェクトについて

Local Multimodal LLMは、エンジン内でマルチモーダルAIのオフライン・ローカル推論を可能にするUnreal Engine 5用プラグインです。大規模言語モデル(LLM)処理、Speech-to-Text(STT)、Text-to-Speech(TTS)の一連の機能に加え、キャラクターメモリ、ルーティング、制約付きツールコールを提供します。 主な技術的特徴は以下の通りです: - CPU、Vulkan、およびNVIDIA GPU向けのオプションのCUDA 12アクセラレーションをサポートするネイティブWin64推論ランタイム。 - Gemma 4 E2B、Parakeet STT、Pocket TTSなどの特定モデルとの統合。 - Unreal Engineプロジェクトへの統合のためのBlueprint向けAPI。 - オーディオをMetaHumanキャラクターと同期させるためのコンパニオンMetaHuman Audio Live Linkブリッジ。 - プロバイダーに依存しないボイスカタログと、キャラクターごとの音声選択のサポート。