オープンソース。新しい可能性。

Unreal Engine 5向けのローカルマルチモーダルLLMプラグイン。テキスト、音声認識（STT）、音声合成（TTS）のオフライン推論を提供します。

Janoは複数のローカルLLMを単一GPUで共有するための軽量OpenAI互換ルーター。リクエストを貪欲にバッチ処理し、モデル切り替え回数を削減することで、ローカル環境での大幅な時間短縮を実現する。

Lexosは、Goゲートウェイ、Pythonワーカー、Redisキュー、セルフホストモデルを組み合わせたイベント駆動型AI文書処理エンジンで、オフラインRAG、要約、音声文字起こしを実現します。

ELIは、完全に自分のハードウェア上で動作する、厳密にローカルでプライベートなAIアシスタントです。音声、視覚、記憶、そしてコンピュータ制御、メディア再生、文書処理、コーディング、タスク自動化など17分野にわたる227の機能を提供します。デフォルトでオフライン動作し、任意のローカルGGUFモデルを使用可能で、モデル非依存です。オプションでGPUアクセラレーションと、LAN経由のリモートアクセス用Webダッシュボードも備えています。

vtmateは、超低遅延と41言語対応を特徴とするターミナルベースの音声AIツールキットです。統合TTS/STTエンジンを備え、ライブ会話、ディベート、ボイスクローニング、セッション書き出し、グローバルショートカットを用いたバックグラウンドデーモンモードなどを実現し、シームレスなAIインタラクションを提供します。

MoziAI-35Bはローカル展開可能なオープンソースのマルチモーダル大規模言語モデルで、35B MoEアーキテクチャをMoziSmartBit量子化で約15.9GBに圧縮。256Kコンテキスト、視覚、ツール呼び出し、金融特化の推論フレームワークを提供。

Mimoraは、英語とスペイン語の完全ローカルな発音トレーナーで、クラウドやAPIキーを必要としない。オンデバイスのTTS、音声認識、ローカルLLMを使用してフレーズを生成し、単語レベルのフィードバックでユーザーの試行をスコアリングする。

Xinferenceは、言語・音声・マルチモーダルモデルの提供に対応した統合推論ライブラリです。OpenAI互換RESTful API、異種GPU/CPU活用、分散配置を提供し、LangChain、LlamaIndex、Dify、Chatboxと連携します。

SenseVoiceSmallは、ASR、言語識別、感情認識、音声イベント検出を備えたオープンソースの音声基盤モデルで、中国語、広東語、英語、日本語、韓国語に対応し、高速な非自己回帰推論を実現します。