このプロジェクトについて

MOSS-TTS-Nanoは、MOSI.AIとOpenMOSSチームによるオープンソースの多言語音声生成モデルです。約0.1Bパラメータで、リアルタイム音声生成を目指し、GPUなしのCPUでも動作するため、ローカルデモ、Webサーバー、軽量統合でのデプロイが簡単です。 READMEに記載されている主な特徴は以下の通りです： - 約0.1Bパラメータの小型モデルサイズ。 - ネイティブな48kHz、2チャンネル（ステレオ）オーディオ出力。 - 中国語、英語、ドイツ語、スペイン語、フランス語、日本語、イタリア語、ハンガリー語、韓国語、ロシア語、ペルシャ語、アラビア語、ポーランド語、ポルトガル語、チェコ語、デンマーク語、スウェーデン語、ギリシャ語、トルコ語を含む20言語の多言語サポート。 - オーディオトークナイザーとLLMパイプラインに基づく純粋な自己回帰アーキテクチャ。 - 低リアルタイム遅延と高速なファーストオーディオを備えたストリーミング推論。 - CPUフレンドリー：4コアCPUでストリーミング生成が可能。 - 自動チャンク音声クローンによる長文対応。 - 直接Pythonスクリプトとパッケージ化されたCLIによるオープンソースのデプロイパス。 クイックスタート：READMEでは、クリーンなPython環境、リポジトリのクローン、要件のインストール、プロジェクトの編集可能モードでのインストールを推奨しており、moss-tts-nanoコマンドが利用可能になります。デフォルトのモデルロードでは、OpenMOSS-Team/MOSS-TTS-NanoとOpenMOSS-Team/MOSS-Audio-Tokenizer-Nanoを使用します。音声クローンが主な推奨ワークフローであり、infer.pyを使用してプロンプトオーディオパスと入力テキストでデモンストレーションされています。ローカルFastAPI Webデモはapp.pyで起動でき、127.0.0.1:18083で開きます。 ONNX CPU推論：軽量なローカルデプロイにはONNX CPUバージョンが推奨されています。推論中のPyTorch依存関係を排除し、ONNX Runtime CPU上で動作し、直接参照オーディオ、組み込み音声、リアルタイムストリーミングデコードをサポートし、プロジェクトのテストでは元のバージョンと比較して処理効率が約2倍向上すると説明されています。MacBook Air M4では、単一CPUコアでスムーズな推論が観察されました。ONNXエントリポイントには、infer_onnx.py、app_onnx.py、および--backend onnxを備えたパッケージ化されたCLIが含まれます。CUDA実行は、onnxruntime-gpuと--execution-provider cudaを介してオプションです。不足しているモデルファイルは、初回実行時にONNX Hugging Faceリポジトリからダウンロードされます。 追加ツール：examples/android_onnx_runtimeの下にあるAndroid ONNX Runtimeの例は、エクスポートされたONNXグラフをデバイス上にロードし、WAVファイルを書き込みます。onnx/の下にあるエクスポーターは、ローカルのHugging Face形式のチェックポイントをTTS専用のONNXモデルディレクトリに変換します。パッケージ化されたCLIは、moss-tts-nano generateおよびmoss-tts-nano serveコマンドを提供し、プロンプト音声、テキストファイル、バックエンド選択、実行プロバイダーのオプションがあります。ファインチューニングコードとチュートリアルは、finetuningディレクトリに提供されています。 リポジトリには、Cat（Causal Audio Tokenizer with Transformer）アーキテクチャに基づく約2000万パラメータの軽量トークナイザーであるMOSS-Audio-Tokenizer-Nanoも文書化されています。48kHzステレオ入力と出力をサポートし、オーディオを12.5Hzのトークンストリームに圧縮し、0.125kbpsから2kbpsの可変ビットレートで16のコードブックを持つRVQを使用します。評価テーブルとプロットは、音声、オーディオ、音楽データに対する120Mパラメータ以下のオープンソーストークナイザーとの再構築品質を比較しています。 より広範なMOSS-TTSファミリーも説明されており、MOSS-TTS、MOSS-TTS-Local-Transformer、MOSS-TTSD-v1.0、MOSS-VoiceGenerator、MOSS-SoundEffect、MOSS-TTS-Realtimeが含まれ、Hugging FaceとModelScopeのモデルウェイトへのリンクがあります。