chattts

ChatTTSはLLMアシスタントなどの会話シナリオ向けに設計された生成型テキストtoスピーチモデルである。リポジトリにはアルゴリズムインフラ、事前学習モデルの重み、および推論実行の簡単な例が含まれている。 対応言語は英語と中国語で、追加言語は近日中に追加予定。モデルは中国語と英語の音声データで訓練されており、HuggingFaceでのオープンソースリリースは40,000時間分の事前学習モデル（SFTなし）とされている。 READMEに記載の主な機能: - 会話型TTSで、複数のスピーカーをサポート。 - プロソディックな特徴（笑い、ポーズ、挿入語）の細かい制御。 - [laugh]、[uv_break]、[lbreak]などのトークンレベルの制御ユニット、および[oral_2][laugh_0][break_6]などのプロンプトによる文レベル制御。 - ガウス分布からのスピーカー抽出、後でのトーン復元用に抽出されたスピーカー埋め込みを保存。 - 温度、top_P、top_Kなどの調整可能なデコードパラメータ。 - ストリーミング音声生成。 開始方法にはリポジトリのクローンとpipまたはcondaによる要件のインストール、PyPIまたはGitHubからのパッケージインストール、WebUI例またはコマンドライン推論スクリプトの実行が含まれる。基本的なPython使用例ではモデルをロードし、テキストリストを処理して24kHzで出力WAVファイルを保存する。高度な例にはスピーカー抽出、文レベルおよび単語レベル制御、自己紹介サンプルが含まれる。 READMEではハードウェアの要件を注意深く記載している。30秒の音声クリップには少なくとも4GBのGPUメモリが必要で、4090GPUではRTFが約0.3である。また、自己回帰モデルは複数のスピーカー出力や音声品質の悪化などの不安定性を示す可能性があり、複数のサンプルを試すことを推奨している。 ライセンス: コードはAGPLv3+で公開され、モデルは教育・研究用途に限定してCC BY-NC 4.0で公開されている。40,000時間分のモデルのトレーニング中にわずかな高周波ノイズが追加され、音声品質はMP3形式で圧縮されていて、これは潜在的な悪用を制限するためである。また、内部でトレーニングされた検出モデルのオープンソースリリースが計画されている。 プロジェクトはbark、XTTSv2、valle、fish-speech、vocosなどの先行研究を認識しており、エンドユーザー製品の拡張を目的としたコミュニティメンテナンスのインデックスリポジトリAwesome-ChatTTSを指している。