このプロジェクトについて

Retrieval-based-Voice-Conversion-WebUI（RVC）は、簡単に使える音声変換/変声フレームワークで、ウェブ操作インターフェースを提供します。READMEによると、底辺モデルは約50時間のオープンソースVCTKトレーニングセットでトレーニングされており、著作権に関する懸念はありません。主な特徴として、top1検索を使用して入力ソース特徴をトレーニングセット特徴に置き換えて音色漏れを抑制します。相対的に低性能なGPUでも比較的高速にトレーニングできます。少量のデータでトレーニングできますが、少なくとも10分間の低ノイズ音声データを収集することをお勧めします。ckpt-mergeを使用してモデルを融合して音色を変更できます。シンプルで使いやすいウェブインターフェースを提供します。pymss/MSSTモデルを使用して人声と伴奏を分離できます。InterSpeech2023-RMVPE人声音高抽出アルゴリズムを採用しており、READMEによると、無声問題を緩和し、高速でリソースの使用量が小さいという特徴があります。AMD/IntelGPUの場合はCPU依存のソリューションを使用します。Windowsの場合はDirectML、Linuxの場合はCPUを使用します。READMEには、トレーニング推論インターフェースとリアルタイム変声インターフェースが示されています。リアルタイム変声部分では、エンドツーエンド170msの遅延が実現されています。ASIO入出力デバイスを使用する場合は、エンドツーエンド90msの遅延が可能ですが、ハードウェアドライバーのサポートに大きく依存します。環境構成については、Python 3.12 x64を対象としています。Ubuntu 24.04 x86_64を推奨します。Ubuntu 24.04の場合は、python3.12、python3.12-venv、python3.12-dev、ffmpeg、unzip、libsndfile1、libportaudio2をインストールした後、仮想環境を作成してpip、setuptools、wheelをアップグレードします。Windowsの場合は、Python 3.12 x64をインストールした後、仮想環境を作成します。ハードウェアに応じて依存関係を選択します。CPU、AMD、Intelの場合は、requirments_cpu_py312.txtを使用します。Windowsの場合はDirectML、Linuxの場合はCPUを使用します。NVIDIA RTX 50シリーズの場合は、CUDA 12.8版Torchをインストールしてからrequirments_cu128_py312.txtをインストールします。NVIDIA RTX 50シリーズ以前の場合は、CUDA 11.8版Torchをインストールしてからrequirments_cu118_py312.txtをインストールします。READMEには、TorchとCUDAの状態を確認するコマンドが提供されています。3つの依存ファイルの先頭にはダウンロード元が記載されており、中国大陸のユーザーはデフォルトのミラーを保持したり、公式ソースに置き換えたりできます。モデルと実行ディレクトリについては、WebUIが自動的に実行ディレクトリを作成します。モデルはHugging Faceモデルリポジトリからダウンロードし、指定されたパスを保持する必要があります。READMEには、huggingface_hubを使用して各コンポーネントモデルをダウンロードするコマンドが示されています。FFmpegはUbuntuにシステム依存でインストールされています。Windowsユーザーは、ffmpeg.exeとffprobe.exeをプロジェクトルートディレクトリに配置できます。使用を開始するには、python webui.pyを実行します。デスクトップのないUbuntuサーバーの場合は、python webui.py --noautoopenを使用します。デフォルトのサービスはポート7865でリッスンします。ユーザーの.pthモデルはassets/weights/に、.indexファイルはassets/indices/に配置します。READMEには、ContentVec、VITS、HIFIGAN、Gradio、FFmpeg、Ultimate Vocal Remover、pymss、audio-slicer、RMVPEなどの参考プロジェクトが列挙されており、RMVPEの事前トレーニングモデルはyxlllcとRVC-Bossによってトレーニングおよびテストされたものであると説明されています。