voicebox

Voiceboxは、ユーザー自身のマシン上でローカルに動作するよう設計されたオープンソースのAI音声スタジオであり、ElevenLabsやWisprFlowのようなクラウドサービスの無料の代替となることを目指しています。音声出力（テキスト読み上げと音声クローン）と音声入力（音声テキスト化による書き取り）の両方をカバーし、任意の推敲やプロフィールごとの音声パーソナリティのためにバンドルされたローカルLLMも備えています。 リポジトリで説明されている主な機能： - **音声クローンとTTS**：短い参照サンプルからのゼロショットクローンに加え、厳選された50以上のプリセット音声を提供。7つのTTSエンジン（Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro）を搭載し、エンジンによっては最大23言語に対応します。 - **音声テキスト化（Speech-to-text）**：ローカルで動作するOpenAI Whisperを採用しており、BaseからTurboまでのモデルサイズオプションがあります。Apple SiliconではMLX、CUDA/ROCm/DirectML/CPUではPyTorchを介して実行されます。 - **グローバル書き取り（Global dictation）**：システム全体のホットキーにより、フォーカスされている任意のテキストフィールドに音声入力が可能です。READMEには、macOSにおけるアクセシビリティ検証済みのインジェクションによるターゲット認識ペーストや、アクセシビリティおよび入力監視に関する初回起動時の権限UXについて記載されています。 - **オーディオ後処理**：Spotifyのpedalboardライブラリ上に構築された8つのエフェクト（ピッチシフト、リバーブ、ディレイ、コーラス、コンプレッサー、ゲイン、フィルターなど）を搭載し、再利用可能なプリセットに対応しています。 - **エージェント音声出力**：内蔵されたMCP（Model Context Protocol）サーバーが、`voicebox.speak`、`voicebox.transcribe`、`voicebox.list_captures`、`voicebox.list_profiles`などのツールを公開します。Claude Code、Cursor、Windsurf、ClineなどのMCP対応エージェントは、1回のツール呼び出しでクローンされた音声を通じてユーザーに話しかけることができます。 - **ローカルプライバシー**：モデル、音声データ、キャプチャはすべてユーザーのマシン上に保存されます。 - **Storiesエディター**：会話、ポッドキャスト、ナラティブのためのマルチトラックタイムラインを提供し、ドラッグ＆ドロップによる構成と同期再生が可能です。 - **キャプチャ（Captures）**：書き取り、アプリ内録音、アップロードは音声と文字起こしテキストとともに保持され、再文字起こし、推敲、編集、または音声サンプルへの昇格が可能です。 - **API**：`http://127.0.0.1:17493`でREST APIが利用可能で、`/generate`、`/speak`、`/transcribe`、`/profiles`のエンドポイントを提供し、ドキュメントは`/docs`で確認できます。 - **プラットフォーム**：macOS（Apple SiliconおよびIntel）とWindows向けのダウンロードが用意されており、DockerのサポートやLinux向けのソースからのビルド手順も提供されています。 技術面では、このデスクトップアプリはTauri（Rust）とReact/TypeScriptで構築されており、バックエンドにはFastAPI（Python）、ストレージにはSQLiteを使用しています。推論にはプラットフォームとGPUに応じてMLXまたはPyTorchが使用されます。READMEのロードマップには、Windows/Linuxでの自動ペースト、追加のSTTエンジン、ストリーミング文字起こし、エンドツーエンドの音声LLM、プラグインアーキテクチャに関する今後の作業が記載されています。このプロジェクトはGitHubで公開されており、READMEにはライセンスバッジが記載され、リポジトリにはコントリビューションガイドラインも含まれています。