pipecat

Pipecatは、Dailyとコミュニティによって維持されている、リアルタイム音声およびマルチモーダル対話AIエージェントを構築するためのオープンソースPythonフレームワークです。音声、映像、AIサービス、トランスポート、会話パイプラインをオーケストレーションし、開発者が配管作業ではなくエージェントのロジックに集中できるようにします。 主要な機能は次のとおりです。 - 音声ファースト設計：音声認識、音声合成、会話処理をすぐに利用できる形で統合し、自然なストリーミング会話を可能にします。 - 構成可能なパイプライン：モジュール式のコンポーネント（プロセッサ）をパイプラインに連結し、個々のエージェントを形成できます。これらのエージェントは、ハンドオフ、並列ファンアウト、サイドカー・ワーカー、または共有バスを用いたプロセスやマシン間の分散デプロイによって構成できます。 - マルチエージェントシステム：共有バス上で連携する専門エージェントを、ローカルまたは分散環境で構築でき、複雑な対話システムや業務ワークフローを実現します。 - リアルタイム・トランスポート：WebSocket、WebRTC（Daily、LiveKit、Vonage）、WhatsApp、またはローカル接続を介した超低遅延の対話。 サービス統合は幅広いカタログに及びます。音声認識（AssemblyAI、AWS、Azure、Cartesia、Deepgram、ElevenLabs、Google、Groq、Mistral、OpenAI/Whisperなど）、LLM（Anthropic、OpenAI、Gemini、Groq、Ollama、DeepSeek、Mistralなど）、音声合成（ElevenLabs、Cartesia、Kokoro、Piper、OpenAI、xAIなど）、音声間（AWS Nova Sonic、Gemini Multimodal Live、Grok Voice Agent、OpenAI Realtime、Ultravox）、トランスポート（Daily WebRTC、LiveKit、FastAPI WebSocket、Vonage、WhatsApp、ローカル）、電話シリアライザ（Twilio、Exotel、Genesys、Plivo、Telnyx、Vonage）があります。 READMEで扱われているユースケースには、音声アシスタント、マルチエージェントシステム、AIコンパニオン（コーチ、会議アシスタント、キャラクター）、マルチモーダル・インターフェース（音声、映像、画像）、インタラクティブなストーリーテリング、業務エージェント（顧客受付、サポートボット、ガイド付きフロー）、Pipecat Flowsによる事前定義または動的な会話経路を持つ構造化対話システムが含まれます。 エコシステムはコアフレームワークを超えて広がっています。JavaScript、React、React Native、Swift、Kotlin、C++、ESP32向けのクライアントSDK、Pipecat UI（音声AIフロントエンド向けのshadcnコンポーネントレジストリ）、プロジェクトの雛形作成と本番環境へのデプロイを行うCLI（`pipecat init` / `pipecat deploy`）、Whisker（リアルタイム・パイプライン・デバッガ）、Tail（ターミナル・ダッシュボード）、Claude Code向けPipecat Skills、新しいサービスを追加するためのコミュニティ統合プログラムがあります。 このプロジェクトはPyPIで`pipecat-ai`として公開され、CLIエクストラ（`pipecat-ai[cli]`）が付属し、GitHub Actionsとcodecovによるテストカバレッジを含みます。ドキュメントはdocs.pipecat.aiでホストされ、例は姉妹リポジトリのpipecat-examplesで利用できます。