Sobre o projeto

Pipecat é um framework Python de código aberto mantido pela Daily e pela comunidade para criar agentes de IA conversacional de voz e multimodais em tempo real. Ele orquestra áudio, vídeo, serviços de IA, transportes e pipelines de conversação para que os desenvolvedores possam se concentrar na lógica do agente em vez da infraestrutura. As capacidades principais incluem: - Design voice-first: integra speech-to-text, text-to-speech e tratamento de conversação prontos para uso, permitindo conversas naturais em streaming. - Pipelines componíveis: componentes modulares (processors) podem ser encadeados em pipelines que formam agentes individuais. Esses agentes podem ser compostos via handoff, fan-out paralelo, sidecar workers ou implantações distribuídas entre processos e máquinas usando um bus compartilhado. - Sistemas multiagente: crie agentes especialistas que se coordenam por um bus compartilhado, localmente ou distribuídos, permitindo sistemas de diálogo complexos e fluxos de trabalho de negócios. - Transporte em tempo real: interação de latência ultrabaixa via WebSockets, WebRTC (Daily, LiveKit, Vonage), WhatsApp ou conexões locais. As integrações de serviços abrangem um amplo catálogo: speech-to-text (AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Google, Groq, Mistral, OpenAI/Whisper e mais), LLMs (Anthropic, OpenAI, Gemini, Groq, Ollama, DeepSeek, Mistral e outros), text-to-speech (ElevenLabs, Cartesia, Kokoro, Piper, OpenAI, xAI e mais), speech-to-speech (AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox), transportes (Daily WebRTC, LiveKit, FastAPI WebSocket, Vonage, WhatsApp, local) e serializadores de telefonia (Twilio, Exotel, Genesys, Plivo, Telnyx, Vonage). Os casos de uso cobertos no README incluem assistentes de voz, sistemas multiagente, companheiros de IA (coaches, assistentes de reunião, personagens), interfaces multimodais (voz, vídeo, imagens), narrativa interativa, agentes de negócios (triagem de clientes, bots de suporte, fluxos guiados) e sistemas de diálogo estruturado com caminhos de conversação predefinidos ou dinâmicos via Pipecat Flows. O ecossistema se estende além do framework principal: SDKs de cliente para JavaScript, React, React Native, Swift, Kotlin, C++ e ESP32; Pipecat UI (um registro de componentes shadcn para front-ends de IA de voz); uma CLI (`pipecat init` / `pipecat deploy`) que cria projetos e implanta em produção; Whisker (depurador de pipeline em tempo real); Tail (painel de terminal); Pipecat Skills para Claude Code; e um programa de integrações da comunidade para adicionar novos serviços. O projeto é publicado no PyPI como `pipecat-ai`, vem com um extra de CLI (`pipecat-ai[cli]`) e inclui cobertura de testes via GitHub Actions e codecov. A documentação está hospedada em docs.pipecat.ai, com exemplos disponíveis no repositório complementar pipecat-examples.