pipecat

Pipecat es un framework de Python de código abierto mantenido por Daily y la comunidad para crear agentes de IA conversacionales de voz y multimodales en tiempo real. Orquesta audio, vídeo, servicios de IA, transportes y pipelines de conversación para que los desarrolladores puedan centrarse en la lógica del agente en lugar de en la infraestructura. Las capacidades principales incluyen: - Diseño centrado en la voz: integra conversión de voz a texto, texto a voz y gestión de conversaciones de serie, lo que permite conversaciones en streaming naturales. - Pipelines componibles: los componentes modulares (procesadores) pueden encadenarse en pipelines que forman agentes individuales. Estos agentes pueden componerse mediante handoff, fan-out en paralelo, workers sidecar o despliegues distribuidos entre procesos y máquinas usando un bus compartido. - Sistemas multiagente: crea agentes especializados que se coordinan a través de un bus compartido, de forma local o distribuida, lo que permite sistemas de diálogo complejos y flujos de trabajo empresariales. - Transporte en tiempo real: interacción con latencia ultrabaja mediante WebSockets, WebRTC (Daily, LiveKit, Vonage), WhatsApp o conexiones locales. Las integraciones de servicios abarcan un amplio catálogo: conversión de voz a texto (AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Google, Groq, Mistral, OpenAI/Whisper y más), LLM (Anthropic, OpenAI, Gemini, Groq, Ollama, DeepSeek, Mistral y otros), conversión de texto a voz (ElevenLabs, Cartesia, Kokoro, Piper, OpenAI, xAI y más), voz a voz (AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox), transportes (Daily WebRTC, LiveKit, FastAPI WebSocket, Vonage, WhatsApp, local) y serializadores de telefonía (Twilio, Exotel, Genesys, Plivo, Telnyx, Vonage). Los casos de uso cubiertos en el README incluyen asistentes de voz, sistemas multiagente, compañeros de IA (coaches, asistentes de reuniones, personajes), interfaces multimodales (voz, vídeo, imágenes), narración interactiva, agentes empresariales (recepción de clientes, bots de soporte, flujos guiados) y sistemas de diálogo estructurado con rutas de conversación predefinidas o dinámicas mediante Pipecat Flows. El ecosistema se extiende más allá del framework principal: SDK de cliente para JavaScript, React, React Native, Swift, Kotlin, C++ y ESP32; Pipecat UI (un registro de componentes shadcn para front-ends de IA de voz); una CLI (`pipecat init` / `pipecat deploy`) que genera proyectos y los despliega en producción; Whisker (depurador de pipelines en tiempo real); Tail (panel de terminal); Pipecat Skills para Claude Code; y un programa de integraciones comunitarias para añadir nuevos servicios. El proyecto se publica en PyPI como `pipecat-ai`, incluye un extra de CLI (`pipecat-ai[cli]`) y cuenta con cobertura de pruebas mediante GitHub Actions y codecov. La documentación está alojada en docs.pipecat.ai, con ejemplos disponibles en el repositorio complementario pipecat-examples.