Об этом проекте

Pipecat — это открытый Python-фреймворк, поддерживаемый Daily и сообществом, для создания голосовых и мультимодальных разговорных ИИ-агентов реального времени. Он оркестрирует аудио, видео, ИИ-сервисы, транспорты и разговорные конвейеры, позволяя разработчикам сосредоточиться на логике агентов, а не на инфраструктуре. Основные возможности включают: - Голосовой подход: встроенная интеграция распознавания речи, синтеза речи и обработки разговоров, обеспечивающая естественные потоковые беседы. - Компонуемые конвейеры: модульные компоненты (процессоры) могут быть объединены в конвейеры, формирующие отдельных агентов. Эти агенты могут быть скомпонованы через передачу управления, параллельное разветвление, фоновые рабочие процессы или распределённые развёртывания между процессами и машинами с использованием общей шины. - Мультиагентные системы: создание специализированных агентов, координирующих работу через общую шину, локально или распределённо, что позволяет реализовывать сложные диалоговые системы и бизнес-процессы. - Транспорт реального времени: сверхнизкая задержка взаимодействия через WebSockets, WebRTC (Daily, LiveKit, Vonage), WhatsApp или локальные соединения. Интеграции сервисов охватывают широкий каталог: распознавание речи (AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Google, Groq, Mistral, OpenAI/Whisper и другие), LLM (Anthropic, OpenAI, Gemini, Groq, Ollama, DeepSeek, Mistral и другие), синтез речи (ElevenLabs, Cartesia, Kokoro, Piper, OpenAI, xAI и другие), речь-в-речь (AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox), транспорты (Daily WebRTC, LiveKit, FastAPI WebSocket, Vonage, WhatsApp, локальный) и сериализаторы телефонии (Twilio, Exotel, Genesys, Plivo, Telnyx, Vonage). Варианты использования, описанные в README, включают голосовых ассистентов, мультиагентные системы, ИИ-компаньонов (коучи, помощники на встречах, персонажи), мультимодальные интерфейсы (голос, видео, изображения), интерактивное повествование, бизнес-агентов (приём клиентов, боты поддержки, управляемые сценарии) и структурированные диалоговые системы с предопределёнными или динамическими путями разговора через Pipecat Flows. Экосистема выходит за рамки основного фреймворка: клиентские SDK для JavaScript, React, React Native, Swift, Kotlin, C++ и ESP32; Pipecat UI (реестр компонентов shadcn для голосовых ИИ-интерфейсов); CLI (`pipecat init` / `pipecat deploy`), который создаёт проекты и развёртывает их в производство; Whisker (отладчик конвейеров реального времени); Tail (терминальная панель); Pipecat Skills для Claude Code; и программа интеграций сообщества для добавления новых сервисов. Проект опубликован на PyPI как `pipecat-ai`, поставляется с дополнительным CLI (`pipecat-ai[cli]`) и включает тестовое покрытие через GitHub Actions и codecov. Документация размещена на docs.pipecat.ai, примеры доступны в сопутствующем репозитории pipecat-examples.