इस प्रोजेक्ट के बारे में

Pipecat एक ओपन-सोर्स Python फ्रेमवर्क है जिसे Daily और समुदाय द्वारा रियल-टाइम वॉइस और मल्टीमॉडल संवादात्मक AI एजेंट बनाने के लिए बनाए रखा जाता है। यह ऑडियो, वीडियो, AI सेवाओं, ट्रांसपोर्ट और संवाद पाइपलाइनों को ऑर्केस्ट्रेट करता है ताकि डेवलपर्स प्लंबिंग के बजाय एजेंट लॉजिक पर ध्यान केंद्रित कर सकें। मुख्य क्षमताओं में शामिल हैं: - वॉइस-फर्स्ट डिज़ाइन: स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच और संवाद हैंडलिंग को आउट-ऑफ-द-बॉक्स एकीकृत करता है, जिससे प्राकृतिक स्ट्रीमिंग संवाद संभव होता है। - कंपोज़ेबल पाइपलाइन: मॉड्यूलर घटकों (प्रोसेसर) को पाइपलाइनों में श्रृंखलाबद्ध किया जा सकता है जो व्यक्तिगत एजेंट बनाते हैं। इन एजेंटों को हैंडऑफ, समानांतर फैन-आउट, साइडकार वर्कर, या साझा बस का उपयोग करके प्रक्रियाओं और मशीनों में वितरित परिनियोजन के माध्यम से संयोजित किया जा सकता है। - मल्टी-एजेंट सिस्टम: साझा बस पर समन्वय करने वाले विशेषज्ञ एजेंट बनाएं, स्थानीय या वितरित, जिससे जटिल संवाद प्रणालियों और व्यावसायिक वर्कफ़्लो को सक्षम किया जा सके। - रियल-टाइम ट्रांसपोर्ट: WebSockets, WebRTC (Daily, LiveKit, Vonage), WhatsApp, या स्थानीय कनेक्शनों पर अल्ट्रा-लो-लेटेंसी इंटरैक्शन। सेवा एकीकरण एक विस्तृत कैटलॉग में फैले हुए हैं: स्पीच-टू-टेक्स्ट (AssemblyAI, AWS, Azure, Cartesia, Deepgram, ElevenLabs, Google, Groq, Mistral, OpenAI/Whisper, और अधिक), LLMs (Anthropic, OpenAI, Gemini, Groq, Ollama, DeepSeek, Mistral, और अन्य), टेक्स्ट-टू-स्पीच (ElevenLabs, Cartesia, Kokoro, Piper, OpenAI, xAI, और अधिक), स्पीच-टू-स्पीच (AWS Nova Sonic, Gemini Multimodal Live, Grok Voice Agent, OpenAI Realtime, Ultravox), ट्रांसपोर्ट (Daily WebRTC, LiveKit, FastAPI WebSocket, Vonage, WhatsApp, स्थानीय), और टेलीफोनी सीरियलाइज़र (Twilio, Exotel, Genesys, Plivo, Telnyx, Vonage)। README में शामिल उपयोग के मामलों में वॉइस असिस्टेंट, मल्टी-एजेंट सिस्टम, AI साथी (कोच, मीटिंग असिस्टेंट, कैरेक्टर), मल्टीमॉडल इंटरफेस (वॉइस, वीडियो, छवियां), इंटरैक्टिव स्टोरीटेलिंग, बिजनेस एजेंट (ग्राहक इनटेक, सपोर्ट बॉट, गाइडेड फ्लो), और Pipecat Flows के माध्यम से पूर्वनिर्धारित या गतिशील संवाद पथों वाले संरचित संवाद सिस्टम शामिल हैं। पारिस्थितिकी तंत्र मुख्य फ्रेमवर्क से परे फैला हुआ है: JavaScript, React, React Native, Swift, Kotlin, C++, और ESP32 के लिए क्लाइंट SDK; Pipecat UI (वॉइस AI फ्रंट-एंड के लिए एक shadcn कंपोनेंट रजिस्ट्री); एक CLI (`pipecat init` / `pipecat deploy`) जो प्रोजेक्ट स्कैफोल्ड करता है और प्रोडक्शन में परिनियोजित करता है; Whisker (रियल-टाइम पाइपलाइन डिबगर); Tail (टर्मिनल डैशबोर्ड); Claude Code के लिए Pipecat Skills; और नई सेवाओं को जोड़ने के लिए एक समुदाय एकीकरण कार्यक्रम। यह प्रोजेक्ट PyPI पर `pipecat-ai` के रूप में प्रकाशित है, एक CLI एक्स्ट्रा (`pipecat-ai[cli]`) के साथ आता है, और GitHub Actions और codecov के माध्यम से टेस्ट कवरेज शामिल करता है। दस्तावेज़ीकरण docs.pipecat.ai पर होस्ट किया गया है, साथ में pipecat-examples रिपॉजिटरी में उदाहरण उपलब्ध हैं।