इस प्रोजेक्ट के बारे में

LiveKit Agents एक ओपन-सोर्स फ्रेमवर्क है जो सर्वर पर चलने वाले रीयलटाइम, प्रोग्रामेबल प्रतिभागियों को बनाने के लिए है। इसका फोकस संवादात्मक, मल्टीमॉडल वॉइस एजेंट पर है जो देख, सुन और समझ सकते हैं, और इसे एक Python पैकेज के रूप में वितरित किया जाता है (एक JS/TS सहोदर लाइब्रेरी, AgentsJS, का अलग से उल्लेख किया गया है)। README में वर्णित मुख्य क्षमताएँ: - लचीले इंटीग्रेशन: किसी दिए गए उपयोग केस के लिए STT, LLM, TTS और Realtime API प्रदाताओं को मिलाएँ और मैच करें। - एकीकृत जॉब शेड्यूलिंग: अंत उपयोगकर्ताओं को एजेंट से जोड़ने के लिए dispatch APIs के साथ अंतर्निहित कार्य शेड्यूलिंग और वितरण। - WebRTC क्लाइंट: क्लाइंट एप्लिकेशन LiveKit के ओपन-सोर्स SDK इकोसिस्टम के साथ प्रमुख प्लेटफ़ॉर्म पर बनाए जा सकते हैं। - टेलीफोनी: LiveKit के टेलीफोनी स्टैक के साथ काम करता है ताकि एजेंट फोन कॉल कर सकें या प्राप्त कर सकें। - डेटा एक्सचेंज: RPCs और अन्य Data APIs एजेंट और क्लाइंट को डेटा का आदान-प्रदान करने देते हैं। - सिमेंटिक टर्न डिटेक्शन: एक transformer मॉडल पता लगाता है कि उपयोगकर्ता ने बोलना कब समाप्त किया है, जिसके बारे में प्रोजेक्ट कहता है कि यह व्यवधानों को कम करने में मदद करता है। - MCP समर्थन: MCP सर्वर के टूल्स को एक पंक्ति के कोड के साथ एकीकृत किया जा सकता है। - अंतर्निहित टेस्ट फ्रेमवर्क: एजेंट व्यवहार की जाँच के लिए टेस्ट और जज लिखे जा सकते हैं। - ओपन सोर्स: पूरे स्टैक को स्वयं होस्ट किया जा सकता है, जिसमें LiveKit सर्वर भी शामिल है, जिसे व्यापक रूप से उपयोग किया जाने वाला WebRTC मीडिया सर्वर बताया गया है। मुख्य अवधारणाएँ हैं Agent (निर्देशों वाला एक LLM-आधारित एप्लिकेशन), AgentSession (अंत उपयोगकर्ताओं के साथ इंटरैक्शन प्रबंधित करने वाला एक कंटेनर), entrypoint (एक इंटरैक्टिव सत्र का प्रारंभिक बिंदु, जो एक request handler के समान है), और AgentServer (मुख्य प्रक्रिया जो जॉब शेड्यूलिंग का समन्वय करती है और एजेंट लॉन्च करती है)। उपयोग के उदाहरण एक सरल वॉइस एजेंट दिखाते हैं जो LiveKit Inference या सीधे प्रदाता प्लगइन्स के माध्यम से VAD, STT, LLM और TTS को वायर करता है, साथ ही एक मल्टी-एजेंट हैंडऑफ उदाहरण जहाँ एक intro एजेंट उपयोगकर्ता विवरण एकत्र करता है और नियंत्रण एक story एजेंट को सौंपता है जो Realtime API मॉडल पर स्विच कर सकता है। एक परीक्षण उदाहरण pytest का उपयोग AgentSession के साथ करता है, एक उपयोगकर्ता इनपुट चलाता है, और function calls और assistant messages जैसे इवेंट्स पर दावा करता है, जिसमें इरादे के लिए एक LLM जज भी शामिल है। रनिंग मोड: बिना बाहरी सर्वर के स्थानीय टर्मिनल ऑडियो परीक्षण के लिए `python myagent.py console`, एक हॉट-रीलोडिंग एजेंट सर्वर के लिए `dev` जो LiveKit Cloud या स्वयं-होस्टेड सर्वर से जुड़ता है, और प्रोडक्शन-तैयार ऑप्टिमाइज़ेशन के लिए `start`। सर्वर-कनेक्टेड मोड के लिए एनवायरनमेंट वेरिएबल LIVEKIT_URL, LIVEKIT_API_KEY और LIVEKIT_API_SECRET आवश्यक हैं। रिपॉज़िटरी में एक examples डायरेक्टरी शामिल है जो एक स्टार्टर वॉइस एजेंट, एक आउटबाउंड कॉलर, MCP समर्थन, एक मल्टी-यूज़र ट्रांसक्राइबर, तृतीय-पक्ष प्रदाताओं के साथ वीडियो अवतार, और एक Gemini Live विज़न डेमो को कवर करती है। विकास में पैकेज प्रबंधन के लिए uv, फ़ॉर्मेटिंग और लिंटिंग के लिए ruff, यूनिट टेस्ट के लिए pytest, और स्थानीय दस्तावेज़ निर्माण के लिए pdoc का उपयोग किया जाता है। फ्रेमवर्क Apache-2.0 के अंतर्गत लाइसेंस प्राप्त है, जबकि LiveKit टर्न डिटेक्शन मॉडल एक अलग LiveKit Model License का उपयोग करते हैं। योगदान का स्वागत issues, pull requests या समुदाय Slack के माध्यम से किया जाता है।