इस प्रोजेक्ट के बारे में
Peaky Peek (agent_debugger) विशेष रूप से AI एजेंटों को डीबग करने के लिए डिज़ाइन किया गया एक स्थानीय-प्रथम, ओपन-सोर्स ऑडिट और ट्रस्ट कंसोल है। LangSmith, OpenTelemetry, या Sentry जैसे पारंपरिक ऑब्जर्वेबिलिटी टूल के विपरीत, Peaky Peek उस प्रश्न का उत्तर देने पर केंद्रित है जो ऑपरेटर वास्तव में परवाह करते हैं: क्या मैं भरोसा कर सकता हूं कि इस एजेंट ने क्या किया?
यह टूल हर एजेंट क्रिया के पीछे की पूरी कारण श्रृंखला को कैप्चर करता है और प्रत्येक रन को एक ऑडिट रिकॉर्ड के रूप में पुनः प्रस्तुत करता है जो पांच प्रमुख प्रश्नों का उत्तर देता है: क्या हुआ, क्यों, किस सबूत के साथ, किस परिणाम के साथ, और यह कहां विफल हुआ। प्रत्येक दावे को नियतिवादी रूप से सत्यापित, आंशिक रूप से सत्यापित, विरोधाभासी, असमर्थित, असत्यापित, या अप्रचलित के रूप में वर्गीकृत किया जाता है, और प्रत्येक सत्र को एक व्याख्या योग्य ट्रस्ट स्कोर और एक नामित रुख (act, verify-first, या do-not-act) के साथ एक वर्डिक्ट कार्ड प्राप्त होता है।
प्रमुख विशेषताओं में शामिल हैं:
- एजेंट ऑडिट और ट्रस्ट कंसोल जिसमें नियतिवादी वर्डिक्ट कार्ड, व्याख्या योग्य ट्रस्ट स्कोर, विफलता विवरण, सत्यापन बैज और जोखिम संकेत शामिल हैं
- एजेंट तर्क को इंटरैक्टिव ट्री के रूप में नेविगेट करने के लिए डिसीजन ट्री विज़ुअलाइज़ेशन
- चेकपॉइंट-जागरूक प्लेबैक के साथ एजेंट निष्पादन के माध्यम से टाइम-ट्रैवलिंग के लिए चेकपॉइंट रीप्ले
- सभी सत्रों में विशिष्ट घटनाओं को खोजने के लिए ट्रेस खोज
- समान विफलताओं के अनुकूली विश्लेषण के लिए विफलता क्लस्टरिंग और मल्टी-एजेंट समन्वय
- दो एजेंट रन की अगल-बगल तुलना के लिए सत्र तुलना
एकीकरण तीन तरीकों से उपलब्ध है: एक सरल डेकोरेटर (@trace), एक संदर्भ प्रबंधक (trace_session), और शून्य-कॉन्फ़िगरेशन ऑटो-पैचिंग जो PydanticAI, LangChain, OpenAI SDK, CrewAI, AutoGen, LlamaIndex, और Anthropic के साथ बिना कोड परिवर्तन के काम करता है।
आर्किटेक्चर में इंस्ट्रूमेंटेशन के लिए एक SDK परत, डिटेक्शन और रीप्ले के लिए एक इंटेलिजेंस परत, SQLite स्टोरेज के साथ एक FastAPI सर्वर, और नौ विशेष पैनलों के साथ एक React/TypeScript फ्रंटएंड शामिल है। यह प्रोजेक्ट MIT लाइसेंस प्राप्त है, Python 3.10+ की आवश्यकता है, और pip के माध्यम से peaky-peek-server के रूप में उपलब्ध है।
गोपनीयता सुविधाओं में बाहरी टेलीमेट्री के बिना स्थानीय-प्रथम संचालन, वैकल्पिक रिडक्शन पाइपलाइन, bcrypt हैशिंग के साथ API कुंजी प्रमाणीकरण, और बिना क्लाउड निर्भरता के SQLite स्टोरेज शामिल हैं।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.