इस प्रोजेक्ट के बारे में

यह प्रोजेक्ट DeepSeek Harness (DSH) के लिए एक प्लगइन है जो AI एजेंट रन के लिए पूर्ण OpenTelemetry ऑब्जर्वेबिलिटी प्रदान करता है। यह ट्रेस, मेट्रिक्स और लॉग को GreptimeDB, एक टाइम-सीरीज़ डेटाबेस, में निर्यात करता है, और विज़ुअलाइज़ेशन के लिए सात पहले से निर्मित Grafana डैशबोर्ड के साथ आता है। प्लगइन DSH सत्र में हर टर्न, मॉडल कॉल और टूल निष्पादन को इंस्ट्रूमेंट करता है, टोकन गणना (इनपुट, आउटपुट, कैश रीड, कैश राइट, रीज़निंग टोकन), अवधि, टूल नाम, परिणाम और त्रुटि जानकारी रिकॉर्ड करता है। ट्रेस टर्न स्पैन के रूप में संरचित होते हैं जिनमें चैट और टूल स्पैन सहोदर के रूप में होते हैं, जो चरण पहचानकर्ताओं द्वारा सहसंबद्ध होते हैं। मेट्रिक्स में टोकन उपयोग, ऑपरेशन अवधि और टूल इनवोकेशन काउंटर के लिए हिस्टोग्राम शामिल हैं। लॉग प्रति सत्र घटना एक रिकॉर्ड कैप्चर करते हैं जिसमें सत्र ID, घटना प्रकार, टर्न और चरण के लिए निकालने योग्य कॉलम होते हैं। सात Grafana डैशबोर्ड विभिन्न पहलुओं को कवर करते हैं: अवलोकन (टोकन गणना, गति, कैश उपयोग), लागत (कॉन्फ़िगर करने योग्य प्रति-मिलियन-टोकन दरों का उपयोग करके मौद्रिक अनुमान), सत्र (वार्तालाप अवधि, टर्न गणना, विफलताएं), एजेंट लूप (टूल आवृत्ति, विफलता दर, प्रति टर्न मॉडल कॉल), ट्रेस एक्सप्लोरर (एकल टर्न के लिए स्पैन-दर-स्पैन वॉटरफॉल), लॉग एक्सप्लोरर (फ़िल्टर करने योग्य सत्र घटनाएं), और मेट्रिक्स (लंबी अवधारण के लिए PromQL-आधारित दृश्य)। लागत डैशबोर्ड अनकैश्ड इनपुट, कैश रीड, कैश राइट और आउटपुट टोकन के लिए चार कॉन्फ़िगर करने योग्य दरों का उपयोग करता है, जिसमें डिफ़ॉल्ट DeepSeek की प्रकाशित मूल्य निर्धारण से मेल खाते हैं। प्लगइन `dsh plugin add` के माध्यम से एक सामान्य DSH प्लगइन के रूप में स्थापित होता है और इसके लिए किसी कलेक्टर या साइडकार की आवश्यकता नहीं होती है। कॉन्फ़िगरेशन कस्टम एंडपॉइंट, डेटाबेस नाम, प्रमाणीकरण, सिग्नल चयन, सामग्री गोपनीयता मोड (कोई नहीं, पूर्ण, पूर्ण+प्रॉम्प्ट), अवधारण TTL और निर्यात समय का समर्थन करता है। एक सकारात्मक अनुमति सूची सुनिश्चित करती है कि अज्ञात घटना प्रकार केवल उनकी पहचान निर्यात करें। डेटा की तीन श्रेणियां किसी भी मोड में मशीन कभी नहीं छोड़तीं: टूल निजी मेटाडेटा, आंतरिक त्रुटि संदेश और अनुरोध स्टैक ट्रेस। यह प्रोजेक्ट विशिष्ट DSH प्रीरिलीज़ संस्करणों को लक्षित करता है और संगतता तालिकाएं शामिल करता है। यह TMA1 के साथ एकीकृत होता है, जो OTLP को प्रबंधित GreptimeDB में प्रॉक्सी करता है। ज्ञात सीमाओं में DSH की प्री-रिलीज़ अस्थिरता, प्रयोगात्मक GenAI सिमेंटिक कन्वेंशन, मेट्रिक तालिकाओं तक TTL न पहुंचना और प्रति-टर्न फ्लश की कमी शामिल है।