প্রকল্প সম্পর্কে

এই প্রজেক্টটি DeepSeek Harness (DSH)-এর জন্য একটি প্লাগইন যা AI এজেন্ট রানের সম্পূর্ণ OpenTelemetry পর্যবেক্ষণ প্রদান করে। এটি ট্রেস, মেট্রিক্স এবং লগ GreptimeDB-তে (একটি টাইম-সিরিজ ডেটাবেস) রপ্তানি করে এবং ভিজ্যুয়ালাইজেশনের জন্য সাতটি প্রি-বিল্ট Grafana ড্যাশবোর্ডসহ আসে। প্লাগইনটি DSH সেশনের প্রতিটি টার্ন, মডেল কল এবং টুল এক্সিকিউশনকে ইন্সট্রুমেন্ট করে, টোকেন সংখ্যা (ইনপুট, আউটপুট, ক্যাশ রিড, ক্যাশ রাইট, রিজনিং টোকেন), সময়কাল, টুলের নাম, ফলাফল এবং ত্রুটির তথ্য রেকর্ড করে। ট্রেসগুলো টার্ন স্প্যান হিসেবে গঠিত হয় যেখানে চ্যাট এবং টুল স্প্যানগুলো সহোদর হিসেবে থাকে, যা ধাপ শনাক্তকারীর মাধ্যমে সম্পর্কিত। মেট্রিক্সে টোকেন ব্যবহার, অপারেশন সময়কাল এবং টুল ইনভোকেশন কাউন্টারের জন্য হিস্টোগ্রাম অন্তর্ভুক্ত। লগ প্রতি সেশন ইভেন্টে একটি রেকর্ড ধারণ করে যাতে সেশন আইডি, ইভেন্ট টাইপ, টার্ন এবং ধাপের জন্য নিষ্কাশনযোগ্য কলাম থাকে। সাতটি Grafana ড্যাশবোর্ড বিভিন্ন দিক কভার করে: ওভারভিউ (টোকেন সংখ্যা, গতি, ক্যাশ ব্যবহার), খরচ (প্রতি মিলিয়ন টোকেন হারে কনফিগারযোগ্য আর্থিক অনুমান), সেশন (কথোপকথনের সময়কাল, টার্ন সংখ্যা, ব্যর্থতা), এজেন্ট লুপ (টুল ফ্রিকোয়েন্সি, ব্যর্থতার হার, প্রতি টার্ন মডেল কল), ট্রেস এক্সপ্লোরার (একটি টার্নের জন্য স্প্যান-বাই-স্প্যান ওয়াটারফল), লগ এক্সপ্লোরার (ফিল্টারযোগ্য সেশন ইভেন্ট) এবং মেট্রিক্স (দীর্ঘ ধরে রাখার জন্য PromQL-ভিত্তিক ভিউ)। খরচ ড্যাশবোর্ডটি আনক্যাশড ইনপুট, ক্যাশ রিড, ক্যাশ রাইট এবং আউটপুট টোকেনের জন্য চারটি কনফিগারযোগ্য হার ব্যবহার করে, যার ডিফল্ট DeepSeek-এর প্রকাশিত মূল্যের সাথে মেলে। প্লাগইনটি `dsh plugin add` এর মাধ্যমে একটি সাধারণ DSH প্লাগইন হিসেবে ইনস্টল হয় এবং কোনো কালেক্টর বা সাইডকারের প্রয়োজন হয় না। কনফিগারেশনে কাস্টম এন্ডপয়েন্ট, ডেটাবেস নাম, প্রমাণীকরণ, সিগন্যাল নির্বাচন, কনটেন্ট গোপনীয়তা মোড (কোনোটিই নয়, সম্পূর্ণ, সম্পূর্ণ+প্রম্পট), রিটেনশন TTL এবং রপ্তানির সময় সমর্থিত। একটি পজিটিভ অ্যালোলিস্ট নিশ্চিত করে যে অজানা ইভেন্ট টাইপ শুধুমাত্র তাদের পরিচয় রপ্তানি করে। তিনটি বিভাগের ডেটা কোনো মোডেই মেশিন ছেড়ে যায় না: টুলের ব্যক্তিগত মেটাডেটা, অভ্যন্তরীণ ত্রুটির বার্তা এবং অনুরোধের স্ট্যাক ট্রেস। প্রজেক্টটি নির্দিষ্ট DSH প্রি-রিলিজ সংস্করণ লক্ষ্য করে এবং সামঞ্জস্যপূর্ণ টেবিল অন্তর্ভুক্ত করে। এটি TMA1-এর সাথে সংহত হয়, যা OTLP-কে একটি পরিচালিত GreptimeDB-তে প্রক্সি করে। পরিচিত সীমাবদ্ধতার মধ্যে রয়েছে DSH-এর প্রি-রিলিজ অস্থিরতা, পরীক্ষামূলক GenAI শব্দার্থিক কনভেনশন, TTL মেট্রিক টেবিলে না পৌঁছানো এবং প্রতি-টার্ন ফ্লাশের অভাব।