इस प्रोजेक्ट के बारे में

Clousight Bench एक ओपन-कोर बेंचमार्क रनर और प्लगइन SDK है जिसे क्लाउड कंप्यूटिंग सेवाओं को मापने के लिए डिज़ाइन किया गया है। यह अपरिवर्तित अपस्ट्रीम बेंचमार्क हार्नेस का उपयोग करके और प्रत्येक माप के लिए एक सत्यापन योग्य प्रोवेनेंस चेन बनाए रखकर पुनरुत्पादकता और पारदर्शिता पर जोर देता है। यह टूल वर्तमान में पांच उत्पाद श्रेणियों का समर्थन करता है: - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (BenchBase के माध्यम से) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval प्रमुख वास्तुशिल्प विशेषताओं में BenchmarkSuites, Evaluators, DomainPacks और ProviderAdapters के लिए एक प्लगइन-आधारित सिस्टम शामिल है। यह विभिन्न निष्पादन मोड का समर्थन करता है, जिसमें क्लाउड खातों के बिना स्थानीय परीक्षण के लिए 'mock' मोड और लाइव क्लाउड वातावरण के लिए 'real' मोड (Aliyun AgentRun के लिए प्रयोगात्मक समर्थन के साथ) शामिल है। परियोजना में रिकॉर्ड और प्रक्षेपवक्र (trajectories) का विश्लेषण करने के लिए React-आधारित वेब व्यूअर, DuckDB के माध्यम से SQL-आधारित क्वेरी इंटरफ़ेस और CI/CD गेटिंग के लिए pytest के साथ एकीकरण शामिल है। यह प्राथमिक बेंचमार्क निर्णय के साथ-साथ विलंबता (latency), लागत और प्रोविजनिंग व्यवहार सहित कई आयामों को ट्रैक करता है।