منصوبے کے بارے میں

Clousight Bench ایک اوپن کور بینچ مارک رنر اور پلگ ان SDK ہے جسے کلاؤڈ کمپیوٹنگ سروسز کی پیمائش کے لیے ڈیزائن کیا گیا ہے۔ یہ غیر تبدیل شدہ اپسٹریم بینچ مارک ہارنسز کے استعمال اور ہر پیمائش کے لیے ایک قابل تصدیق پروویننس چین برقرار رکھ کر ریپروڈیوسبیلٹی اور شفافیت پر زور دیتا ہے۔ یہ ٹول فی الحال پانچ پروڈکٹ کیٹیگریز کو سپورٹ کرتا ہے: - ایجنٹ رن ٹائمز: SWE-bench - ڈیٹا ویئر ہاؤسز: TPC-H, TPC-DS - ٹرانزیکشنل ڈیٹا بیسز: TPC-C (BenchBase کے ذریعے) - کی-ویلیو اسٹورز: YCSB - LLM اینڈ پوائنٹس: MMLU, GSM8K, HumanEval اہم آرکیٹیکچرل خصوصیات میں BenchmarkSuites، Evaluators، DomainPacks، اور ProviderAdapters کے لیے ایک پلگ ان پر مبنی سسٹم شامل ہے۔ یہ مختلف ایگزیکیوشن موڈز کو سپورٹ کرتا ہے، بشمول مقامی ٹیسٹنگ کے لیے 'mock' موڈ (بغیر کلاؤڈ اکاؤنٹس کے) اور لائیو کلاؤڈ ماحول کے لیے 'real' موڈ (Aliyun AgentRun کے لیے تجرباتی سپورٹ کے ساتھ)۔ اس پروجیکٹ میں ریکارڈز اور ٹریجیکٹوریز کے تجزیے کے لیے React پر مبنی ویب ویور، DuckDB کے ذریعے SQL پر مبنی کوئری انٹرفیس، اور CI/CD گیٹنگ کے لیے pytest کے ساتھ انٹیگریشن شامل ہے۔ یہ بنیادی بینچ مارک فیصلے کے ساتھ ساتھ لیٹنسی، لاگت، اور پروویژننگ بیہیویر سمیت متعدد جہتوں کو ٹریک کرتا ہے۔