clousight-bench

Clousight Bench 是一个开源核心的基准测试运行器和插件 SDK，旨在衡量云计算服务。它通过使用未经修改的上游基准测试框架并为每次测量维护可验证的溯源链，来强调可复现性和透明度。 该工具目前支持五个产品类别： - Agent 运行时：SWE-bench - 数据仓库：TPC-H, TPC-DS - 事务型数据库：TPC-C（通过 BenchBase） - 键值存储：YCSB - LLM 端点：MMLU, GSM8K, HumanEval 关键架构特性包括一个基于插件的系统，涵盖 BenchmarkSuites、Evaluators、DomainPacks 和 ProviderAdapters。它支持多种执行模式，包括用于无需云账号进行本地测试的“mock”模式，以及用于实时云环境的“real”模式（对 Aliyun AgentRun 提供实验性支持）。 该项目包含一个基于 React 的 Web 查看器用于分析记录和轨迹，一个通过 DuckDB 实现的基于 SQL 的查询接口，以及与 pytest 的集成以用于 CI/CD 门禁。除了主要的基准测试结论外，它还跟踪包括延迟、成本和配置行为在内的多个维度。