clousight-bench

Clousight Benchは、クラウドコンピューティングサービスを測定するために設計されたオープンコアのベンチマークランナーおよびプラグインSDKです。修正されていないアップストリームのベンチマークハーネスを使用し、すべての測定に対して検証可能なプロベナンスチェーンを維持することで、再現性と透明性を重視しています。 本ツールは現在、以下の5つの製品カテゴリをサポートしています： - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (BenchBase経由) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval 主要なアーキテクチャ上の特徴として、BenchmarkSuites、Evaluators、DomainPacks、およびProviderAdaptersのためのプラグインベースのシステムを備えています。また、クラウドアカウントなしでローカルテストを行うための「mock」モードや、実際のクラウド環境向けの「real」モード（Aliyun AgentRunの実験的サポートを含む）など、さまざまな実行モードをサポートしています。 本プロジェクトには、レコードとトラジェクトリを分析するためのReactベースのウェブビューア、DuckDB経由のSQLベースのクエリインターフェース、およびCI/CDゲーティングのためのpytestとの統合が含まれています。主要なベンチマーク判定に加えて、レイテンシ、コスト、プロビジョニング動作を含む複数の次元を追跡します。