clousight-bench

Clousight Bench es un ejecutor de benchmarks de núcleo abierto y un SDK de plugins diseñado para medir servicios de computación en la nube. Enfatiza la reproducibilidad y la transparencia mediante el uso de arneses de benchmark upstream no modificados y el mantenimiento de una cadena de procedencia verificable para cada medición. La herramienta soporta actualmente cinco categorías de productos: - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (vía BenchBase) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval Las características arquitectónicas clave incluyen un sistema basado en plugins para BenchmarkSuites, Evaluators, DomainPacks y ProviderAdapters. Soporta varios modos de ejecución, incluyendo un modo 'mock' para pruebas locales sin cuentas de nube y un modo 'real' para entornos de nube en vivo (con soporte experimental para Aliyun AgentRun). El proyecto incluye un visor web basado en React para analizar registros y trayectorias, una interfaz de consulta basada en SQL a través de DuckDB e integración con pytest para el control de CI/CD. Rastrea múltiples dimensiones, incluyendo la latencia, el costo y el comportamiento de aprovisionamiento junto con el veredicto principal del benchmark.