clousight-bench

Clousight Bench é um executor de benchmark open-core e um SDK de plugins projetado para medir serviços de computação em nuvem. Ele enfatiza a reprodutibilidade e a transparência ao usar harnesses de benchmark upstream não modificados e manter uma cadeia de proveniência verificável para cada medição. A ferramenta suporta atualmente cinco categorias de produtos: - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (via BenchBase) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval Os principais recursos arquitetônicos incluem um sistema baseado em plugins para BenchmarkSuites, Evaluators, DomainPacks e ProviderAdapters. Ele suporta vários modos de execução, incluindo um modo 'mock' para testes locais sem contas de nuvem e o modo 'real' para ambientes de nuvem ao vivo (com suporte experimental para Aliyun AgentRun). O projeto inclui um visualizador web baseado em React para analisar registros e trajetórias, uma interface de consulta baseada em SQL via DuckDB e integração com pytest para gating de CI/CD. Ele rastreia múltiplas dimensões, incluindo latência, custo e comportamento de provisionamento, juntamente com o veredito primário do benchmark.