clousight-bench

Clousight Bench est un exécuteur de benchmark open-core et un SDK de plugins conçu pour mesurer les services de cloud computing. Il met l'accent sur la reproductibilité et la transparence en utilisant des harnais de benchmark upstream non modifiés et en maintenant une chaîne de provenance vérifiable pour chaque mesure. L'outil prend actuellement en charge cinq catégories de produits : - Agent Runtimes : SWE-bench - Data Warehouses : TPC-H, TPC-DS - Transactional Databases : TPC-C (via BenchBase) - Key-Value Stores : YCSB - LLM Endpoints : MMLU, GSM8K, HumanEval Les caractéristiques architecturales clés incluent un système basé sur des plugins pour les BenchmarkSuites, Evaluators, DomainPacks et ProviderAdapters. Il prend en charge divers modes d'exécution, notamment un mode « mock » pour les tests locaux sans comptes cloud et un mode « real » pour les environnements cloud en direct (avec un support expérimental pour Aliyun AgentRun). Le projet comprend un visionneur web basé sur React pour analyser les enregistrements et les trajectoires, une interface de requête SQL via DuckDB, et une intégration avec pytest pour le gating CI/CD. Il suit plusieurs dimensions, notamment la latence, le coût et le comportement du provisionnement, parallèlement au verdict principal du benchmark.