clousight-bench

Clousight Bench는 클라우드 컴퓨팅 서비스를 측정하기 위해 설계된 오픈 코어 벤치마크 러너 및 플러그인 SDK입니다. 이 도구는 수정되지 않은 업스트림 벤치마크 하네스를 사용하고 모든 측정에 대해 검증 가능한 출처 체인을 유지함으로써 재현성과 투명성을 강조합니다. 현재 이 도구는 다섯 가지 제품 카테고리를 지원합니다: - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (BenchBase를 통해) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval 주요 아키텍처 특징으로는 BenchmarkSuites, Evaluators, DomainPacks 및 ProviderAdapters를 위한 플러그인 기반 시스템이 포함됩니다. 클라우드 계정 없이 로컬 테스트를 수행하는 'mock' 모드와 실제 클라우드 환경을 위한 'real' 모드(Aliyun AgentRun에 대한 실험적 지원 포함) 등 다양한 실행 모드를 지원합니다. 이 프로젝트에는 레코드 및 궤적 분석을 위한 React 기반 웹 뷰어, DuckDB를 통한 SQL 기반 쿼리 인터페이스, CI/CD 게이팅을 위한 pytest 통합이 포함되어 있습니다. 또한 기본 벤치마크 판정 외에도 지연 시간, 비용, 프로비저닝 동작을 포함한 다차원 지표를 추적합니다.