প্রকল্প সম্পর্কে

Clousight Bench হলো একটি ওপেন-কোর বেঞ্চমার্ক রানার এবং প্লাগইন SDK যা ক্লাউড কম্পিউটিং পরিষেবাগুলি পরিমাপ করার জন্য ডিজাইন করা হয়েছে। এটি অপরিবর্তিত আপস্ট্রিম বেঞ্চমার্ক হারনেস ব্যবহার করে এবং প্রতিটি পরিমাপের জন্য একটি যাচাইযোগ্য প্রোভেন্যান্স চেইন বজায় রাখার মাধ্যমে পুনরুৎপাদনযোগ্যতা এবং স্বচ্ছতার ওপর গুরুত্ব দেয়। এই টুলটি বর্তমানে পাঁচটি প্রোডাক্ট ক্যাটাগরি সমর্থন করে: - Agent Runtimes: SWE-bench - Data Warehouses: TPC-H, TPC-DS - Transactional Databases: TPC-C (BenchBase-এর মাধ্যমে) - Key-Value Stores: YCSB - LLM Endpoints: MMLU, GSM8K, HumanEval এর প্রধান আর্কিটেকচারাল বৈশিষ্ট্যগুলোর মধ্যে রয়েছে BenchmarkSuites, Evaluators, DomainPacks এবং ProviderAdapters-এর জন্য একটি প্লাগইন-ভিত্তিক সিস্টেম। এটি বিভিন্ন এক্সিকিউশন মোড সমর্থন করে, যার মধ্যে ক্লাউড অ্যাকাউন্ট ছাড়াই লোকাল টেস্টিংয়ের জন্য একটি 'mock' মোড এবং লাইভ ক্লাউড এনভায়রনমেন্টের জন্য 'real' মোড (Aliyun AgentRun-এর জন্য পরীক্ষামূলক সমর্থনসহ) অন্তর্ভুক্ত রয়েছে। প্রজেক্টটিতে রেকর্ড এবং ট্র্যাজেক্টরি বিশ্লেষণের জন্য একটি React-ভিত্তিক ওয়েব ভিউয়ার, DuckDB-এর মাধ্যমে একটি SQL-ভিত্তিক কুয়েরি ইন্টারফেস এবং CI/CD গেটিংয়ের জন্য pytest-এর সাথে ইন্টিগ্রেশন রয়েছে। এটি প্রাথমিক বেঞ্চমার্ক ভার্ডিক্টের পাশাপাশি ল্যাটেন্সি, খরচ এবং প্রোভিশনিং বিহেভিয়ারসহ একাধিক ডাইমেনশন ট্র্যাক করে।