Об этом проекте

Conductress — это фреймворк для бенчмаркинга Valkey, предназначенный для постановки в очередь и выполнения тестов производительности, памяти и репликации. Он собирает и записывает данные бенчмарков для последующего анализа. Инструмент предоставляет текстовый пользовательский интерфейс (TUI) для интерактивного мониторинга и управления очередью задач, а также интерфейс командной строки (CLI) для автоматизации с помощью скриптов. Пользователи могут добавлять в очередь задачи с настраиваемыми параметрами, включая типы тестов (например, get, set, mget), размеры значений, количество потоков ввода-вывода (IO threads), уровни конвейеризации (pipelining), длительность прогрева и самого теста, а также количество повторений. CLI вычисляет декартово произведение многозначных параметров, создавая отдельные задачи для каждой комбинации. Бенчмарки могут быть запущены на удаленных серверах (через SSH) или на localhost. Настройка включает конфигурацию серверов и установку зависимостей. Фреймворк поддерживает бенчмаркинг размера ключей путем генерации ключей с заполнением и выполнение задач SET только для вставки, которые измеряют производительность пути создания новых ключей. Результаты агрегируются при указании количества повторений, вычисляя среднее количество запросов в секунду и 95-процентные доверительные интервалы. Модуль анализа сравнивает два спецификатора (ветки, теги или коммиты) с помощью t-критерия Уэлча, представляя дельты, p-значения и точность измерений. Вывод включает сводку значимых изменений и обнаруживаемые размеры эффекта. Дополнительные возможности включают сбор данных аппаратных счетчиков производительности, генерацию flame graph и логирование сбоев.