Об этом проекте

Этот репозиторий предоставляет готовую к промышленной эксплуатации реализацию многоуровневого каскадного маршрутизатора LLM, разработанного для снижения расходов на API до 65%. Система использует легковесный классификатор (Claude Haiku) для анализа входящих запросов и их направления на один из трех уровней производительности: Gemini 2.5 Flash-Lite для простого форматирования и извлечения данных, Claude Sonnet для умеренного анализа и написания кода и Claude Opus для сложных рассуждений. Пакет включает основной механизм маршрутизации, среду тестирования для измерения точности классификации и скрипт теневого режима (shadow mode) для мониторинга производственного трафика без влияния на ответы в реальном времени. Система поддерживает API Anthropic и Google Gemini, а также предоставляет подробные данные по использованию токенов и разбивку затрат для каждого маршрутизированного запроса. Данная реализация предназначена для разработчиков, стремящихся сбалансировать производительность моделей с бюджетными ограничениями в высоконагруженных AI-приложениях.