llm-router

LLM Router — это OpenAI-совместимый API, предназначенный для снижения операционных расходов на LLM путем автоматической маршрутизации запросов между различными моделями, включая GLM, Kimi, Qwen и Doubao. При использовании идентификатора модели "auto" система выбирает модель на основе типа задачи: простые задачи направляются в Doubao, сбалансированные — в Qwen, а сложные задачи на рассуждение — в Kimi или GLM. Ключевые возможности включают: - Мультимодельная маршрутизация между различными провайдерами. - Оптимизация затрат для сокращения расходов на API. - OpenAI-совместимый API для легкой интеграции без значительных изменений в коде. - Механизмы автоматического резервного копирования (fallback) для обработки сбоев. - Интеллектуальный выбор модели на основе типа задачи.