Об этом проекте

LLM Router — это гибкий и эффективный API-шлюз, предназначенный для распределения запросов между несколькими провайдерами Large Language Model (LLM) и API-ключами. Написанный на Go, он выступает в качестве полноценной замены эндпоинту chat completions от OpenAI. Ключевые возможности включают интеллектуальную балансировку нагрузки на основе использования, взвешенный выбор моделей для оптимизации затрат и возможность определения логических групп моделей, которые сопоставляются с несколькими базовыми провайдерами, такими как OpenAI и OpenRouter. Он поддерживает полноценный стриминг через Server-Sent Events (SSE), сжатие ответов и детальный мониторинг производительности, отслеживая такие метрики, как Time to First Token (TTFT) и количество токенов в секунду. Роутер также управляет API-ключами для обеспечения избыточности и смягчения ограничений по количеству запросов (rate-limit), предлагая безопасный слой аутентификации и совместимость с Responses API от OpenAI.