Об этом проекте

LLM-Router — готовый к продакшену шлюз, предназначенный для консолидации различных провайдеров больших языковых моделей (LLM) в единый OpenAI-совместимый API. Система позволяет разработчикам переключаться между такими провайдерами, как OpenAI, DeepSeek и Anthropic, а также локальными моделями вроде Ollama, без изменения кода на стороне клиента. Архитектура построена на асинхронных принципах и включает пул соединений, кэширование запросов и потоковую передачу ответов в реальном времени через Server-Sent Events (SSE). К ключевым корпоративным функциям относятся аутентификация по API-ключам, ограничение частоты запросов, валидация запросов и динамическая горячая перезагрузка конфигурации. Для мониторинга и обслуживания предусмотрены встроенные проверки работоспособности, метрики Prometheus и структурированное логирование. Развёртывание упрощено за счёт поддержки Docker и Kubernetes-манифестов, что делает систему подходящей для высоконагруженных продакшен-сред.