Об этом проекте

LLM Router — это приложение на FastAPI, разработанное для работы в качестве единого прокси-сервера для нескольких ИИ-бэкендов при полном сохранении совместимости с OpenAI Chat Completions API. Оно позволяет разработчикам маршрутизировать запросы между различными провайдерами, включая OpenAI, Cerebras, DeepInfra и локальные экземпляры Ollama, используя систему приоритетов с автоматическим переключением при сбоях. Ключевые возможности включают: - Маршрутизация по нескольким бэкендам: плавное переключение между различными ИИ-сервисами в зависимости от доступности и приоритета. - Совместимость с OpenAI: функционирует как полноценная замена для существующих приложений на базе OpenAI путем простого изменения базового URL. - Функции отказоустойчивости: реализует автоматическое переключение на вторичные бэкенды, если основной сервис выходит из строя или достигает лимитов запросов. - Управление трафиком: встроенная система ограничения частоты запросов (rate limiting) с использованием алгоритма скользящего окна и поддержка нескольких API-ключей для аутентификации. - Мониторинг и статистика: предоставляет выделенные эндпоинты для проверки состояния (health checks), статуса бэкендов и метрик использования. - Гибкая конфигурация: поддерживает настройку через переменные окружения или расширенные правила маршрутизации в формате JSON. Этот инструмент особенно полезен для разработчиков, стремящихся повысить надежность своих приложений на базе ИИ за счет диверсификации провайдеров моделей без изменения кодовой базы.