Об этом проекте

LLM Gateway — это унифицированный прокси-сервер, разработанный для оптимизации взаимодействия с несколькими провайдерами больших языковых моделей (LLM). Он предоставляет единый, совместимый с OpenAI эндпоинт, который маршрутизирует запросы к различным бэкендам, включая OpenAI, OpenRouter, Google Gemini и локальные экземпляры, такие как Ollama. Ключевые возможности включают механизм автоматического резервного копирования (fallback), который пробует альтернативных провайдеров в случае сбоя основного, обеспечивая высокую доступность. Шлюз также реализует ограничение частоты запросов (rate limiting) для каждого API-ключа для предотвращения чрезмерного использования и предоставляет комплексный эндпоинт метрик для отслеживания общего количества запросов, показателей успеха и потребления токенов у разных провайдеров. Система предназначена для простого развертывания через Docker и может служить прямой заменой существующих конфигураций клиентов OpenAI путем простого обновления базового URL. Поддерживаемые функции включают chat completions, embeddings и листинг моделей, с настраиваемыми цепочками резервного копирования и лимитами запросов в минуту.