Об этом проекте

AI Gateway — это инструмент с открытым исходным кодом, предназначенный для упрощения доступа к нескольким провайдерам больших языковых моделей (LLM) через единый унифицированный API. Он поддерживает маршрутизацию запросов между такими провайдерами, как OpenAI, Gemini, Groq, Mistral и другими, включая локальные модели через Ollama или имитацию ответов (mock responses) для тестирования. Ключевые особенности включают автоматические повторы, цепочки отказоустойчивости (fallback chains), ограничение частоты запросов (rate limiting) и, что особенно важно, жесткие ежемесячные лимиты бюджета, которые блокируют дальнейшие расходы при достижении установленного порога. Система включает панель управления затратами на простом английском языке, отображающую текущее использование и прогнозы. Установка упрощена с помощью Docker Compose с возможностью выбора простого режима (SQLite, без Redis) или полного стека (Postgres + Redis). Python-клиент предлагает как синхронные, так и асинхронные интерфейсы. Настройки безопасности по умолчанию отключают демо-ключи и имитационных провайдеров в рабочей среде, если они не разрешены явно. Идеально подходит для соло-разработчиков и студентов, которым нужна гибкость в стиле LiteLLM без сложности корпоративных решений.