Об этом проекте

AI Gateway — это легковесный, саморазвертываемый API-шлюз, разработанный с учетом совместимости с интерфейсом OpenAI. Он позволяет пользователям определять маршруты, сопоставленные с конкретными именами моделей, используемыми их приложениями, а затем последовательно отправляет запросы настроенным провайдерам до тех пор, пока один из них не завершится успехом, что помогает снизить количество сбоев из-за лимитов запросов или простоев. Поддерживает развертывание через Docker, службы systemd и сборку локальных бинарных файлов. Конфигурация управляется с помощью YAML с подстановкой переменных окружения, обеспечивая гибкую настройку провайдеров (например, Cerebras, OpenRouter) и тайм-ауты для каждого маршрута. Включает адаптеры запросов для исправления совместимости (такие как ослабление tool_choice или внедрение JSON-схем), ротацию конечных точек при временных ошибках и диагностические эндпоинты. Аутентификация использует API-ключи; телеметрия через OTLP/HTTP является опциональной. Настройки безопасности по умолчанию включают выполнение от непривилегированного пользователя и маскирование логов. Идеально подходит для разработчиков, интегрирующих LLM в такие приложения, как n8n, сохраняя при этом отказоустойчивость и контроль над резервными провайдерами.