Об этом проекте

AI Gateway — это интеллектуальная инфраструктура маршрутизации, предназначенная для оптимизации использования LLM в продуктовых средах. Она динамически перенаправляет каждый запрос на наиболее подходящую модель на основе классификации намерений, экономической эффективности и показателей здоровья провайдеров в реальном времени. Система предотвращает переплату за простые запросы, направляя их к более дешёвым моделям, оставляя мощные модели рассуждений для сложных задач. Построена на Node.js и Express, интегрируется с провайдерами вроде Groq и Google Gemini, используя локальные BGE-эмбеддинги для обнаружения намерений или хостинговые аналоги. Ключевые возможности включают многопользовательское управление API-ключами с дневными квотами, двухуровневое кэширование (точное + семантическое), автоматический отказоустойчивый переход между провайдерами и эскалацию от дешёвых моделей к моделям рассуждений на основе уровня уверенности. Выбор с учётом состояния использует алгоритм Уэльфа для отслеживания задержек и частоты сбоев на уровне каждой модели, что позволяет динамически перенаправлять запросы. Наблюдаемость встроена через административные эндпоинты, отображающие процент попаданий в кэш, задержки и использование по каждому пользователю. Redis используется для сохранения данных и кэширования, с резервным вариантом в оперативной памяти для разработки. Архитектура модульная, тестируемая и готовая к развёртыванию на платформах типа Koyeb с Upstash Redis. Это не чат-бот и не обёртка вокруг одной модели; это плоскость управления, повышающая надёжность, снижающая стоимость и обеспечивающая полную видимость работы с AI-моделями. Идеально подходит для команд, управляющих несколькими LLM в продукте, которым нужна интеллектуальная маршрутизация, устойчивостью и контроль на уровне tenants без создания собственной инфраструктуры.