Об этом проекте

AI Gateway — это высокопроизводительный и масштабируемый шлюз API для AI-моделей, обеспечивающий единую точку доступа к различным сервисам больших языковых моделей. Он совместим с форматом API OpenAI и позволяет разработчикам подключать множества провайдеров с помощью единого кода: OpenAI, Anthropic (Claude), Tongyi Qianwen (DashScope), Ollama и другие. Поддерживаются все модальности: Chat, Vision, Image Generation, Speech-to-Text, Text-to-Speech, Embeddings. Система построена на стеке Go + Gin и обладает высокой способностью обрабатывать параллельные запросы; без_STATEless_ архитектура поддерживает горизонтальное масштабирование. Встроенные метрики Prometheus, структурированное логирование, трассировка запросов, токенированное ограничение скорости (token bucket) и управление квотами API Key. Поддерживаются бэкенды хранения MySQL/PostgreSQL, а также кэширование через память и Redis. Предусмотрены функции проверки работоспособности (health check), управления API Key и статистики использования, что упрощает развёртывание частных AI-сервисов для предприятий или индивидуальных разработчиков. Структура проекта понятна и позволяет легко добавлять новых провайдеров. Подходит для сценариев, где требуется унифицированное подключение к нескольким AI-сервисам с контролем трафика, мониторингом и управлением затратами.