Об этом проекте

Inja LLM Gateway — это легковесный, не имеющий зависимостей API-шлюз для провайдеров больших языковых моделей. Он принимает запросы в форматах OpenAI Chat Completions, Anthropic Messages или нативных диалектов Gemini и маршрутизирует их к любым настроенным внешним провайдерам, включая OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM и другие. Трафик в том же диалекте передается почти без изменений; кросс-диалектные запросы автоматически переводятся, поддерживая структурированные выводы, использование инструментов и блоки мышления. Шлюз полностью не имеет состояния, без базы данных, сессий или липкой маршрутизации, что упрощает масштабирование идентичных реплик. Он поставляется как единый статический бинарный файл для macOS, Linux и Windows и включает манифесты для развертывания в Docker и Kubernetes. Единственная зависимость на этапе выполнения — gopkg.in/yaml.v3. Ключевые возможности включают многопровайдерный исходящий трафик с четырьмя типами провайдеров (openai, openai_compat, anthropic, google), псевдонимы моделей и маршрутизацию, необязательную пограничную аутентификацию с общими секретами, источники токенов OAuth2 и сервисных учетных записей, а также встроенную панель оператора по адресу /ui. Учет использования генерирует одно событие на каждый проксируемый запрос через JSONL, асинхронный вебхук, опциональный SQLite или внутрипроцессный Go-хук. Шлюз также поддерживает эмбеддинги, генерацию изображений, видеозадания, текст-в-речь, речь-в-текст, OpenAI Responses, Files, Batches, Moderations и Real-time WebSocket-сессии (только пропуск в рамках одного протокола). Конфигурация — это один YAML-файл с переопределениями через переменные окружения. Встроены проверки работоспособности, метрики Prometheus, ограничения размера тела и плавное завершение работы. Проект лицензирован под AGPL-3.0.