Об этом проекте

OBEY API Gateway — это высокопроизводительный шлюз на базе ИИ, представляющий собой единый бинарный файл, который размещается между приложениями и множеством AI-провайдеров. Он служит прямой заменой OpenAI API, позволяя пользователям перенаправить существующие SDK на шлюз для получения расширенных функций маршрутизации и надёжности без изменения кода приложения. Ключевые возможности: - **Поддержка нескольких провайдеров**: Совместим с OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM и LM Studio. - **Надёжность и маршрутизация**: Автоматический failover с помощью circuit breaker, экспоненциальная задержка (exponential backoff) и умная обработка rate limiting (с уважением к заголовкам Retry-After). Поддерживает маршрутизацию по приоритету, с учётом стоимости и сложности. - **Расширенные AI-функции**: - **Кэширование ответов**: Двухуровневое кэширование — точное совпадение в памяти и опциональный семантический уровень через Qdrant. - **Управление токенами**: 9 стратегий сжатия токенов и 12-этапный конвейер для сжатия определений инструментов. - **Guardrails**: Enforcement политик до и после вызова, включая маскирование PII, регулярные выражения и модерацию. - **Обнаружение цикла агента**: Выявляет повторяющееся поведение агентов и эскалирует через уровни предупреждений и throttling. - **Интеграция с OpenAI**: Поддержка OAuth-авторизации OpenAI для подписок ChatGPT Plus/Pro и нативный эндпоинт /v1/responses. - **Инструменты для разработчиков**: Встроенная админ-панель/дашборд, метрики Prometheus, структурированное логирование на базе SQLite и управление виртуальными ключами для бюджетирования и rate limiting на каждого вызывающего. - **Развёртывание**: Доступен как установщик Windows, Docker-образ или может быть собран из исходного кода с помощью Rust.