Об этом проекте

CogniGate — это open-source self-hosted шлюз для LLM, разработанный для размещения между приложениями и различными провайдерами AI-моделей. Он позволяет приложениям использовать один OpenAI-совместимый API-ключ, в то время как фактические учетные данные провайдеров надежно хранятся внутри развертывания. Ключевые возможности включают: - OpenAI-совместимый API: интегрируется с существующими SDK без необходимости изменения кода. - Алиасы возможностей: использует такие алиасы, как `fast`, `balanced` и `best` для разрешения в конкретные модели, что позволяет клиентам оставаться независимыми от конкретных версий моделей. - Цепочки отказоустойчивости (Fallback Chains) и размыкатели цепей (Circuit Breakers): реализуют упорядоченные каскады для ротации моделей и экспоненциальную задержку при ошибках 429/5xx для обеспечения надежности. - Квоты для каждого тенанта: поддерживает лимиты по токенам и затратам с режимом «наблюдения» для определения размеров. - Надежный учет использования: записывает все запросы в PostgreSQL для аналитики по тенантам, моделям или провайдерам. Архитектура системы состоит из шлюза на базе Go для обработки запросов и аналитического движка на Java/Spring Boot для долгосрочного учета. Система поддерживает любого провайдера, который реализует формат OpenAI, включая Together, Groq, Fireworks, vLLM, Ollama и Azure OpenAI.