cognigate

CogniGate é um gateway de LLM open-source e self-hosted projetado para atuar entre aplicações e diversos provedores de modelos de IA. Ele permite que as aplicações utilizem uma única chave de API compatível com OpenAI, enquanto as credenciais reais do provedor permanecem seguras dentro da implantação. As principais capacidades incluem: - API Compatível com OpenAI: Integra-se com SDKs existentes sem exigir alterações no código. - Aliases de Capacidade: Utiliza aliases como `fast`, `balanced` e `best` para resolver modelos específicos, permitindo que os clientes permaneçam agnósticos em relação a versões específicas de modelos. - Fallback Chains & Circuit Breakers: Implementa cascatas ordenadas para rotação de modelos e backoff exponencial para erros 429/5xx para garantir a confiabilidade. - Quotas por Tenant: Suporta limites de tokens e gastos com um modo 'observe' para dimensionamento. - Medição de Uso Durável: Registra todas as requisições no PostgreSQL para análises por tenant, modelo ou provedor. A arquitetura do sistema consiste em um Gateway baseado em Go para manipulação de requisições e um motor de Analytics em Java/Spring Boot para medição durável. Ele suporta qualquer provedor que implemente o formato de rede da OpenAI, incluindo Together, Groq, Fireworks, vLLM, Ollama e Azure OpenAI.