cognigate

CogniGate es una puerta de enlace LLM de código abierto y autohospedada, diseñada para situarse entre las aplicaciones y diversos proveedores de modelos de IA. Permite que las aplicaciones utilicen una única clave de API compatible con OpenAI, mientras que las credenciales reales del proveedor permanecen seguras dentro del despliegue. Las capacidades clave incluyen: - API compatible con OpenAI: Se integra con los SDK existentes sin requerir cambios en el código. - Alias de capacidad: Utiliza alias como `fast`, `balanced` y `best` para resolver modelos específicos, permitiendo que los clientes sean agnósticos a las versiones concretas de los modelos. - Cadenas de respaldo y disyuntores (Circuit Breakers): Implementa cascadas ordenadas para la rotación de modelos y un retroceso exponencial para errores 429/5xx para garantizar la fiabilidad. - Cuotas por inquilino: Admite límites de tokens y gasto con un modo de 'observación' para el dimensionamiento. - Medición de uso duradera: Registra todas las solicitudes en PostgreSQL para análisis por inquilino, modelo o proveedor. La arquitectura del sistema consiste en un Gateway basado en Go para el manejo de solicitudes y un motor de Analytics en Java/Spring Boot para la medición duradera. Es compatible con cualquier proveedor que implemente el formato de cable de OpenAI, incluyendo Together, Groq, Fireworks, vLLM, Ollama y Azure OpenAI.