ai-gateway

AI Gateway es una infraestructura de enrutamiento inteligente diseñada para optimizar el uso de LLM en entornos de producción. Enruta dinámicamente cada solicitud al modelo más apropiado según clasificación de intención, eficiencia de costes y métricas de salud del proveedor en tiempo real. El sistema evita pagar de más por consultas simples dirigiéndolas a modelos más económicos mientras reserva modelos de razonamiento potentes para tareas complejas. Construido con Node.js y Express, se integra con proveedores como Groq y Google Gemini, utilizando incrustaciones BGE locales para la detección de intención o alternativas alojadas. Las características clave incluyen gestión de claves API multi-tenant con cuotas diarias, caché en dos capas (exacta + semántica), conmutación por error automática entre proveedores y escalada basada en confianza desde modelos baratos a modelos de razonamiento. La selección consciente del estado utiliza el algoritmo de Welford para rastrear latencia y tasas de fallo por modelo, permitiendo el reenvío dinámico. La observabilidad está integrada mediante endpoints de administración que muestran tasas de acierto de caché, latencia y uso por inquilino. Redis se utiliza para persistencia y caché, con un fallback en memoria para desarrollo. La arquitectura es modular, testeable y desplegable en plataformas como Koyeb con Upstash Redis. Si bien no es un chatbot ni un wrapper de un solo modelo, actúa como un plano de control que mejora la confiabilidad, reduce costos y proporciona visibilidad completa sobre las operaciones de modelos de IA. Ideal para equipos que gestionan múltiples LLM en producción y necesitan enrutamiento inteligente, resiliencia y controles a nivel de inquilino sin construir infraestructura personalizada.