ai-gateway

AI Gateway es una herramienta de código abierto diseñada para simplificar el acceso a múltiples proveedores de modelos de lenguaje extenso (LLM) a través de una API única y unificada. Admite el enrutamiento de solicitudes entre proveedores como OpenAI, Gemini, Groq, Mistral y más, incluyendo modelos locales a través de Ollama o respuestas simuladas para pruebas. Las características clave incluyen reintentos automáticos, cadenas de respaldo, limitación de tasa y, especialmente, límites presupuestarios mensuales estrictos que bloquean el gasto adicional una vez alcanzado un límite establecido. El sistema incluye un panel de costos en lenguaje sencillo que muestra el uso actual y las proyecciones. La instalación se agiliza mediante Docker Compose con un modo simple opcional (SQLite, sin Redis) o el stack completo (Postgres + Redis). Un cliente de Python ofrece interfaces tanto síncronas como asíncronas. Los valores predeterminados de seguridad desactivan las claves de demostración y los proveedores simulados en producción a menos que se permitan explícitamente. Es ideal para desarrolladores independientes y estudiantes que desean la flexibilidad de LiteLLM sin la complejidad empresarial.