llm-gateway

LLM Gateway es un servidor proxy unificado diseñado para optimizar las interacciones con múltiples proveedores de Modelos de Lenguaje Extensos (LLM). Proporciona un único endpoint compatible con OpenAI que enruta las solicitudes a varios backends, incluyendo OpenAI, OpenRouter, Google Gemini e instancias locales como Ollama. Sus capacidades clave incluyen un mecanismo de fallback automático que intenta utilizar proveedores alternativos si el primario falla, asegurando una alta disponibilidad. El gateway también implementa una limitación de tasa por clave de API para evitar el uso excesivo y proporciona un endpoint de métricas exhaustivo para rastrear el total de solicitudes, las tasas de éxito y el consumo de tokens entre los diferentes proveedores. Está diseñado para un despliegue sencillo a través de Docker y puede servir como un reemplazo directo para las configuraciones existentes de clientes de OpenAI simplemente actualizando la URL base. Las funciones compatibles incluyen chat completions, embeddings y listado de modelos, con cadenas de fallback configurables y límites de solicitudes por minuto.