llm-router

LLM Router es una aplicación de FastAPI diseñada para actuar como un proxy unificado para múltiples backends de IA, manteniendo la compatibilidad total con la API de OpenAI Chat Completions. Permite a los desarrolladores enrutar solicitudes a través de varios proveedores —incluyendo OpenAI, Cerebras, DeepInfra e instancias locales de Ollama— utilizando un sistema basado en prioridades con failover automático. Las capacidades clave incluyen: - Enrutamiento Multi-Backend: Cambia sin problemas entre diferentes servicios de IA según la disponibilidad y la prioridad. - Compatibilidad con OpenAI: Funciona como un reemplazo directo para aplicaciones existentes basadas en OpenAI simplemente cambiando la URL base. - Funciones de Resiliencia: Implementa failover automático a backends secundarios si el servicio primario falla o alcanza los límites de tasa. - Gestión de Tráfico: Cuenta con un sistema de limitación de tasa integrado que utiliza un algoritmo de ventana deslizante y admite múltiples claves de API para la autenticación. - Monitoreo y Estadísticas: Proporciona endpoints dedicados para comprobaciones de estado, estado del backend y métricas de uso. - Configuración Flexible: Admite configuración basada en el entorno o reglas de enrutamiento avanzadas basadas en JSON. La herramienta es particularmente útil para los desarrolladores que buscan aumentar la confiabilidad de sus aplicaciones impulsadas por IA diversificando sus proveedores de modelos sin cambiar su código base.