llmhub

LLMHub es un servicio de proxy inverso diseñado para APIs compatibles con OpenAI. Permite a los usuarios agregar múltiples proveedores de API upstream en un único punto de entrada, gestionando la autenticación y el enrutamiento de solicitudes a través de un archivo de configuración YAML. Las capacidades clave incluyen: - **Agregación de Proveedores**: Soporte para múltiples proveedores upstream con URLs base personalizadas y configuraciones opcionales de proxy HTTP. - **Gestión de Claves de API**: Capacidad para definir claves de API personalizadas para usuarios downstream y gestionar múltiples claves upstream para el equilibrio de carga. - **Enrutamiento Flexible**: Reglas de enrutamiento que mapean las solicitudes downstream a proveedores específicos basándose en nombres de modelos o grupos de modelos predefinidos. - **Alias de Modelos**: Soporte para mapear alias sencillos a nombres de modelos originales complejos. - **Fiabilidad**: Mecanismos de reintento configurables para solicitudes upstream fallidas.