llm-router

LLM Router es un servidor diseñado para enrutador solicitudes de API compatibles con OpenAI entre diferentes proveedores de LLM. Proporciona una interfaz unificada y maneja la conversión de solicitudes y respuestas entre los formatos de OpenAI, Anthropic y Gemini. Las capacidades clave incluyen: - Soporte multi-proveedor: Compatible con puntos finales de API de OpenAI, Anthropic y Gemini. - Conversión de solicitud/respuesta: Traduce automáticamente los formatos de datos entre los estándares de API soportados. - Selección avanzada de modelos: Admite selección de modelos usando sintaxis completa de expresión jq, permitiendo enrutamiento condicional basado en el cuerpo de la solicitud. - Estrategias de enrutamiento: Implementa estrategias de round-robin, aleatorio y menor conexión con distribución basada en pesos. - Manejo de errores: Reduce automáticamente el peso de un modelo tras un fallo para gestionar la disponibilidad. - Configuración: Gestionada mediante un archivo YAML donde los usuarios pueden definir listas de modelos, claves de API, URLs base y grupos de enrutamiento.