llm-router

LLM Router es una API compatible con OpenAI diseñada para reducir los costos operativos de los LLM mediante el enrutamiento automático de solicitudes entre diferentes modelos, incluidos GLM, Kimi, Qwen y Doubao. Al utilizar el identificador de modelo "auto", el sistema selecciona un modelo basado en el tipo de tarea: las tareas simples se enrutan a Doubao, las tareas equilibradas a Qwen y las tareas de razonamiento complejo a Kimi o GLM. Las capacidades clave incluyen: - Enrutamiento multi-modelo a través de varios proveedores. - Optimización de costos para reducir el gasto en API. - API compatible con OpenAI para una integración sencilla sin cambios significativos en el código. - Mecanismos de fallback automático para gestionar fallos. - Selección inteligente de modelos basada en la tarea.