llm-router

LLM Router est une API compatible OpenAI conçue pour réduire les coûts opérationnels des LLM en routant automatiquement les requêtes entre différents modèles, notamment GLM, Kimi, Qwen et Doubao. En utilisant l'identifiant de modèle "auto", le système sélectionne un modèle en fonction du type de tâche : les tâches simples sont routées vers Doubao, les tâches équilibrées vers Qwen, et les tâches de raisonnement complexes vers Kimi ou GLM. Les capacités clés incluent : - Routage multi-modèles via divers fournisseurs. - Optimisation des coûts pour réduire les dépenses d'API. - API compatible OpenAI pour une intégration facile sans modifications majeures du code. - Mécanismes de repli automatique pour gérer les pannes. - Sélection intelligente de modèles basée sur les tâches.