llm-router

LLM Router est une passerelle API flexible et efficace conçue pour distribuer les requêtes entre plusieurs fournisseurs de Large Language Model (LLM) et clés API. Écrit en Go, il agit comme un remplacement direct pour le point de terminaison des complétions de chat d'OpenAI. Ses capacités clés incluent l'équilibrage de charge intelligent basé sur l'utilisation, la sélection de modèles pondérés pour l'optimisation des coûts, et la possibilité de définir des groupes de modèles logiques mappés vers plusieurs fournisseurs sous-jacents tels qu'OpenAI et OpenRouter. Il prend en charge le streaming complet via Server-Sent Events (SSE), la compression des réponses et une surveillance détaillée des performances, suivant des métriques telles que le Time to First Token (TTFT) et les jetons par seconde. Le routeur gère également la gestion des clés API pour la redondance et l'atténuation des limites de débit, offrant une couche d'authentification sécurisée et une compatibilité avec l'API Responses d'OpenAI.