À propos du projet

ai-router est un routeur LLM intelligent qui fournit une API compatible OpenAI et achemine les requêtes vers le fournisseur disponible le plus adapté. Il intègre la rupture de circuit par fournisseur, la surveillance de la santé et le suivi des coûts. Le routeur sélectionne les fournisseurs en fonction de la priorité, de la disponibilité actuelle et des étiquettes de modèle (telles que chat, code, rapide, etc.). Il comprend des points de terminaison pour les complétions de chat, les vérifications de santé, l'affichage des métriques et la gestion du circuit breaker.