llm-router

LLM Router est une application de bureau locale qui agit comme un proxy intelligent entre les clients d'IA (tels que Claude Code, Cursor et Codex CLI) et divers fournisseurs de LLM, notamment OpenAI, Anthropic, Google Gemini et DeepSeek. Son objectif principal est de réduire les coûts d'API en maintenant la « collance » (stickiness) des conversations à un seul fournisseur, garantissant ainsi que les remises liées au cache de prompts soient préservées lors de longues conversations. L'application fournit un point de terminaison API local unifié (localhost:11411) et prend en charge les formats de requête de style OpenAI et Anthropic. Les capacités clés incluent : - Optimisation des coûts : Suit les jetons utilisés, l'argent dépensé et les économies réalisées grâce aux hits de cache. - Routage intelligent : Règles personnalisables pour router les requêtes en fonction des noms de modèles, de la longueur des prompts ou de la disponibilité du fournisseur. - Transparence : Une fonction « Routing Explain » qui détaille pourquoi un modèle spécifique a été choisi et quelles alternatives ont été envisagées. - Intégration facile : Fonction « App Takeover » en un clic pour des outils spécifiques comme Claude Code et Codex CLI afin d'automatiser la configuration. - Confidentialité : Architecture locale utilisant une base de données SQLite intégrée ; les clés API sont stockées localement et ne quittent jamais l'appareil. - Support multiplateforme : Disponible pour macOS, Windows et Linux.