llmrouter

LLMRouter est une passerelle API auto-hébergée pour les grands modèles de langage (LLM), permettant aux utilisateurs d'invoquer unifiés depuis leur poste plusieurs prestataires d'IA (comme Google, Groq, Mistral, Zhipu AI, Alibaba Cloud Bailian, etc.) via une interface unique compatible OpenAI. Toutes les clés et configurations sont stockées de manière chiffrée dans une base SQLite locale, garantissant la confidentialité et la sécurité. Le système prend en charge la bascule automatique en cas d'échec (passage à un autre modèle lors d'erreurs 429/5xx), le routage intelligent (model="auto" sélectionne automatiquement le meilleur modèle), le streaming de sortie et les appels d'outils. Un panneau d'administration web est fourni pour la gestion des clés, le réglage des priorités de routage et les tests dans un Playground. Le déploiement一键 (en un clic) est pris en charge sur Windows/macOS/Linux, avec une occupation mémoire à l'état inactif d'environ 40 Mo, ce qui convient parfaitement aux utilisateurs individuels ou petites équipes. L'architecture technique repose sur un backend Express et un frontend React, avec un design modulaire pour l'intégration des fournisseurs, facilitant l'extension du système.