llm-router

SJMN est un routeur auto-hébergé conçu pour les appels API de grands modèles de langage (LLM), visant à garantir une haute disponibilité. Il permet aux utilisateurs d'enregistrer plusieurs connexions compatibles avec l'API OpenAI (telles qu'OpenAI, Azure OpenAI, OpenRouter, Groq, ou des instances locales comme Ollama et LM Studio) et d'assigner un ordre de priorité à chacune. Si la connexion principale échoue en raison d'un délai d'attente ou d'une erreur, le routeur effectue automatiquement une bascule vers la connexion suivante disponible dans la liste de priorité. Fonctionnalités principales : - Tableau de bord administrateur : Une interface basée sur React permettant de gérer les connexions, générer des clés API et inspecter les journaux de requêtes/réponses. - Logique de routage : Basculement automatique fondé sur des numéros de priorité (les nombres les plus faibles sont testés en premier). - Playground : Une interface de chat intégrée pour tester des connexions spécifiques ou la logique générale de secours. - Surveillance de l'état de santé : Outils pour sonder les connexions et les marquer comme en ligne ou hors ligne, les mises à jour de statut étant déclenchées par le trafic en temps réel. - Sécurité : Accès administrateur protégé par JWT et authentification par clé API pour le point de terminaison du routeur. Le système est développé avec un backend Node.js/Express utilisant SQLite pour la persistance des données et un frontend React/Vite. Il peut être déployé via Docker Compose ou exécuté en local.