local-optimind-api

Local OptiMind API est une passerelle open-source exécutée localement qui route les requêtes LLM vers plusieurs fournisseurs d'IA (OpenAI, DeepSeek, Anthropic, Groq, Together, LLM locaux) via un point de terminaison unique compatible OpenAI. Il sélectionne intelligemment le fournisseur optimal pour chaque requête en fonction de modes configurables : priorité au coût, priorité à la qualité ou équilibré. Le système inclut la découverte automatique des modèles, des niveaux de tarification personnalisés, un suivi de l'état de santé avec backoff exponentiel, la journalisation des requêtes et le support du streaming SSE. Un tableau de bord d'administration permet de gérer les fournisseurs, les modèles, la tarification et de consulter les journaux via une interface web. Des clients sont disponibles en Python, JavaScript/TypeScript, Go, Java et .NET avec des API identiques. Le routeur prend en charge le routage de secours en cas d'échec, l'inférence de modèle basée sur les tâches lorsque les correspondances exactes ne sont pas disponibles, et s'intègre à Docker pour un déploiement facile. L'architecture comprend le filtrage de santé, la correspondance des modèles, la logique de notation et les couches d'exécution. La configuration est gérée via des variables d'environnement. Sous licence MIT, les contributions sont bienvenues pour de nouveaux adaptateurs de fournisseurs, le comptage de jetons et les stratégies de routage.