frugal-llm

Frugal LLM est un serveur proxy léger écrit en Go qui fournit une interface API unifiée compatible OpenAI. Son objectif principal est d'optimiser le budget API et la qualité des réponses en routant automatiquement les prompts entrants vers des architectures de modèles spécialisées en fonction du domaine de la tâche (par exemple, router la conversation occasionnelle vers des moteurs haute vitesse et le raisonnement complexe vers des modèles phares). Les fonctionnalités clés incluent : - Routage dynamique : Utilise un moteur classificateur LLM basé sur des modèles pour faire correspondre les charges de travail au fournisseur et au modèle idéaux. - Prise en charge étendue des fournisseurs : S'intègre avec OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace, et des serveurs locaux comme Ollama, LM Studio, et vLLM. - Compatibilité avec les spécifications OpenAI : Fonctionne avec les SDK OpenAI standard, LangChain, LlamaIndex, et les assistants de codage comme Cursor et Cline sans refactoring de code. - Fonctionnalités techniques : Prend en charge le streaming SSE, les nouvelles tentatives de fournisseur avec backoff exponentiel, et le démarshaling flexible des charges utiles pour le contenu structuré. - Configuration : Prend en charge une configuration sans modification via des variables d'environnement ou une personnalisation avancée via des fichiers YAML.