frugal-llm

O Frugal LLM é um servidor proxy leve escrito em Go que fornece uma interface de API unificada compatível com OpenAI. Seu principal objetivo é otimizar o orçamento da API e a qualidade das respostas roteando automaticamente prompts de entrada para arquiteturas de modelos especializados com base no domínio da tarefa (por exemplo, rotear conversas casuais para motores de alta velocidade e raciocínio complexo para modelos premium). Recursos principais incluem: - Roteamento Dinâmico: Utiliza um mecanismo classificador de LLM baseado em templates para associar cargas de trabalho ao provedor e modelo ideais. - Suporte Amplo a Provedores: Integra-se com OpenAI, Google Gemini, Anthropic Claude, DeepSeek, Groq, Together AI, HuggingFace e servidores locais como Ollama, LM Studio e vLLM. - Compatibilidade com Especificação OpenAI: Funciona com SDKs padrão da OpenAI, LangChain, LlamaIndex e assistentes de codificação como Cursor e Cline sem necessidade de refatoração de código. - Recursos Técnicos: Suporta streaming SSE, novas tentativas de provedor com backoff exponencial e desserialização flexível de payload para conteúdo estruturado. - Configuração: Suporta configuração sem edição via variáveis de ambiente ou personalização avançada por meio de arquivos YAML.