unified-llm-engine

O Unified LLM Engine é uma biblioteca Python que abstrai interações com múltiplos provedores de grandes modelos de linguagem (LLM), incluindo OpenAI, Anthropic, Gemini, Azure, AWS Bedrock e Ollama. Oferece uma interface unificada para que desenvolvedores possam trocar ou combinar provedores sem alterar o código. Principais funcionalidades incluem fallbacks automáticos do provedor quando um falha, rastreamento em tempo real de custos e uso de tokens, cache inteligente de respostas para reduzir chamadas redundantes, suporte a streaming para saída em tempo real e design async-first para alto desempenho. O motor faz roteamento inteligente das requisições com base na disponibilidade do modelo, carga e preferências configuradas. Os usuários podem inicializar o motor com variáveis de ambiente para chaves de API e opcionalmente habilitar cache ou definir modelos padrão. Resumos de custos estão disponíveis por modelo e agregados entre sessões. A arquitetura separa a lógica central de roteamento das implementações individuais de provedores, tornando-a extensível. Inclui exemplos e testes, e o projeto segue licenciamento MIT. Ideal para aplicações que exigem resiliência, controle de custos ou flexibilidade multi-provedor em integrações com LLM.