openai-shim

openai-shim é uma biblioteca Python leve, sem dependências, projetada para unificar o acesso a múltiplos provedores de LLM traduzindo suas APIs para o formato de conclusão de chat da OpenAI. Ela oferece failover entre provedores como Anthropic, Ollama e endpoints personalizados — trocando automaticamente se um falhar devido a limites de taxa, erros ou respostas vazias. A biblioteca lida com diferenças na estrutura da API (por exemplo, papéis ausentes, contagem de tokens, comportamento de streaming) para que seu código não precise se adaptar. Você pode definir adaptadores personalizados para qualquer endpoint — até serviços HTTP de texto simples — e rotear solicitações através de uma lista priorizada de provedores. Também inclui suporte interno para streaming, estimativa de tokens, rastreamento de descontinuação de modelos e filtragem de capacidades de visão/ferramentas. Ideal para construir gateways resilientes de múltiplos provedores ou proxy de chamadas LLM sem reescrever a lógica do cliente. Escrita em Python puro da biblioteca padrão, é amplamente testada com transportes simulados e adequada para uso em produção.