llm-gateway

O LLM Gateway é um servidor proxy unificado projetado para simplificar as interações com múltiplos provedores de Large Language Model (LLM). Ele fornece um endpoint único, compatível com OpenAI, que roteia solicitações para vários backends, incluindo OpenAI, OpenRouter, Google Gemini e instâncias locais como Ollama. As principais capacidades incluem um mecanismo de fallback automático que tenta provedores alternativos se o primário falhar, garantindo alta disponibilidade. O gateway também implementa a limitação de taxa (rate limiting) por chave de API para evitar o uso excessivo e fornece um endpoint de métricas abrangente para rastrear o total de solicitações, taxas de sucesso e consumo de tokens entre diferentes provedores. Ele foi projetado para fácil implantação via Docker e pode servir como um substituto direto para configurações existentes de clientes OpenAI, bastando atualizar a URL base. Os recursos suportados incluem chat completions, embeddings e listagem de modelos, com cadeias de fallback configuráveis e limites de solicitações por minuto.