llmux

LLMux é um gateway baseado em Rust projetado para gerenciar múltiplos provedores de modelos de linguagem extensos (LLM) por meio de uma API unificada. Ele foca em minimizar a latência e a sobrecarga utilizando Rust async. As principais capacidades incluem: - API Unificada: Fornece uma interface única para interagir com provedores como OpenAI e Anthropic (Claude). - Gerenciamento de Chaves: Suporta a rotação automática de chaves de API para facilitar o balanceamento de carga e evitar limites de taxa. - Controle de Tráfego: Implementa limitação de taxa e cotas baseadas em requisições por minuto e uso de tokens (entrada/saída). - Observabilidade: Inclui métricas Prometheus integradas para monitorar o uso e o desempenho. - Mapeamento de Modelos: Permite a configuração de diferentes modelos para casos de uso específicos, como 'default', 'fast' e 'premium'.