Sobre el proyecto

LLMux es un gateway basado en Rust diseñado para gestionar múltiples proveedores de modelos de lenguaje extenso (LLM) a través de una API unificada. Se centra en minimizar la latencia y la sobrecarga mediante el uso de Rust async. Las capacidades clave incluyen: - API Unificada: Proporciona una interfaz única para interactuar con proveedores como OpenAI y Anthropic (Claude). - Gestión de Claves: Soporta la rotación automática de claves API para facilitar el balanceo de carga y evitar los límites de tasa. - Control de Tráfico: Implementa limitación de tasa y cuotas basadas en solicitudes por minuto y uso de tokens (entrada/salida). - Observabilidad: Incluye métricas de Prometheus integradas para monitorear el uso y el rendimiento. - Mapeo de Modelos: Permite la configuración de diferentes modelos para casos de uso específicos, como 'default', 'fast' y 'premium'.