aisix

AISIX AI Gateway es una puerta de enlace de código abierto y nativa de Rust que ofrece una única API compatible con OpenAI frente a múltiples proveedores de LLM, incluidos OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, DeepSeek y cualquier endpoint compatible con OpenAI. Está diseñada para que los equipos de plataforma enruten, gobiernen, protejan y observen el tráfico de LLM desde un único punto de control. Las características clave incluyen: - **API unificada**: Habla el formato de conexión de OpenAI o Anthropic; la puerta de enlace traduce al proveedor de destino. - **Enrutamiento y conmutación por error**: Seis estrategias (round_robin, consistent_hash, failover, least_cost, least_latency, least_busy), niveles de prioridad, presupuestos de reintentos y tiempos de enfriamiento. - **Modelos de conjunto**: Distribuye solicitudes a múltiples modelos y sintetiza respuestas con un modelo juez. - **Enrutamiento semántico**: Enruta según el significado del prompt usando embeddings. - **Limitación de velocidad y concurrencia**: RPS/RPM/RPH/RPD, TPM/TPD y límites de concurrencia, con backend de Redis para límites distribuidos. - **Barreras de protección**: Aplicación de políticas de contenido (palabras clave/regex, detección de PII, Presidio, Lakera, OpenAI Moderation, AWS Bedrock Guardrails, Azure AI Content Safety). - **Caché**: Caché de respuestas de coincidencia exacta con TTL, backends de memoria/Redis y caché automática de prompts para Anthropic. - **Puerta de enlace MCP**: Coloca servidores MCP registrados al frente en /mcp con credenciales gestionadas por la puerta de enlace y espacios de nombres de herramientas. - **Puerta de enlace de agentes A2A**: Coloca agentes A2A al frente en /a2a/:agent. - **Autenticación entrante**: Claves de API del llamador (con hash SHA-256) o tokens bearer OIDC/JWT. - **Observabilidad**: Métricas de Prometheus, registros de acceso estructurados, exportación de spans OTLP/GenAI, exportadores de Datadog y Aliyun SLS, telemetría en almacenamiento de objetos. - **Configuración declarativa**: Un único archivo resources.yaml, validado contra esquemas JSON, con recargas atómicas mediante SIGHUP. Se ejecuta como un único binario estático con baja sobrecarga, admite recargas de configuración en caliente y puede usar etcd para clústeres de múltiples réplicas. El proyecto tiene licencia Apache-2.0 y fue creado por los creadores de Apache APISIX. Una oferta comercial en la nube (AISIX Cloud) añade un plano de control con presupuestos, auditoría y un panel de control.