obey-api-gateway

OBEY API Gateway es una pasarela de IA de alto rendimiento y binario único diseñada para situarse entre las aplicaciones y múltiples proveedores de IA. Actúa como un reemplazo directo de la API de OpenAI, permitiendo a los usuarios apuntar sus SDKs existentes a la pasarela para obtener funciones avanzadas de enrutamiento y confiabilidad sin cambiar el código de la aplicación. Las capacidades principales incluyen: - **Soporte multi-proveedor**: Compatible con OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM y LM Studio. - **Confiabilidad y enrutamiento**: Incluye failover automático con circuit breakers, retroceso exponencial y manejo inteligente de límites de tasa (respetando los encabezados Retry-After). Soporta enrutamiento por prioridad, consciente del costo y de la complejidad. - **Funciones avanzadas de IA**: - **Caché de respuestas**: Caché de dos niveles con una capa de coincidencia exacta en memoria y una capa semántica opcional mediante Qdrant. - **Gestión de tokens**: Incluye 9 estrategias de compresión para tokens y un pipeline de 12 etapas para la compresión de definiciones de herramientas. - **Guardrails**: Aplicación de políticas antes y después de cada llamada, incluyendo ofuscación de PII, análisis con regex y moderación. - **Detección de bucles de agentes**: Detecta comportamiento repetitivo de agentes y escala mediante advertencias y niveles de throttling. - **Integración con OpenAI**: Compatible con OAuth de OpenAI para suscripciones ChatGPT Plus/Pro y proporciona un endpoint nativo /v1/responses. - **Herramientas para desarrolladores**: Incluye un panel de administración integrado, métricas Prometheus, registro estructurado basado en SQLite y gestión de claves virtuales para presupuestación y límite de tasa por llamador. - **Despliegue**: Disponible como instalador de Windows, imagen Docker o puede compilarse desde el código fuente utilizando Rust.