Sobre el proyecto

Este proyecto es una rama del servicio ai-proxy, diseñado para actuar como un proxy seguro para varios proveedores de Modelos de Lenguaje Grande (LLM). Proporciona un punto final de API unificado que permite a los usuarios interactuar con múltiples servicios de IA sin modificar el código de la aplicación para cada proveedor. Las capacidades principales incluyen: - Acceso unificado a la API: Compatible con proveedores como OpenAI, Google Gemini, Groq, OpenRouter, Cloudflare, Cohere y Sberbank GigaChat. - Gestión de solicitudes: Implementa limitación de velocidad (por minuto/hora/día), enrutamiento inteligente y manejo estructurado de errores. - Optimizaciones de rendimiento: Utiliza agrupación de búferes mediante sync.Pool para mayor eficiencia de memoria, agrupación de conexiones optimizada para clientes HTTP y un mecanismo de reintento con retroceso exponencial y jitter. - Seguridad: Incluye autenticación por token de acceso al proxy y gestión segura de configuración mediante variables de entorno. - Soporte de streaming: Compatible con eventos enviados por el servidor (SSE) para proveedores que implementan respuestas en streaming. - Configuración: Utiliza una configuración basada en YAML para definir modelos, prioridades y claves de API.