Sobre el proyecto
Esta capa proxy basada en Node.js permite a los usuarios enrutar solicitudes de modelos de IA entre múltiples proveedores utilizando una interfaz compatible con OpenAI (/v1/chat/completions). Está diseñada para garantizar fiabilidad y flexibilidad en implementaciones de IA.
Las capacidades principales incluyen:
- Failover multi-proveedor: Enruta solicitudes a múltiples proveedores para el mismo modelo según una prioridad definida.
- Enrutamiento consciente del estado: Realiza seguimiento de la salud de los proveedores en tiempo real para automatizar procesos de recuperación y cambio.
- Configuración segura: Permite la inyección de claves API mediante variables de entorno para evitar codificar secretos.
- Mapeo de modelos: Utiliza una configuración YAML para asignar modelos específicos a distintos puntos finales de proveedor y claves API.
- Panel de administración local: Incluye un panel ligero opcional para gestionar los mapeos de modelo-proveedor.
- Diseño listo para edge: Arqutetado para una posible migración a plataformas edge como Cloudflare Workers o Vercel Edge.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.