Sobre el proyecto
Multi-Provider AI API Proxy es un servidor proxy HTTP diseñado para actuar como un reemplazo directo de la API de Anthropic Claude. Permite a los usuarios mantener el formato de la API de Anthropic mientras enrutan las solicitudes a varios proveedores como Groq, OpenRouter y Portkey.
Las capacidades clave incluyen:
- **Enrutamiento Multi-Proveedor**: Soporta el enrutamiento a través de Groq, OpenRouter y Portkey, con la capacidad de seleccionar proveedores por solicitud mediante parámetros de consulta o establecer un valor predeterminado global.
- **Traducción de API**: Convierte a la perfección entre los formatos de Anthropic y OpenAI/Groq, incluyendo soporte para llamadas a herramientas y bloques de contenido complejos.
- **Gestión de Claves**: Implementa una rotación round-robin entre múltiples claves de API (hasta 10 por proveedor) para optimizar el rendimiento y evitar límites.
- **Limitación de Tasa Inteligente**: Detecta los límites de tasa específicos del proveedor (analizando específicamente los mensajes de error de Groq) y gestiona automáticamente la recuperación de claves y los tiempos de espera.
- **Observabilidad**: Proporciona un punto final de estado en tiempo real para monitorear la salud de las claves, estadísticas de solicitudes y un registro persistente detallado con varios niveles de log.
- **Integración**: Compatible con clientes compatibles con Anthropic, incluyendo Claude Code, Cursor IDE y Continue, a través de la configuración de variables de entorno (`ANTHROPIC_BASE_URL`).
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.