Sobre el proyecto
Este proyecto es un servidor proxy que permite la interacción con los modelos de la GitHub Models API asegurando la compatibilidad total con la OpenAI API estándar. Proporciona acceso a docenas de modelos de varios proveedores (incluyendo OpenAI, Meta, Microsoft, Mistral, DeepSeek y xAI).
### Características Clave:
- **Múltiples Interfaces**: Soporte para la OpenAI API estándar, una JSON API extendida, una Chat API simplificada y una Web UI interactiva para pruebas.
- **Monitoreo y Analítica**: Un endpoint integrado en formato Prometheus para rastrear solicitudes HTTP, errores, uso de memoria y rendimiento. Una interfaz web de monitoreo separada está disponible en `/monitor`.
- **Control de Carga**: Mecanismos de limitación de tasa (rate limiting) y control de concurrencia con una cola de espera para garantizar la estabilidad.
- **Herramientas Auxiliares**:
- `watchdog.sh` para la recuperación automática del servidor.
- Scripts para benchmarking, prueba de modelos y generación de ejemplos de código.
- Función TTS (locución en ucraniano) con soporte de streaming.
- **Funciones Inteligentes**: Verificaciones automáticas de límite de contexto y un sistema de recomendación de modelos basado en la tarea (velocidad, calidad, volumen de texto).
### Stack Técnico:
- Node.js 18+
- Integración con GitHub Models API
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.