Sobre o projeto
Este projeto é um servidor proxy que permite a interação com os modelos da GitHub Models API, garantindo total compatibilidade com a OpenAI API padrão. Ele fornece acesso a dezenas de modelos de vários provedores (incluindo OpenAI, Meta, Microsoft, Mistral, DeepSeek e xAI).
### Principais Recursos:
- **Múltiplas Interfaces**: Suporte para a OpenAI API padrão, uma JSON API estendida, uma Chat API simplificada e uma Web UI interativa para testes.
- **Monitoramento e Análises**: Um endpoint integrado no formato Prometheus para rastrear requisições HTTP, erros, uso de memória e desempenho. Uma interface web de monitoramento separada está disponível em `/monitor`.
- **Controle de Carga**: Mecanismos de rate limiting e controle de concorrência com uma fila de espera para garantir a estabilidade.
- **Ferramentas Auxiliares**:
- `watchdog.sh` para recuperação automática do servidor.
- Scripts para benchmarking, teste de modelos e geração de exemplos de código.
- Função TTS (locução em ucraniano) com suporte a streaming.
- **Funções Inteligentes**: Verificações automáticas de limite de contexto e um sistema de recomendação de modelos com base na tarefa (velocidade, qualidade, volume de texto).
### Stack Técnica:
- Node.js 18+
- Integração com GitHub Models API
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.