这个项目能做什么
该项目是一个代理服务器,旨在实现与 GitHub Models API 模型的交互,同时确保与标准 OpenAI API 完全兼容。它提供了访问来自多家供应商(包括 OpenAI、Meta、Microsoft、Mistral、DeepSeek 和 xAI)的数十种模型的权限。
### 核心特性:
- **多种接口**:支持标准 OpenAI API、扩展 JSON API、简化版 Chat API 以及用于测试的交互式 Web UI。
- **监控与分析**:内置 Prometheus 格式端点,用于跟踪 HTTP 请求、错误、内存使用情况和性能。可通过 `/monitor` 访问独立的监控 Web 界面。
- **负载控制**:具备速率限制机制和带有等待队列的并发控制,以确保稳定性。
- **辅助工具**:
- `watchdog.sh` 用于服务器自动恢复。
- 用于基准测试、模型测试和代码示例生成的脚本。
- 支持流式传输的 TTS 功能(乌克兰语配音)。
- **智能功能**:自动上下文限制检查,以及基于任务(速度、质量、文本量)的模型推荐系统。
### 技术栈:
- Node.js 18+
- 集成 GitHub Models API
评论
0 评分人数达到10人后显示
登录后参与讨论。