这个项目能做什么
RouteTok是一款本地优先的推理路由器,兼容OpenAI和Anthropic APIs。它将弹性多提供商代理、运维仪表盘和独立的Model Fieldbook整合为一个轻量Node.js服务。
### 三大功能面,一个路由器
- **代理(`/v1`)**:为现有的OpenAI和Anthropic客户端提供一个稳定端点,具备显式路由、健康感知故障转移、规范化模型ID及使用元数据。
- **仪表盘(`/dashboard`)**:管理提供商、凭证、模型目录、路由顺序、自定义级联、健康电路、成本、实时请求及保留的遥测数据。
- **沙箱(`/sandbox`)**:提供独立的Model Fieldbook,支持Chat、Compare、Room、Evaluate、Images以及浏览器本地多代理Studio工作流。
### 亮点
- 支持OpenAI Chat Completions、OpenAI Responses和Anthropic Messages兼容
- 健康感知的输出前fallback,无需跨模型拼接流
- 虚拟路由:`auto`、`best`、`free`,以及有序自定义级联
- 提供商隔离的凭证和规范化路由,如 `openrouter:model-id`
- 对付费或未知价格的外部模型显式启用
- 实时请求遥测、历史指标、TTFT、吞吐量、Token、缓存活动及成本
- 浏览器本地Fieldbook笔记、评估、房间、草稿纸和虚拟Studio项目
- 不透明、被网络阻止的HTML/SVG/canvas预览及临时生成的媒体
### 快速开始
要求:Node.js 22或更新版本用于原生安装,或使用带有Docker Compose的Docker Engine进行容器部署。
评论
0 评分人数达到10人后显示
登录后参与讨论。