这个项目能做什么

## 项目概述 **cf-workers-ai-gateway** 是一个轻量级、零成本的 AI 推理网关，专门用于最大化利用 **Cloudflare Workers AI** 的免费额度。该项目将 Cloudflare 提供的多种开源模型（如 Qwen3、GPT-OSS 等）封装为标准 **OpenAI 兼容 API**，使得用户可以使用任何支持 OpenAI 协议的客户端（如 Cherry Studio、LobeChat、Open WebUI、Codex CLI 等）进行免费或极低成本的 AI 交互。 与传统的多提供商聚合网关（如 One-API、LiteLLM）不同，本项目不聚合付费 API，而是专注于**“榨干”单一免费提供商（Cloudflare Workers AI）的价值**。通过多账号轮转、成本感知路由和智能熔断机制，它能让个人用户在不支付一分钱的情况下，每天运行数百次甚至上千次高质量 AI 推理。 ## 核心特性 ### 1. 真·零成本与额度叠加 - **免费额度利用**：每个 Cloudflare 账号每天提供 10,000 Neurons 免费额度。本项目支持最多叠加 5 个账号，即每天 50,000 Neurons。 - **高性能模型免费跑**：通过额度叠加，用户可以每天免费运行约 150 次旗舰级模型 `qwen3.8-27b`（AA 智能指数 52，全球前 6% 水平），或数千次轻量级模型如 `qwen3-30b-a3b-fp8`。 ### 2. 智能多账号轮转 - **时间片轮转**：每 10 分钟自动切换首选账号，确保各账号额度均匀消耗，避免单个账号过早耗尽。 - **无状态设计**：采用时间片算法而非内存计数器，适应 Vercel 等 Serverless 环境的多实例部署，无需共享状态即可保持一致轮转。 ### 3. 成本感知路由与分级熔断 - **档位系统**：将模型抽象为 `fast`（默认，低成本）、`eco`（经济型）、`smart`（高性能，高成本）三个档位。默认路由至最便宜的 `fast` 档以节省额度，用户可手动指定 `smart` 档处理复杂推理任务。 - **分级熔断**：针对不同类型的错误（额度耗尽、速率限制、网络错误等）实施不同的冷却策略。例如，额度耗尽后采用“探测式恢复”，每小时自动重试，一旦 Cloudflare 额度重置（可能存在延迟），网关能自动恢复服务。 - **大请求分层路由**：根据模型上下文窗口自动折算请求上限。若请求过大，先尝试裁剪历史消息；若仍超限，则自动降级至上下文窗口更大的模型档位。 ### 4. 协议归一与优化 - **OpenAI 兼容**：完全兼容 Chat Completions 和 Responses API，支持流式输出（SSE）。 - **思考链压缩**：针对 Qwen3 系列模型，自动注入 `/no_think` 软开关，显著减少思考链输出 token 消耗（实测从 165 字降至 2 字），同时不影响工具调用功能。 - **格式标准化**：自动处理 Cloudflare 原生返回的 `reasoning` 字段、双副本 `tool_calls` 以及 SSE 空行问题，确保输出严格符合 OpenAI 规范。 ## 快速开始 ### 1. 获取 Cloudflare 凭据 1. 注册 [Cloudflare](https://dash.cloudflare.com/sign-up) 账号。 2. 创建 API Token：进入 **My Profile → API Tokens → Create Token**，选择 "Workers AI" 模板。 3. 记录 `Account ID` 和 `API Token`。 4. （可选）注册多个账号以叠加额度，最多 5 个。 ### 2. 配置与启动 ```bash cp .env.example .env # 编辑 .env 填入 CF_ACCOUNT_ID, CF_API_TOKEN 和 JY_AI_KEY node server.js ``` 服务默认运行在 `http://localhost:3000`。 ### 3. 测试 ```bash curl http://localhost:3000/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer your_secret_key" \ -d '{ "model": "fast", "messages": [{"role": "user", "content": "你好"}] }' ``` ## 部署建议 - **本地部署**：直接运行 `node server.js`。 - **Vercel 部署（推荐）**：Fork 本仓库并在 Vercel 导入，配置环境变量即可。项目已适配 Serverless 函数，无需数据库。 ## 常见问题 - **额度重置延迟**：Cloudflare 官方文档称每天 00:00 UTC 重置，但实际存在同步延迟。网关通过“探测式恢复”机制自动处理此问题，无需人工干预。 - **冷启动慢**：Cloudflare 模型冷启动可能需 19-25 秒。网关内置首字节超时（默认 12s），超时后自动切换至其他可用通道或账号，提升用户体验。 - **不支持付费模型**：本项目仅代理 Cloudflare Workers AI 上的免费/开源模型，不支持 Claude、GPT-4 等付费 API。 ## 总结 **cf-workers-ai-gateway** 为个人开发者和爱好者提供了一个高效、免费且稳定的 AI 接入方案。它通过精巧的工程化手段，解决了免费额度管理、多账号协调、协议兼容和成本优化等痛点，是让 Cloudflare Workers AI 发挥最大价值的理想工具。