这个项目能做什么
CoAI(原Chat Nio)是一个开源、自托管的平台,将面向消费者的AI聊天应用与OpenAI兼容的API网关和分发系统相结合,旨在为希望从单一部署同时服务最终用户和开发者的运营商设计。
模型和提供商支持:该网关集成了多种提供商和格式,包括OpenAI和Azure OpenAI、Anthropic Claude、Google Gemini和PaLM2、Midjourney(支持U/V/R操作)、讯飞星火、智谱ChatGLM、阿里通义千问、腾讯混元、百川、Moonshot、DeepSeek、字节跳动Skylark、Groq、OpenRouter、360 GPT,以及LocalAI和Ollama等本地运行时。文本到图像支持涵盖DALL-E、Midjourney和Stable Diffusion。仓库描述称支持35多个提供商的200多个模型。
网关和渠道管理:渠道可配置优先级排序、同优先级内基于权重的负载均衡、用户分组、失败自动重试、模型重定向、上游隐藏和渠道状态管理。暴露的OpenAI兼容端点包括/v1/chat/completions、/v1/images、/v1/models和/v1/billing。
聊天和最终用户功能:Web界面(React、Redux、Radix UI、Tailwind CSS)在PC、平板和移动设备上响应式,支持浅色和深色主题以及多语言国际化。Markdown渲染涵盖LaTeX公式、Mermaid图表、表格、代码高亮和图表。对话跨设备同步,无需WebDAV或WebRTC依赖,可通过链接分享或保存为图片。可定制的模型市场和预设系统(带云同步)从后端管理。提供PWA构建和基于Tauri的桌面应用。
文件和搜索:文件解析开箱即用,支持PDF、DOCX、PPTX、Excel和图像格式,适用于所有模型,OCR和云对象存储(S3、R2、MinIO)通过配套的blob服务处理。网络搜索基于SearXNG引擎,支持Google、Bing、DuckDuckGo、Yahoo、Wikipedia、Arxiv和Qwant等来源,具有安全搜索模式、内容截断和图像代理选项。
计费和管理:提供两种计费模式:订阅和弹性计费(按请求、按令牌、免费或匿名调用,带最低请求点检查)。礼品码和兑换码支持批量生成,用于促销或卡片销售。管理后台包括仪表板、公告和通知管理、用户和订阅管理、价格设置、自定义站点名称和Logo,以及SMTP配置。可选的模型缓存为相同请求参数哈希返回先前计算结果,不收取缓存命中费用,可配置缓存持续时间和结果数量。
部署:Docker和Docker Compose是推荐的安装路径(需要MySQL和Redis),支持Zeabur、BT面板和阿里云ComputeNest的一键选项,也可使用pnpm(前端)和Go(后端)从源码构建。初始管理员账户为root,默认密码应在部署后立即更改。项目采用Apache-2.0许可证。单独的商业Pro版增加了TTS/STT、插件市场、RAG知识库、额外支付提供商和渠道健康监控等功能;这些功能不属于开源仓库的一部分。
评论
0 评分人数达到10人后显示
登录后参与讨论。