这个项目能做什么
AI Gateway 是一个高性能、可扩展的 AI 模型 API 网关,提供统一调用入口访问多种大模型服务。它兼容 OpenAI API 格式,允许开发者使用一套代码对接 OpenAI、Anthropic(Claude)、通义千问(DashScope)、Ollama 等多个提供商。支持 Chat、Vision、Image Generation、Speech-to-Text、Text-to-Speech、Embeddings 全模态功能。系统基于 Go + Gin 构建,具备高并发处理能力,无状态设计支持水平扩展。内置 Prometheus 指标、结构化日志、请求追踪、令牌桶限流、API Key 配额管理,并支持 MySQL/PostgreSQL 存储后端及内存/Redis 缓存。提供健康检查、API Key 管理、使用统计等功能,便于企业或个人部署私有化 AI 服务。项目结构清晰,支持开发者轻松添加新 Provider。适合需要统一接入多个 AI 服务并进行流量控制、监控和成本管理的场景。
评论
0 评分人数达到10人后显示
登录后参与讨论。