llm-apipool是一个自托管工具,将40多个免费LLM API统一到一个OpenAI兼容端点。自动轮换密钥、处理速率限制、追踪使用情况,并支持CLI、TUI、代理和LangChain集成。
好开源,值得被发现。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONXTokenHub 是一个自托管的 LLM 提供商 API 聚合网关,将多个平台的 API 密钥集中为渠道,暴露统一的 OpenAI/Anthropic 端点,支持协议自动转换,并实时追踪 Token 用量、缓存命中率和每密钥统计数据。
Token Station 是面向 AI 智能体和 LLM 提供商的本地路由网关。通过仅回环网关路由 Claude Code、Cursor、Codex、Gemini CLI 等,支持智能分层选择、配额感知路由和用量跟踪。
Inja LLM Gateway 是一个无状态、轻量级的 API 网关,用于路由 OpenAI、Anthropic 和 Gemini 请求,支持跨方言翻译、用量计量和单二进制部署。
Higress是一个基于Istio和Envoy构建的云原生AI原生API网关,具备Wasm插件扩展性、统一LLM提供商接入、MCP服务器托管及Kubernetes入口支持。
One API 是一个统一的 LLM API 管理与分发系统,支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek 等数十个主流模型,提供统一的 OpenAI 格式接口、令牌管理、渠道负载均衡、用户分组及二次分发功能,单二进制或 Docker 一键部署。
Kong Gateway 是一款云原生、平台无关的 API、LLM 和 MCP 网关,提供基于插件的扩展能力,支持路由、负载均衡、身份认证及 AI 流量治理。
本项目提供基于AWS的无服务器点击流数据管道,通过API Gateway接收实时点击事件,经Kinesis Data Streams摄取后由Firehose转换为Parquet格式并存储至S3数据湖。AWS Glue编目架构,Athena支持SQL查询,EventBridge调度Lambda自动修复分区。项目使用AWS SAM和CloudFormation实现可重复、版本控制的IaC部署。
Apache APISIX是一个基于NGINX和etcd构建的动态、实时、高性能云原生API和AI网关,提供动态路由、插件热加载、多协议支持以及面向LLM工作负载的AI代理功能。