好开源，值得被发现。

llm-budget-proxy 是一款轻量级 OpenAI API 反向代理，支持按密钥设置 Token 预算、速率限制、成本仪表盘以及自动模型降级功能。

轻量级 FastAPI 代理，转发 OpenAI Chat Completions 与 Embeddings API，支持多租户密钥映射、流式传输，并兼容官方 SDK，无需数据库。

CogniGate 是一个自托管的多租户 LLM 网关，提供单一的 OpenAI 兼容端点，用于在确保凭据安全的同时管理多个模型提供商。

RouteTok是一款本地优先的LLM推理路由器，支持OpenAI与Anthropic兼容API，提供健康感知故障转移、多提供商路由、运营仪表盘及浏览器端模型沙箱，基于Node.js构建。

这是一个提供供应商中立的 FastAPI 网关，旨在实现 LLM 路由、重试、回退、结构化输出以及用量和成本核算。它支持 Gemini 和 OpenAI，通过模型别名、重试策略和持久化用量跟踪来抽象供应商依赖。

OpenAI Cookbook是用于通过OpenAI API完成常见任务的示例代码和指南集合，主要使用Python编写，需要OpenAI账户和API密钥。

AI驱动的实时视觉小说引擎，具备流式叙事、角色精灵、场景背景、分支选择和共同创作功能。可作为桌面应用或通过 FastAPI+SSE 在浏览器中运行。

Xinference是一个统一推理库，用于服务语言、语音和多模态模型。它提供OpenAI兼容的RESTful API、异构GPU/CPU利用、分布式部署，并与LangChain、LlamaIndex、Dify和Chatbox集成。

One API 是一个统一的 LLM API 管理与分发系统，支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek 等数十个主流模型，提供统一的 OpenAI 格式接口、令牌管理、渠道负载均衡、用户分组及二次分发功能，单二进制或 Docker 一键部署。

GPT4Free 将多个语言模型和媒体生成提供商整合到一个统一界面中。它提供 Python/JS 客户端、兼容 OpenAI 的 REST API、GUI 和 CLI，支持通过 gpt-4o-mini 和 flux 等多种模型进行文本和图像生成。