llm-budget-proxy

llm-budget-proxy 是一款专门为管理 OpenAI API 使用而设计的反向代理。它通过针对每个密钥的 Token 预算（每日或每月）和速率限制（RPM/TPM）提供对 API 消耗的细粒度控制。其核心功能包括用于监控支出的内置成本仪表盘、旨在降低成本的精确匹配响应缓存，以及在达到预算阈值时自动切换到更便宜模型的模型降级功能。该系统使用 TypeScript 构建，并采用 SQLite 进行数据持久化，使其能够方便地部署为单个 Docker 容器。它还支持用于预算警报的 Webhooks，并在响应中提供详细的自定义标头，例如请求成本和剩余预算。虽然该工具专注于 OpenAI，但它为开发和分级环境提供了一个比复杂 LLM 网关更轻量级的替代方案。