这个项目能做什么

TAP (Token Analytics Proxy) 是一款自托管中间件，旨在部署在应用程序与 LLM 提供商（特别是 OpenAI）之间。它允许开发人员在不修改应用程序核心逻辑的情况下，监控并管理 API 流量。 核心功能包括： - **流量分析**：将每次调用记录在 PostgreSQL 数据库中，追踪模型使用情况、Token 数量、成本、延迟（包括流式传输的 TTFT）以及状态码。 - **缓存**：使用 Redis 存储请求/响应对，允许相同请求从缓存中获取，以降低成本和延迟。 - **速率限制**：利用 Redis 为每个 API 密钥实施每分钟请求预算。 - **API 密钥管理**：允许颁发自定义 TAP 密钥，以识别不同的应用程序或团队。 - **监控仪表盘**：一个基于 React 的前端，提供关于流量、各模型成本、速度、缓存命中率和错误率的实时图表。 该系统支持流式响应，并采用了由 FastAPI、SQLAlchemy 2.0 和 Redis 组成的异步技术栈。它包含一个用于管理任务的 CLI，以及一个用于在无需实时 API 密钥的情况下进行开发的模拟上游服务器。