tap-token-analytics-proxy

TAP (Token Analytics Proxy) é um middleware auto-hospedado projetado para ficar entre uma aplicação e provedores de LLM (especificamente OpenAI). Ele permite que desenvolvedores monitorem e gerenciem o tráfego de API sem modificar a lógica central de sua aplicação. As principais capacidades incluem: - **Análise de Tráfego**: Registra cada chamada em um banco de dados PostgreSQL, rastreando o uso do modelo, contagem de tokens, custos, latência (incluindo TTFT para streaming) e códigos de status. - **Caching**: Utiliza Redis para armazenar pares de solicitação/resposta, permitindo que solicitações idênticas sejam servidas a partir do cache para reduzir custos e latência. - **Limitação de Taxa (Rate Limiting)**: Implementa orçamentos de solicitações por minuto por chave de API usando Redis. - **Gestão de Chaves de API**: Permite a emissão de chaves TAP personalizadas para identificar diferentes apps ou equipes. - **Painel de Monitoramento**: Um frontend baseado em React que fornece gráficos em tempo real para volume, custo por modelo, velocidade, taxas de acerto de cache e taxas de erro. O sistema suporta respostas em streaming e utiliza uma stack assíncrona composta por FastAPI, SQLAlchemy 2.0 e Redis. Inclui uma CLI para tarefas administrativas e um servidor upstream simulado (mock) para desenvolvimento sem a necessidade de uma chave de API ativa.