tap-token-analytics-proxy

TAP (Token Analytics Proxy) es un middleware autoalojado diseñado para situarse entre una aplicación y los proveedores de LLM (específicamente OpenAI). Permite a los desarrolladores monitorear y gestionar el tráfico de la API sin modificar la lógica central de su aplicación. Las capacidades clave incluyen: - **Análisis de Tráfico**: Registra cada llamada en una base de datos PostgreSQL, rastreando el uso del modelo, el recuento de tokens, los costos, la latencia (incluyendo TTFT para streaming) y los códigos de estado. - **Caching**: Utiliza Redis para almacenar pares de solicitud/respuesta, permitiendo que las solicitudes idénticas se sirvan desde la caché para reducir costos y latencia. - **Limitación de Tasa (Rate Limiting)**: Implementa presupuestos de solicitudes por minuto por clave de API utilizando Redis. - **Gestión de Claves de API**: Permite la emisión de claves TAP personalizadas para identificar diferentes aplicaciones o equipos. - **Panel de Monitoreo**: Un frontend basado en React que proporciona gráficos en vivo de volumen, costo por modelo, velocidad, tasas de acierto de caché y tasas de error. El sistema soporta respuestas en streaming y utiliza un stack asíncrono que incluye FastAPI, SQLAlchemy 2.0 y Redis. Incluye una CLI para tareas administrativas y un servidor upstream simulado (mock) para el desarrollo sin requerir una clave de API activa.