llm-budget-proxy

llm-budget-proxy es un proxy inverso especializado diseñado para gestionar el uso de la API de OpenAI. Proporciona un control granular sobre el consumo de la API a través de presupuestos de tokens por clave (diarios o mensuales) y limitación de tasa (RPM/TPM). Sus capacidades clave incluyen un panel de costos integrado para monitorear los gastos, almacenamiento en caché de respuestas con coincidencia exacta para reducir costos y una función de degradación de modelos que cambia automáticamente a modelos más económicos cuando se alcanzan los umbrales de presupuesto. El sistema está construido con TypeScript y utiliza SQLite para la persistencia de datos, lo que facilita su despliegue como un único contenedor de Docker. También admite webhooks para alertas de presupuesto y proporciona encabezados personalizados detallados en las respuestas, como el costo de la solicitud y el presupuesto restante. Aunque se centra en OpenAI, sirve como una alternativa ligera a las pasarelas de LLM más complejas para entornos de desarrollo y pruebas.