llm-budget-proxy

O llm-budget-proxy é um reverse proxy especializado projetado para gerenciar o uso da API da OpenAI. Ele oferece controle granular sobre o consumo da API por meio de orçamentos de tokens por chave (diários ou mensais) e limitação de taxa (RPM/TPM). As principais capacidades incluem um painel de custos integrado para monitorar despesas, cache de respostas por correspondência exata para reduzir custos e um recurso de downgrade de modelo que alterna automaticamente para modelos mais baratos quando os limites de orçamento são atingidos. O sistema foi construído com TypeScript e utiliza SQLite para persistência de dados, facilitando a implantação como um único container Docker. Ele também suporta webhooks para alertas de orçamento e fornece cabeçalhos personalizados detalhados nas respostas, como o custo da requisição e o orçamento restante. Embora focado na OpenAI, ele serve como uma alternativa leve a gateways de LLM mais complexos para ambientes de desenvolvimento e staging.