Об этом проекте

llm-budget-proxy — это специализированный реверс-прокси, разработанный для управления использованием OpenAI API. Он обеспечивает детальный контроль потребления API с помощью бюджетов токенов для каждого ключа (ежедневных или ежемесячных) и ограничения скорости (RPM/TPM). Ключевые возможности включают встроенную панель мониторинга затрат для отслеживания расходов, кэширование ответов по точному совпадению для снижения затрат и функцию понижения версии модели, которая автоматически переключает систему на более дешевые модели при достижении пороговых значений бюджета. Система построена на TypeScript и использует SQLite для хранения данных, что упрощает развертывание в виде одного Docker-контейнера. Она также поддерживает вебхуки для уведомлений о бюджете и предоставляет подробные пользовательские заголовки в ответах, такие как стоимость запроса и оставшийся бюджет. Ориентированный на OpenAI, этот инструмент служит легковесной альтернативой более сложным LLM-шлюзам для сред разработки и тестирования.