Об этом проекте

TAP (Token Analytics Proxy) — это self-hosted промежуточное ПО, предназначенное для размещения между приложением и провайдерами LLM (в частности, OpenAI). Оно позволяет разработчикам отслеживать и управлять API-трафиком без изменения основной логики приложения. Ключевые возможности включают: - Аналитика трафика: запись каждого вызова в базу данных PostgreSQL, отслеживание использования моделей, количества токенов, затрат, задержки (включая TTFT для стриминга) и кодов состояния. - Кэширование: использование Redis для хранения пар запрос/ответ, что позволяет обслуживать идентичные запросы из кэша для снижения затрат и задержек. - Ограничение частоты запросов (Rate Limiting): внедрение бюджетов запросов в минуту для каждого API-ключа с помощью Redis. - Управление API-ключами: возможность выпуска пользовательских ключей TAP для идентификации различных приложений или команд. - Панель мониторинга: фронтенд на базе React, предоставляющий живые графики объема, стоимости по моделям, скорости, процента попаданий в кэш и частоты ошибок. Система поддерживает потоковые ответы (streaming) и использует асинхронный стек, включающий FastAPI, SQLAlchemy 2.0 и Redis. Она включает CLI для административных задач и mock-сервер для разработки, не требующий активного API-ключа.