Об этом проекте

LLM Proxy — это локальный инструмент отладки, который располагается между приложениями и OpenAI API для логирования и анализа трафика. Он позволяет разработчикам в режиме реального времени отслеживать точные промпты, использование токенов, время выполнения и ошибки. Ключевые возможности включают: - Логирование запросов: перехватывает все эндпоинты /v1/*, включая потоковые ответы, и сохраняет их на диск в формате JSONL. - Web UI: предоставляет браузерный интерфейс для просмотра истории запросов, фильтрации по эндпоинту или модели и изучения полных тел запросов и ответов. - Конфигурация: поддерживает пользовательские порты, переопределение API-ключей и настраиваемые уровни логирования через файл конфигурации или переменные окружения. - Безопасность: очищает API-ключи в логах (оставляя только последние 4 символа) и по умолчанию привязывается к localhost. - Интеграция: совместим с любым клиентом или SDK, поддерживающим OpenAI, путем изменения базового URL на адрес локального прокси.