llm-router-gate

llm-router-gate — это Python‑CLI и SDK, предназначенные для разработчиков, которым нужна точная видимость однократных вызовов LLM API. Он маршрутизирует запросы к Anthropic, OpenRouter или локальным серверам llama.cpp, передавая ответы в режиме потока и раскрывая весь HTTP‑слой — включая заголовки, сырые SSE‑события и окончательные полезные нагрузки. Предоставляет подсчёт токенов и оценки стоимости с указанием источника, помогая пользователям сравнивать провайдеров, отлаживать пустые ответы или проверять стоимость запросов до развертывания. Инструмент сознательно не использует историю чата, повторные попытки или системные подсказки, функционируя как «curl -v» для LLM с встроенным калькулятором. Поддерживает трёхсостояние переключения рассуждений, различает каналы ответа и рассуждения в потоковом выводе и сообщает об использовании токенов из авторитетных полей сервера или резервных эвристик. Примечание по безопасности: он записывает все заголовки, включая API‑ключи — перед публикацией их следует отредактировать. Требует Python ≥3.14 и использует uv для управления зависимостями. Идеален для отладки, бенчмаркинга или проверки поведения LLM на разных бекендах без абстракций.