Об этом проекте

Smart SLM Router — это асинхронный локальный прокси-сервер, разработанный для снижения затрат на API за счет интеллектуальной маршрутизации запросов LLM. Он полностью совместим со спецификацией OpenAI API, что позволяет использовать его в качестве прямой замены для существующих приложений OpenAI SDK путем обновления базового URL. Ключевые возможности включают: - Локальная классификация намерений: использует эвристику длины, регулярные выражения токенов и индикаторы вызова инструментов для принятия решения о маршрутизации менее чем за 15 мс без сетевых задержек. - Динамическая маршрутизация: направляет простые запросы к SLM (например, через Ollama или vLLM) и передает сложные, технические или многошаговые запросы передовым моделям Tier-1 (например, GPT-4o, Claude). - Прозрачный откат (Fallback): автоматически повторяет попытки и передает запросы передовой модели, если SLM возвращает ошибку соединения, отказ модели или ошибку парсинга JSON. - Полная поддержка API: поддерживает как обычные, так и потоковые (SSE) ответы. - Наблюдаемость: предоставляет эндпоинт `/metrics` для отслеживания экономии средств в USD в реальном времени, количества запросов и задержки принятия решений. Система построена на Python 3.12+ и FastAPI с использованием переменных окружения для настройки URL бэкенда, имен моделей и пороговых значений токенов.