Об этом проекте

jevos — локальная open-source альтернатива Jev для решений «да/нет». Вы отправляете фрагмент текста («состояние») и один или несколько вопросов «да/нет», а система возвращает P(yes) для каждого. Проект рассчитан на работу на процессоре ноутбука с заявленной задержкой примерно 50–220 мс в зависимости от длины запроса. Что он делает - Вопросы «да/нет»: каждый ответ — это вероятность от 0 до 1 (значение «noul»). - В одном запросе можно задать несколько именованных вопросов; они используют общее состояние, которое считывается один раз, поэтому несколько вопросов обходятся дешевле, чем при раздельных запросах. - Состояние может быть обычной строкой или любым объектом/массивом JSON. - Вопросы с множественным выбором и оценкой пока не поддерживаются (они отмечены как «скоро»); такие запросы отклоняются с HTTP 422. Как это работает - Используется квантованная модель GGUF (jevos-q4_k_m.gguf), обслуживаемая через llama.cpp; выполнение можно зафиксировать на CPU с помощью --device cpu и задать количество потоков. - Сервер использует формат TypeSafe Jev, поэтому код, написанный для SDK Jev, работает без изменений для вопросов «да/нет». API и CLI - POST /v1/systemone принимает model, state и questions, возвращает ответы и информацию об использовании токенов. - Также доступны GET /v1/models и GET /health; ответы содержат заголовок Server-Timing со временем инференса. - Команда CLI jev decide обрабатывает один файл запроса без запуска сервера, опционально записывая ответ в новый файл (существующие файлы не перезаписываются). - Быстрый старт использует uv для установки зависимостей, загрузки среды выполнения llama.cpp и запуска сервера на 127.0.0.1:8017. Практические заметки - README рекомендует помещать правила принятия решений непосредственно в инструкции к вопросу; необязательное поле criteria в Jev принимается, но игнорируется. - Вики охватывает классификацию текста zero-shot, использование LLM-as-a-judge на CPU, принятие политических решений и наблюдаемое поведение модели — например, почему небольшая LLM может отвечать «да», когда правильный ответ — «нет». - Проект создан совместно с Loris Salsi (@LosaLosSantos).