jev

jevos es una alternativa local y de código abierto a Jev para decisiones sí/no. Envías un fragmento de texto (el "estado") más una o varias preguntas sí/no, y devuelve P(sí) para cada una. Está diseñado para ejecutarse en la CPU de un portátil, con latencias reportadas de aproximadamente 50-220 ms según la longitud de la solicitud. Qué hace - Preguntas sí/no: cada respuesta es una probabilidad entre 0 y 1 (el valor "noul"). - Se pueden hacer varias preguntas con nombre en una sola solicitud; comparten el mismo estado, que se lee una vez, por lo que varias preguntas cuestan menos que hacerlas por separado. - El estado puede ser una cadena simple o cualquier objeto/array JSON. - Los tipos de pregunta de opción múltiple y puntuación aún no son compatibles (aparecen como "próximamente"); dichas solicitudes se rechazan con HTTP 422. Cómo se ejecuta - Utiliza un modelo GGUF cuantizado (jevos-q4_k_m.gguf) servido mediante llama.cpp, y puede fijarse a la CPU con --device cpu y un número de hilos elegido. - El servidor habla el formato de transmisión de TypeSafe Jev, por lo que el código escrito para el SDK de Jev funciona sin cambios para preguntas sí/no. API y CLI - POST /v1/systemone acepta model, state y questions, y devuelve respuestas más el uso de tokens. - También se proporcionan GET /v1/models y GET /health; las respuestas incluyen una cabecera Server-Timing con el tiempo de inferencia. - Un comando CLI, jev decide, responde a un único archivo de solicitud sin iniciar un servidor, escribiendo opcionalmente la respuesta en un archivo nuevo (los archivos existentes no se sobrescriben). - El inicio rápido utiliza uv para instalar dependencias, descargar el tiempo de ejecución de llama.cpp e iniciar el servidor en 127.0.0.1:8017. Notas prácticas - El README aconseja poner las reglas de decisión directamente en las instrucciones de la pregunta; el campo opcional criteria de Jev se acepta pero se ignora. - La wiki cubre clasificación de texto zero-shot, LLM como juez en CPU, decisiones de políticas y comportamiento observado del modelo, como por qué un LLM pequeño puede decir sí cuando la respuesta es no. - El proyecto se acredita como construido junto con Loris Salsi (@LosaLosSantos).