jev

jevos é uma alternativa local e de código aberto ao Jev para decisões sim/não. Você envia um trecho de texto (o "estado") mais uma ou mais perguntas de sim/não, e ele retorna P(sim) para cada uma. Ele foi projetado para rodar numa CPU de laptop, com latências relatadas de aproximadamente 50-220 ms dependendo do comprimento da requisição. O que ele faz - Perguntas de sim/não: cada resposta é uma probabilidade entre 0 e 1 (o valor "noul"). - Várias perguntas nomeadas podem ser feitas numa única requisição; elas compartilham o mesmo estado, que é lido uma vez, então várias perguntas custam menos do que perguntá-las separadamente. - O estado pode ser uma string simples ou qualquer objeto/array JSON. - Os tipos de pergunta de múltipla escolha e de pontuação ainda não são suportados (estão listados como "em breve"); tais requisições são recusadas com HTTP 422. Como ele roda - Ele usa um modelo GGUF quantizado (jevos-q4_k_m.gguf) servido através do llama.cpp, e pode ser fixado à CPU com --device cpu e uma contagem de threads escolhida. - O servidor fala o formato de transmissão do TypeSafe Jev, então código escrito para o SDK do Jev funciona sem alterações para perguntas de sim/não. API e CLI - POST /v1/systemone aceita model, state e questions, e retorna respostas mais uso de tokens. - GET /v1/models e GET /health também são fornecidos; as respostas incluem um cabeçalho Server-Timing com o tempo de inferência. - Um comando de CLI, jev decide, responde a um único arquivo de requisição sem iniciar um servidor, opcionalmente gravando a resposta num novo arquivo (arquivos existentes não são sobrescritos). - O quickstart usa uv para instalar dependências, baixar o runtime do llama.cpp e iniciar o servidor em 127.0.0.1:8017. Notas práticas - O README aconselha colocar as regras de decisão diretamente nas instruções da pergunta; o campo opcional criteria do Jev é aceito mas ignorado. - A wiki cobre classificação de texto zero-shot, LLM-as-a-judge em CPU, decisões de política e comportamento observado do modelo, como por que um LLM pequeno pode dizer sim quando a resposta é não. - O projeto é creditado como construído em conjunto com Loris Salsi (@LosaLosSantos).