novafabric

NovaFabric é uma ferramenta de linha de comando auto-hospedada para tornar execuções de IA e HPC reprodutíveis, comparáveis e auditáveis. Sua unidade de valor é a cápsula: um diretório nomeado por ULID gravado em ~/.novafabric/capsules/ que contém os fatos observáveis de uma execução, em vez de uma linha de rastreamento em um banco de dados hospedado. Instale com `pip install novafabric` (Python 3.12+); extras opcionais adicionam dashboard, query, server, compliance e suporte ao Sigstore, e `nova doctor --check-extras` reporta o que está faltando. Captura: `nova capture python my_agent.py --dataset data.csv` funciona com qualquer comando e não requer alterações na aplicação. Ele injeta um carregador sitecustomize.py via PYTHONPATH e instala monkey-patches para os SDKs da OpenAI, Anthropic e MCP, além de hooks de nível de rede no httpx, requests, aiohttp e urllib3, com uma proteção de camadas para que chamadas aninhadas gerem um único registro. Campos de convenção semântica do OpenTelemetry GenAI (temperature, top_p, max_tokens, seed, motivos de finalização e mais) são extraídos. Para clientes não-Python, como Claude Code, Cursor ou agentes Node/Go, dois proxies transparentes — `nova api-proxy` e `nova mcp-proxy` — capturam o tráfego de LLM e MCP sem tocar no cliente. As cápsulas são gravadas tanto em caso de sucesso quanto de falha, portanto, um travamento é registrado como evidência com status, código de saída e um bloco de erro. Conteúdo da cápsula: manifesto capsule.yaml, spans trace.jsonl, model-calls.jsonl, tool-calls.jsonl, env.lock, replay.yaml, entradas e saídas (stdout/stderr) e redaction-proof.json. A varredura de segredos é executada em cada artefato antes da finalização; uma cápsula sem sua prova de redação é inválida para `nova validate` e não pode ser exportada. Replay e diff: `nova replay` oferece quatro modos — forensic (inspeção somente leitura, sem rede ou subprocesso), mocked (reexecuta o comando com chamadas de modelo e ferramenta servidas do cache da cápsula), semantic (julga o significado em vez de tokens, similaridade de 0.0–1.0) e exact (elegibilidade exata de bytes exigindo um ambiente determinístico e seed por chamada). O README afirma explicitamente que não garante o replay exato de chamadas de LLM remotas. `nova diff` compara duas execuções, e `nova diff --assert-no-regressions` sai com código diferente de zero em caso de mudança comportamental, posicionado como um portão de CI para agentes que funcionavam ontem e falham hoje. Governança e linhagem: um Asset Registry local em SQLite armazena ativos versionados de sete tipos (model, agent, prompt, tool, dataset, evaluation, deployment), endereçados como nome@versão com um ciclo de vida que vai do desenvolvimento ao arquivado; a promoção é apenas metadado de governança e não implanta nada. A camada de linhagem emite arestas mecânicas de consumed, produced_by e replayed_from com confiança observada versus inferida, suporta consultas de proveniência, raio de impacto (blast-radius) e cadeia de replay, e pode emitir eventos OpenLineage além de exportação W3C PROV-N. Existem backends opcionais experimentais para grafos maiores. `nova export-evidence` constrói um ZIP assinado contendo a cápsula, um subgrafo de linhagem, atestações in-toto DSSE e assinaturas ed25519, verificáveis com sha256sum e um verificador ed25519 sem o runtime do NovaFabric. Enquadramento: o projeto declara que não é um orquestrador, treinador de modelos, servidor de inferência, DB vetorial, gateway de LLM ou executor de CI, e que uma plataforma de observabilidade SaaS gerenciada exigirá menos trabalho quando dashboards em tempo real, alertas e análises multiusuário forem o objetivo. O modo servidor e o dashboard ao vivo são marcados como experimentais, as cápsulas não estão congeladas até um congelamento de esquema v1.0 planejado, e a ferramenta produz evidências que apoiam fluxos de conformidade em vez de certificá-los. Os públicos-alvo nomeados no README incluem engenheiros de ML/plataforma, equipes de HPC e pesquisa, oficiais de conformidade, respondentes a incidentes e autores de frameworks de agentes.