इस प्रोजेक्ट के बारे में

Falsify ML मूल्यांकन की एक संकीर्ण लेकिन ठोस समस्या का समाधान करता है: "94% accuracy" जैसा दावा अक्सर बाद में रिपोर्ट किया जाता है, इस बात का कोई रिकॉर्ड नहीं होता कि पहले से कौन सा मेट्रिक, डेटासेट, थ्रेशोल्ड या सीड निर्धारित था। टूल का उत्तर प्री-रजिस्ट्रेशन है — दावे को कैननिकलाइज़्ड मैनिफ़ेस्ट के रूप में प्रतिबद्ध करें, उसे SHA-256 से हैश करें, फिर देखे गए परिणाम को उस लॉक हैश के विरुद्ध सत्यापित करें। मुख्य प्रवाह दो कमांड है। `falsify lock claim.prml.yaml` मैनिफ़ेस्ट को कैननिकलाइज़ करता है और एक साइडकार डाइजेस्ट लिखता है; `falsify verify claim.prml.yaml --observed 0.934` देखे गए मान की तुलना लॉक थ्रेशोल्ड से करता है। एग्ज़िट कोड को API माना जाता है: PASS के लिए 0, थ्रेशोल्ड से नीचे FAIL के लिए 10, और लॉक करने के बाद स्पेक संपादित होने तथा हैश मेल न खाने पर TAMPERED के लिए 3। CI इन कोड्स पर गेट लगा सकता है। मैनिफ़ेस्ट प्रारूप PRML (Pre-Registered ML Manifest) है, जिसमें v0.1 स्थिर और v0.2 फ़्रोज़न है। रिपॉज़िटरी स्पेसिफ़िकेशन, एक कन्फ़ॉर्मेंस सूट और चार संदर्भ कार्यान्वयन होस्ट करती है — Python (PyPI `falsify`), JavaScript (npm `falsify-js`),以及 केवल रिपॉज़िटरी में रखे गए Go और Rust कार्यान्वयन। README बताता है कि चारों 21 कन्फ़ॉर्मेंस वेक्टर (13 v0.1 और 8 v0.2) पर बाइट-समकक्ष हैं, साथ ही फ़ॉर्मल ग्रामर से व्युत्पन्न 92-वेक्टर वाला अतिरिक्त एज सूट भी है। एक बहु-भाषा CI जॉब हर पुश और दैनिक आधार पर वेक्टर चलाती है। मुख्य CLI के अलावा, बंडल किया गया `falsify-engine` कमांड `.falsify/<name>/` स्पेक पर एक दावा वर्कफ़्लो (`init`, `run`, `verdict`, `guard`, `trend`) प्रदान करता है, जिसमें commit-msg गार्ड और accuracy, latency, Brier score तथा LLM-judge agreement के लिए पाँच स्टार्टर टेम्पलेट शामिल हैं। README स्पष्ट करता है कि साझा इंस्टॉल के बावजूद यह PRML मैनिफ़ेस्ट CLI से अलग टूल है। README में वर्णित इंटीग्रेशन सतह में शामिल हैं: एडिटर ऑटोकम्प्लीट के लिए SchemaStore कैटलॉग में JSON Schema, बिना कुछ इंस्टॉल किए मैनिफ़ेस्ट हैश करने के लिए ब्राउज़र-आधारित रजिस्ट्री, CI के लिए एक कंपोज़िट GitHub Action, रन को मैनिफ़ेस्ट हैश से टैग करने वाला MLflow प्लगइन, और दस eval हार्नेस (deepeval, lm-eval-harness, promptfoo, opik, langfuse, laminar, mastra, hud, braintrust, lighteval) के लिए चलने योग्य उदाहरण ब्रिज। README बताता है कि इनमें से कौन से उदाहरण पूरी तरह ऑफ़लाइन चलते हैं और कौन बैकएंड बाउंड्री पर रुकते हैं। एक CycloneDX 1.6 अटेस्टेशन उदाहरण और एक in-toto/ITE-6 ब्रिज भी है। परियोजना दायरे को लेकर स्पष्ट है: PRML यह प्रमाणित नहीं करता कि कोई ML परिणाम सत्य है, वह केवल यह दर्शाता है कि किसी विशिष्ट दावे को चुपचाप दोबारा लिखे जाने से पहले प्रतिबद्ध किया गया था। README एक विफल सार्वजनिक भविष्यवाणी का भी दस्तावेज़ीकरण करता है (Lock #2 0/3 योगदानकर्ताओं पर समाप्त हुआ) और एक पोस्ट-मॉर्टम लिंक करता है। कोड के लिए लाइसेंस MIT और स्पेक के लिए Community Specification License 1.0 है, साथ ही ट्रेडमार्क आरक्षण भी उल्लिखित हैं। Python 3.11+ आवश्यक है।