इस प्रोजेक्ट के बारे में

SEISMOGRAPH एक ओपन-सोर्स टूल है जिसे यह पता लगाने के लिए डिज़ाइन किया गया है कि कोई LLM API कब अलग तरीके से उत्तर देना शुरू करता है, भले ही मॉडल का नाम, एंडपॉइंट, गति और अपटाइम अपरिवर्तित रहें। यह थर्ड-पार्टी LLM API में साइलेंट सेमांटिक ड्रिफ्ट की समस्या का समाधान करता है, जिसे पारंपरिक मॉनिटरिंग (लेटेंसी, एरर रेट, अपटाइम) नहीं पकड़ पाती। यह टूल किसी भी OpenAI-संगत एंडपॉइंट पर temperature 0 पर एक निश्चित, कंटेंट-एड्रेस्ड कैनरी सूट (अधिकतम 200 प्रॉम्प्ट) चलाकर काम करता है। प्रत्येक प्रतिक्रिया को प्राइवेसी-प्रिज़र्विंग फीचर्स में घटाया जाता है: SHA-256 हैश और Laplace डिफरेंशियल-प्राइवेसी-नॉइज़्ड एग्रीगेट (epsilon=2.0)। कच्चे प्रॉम्प्ट और आउटपुट कभी भी प्रोब परिधि से बाहर नहीं जाते। प्रत्येक बैच Ed25519-साइन किया जाता है। गेटवे प्रोब बैचों को इनजेस्ट करता है और वितरणात्मक मेट्रिक्स जैसे औसत आउटपुट लंबाई और JSON सफलता दर पर प्रति (model_tuple, metric_name) Page-CUSUM चेंज-पॉइंट डिटेक्शन लागू करता है, न कि सटीक-मिलान हैश पर। एक फेडरेटेड क्वोरम सिस्टम यह सुनिश्चित करता है कि सार्वजनिक ड्रिफ्ट अलर्ट तभी प्रचारित किया जाए जब कई स्वतंत्र संगठन (न्यूनतम 2) सहमत हों, जिससे एकल शोरयुक्त प्रोब या Sybil हमलों से होने वाले झूठे अलार्म रुकते हैं। रिपॉजिटरी में एक लाइव डैशबोर्ड ("Model Weather") शामिल है जो प्रति मॉडल STABLE/DRIFTING/STALE स्थिति दिखाता है, एक प्रतिलिपि-योग्य ड्रिफ्ट-फ्लोर माप जो दर्शाता है कि एक नए मॉडल (gemini-3.5-flash-lite) ने temperature 0 पर केवल ~60% बार स्वयं को दोहराया, जबकि एक पुराने मॉडल (gemini-3.1-flash-lite) ने ठीक 100% दोहराया, और एक Anthropic घटना का सीडेड सिंथेटिक बैकटेस्ट जो आधिकारिक पोस्टमॉर्टम की तुलना में 38-दिन का लीड टाइम दिखाता है। मुख्य घटक: एक Python प्रोब SDK, FastAPI इनजेशन गेटवे, SQLAlchemy स्टोरेज, CUSUM डिटेक्टर, क्वोरम कोरिलेशन इंजन, और एक वनीला JS डैशबोर्ड। यह प्रोजेक्ट Apache-2.0 लाइसेंस के अंतर्गत है, जिसमें CI (ruff, pytest, CodeQL) और एक टेस्ट सूट है जो सिंगल-ऑर्ग नॉइज़ ब्लॉकिंग और क्वोरम-ट्रिगर्ड अलर्ट जैसे एडवर्सेरियल परिदृश्यों को कवर करता है।