عن المشروع

SEISMOGRAPH هي أداة مفتوحة المصدر مصممة لكشف الوقت الذي يبدأ فيه واجهة LLM بالإجابة بشكل مختلف، حتى عندما يبقى اسم الطراز ونقطة النهاية والسرعة ووقت التشغيل دون تغيير. وهي تعالج مشكلة الانحراف الدلالي الصامت في واجهات LLM الخارجية، والتي تفوتها المراقبة التقليدية (زمن الاستجابة، معدل الأخطاء، وقت التشغيل). تعمل الأداة عبر تشغيل مجموعة كناري ثابتة ومعنونة بالمحتوى (حتى 200 مطالبة) ضد أي نقطة نهاية متوافقة مع OpenAI عند درجة حرارة 0. يتم تقليص كل استجابة إلى سمات تحفظ الخصوصية: تجزئات SHA-256 وتجميعات مشوشة بخصوصية تفاضلية لابلاس (epsilon=2.0). لا تغادر المطالبات والمخرجات الخام محيط المجس أبداً. يتم توقيع كل دفعة باستخدام Ed25519. تستقبل البوابة دفعات المجسات وتطبق كشف نقاط التغير Page-CUSUM لكل (model_tuple, metric_name) على المقاييس التوزيعية مثل متوسط طول المخرجات ومعدل نجاح JSON، وليس على التجزئات المطابقة تماماً. يضمن نظام النصاب الاتحادي عدم ترقية تنبيه انحراف عام إلا عندما تتفق منظمات مستقلة متعددة (بحد أدنى 2)، مما يمنع الإنذارات الكاذبة من مجسات فردية مشوشة أو هجمات Sybil. يتضمن المستودع لوحة تحكم حية ("Model Weather") تعرض حالة STABLE/DRIFTING/STALE لكل طراز، وقياساً قابلاً لإعادة الإنتاج لأرضية الانحراف يوضح أن طرازاً أحدث (gemini-3.5-flash-lite) أعاد إنتاج نفسه بنسبة ~60% فقط عند درجة حرارة 0، بينما أعاد طراز أقدم (gemini-3.1-flash-lite) إنتاج نفسه بنسبة 100% بالضبط، واختباراً خلفياً صناعياً مزروعاً لحادثة Anthropic يظهر مهلة 38 يوماً قبل التقرير الرسمي لما بعد الوفاة. المكونات الرئيسية: SDK مجس بلغة Python، بوابة استقبال FastAPI، تخزين SQLAlchemy، كاشف CUSUM، محرك ارتباط النصاب، ولوحة تحكم JavaScript عادية. المشروع مرخص بموجب Apache-2.0، مع CI (ruff، pytest، CodeQL) ومجموعة اختبارات تغطي سيناريوهات عدائية مثل حجب الضوضاء من منظمة واحدة والتنبيهات المفعّلة بالنصاب.