seismograph

SEISMOGRAPHは、モデル名、エンドポイント、速度、稼働時間が変わらなくても、LLM APIが異なる応答を返し始めたことを検知するために設計されたオープンソースツールです。従来の監視（レイテンシ、エラー率、稼働時間）では見逃される、サードパーティ製LLM APIにおけるサイレントな意味的ドリフトの問題に対処します。 このツールは、固定されたコンテンツアドレス指定のカナリアスイート（最大200プロンプト）を、温度0で任意のOpenAI互換エンドポイントに対して実行することで機能します。各応答は、プライバシー保護特徴量に還元されます。すなわち、SHA-256ハッシュと、ラプラス差分プライバシーノイズを加えた集約値（epsilon=2.0）です。生のプロンプトと出力はプローブ境界の外に出ることはありません。各バッチはEd25519で署名されます。 ゲートウェイはプローブバッチを取り込み、平均出力長やJSON成功率などの分布的メトリクスに対して、(model_tuple, metric_name)ごとにPage-CUSUM変化点検出を適用します。完全一致ハッシュに対してではありません。連合クォーラムシステムにより、複数の独立した組織（最低2つ）が合意した場合にのみ、公開ドリフトアラートが昇格されます。これにより、単一のノイズの多いプローブやSybil攻撃による誤警報を防ぎます。 リポジトリには、モデルごとのSTABLE/DRIFTING/STALEステータスを示すライブダッシュボード（「Model Weather」）、再現可能なドリフトフロア測定（新しいモデル（gemini-3.5-flash-lite）が温度0で自己再現したのは約60%であったのに対し、古いモデル（gemini-3.1-flash-lite）は正確に100%再現したことを示す）、およびAnthropicのインシデントのシード付き合成バックテスト（公式ポストモーテムより38日早いリードタイムを示す）が含まれています。 主要コンポーネント：PythonプローブSDK、FastAPI取り込みゲートウェイ、SQLAlchemyストレージ、CUSUM検出器、クォーラム相関エンジン、バニラJSダッシュボード。このプロジェクトはApache-2.0ライセンスで、CI（ruff、pytest、CodeQL）と、単一組織のノイズブロックやクォーラムトリガーアラートなどの敵対的シナリオをカバーするテストスイートを備えています。