প্রকল্প সম্পর্কে

SEISMOGRAPH একটি ওপেন-সোর্স টুল যা শনাক্ত করার জন্য ডিজাইন করা হয়েছে যে কোনো LLM API কখন ভিন্নভাবে উত্তর দিতে শুরু করে, এমনকি যখন মডেলের নাম, এন্ডপয়েন্ট, গতি এবং আপটাইম অপরিবর্তিত থাকে। এটি থার্ড-পার্টি LLM API-তে নীরব সেমান্টিক ড্রিফটের সমস্যা সমাধান করে, যা প্রচলিত মনিটরিং (লেটেন্সি, এরর রেট, আপটাইম) মিস করে। টুলটি একটি নির্দিষ্ট, কনটেন্ট-অ্যাড্রেসড ক্যানারি স্যুট (সর্বোচ্চ ২০০ প্রম্পট) যেকোনো OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টে তাপমাত্রা ০-তে চালিয়ে কাজ করে। প্রতিটি প্রতিক্রিয়া প্রাইভেসি-প্রিজার্ভিং ফিচারে হ্রাস করা হয়: SHA-256 হ্যাশ এবং Laplace ডিফারেনশিয়াল-প্রাইভেসি-নয়েজড অ্যাগ্রিগেট (এপসিলন=২.০)। কাঁচা প্রম্পট এবং আউটপুট কখনো প্রোব পেরিমিটার ছেড়ে যায় না। প্রতিটি ব্যাচ Ed25519-স্বাক্ষরিত। গেটওয়ে প্রোব ব্যাচ গ্রহণ করে এবং বিতরণমূলক মেট্রিক্স যেমন গড় আউটপুট দৈর্ঘ্য এবং JSON সফলতার হার-এর উপর প্রতি (model_tuple, metric_name)-এ Page-CUSUM চেঞ্জ-পয়েন্ট ডিটেকশন প্রয়োগ করে, সঠিক-মিল হ্যাশের উপর নয়। একটি ফেডারেটেড কোরাম সিস্টেম নিশ্চিত করে যে একটি পাবলিক ড্রিফট সতর্কতা শুধুমাত্র তখনই প্রচারিত হয় যখন একাধিক স্বাধীন সংস্থা (সর্বনিম্ন ২) সম্মত হয়, যা একক নয়েজি প্রোব বা Sybil আক্রমণ থেকে মিথ্যা অ্যালার্ম প্রতিরোধ করে। রিপোজিটরিতে একটি লাইভ ড্যাশবোর্ড ("Model Weather") রয়েছে যা প্রতি মডেলের জন্য STABLE/DRIFTING/STALE স্ট্যাটাস দেখায়, একটি পুনরুৎপাদনযোগ্য ড্রিফট-ফ্লোর পরিমাপ যা প্রদর্শন করে যে একটি নতুন মডেল (gemini-3.5-flash-lite) তাপমাত্রা ০-তে নিজেকে মাত্র ~৬০% সময় পুনরুৎপাদন করেছে, যেখানে একটি পুরনো মডেল (gemini-3.1-flash-lite) ঠিক ১০০% পুনরুৎপাদন করেছে, এবং একটি Anthropic ঘটনার সিডেড সিন্থেটিক ব্যাকটেস্ট যা অফিসিয়াল পোস্টমর্টেমের চেয়ে ৩৮ দিনের লিড টাইম দেখায়। মূল উপাদান: একটি Python প্রোব SDK, FastAPI ইনজেশন গেটওয়ে, SQLAlchemy স্টোরেজ, CUSUM ডিটেক্টর, কোরাম কোরিলেশন ইঞ্জিন, এবং একটি ভ্যানিলা JS ড্যাশবোর্ড। প্রকল্পটি Apache-2.0 লাইসেন্সপ্রাপ্ত, CI (ruff, pytest, CodeQL) এবং একটি টেস্ট স্যুট সহ যা একক-সংস্থা নয়েজ ব্লকিং এবং কোরাম-ট্রিগারড অ্যালার্টের মতো অ্যাডভার্সারিয়াল পরিস্থিতি কভার করে।