প্রকল্প সম্পর্কে

DataPulse হলো মালয়েশিয়ার পাবলিক ডেটার জন্য একটি ওপেন, রিড-অনলি ভেরিফিকেশন লেয়ার। এটি অফিসিয়াল ডেটাসেট পুনরায় প্রকাশ করে না; বরং এটি বারবার উৎসগুলো পরীক্ষা করে, যা পর্যবেক্ষণ করে তা রেকর্ড করে এবং প্রতিটি ডেটাসেটের মেশিন-রিডেবল প্রমাণ প্রকাশ করে, যাতে মানুষ এবং AI এজেন্টরা বিচার করতে পারে যে কোনো একটি সংখ্যা পুনরায় ব্যবহার বা উদ্ধৃত করা নিরাপদ কি না। এর লাইভ ড্যাশবোর্ডটি data-pulse.my-তে অবস্থিত। ক্যাটালগ এই প্রজেক্টটি ৪১৮টি অফিসিয়াল মালয়েশিয়ান ডেটাসেট ট্র্যাক করে, যা স্থিতিশীল পাবলিশার আইডি (custodian) দ্বারা সংগঠিত। পাবলিশারদের মধ্যে রয়েছে Bank Negara Malaysia, Department of Statistics Malaysia (DOSM/OpenDOSM), Accountant General's Department, Department of Environment, Department of Agriculture and Fisheries, National Anti-Drugs Agency এবং অন্যান্য। এই ইনভেন্টরিতে অর্থনৈতিক ও আর্থিক সিরিজ (OPR, বিনিময় হার, সুদের হার, মুদ্রাস্ফীতি, মানি অ্যাগ্রিগেটস, পেমেন্ট সিস্টেম), জনতাত্ত্বিক ও স্বাস্থ্য পরিসংখ্যান, অপরাধ, কৃষি এবং পরিবেশগত পর্যবেক্ষণ অন্তর্ভুক্ত রয়েছে। এর মধ্যে ৩০টি এন্ট্রি হলো GTFS ট্রানজিট ফিড (KTMB, Prasarana, BAS.MY), যা স্ট্যাটিক শিডিউল এবং রিয়েল-টাইম ভেহিকল পজিশন উভয়ই কভার করে। প্রতিটি ডেটাসেটের একটি ডকুমেন্টেশন পেজ রয়েছে এবং কিছুতে CSV বা JSON স্যাম্পল অন্তর্ভুক্ত রয়েছে। হেলথ ট্যাক্সনমি সাধারণ গ্রিন চেকমার্কের পরিবর্তে, প্রতিটি ডেটাসেটের দশটি সৎ স্ট্যাটাসের একটি থাকে: fresh, aging, stale, discontinued, degraded, browser-dependent, unreachable, unknown, unknown-freshness, অথবা reference। যে উৎসটি কাজ করে কিন্তু বর্তমান বলে প্রমাণ করা যায় না, তাকে healthy ধরে না নিয়ে unknown-freshness লেবেল করা হয়; যে সিরিজটি পাবলিশার আপডেট করা বন্ধ করে দিয়েছে তাকে freshness failure হিসেবে না গণ্য করে discontinued (পাবলিশারের সিদ্ধান্ত, ফ্রোজেন ডেটা) হিসেবে চিহ্নিত করা হয়। Reference রো-গুলো ভার্সনযুক্ত লুকআপ ডেটা বর্ণনা করে যেখানে তারিখ-ভিত্তিক ফ্রেশনেস প্রযোজ্য নয়, যার মধ্যে policy-reference এবং reference-current এর মতো ভেরিয়েন্ট রয়েছে। একটি পাবলিক _trust_summary বর্তমান ডিস্ট্রিবিউশন রিপোর্ট করে এবং স্পষ্টভাবে মিসিং ফ্রেশনেস এবং রো-কাউন্ট সিগন্যাল গণনা করে। হেলথ পরিবর্তনগুলো একটি RSS ফিডের মাধ্যমে অনুসরণ করা যেতে পারে। লাইসেন্স এবং প্রোভেন্যান্স প্রতিটি ডেটাসেট তার লাইসেন্স মেশিন-রিডেবল ফর্মে ঘোষণা করে, যা datapulse.json থেকে পুনরুৎপাদন করা সম্ভব। উল্লেখিত ডিস্ট্রিবিউশনের মধ্যে রয়েছে Creative Commons Attribution 4.0, Open Government Licence (Malaysia), MIT, Singapore Open Data Licence, MBPP Government Open Data Terms এবং কিছু রো যেখানে পাবলিশার লাইসেন্স উল্লেখ করা নেই। প্রবিং একটি টিয়ারড, ক্যাডেন্স-অ্যাওয়ার শিডিউল অনুসরণ করে (উদাহরণস্বরূপ প্রতিদিন, জ্বালানির দামের জন্য সাপ্তাহিক, সার্ভের জন্য মাসিক), এবং প্রতিটি ডেটাসেটে পাবলিশার প্রোভেন্যান্সের জন্য একজন হিউম্যান-রিডেবল স্টুয়ার্ড এবং একটি স্থিতিশীল কাস্টোডিয়ান আইডি থাকে। ভেরিফিকেশন প্রজেক্টটি তিনটি যাচাইযোগ্য লেয়ার বর্ণনা করে: প্রতিটি পর্যবেক্ষণের সঠিক কন্টেন্টের উপর একটি Ed25519-সাইনড এনভেলপ, একটি সোর্স-অফ-রেকর্ড চেক যেখানে সার্ভ করা অবজারভেশন ভার্সনযুক্ত Git সোর্সের সাথে বাইট-ম্যাচ করে, এবং Rekor/Sigstore পাবলিক-লগ ইনক্লুশন প্রুফ আকারে একটি টেম্পোরাল উইটনেস। একটি স্ট্যান্ডঅ্যালোন স্ক্রিপ্ট (scripts/verify_external.py) ডাউনলোড করে রিপোজিটরি চেক আউট না করে বা কোনো DataPulse কোড ব্যবহার না করেই চালানো যেতে পারে। README-তে এর পরিধি স্পষ্টভাবে বলা হয়েছে: প্ল্যাটফর্মটি তার পর্যবেক্ষণের অখণ্ডতা এবং টাইমিং প্রমাণ করে, এটি প্রমাণ করে না যে আপস্ট্রিম সরকারি কোনো সংখ্যা সেমান্টিক্যালি সত্য। এজেন্ট অ্যাক্সেস DataPulse কোনো অথেন্টিকেশন ছাড়াই Streamable HTTP-এর মাধ্যমে https://mcp.data-pulse.my/mcp-এ একটি রিড-অনলি MCP সার্ভার এক্সপোজ করে। এটি ৪১৮-ডেটাসেট ক্যাটালগের উপর ১৯টি রিড-অনলি টুল বিজ্ঞাপন করে, যার মধ্যে রয়েছে search_datasets, get_dataset, get_data_passport, find_stale, find_anomalies, find_deteriorating, find_recovering, find_unreliable, find_schema_drift, check_reconciliation, get_provenance, get_evidence, verify_dataset, get_freshness_summary, verify_evidence, trust_verdict, verify_attestation, find_by_licence এবং usage_summary। Claude Desktop, Cursor বা Cline থেকে সংযোগের জন্য একটি মাত্র JSON কনফিগ ব্লক প্রয়োজন। পাবলিক ডিসকভারি ফাইলের মধ্যে রয়েছে llms.txt, agent.json, mcp.json এবং একটি সাইটম্যাপ। ব্রাউজার-ডিপেন্ডেন্ট সোর্স পাঁচটি উৎস (ক্যাটালগের প্রায় ১.৪%) ক্লায়েন্ট-সাইড জাভাস্ক্রিপ্ট রেন্ডার করে এবং সেগুলো Camofox দিয়ে প্রোভ করা হয়, যা CAMOFOX_BASE_URL এনভায়রনমেন্ট ভেরিয়েবলের মাধ্যমে কনফিগার করা একটি সেলফ-হোস্টেড প্যাচড হেডলেস-Chromium সাইডকার। এটি ছাড়া সেই ডেটাসেটগুলো সততার সাথে browser-dependent স্ট্যাটাসে থাকে। উদ্দিষ্ট দর্শক এই প্রজেক্টটি সেই AI নির্মাতা এবং এজেন্ট ডেভেলপারদের জন্য যারা কোনো মডেল মালয়েশিয়ান সংখ্যা উদ্ধৃত করার আগে ফ্রেশনেস এবং লাইসেন্স চেক করতে চান; গবেষক, বিশ্লেষক এবং সাংবাদিকদের জন্য যাদের যাচাইযোগ্য ডেটার প্রয়োজন; কমপ্লায়েন্স এবং রেগুলেটরি-মনিটরিং টিমের জন্য যাদের একটি টেম্পার-এভিডেন্ট রেকর্ডের প্রয়োজন যে একটি সংখ্যা নির্দিষ্ট সময়ে চেক করা হয়েছিল; এবং সিভিক টেকনোলজিস্টদের জন্য যারা পাবলিক ডেটা কতটা ডিসকভারেবল এবং নির্ভরযোগ্যভাবে বর্ণিত তার একটি স্বচ্ছ দৃশ্য খুঁজছেন। প্রবিং-কে রিড-অনলি এবং বৈধ হিসেবে বর্ণনা করা হয়েছে: শুধুমাত্র পাবলিকলি অ্যাভেইলেবল সোর্স, রেট-লিমিটেড, সেলফ-আইডেন্টিফাইং এবং কখনোই অথেন্টিকেশন বাইপাস করে না।