datapulse-my

DataPulse는 말레이시아 공공 데이터를 위한 개방형 읽기 전용 검증 레이어입니다. 공식 데이터셋을 재게시하는 대신, 소스를 반복적으로 조사하고 실제로 관찰한 내용을 기록하며, 각 데이터셋에 대한 기계 판독 가능 증거를 게시하여 인간과 AI 에이전트가 해당 수치를 재사용하거나 인용해도 안전한지 판단할 수 있도록 합니다. 라이브 대시보드는 data-pulse.my에서 확인할 수 있습니다. 카탈로그 이 프로젝트는 안정적인 발행자 ID(관리자)별로 정리된 418개의 말레이시아 공식 데이터셋을 추적합니다. 발행자에는 말레이시아 중앙은행(Bank Negara Malaysia), 말레이시아 통계청(DOSM/OpenDOSM), 회계총국, 환경부, 농림부, 국가마약방지청 등이 포함됩니다. 인벤토리는 경제 및 금융 시리즈(OPR, 환율, 금리, 인플레이션, 통화 집계, 결제 시스템), 인구 및 보건 통계, 범죄, 농업 및 환경 모니터링을 아우릅니다. 항목 중 30개는 GTFS 교통 피드(KTMB, Prasarana, BAS.MY)로, 정적 시간표와 실시간 차량 위치를 모두 포함합니다. 각 데이터셋에는 문서 페이지가 있으며, 일부는 CSV 또는 JSON 샘플을 포함합니다. 상태 분류 체계 단순한 녹색 체크 표시 대신, 모든 데이터셋은 fresh, aging, stale, discontinued, degraded, browser-dependent, unreachable, unknown, unknown-freshness, reference 등 10가지의 정직한 상태 중 하나를 가집니다. 작동은 하지만 최신임을 증명할 수 없는 소스는 건강하다고 가정하는 대신 unknown-freshness로 표시하며, 발행자가 업데이트를 중단한 시리즈는 최신성 실패가 아닌 discontinued(발행자 결정에 의한 데이터 동결)로 표시합니다. Reference 행은 날짜 기반의 최신성이 적용되지 않는 버전 관리된 조회 데이터를 설명하며, policy-reference 및 reference-current와 같은 변형이 있습니다. 공개 _trust_summary는 현재 분포를 보고하고 누락된 최신성 및 행 수 신호를 명시적으로 집계합니다. 상태 변경 사항은 RSS 피드를 통해 추적할 수 있습니다. 라이선스 및 출처 모든 데이터셋은 datapulse.json에서 재현 가능한 기계 판독 가능 형태로 라이선스를 선언합니다. 명시된 배포 라이선스에는 Creative Commons Attribution 4.0, Open Government Licence (Malaysia), MIT, Singapore Open Data Licence, MBPP Government Open Data Terms가 포함되며, 일부 행은 발행자 라이선스가 명시되지 않았습니다. 조사는 계층화된 주기 기반 일정(예: 연료 가격은 매일/매주, 설문조사는 매월)을 따르며, 각 데이터셋에는 발행자 출처 확인을 위한 인간 읽기 가능 스튜어드와 안정적인 관리자 ID가 부여됩니다. 검증 이 프로젝트는 세 가지 검증 가능한 레이어를 설명합니다. 각 관찰 내용의 정확한 콘텐츠에 대한 Ed25519 서명 봉투, 제공된 관찰 바이트가 버전 관리된 Git 소스와 일치하는지 확인하는 기록 소스(source-of-record) 체크, 그리고 Rekor/Sigstore 공개 로그 포함 증명 형태의 시간적 증인입니다. 독립형 스크립트(scripts/verify_external.py)를 다운로드하여 저장소를 체크아웃하거나 DataPulse 코드를 사용하지 않고 실행할 수 있습니다. README에는 범위가 명시되어 있습니다. 이 플랫폼은 관찰의 무결성과 타이밍을 증명하는 것이지, 상위 정부 수치가 의미론적으로 진실임을 증명하는 것이 아닙니다. 에이전트 액세스 DataPulse는 인증 없이 Streamable HTTP를 통해 https://mcp.data-pulse.my/mcp에서 읽기 전용 MCP 서버를 노출합니다. 418개 데이터셋 카탈로그에 대해 search_datasets, get_dataset, get_data_passport, find_stale, find_anomalies, find_deteriorating, find_recovering, find_unreliable, find_schema_drift, check_reconciliation, get_provenance, get_evidence, verify_dataset, get_freshness_summary, verify_evidence, trust_verdict, verify_attestation, find_by_licence, usage_summary 등 19개의 읽기 전용 도구를 제공합니다. Claude Desktop, Cursor 또는 Cline에서의 연결은 단일 JSON 설정 블록으로 가능합니다. 공개 검색 파일에는 llms.txt, agent.json, mcp.json 및 사이트맵이 포함됩니다. 브라우저 의존적 소스 5개의 소스(카탈로그의 약 1.4%)는 클라이언트 측 JavaScript를 렌더링하며, CAMOFOX_BASE_URL 환경 변수를 통해 구성된 자체 호스팅 패치 헤드리스-Chromium 사이드카인 Camofox로 조사됩니다. 이것이 없으면 해당 데이터셋은 정직하게 browser-dependent 상태로 유지됩니다. 대상 사용자 이 프로젝트는 모델이 말레이시아 수치를 인용하기 전에 최신성과 라이선스 확인을 원하는 AI 빌더 및 에이전트 개발자, 검증 가능한 데이터에 기반하여 작업을 수행해야 하는 연구자, 분석가 및 기자, 특정 시점에 수치가 확인되었다는 조작 방지 기록이 필요한 컴플라이언스 및 규제 모니터링 팀, 그리고 공공 데이터가 얼마나 발견 가능하고 신뢰성 있게 설명되어 있는지 투명하게 보고자 하는 시빅 테크놀로지스트를 대상으로 합니다. 조사는 읽기 전용이며 적법하게 수행됩니다. 공개적으로 사용 가능한 소스만 대상으로 하며, 속도 제한을 두고, 스스로를 식별하며, 인증을 우회하지 않습니다.