datapulse-my

DataPulse представляет собой открытый слой верификации государственных данных Малайзии в режиме «только чтение». Он не переопубликовывает официальные наборы данных; вместо этого он периодически опрашивает источники, фиксирует фактические наблюдения и публикует машиночитаемые доказательства по каждому датасету, чтобы люди и ИИ-агенты могли определить, безопасно ли использовать или цитировать тот или иной показатель. Живой дашборд доступен по адресу data-pulse.my. Каталог Проект отслеживает 418 официальных малайзийских датасетов, организованных по стабильным ID издателей (хранителей). Среди издателей: Bank Negara Malaysia, Департамент статистики Малайзии (DOSM/OpenDOSM), Департамент генерального бухгалтера, Департамент окружающей среды, Департамент сельского хозяйства и рыболовства, Национальное антинаркотическое агентство и другие. Инвентарь охватывает экономические и финансовые ряды (OPR, обменные курсы, процентные ставки, инфляция, денежные агрегаты, платежные системы), демографическую и медицинскую статистику, преступность, сельское хозяйство и экологический мониторинг. Тридцать записей представляют собой фиды транзита GTFS (KTMB, Prasarana, BAS.MY), охватывающие как статические расписания, так и местоположение транспорта в реальном времени. Для каждого датасета есть страница документации, а некоторые включают образцы в форматах CSV или JSON. Таксономия состояния Вместо общей «зеленой галочки» каждый датасет имеет один из десяти честных статусов: fresh (свежий), aging (устаревающий), stale (устаревший), discontinued (прекращен), degraded (деградировавший), browser-dependent (зависимый от браузера), unreachable (недоступный), unknown (неизвестный), unknown-freshness (неизвестная актуальность) или reference (справочный). Источник, который работает, но чья актуальность не может быть подтверждена, помечается как unknown-freshness, а не считается «здоровым»; ряд, который издатель перестал обновлять, помечается как discontinued (решение издателя, замороженные данные), а не как сбой актуальности. Справочные строки описывают версионные данные поиска, где актуальность на основе даты не применима (например, policy-reference и reference-current). Публичный отчет _trust_summary сообщает о текущем распределении и эксплицитно подсчитывает отсутствующие сигналы актуальности и количества строк. Изменения состояния можно отслеживать через RSS-ленту. Лицензии и происхождение Каждый датасет заявляет свою лицензию в машиночитаемой форме, воспроизводимой из datapulse.json. Указанное распределение включает Creative Commons Attribution 4.0, Open Government Licence (Malaysia), MIT, Singapore Open Data Licence, MBPP Government Open Data Terms, а также строки, где лицензия издателя не указана. Опрос следует многоуровневому графику с учетом периодичности (например, ежедневно, еженедельно для цен на топливо, ежемесячно для опросов), и каждый датасет имеет закрепленного ответственного (steward) и стабильный ID хранителя для определения происхождения от издателя. Верификация Проект описывает три проверяемых слоя: конверт, подписанный Ed25519, над точным содержанием каждого наблюдения; проверка источника записи, где переданное наблюдение побайтово совпадает с версионным источником Git; и временной свидетель в виде доказательства включения в публичный лог Rekor/Sigstore. Автономный скрипт (scripts/verify_external.py) можно скачать и запустить без клонирования репозитория или использования кода DataPulse. В README четко определена область применения: платформа доказывает целостность и время своих наблюдений, а не семантическую истинность государственных показателей из первоисточника. Доступ для агентов DataPulse предоставляет сервер MCP в режиме «только чтение» по адресу https://mcp.data-pulse.my/mcp через Streamable HTTP без аутентификации. Он предлагает 19 инструментов чтения для каталога из 418 датасетов, включая search_datasets, get_dataset, get_data_passport, find_stale, find_anomalies, find_deteriorating, find_recovering, find_unreliable, find_schema_drift, check_reconciliation, get_provenance, get_evidence, verify_dataset, get_freshness_summary, verify_evidence, trust_verdict, verify_attestation, find_by_licence и usage_summary. Подключение из Claude Desktop, Cursor или Cline осуществляется через один блок JSON-конфигурации. Публичные файлы обнаружения включают llms.txt, agent.json, mcp.json и sitemap. Источники, зависимые от браузера Пять источников (около 1,4% каталога) используют клиентский JavaScript и опрашиваются с помощью Camofox — самостоятельно размещенного патченного headless-Chromium sidecar, настраиваемого через переменную окружения CAMOFOX_BASE_URL. Без него эти датасеты честно остаются в статусе browser-dependent. Целевая аудитория Проект ориентирован на разработчиков ИИ и агентов, которым нужны проверки актуальности и лицензий перед тем, как модель процитирует малайзийский показатель; исследователей, аналитиков и журналистов, которым необходимо основывать работу на верифицируемых данных; команды по комплаенсу и регуляторному мониторингу, которым нужна защищенная от несанкционированного доступа запись о том, что показатель был проверен в определенное время; и гражданских технологов, стремящихся к прозрачному представлению того, насколько общедоступные данные обнаруживаемы и надежно описаны. Опрос описывается как законный и выполняемый в режиме «только чтение»: только общедоступные источники, с ограничением частоты запросов, с самоидентификацией и без обхода аутентификации.