kpubdata-builder

KPubData Builder — это инструмент сборки и хранения, который с помощью публичного API KPubData SDK преобразует общедоступные данные в воспроизводимые табличные снимки. Следуя Medallion Architecture (Bronze→Silver→Gold), он поэтапно выполняет сохранение исходных данных, нормализацию, проверку и статистические вычисления, а также сборку готовых к распространению пакетов. Ключевые возможности включают воспроизводимую сборку на основе декларативной спецификации BuildSpec в формате YAML, аудит с помощью Manifest (запись дайджеста спецификации, состояния и метаданных артефактов), а также разделение создания файлов и публикации во внешние хранилища. CLI предоставляет команды validate, preview, build, publish и serve, а результаты можно публиковать во внешние хранилища, такие как Hugging Face. Доступен режим HTTP-сервиса для интеграции с KPubData Studio. В настоящее время табличный движок использует Polars, и выполняется переход на DuckDB. Поддерживаются как установка через pip, так и запуск в Docker, и можно использовать все провайдеры и наборы данных, поддерживаемые kpubdata. Документация подробно описывает контракт BuildSpec, проектирование стадий Medallion и контракт HTTP API в BUILD_SPEC.md, ARCHITECTURE.md, API_CONTRACT.md и других файлах.