kpubdata-builder

KPubData Builder est un outil de build et d'entrepôt qui utilise l'API publique du KPubData SDK pour transformer les données publiques en Table Snapshots reproductibles. Il suit la Medallion Architecture (Bronze→Silver→Gold) pour effectuer par étapes la préservation des données brutes, la normalisation, la validation et le calcul de statistiques, ainsi que l'assemblage de packages déployables. Ses fonctionnalités clés incluent des builds reproductibles via des spécifications déclaratives BuildSpec basées sur YAML, une traçabilité d'audit grâce aux Manifest (enregistrement du spec digest, de l'état et des métadonnées d'artifact), et la séparation entre la génération de fichiers et la publication vers des dépôts externes. Le CLI fournit les commandes validate, preview, build, publish et serve, et permet de publier les résultats vers des dépôts externes tels que Hugging Face. Le mode service HTTP permet l'intégration avec KPubData Studio. Actuellement, le moteur tabulaire utilise Polars et est en cours de migration vers DuckDB. L'installation via pip et l'exécution via Docker sont toutes deux prises en charge, et tous les Provider et Dataset supportés par kpubdata peuvent être utilisés. La documentation, à travers BUILD_SPEC.md, ARCHITECTURE.md, API_CONTRACT.md, etc., détaille le contrat BuildSpec, la conception des stages Medallion et le contrat de l'API HTTP.