iceberg — Apache Iceberg est un format de table ouvert et performant pour les ensembles de données analytiques massifs, apportant la fiabilité et la simplicité du SQL aux environnements Big Data.

Apache Iceberg est un format de table ouvert et performant pour les ensembles de données analytiques massifs, apportant la fiabilité et la simplicité du SQL aux environnements Big Data.

À propos du projet

Apache Iceberg est un format de table haute performance conçu pour les tables analytiques à grande échelle. Il permet à plusieurs moteurs de traitement — notamment Apache Spark, Trino, Apache Flink, Presto, Apache Hive et Impala — de travailler de manière sûre et concurrente sur les mêmes tables. Le projet fournit une spécification de format stable et une implémentation de référence en Java. La bibliothèque Java est organisée en plusieurs modules : - API Core et Implémentation : `iceberg-api` et `iceberg-core` fournissent l'API publique et la logique centrale, incluant le support des fichiers de données Avro. - Support des formats de fichiers : Modules optionnels pour Parquet (`iceberg-parquet`), ORC (`iceberg-orc`) et Arrow (`iceberg-arrow`). - Modules d'intégration : Implémentations spécifiques pour Spark (`iceberg-spark`), Flink (`iceberg-flink`) et Hive (`iceberg-mr`), ainsi qu'une implémentation du metastore Hive (`iceberg-hive-metastore`). - Support applicatif : `iceberg-data` permet aux applications JVM de travailler directement avec les tables. Au-delà de l'implémentation Java, l'écosystème Iceberg comprend des implémentations en Go, Python (PyIceberg), Rust et C++.