iceberg

Apache Icebergは、大規模な分析テーブル向けに設計された高性能なテーブルフォーマットです。これにより、Apache Spark、Trino、Apache Flink、Presto、Apache Hive、Impalaを含む複数の処理エンジンが、同じテーブルに対して安全かつ並行して動作することが可能になります。 本プロジェクトは、安定したフォーマット仕様とJavaによるリファレンス実装を提供しています。Javaライブラリは以下のいくつかのモジュールで構成されています： - コアAPIおよび実装：`iceberg-api`と`iceberg-core`が、Avroデータファイルのサポートを含むパブリックAPIとコアロジックを提供します。 - ファイルフォーマットサポート：Parquet (`iceberg-parquet`)、ORC (`iceberg-orc`)、Arrow (`iceberg-arrow`) 用のオプションモジュール。 - 統合モジュール：Spark (`iceberg-spark`)、Flink (`iceberg-flink`)、Hive (`iceberg-mr`) 用の特定の実装、およびHiveメタストア実装 (`iceberg-hive-metastore`)。 - アプリケーションサポート：`iceberg-data`により、JVMアプリケーションがテーブルを直接操作できます。 Java実装以外にも、IcebergエコシステムにはGo、Python (PyIceberg)、Rust、C++での実装が含まれています。