Iceberg V3 テーブルも自動メンテ！Glue Data Catalog が最適化・統計・クローラーに対応
みんな、しぃちゃんだよ！Iceberg V3 のテーブルを、Glue がちゃんとお世話してくれるようになったよ！
AWS What's New
aws.amazon.com
なにが発表されたの？
AWS の What's New で、AWS Glue Data Catalog が Apache Iceberg Version 3（V3）テーブルの、テーブル最適化・統計・クローラーに対応したと発表されたよ。
これで何が変わるの？
V3 テーブルを自動でメンテナンスして、クエリ性能のために最適化して、Amazon S3 上で見つけられるようになるよ。
深く潜ってみよう
できることを分けて紹介するね。
テーブル最適化:
- binpack・sort・z-order の戦略で V3 テーブルをコンパクション（クエリ性能の向上）
- 期限切れスナップショットと孤立ファイルの削除（ストレージコストの削減）
- variant・geospatial・ナノ秒精度のタイムスタンプなど、V3 のデータ型に対応
統計:
- V3 テーブルの distinct 値の数（NDV）の統計を生成できる
- 分析エンジンがクエリを効率よく計画するために使う
クローラー:
- S3 にある V3 テーブルを見つけて Glue Data Catalog に登録できる
- V3 互換のエンジンからクエリできる
提供範囲は、Glue Data Catalog のテーブル最適化・統計・クローラーが使えるすべてのリージョンだよ。
まとめ
- Glue Data Catalog が Iceberg V3 のテーブル最適化・統計・クローラーに対応
- binpack・sort・z-order のコンパクションと、スナップショット・孤立ファイルの削除
- variant・geospatial・ナノ秒タイムスタンプも最適化の対象
- NDV 統計の生成と、S3 上の V3 テーブルの発見・登録
Iceberg V3 に移行を考えているデータ基盤担当のみんなに、安心材料になる更新だよ！