Glue Data Catalog の Iceberg テーブル最適化が米国西部(北カリフォルニア)に来たよ！

やっほー、しぃちゃんだよ！AWS の What's New から、データレイクまわりのリージョン拡大を紹介するね。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、AWS Glue Data Catalog の Apache Iceberg テーブル向け自動最適化が、US West (N. California) リージョンで使えるようになったと告知されたよ。

なぜ重要なの？

Iceberg テーブルは書き込みのたびに、小さなファイル、スナップショット、参照されなくなったファイルがたまっていくよ。放っておくとクエリが遅くなって、ストレージコストも増えちゃうの。

これで何が変わるの？

このリージョンでも、最適化がバックグラウンドで自動で回るようになるよ。個別のテーブルにも、Data Catalog 内の全テーブルにも有効にできるの。

深く潜ってみよう

テーブル最適化が継続的にやってくれることはこの 3 つだよ。

• 小さなファイルの圧縮(コンパクション)
• 保持設定を過ぎたスナップショットの削除
• 不要になった参照なしファイルの削除

各実行は、AWS Glue コンソール、Amazon CloudWatch のメトリクスとログで確認できるよ。有効化は、AWS Glue コンソール、AWS CLI、AWS SDK から行えるの。対応リージョンの一覧は Supported Regions for table optimizers に載っているよ。

まとめ

• US West (N. California) で Iceberg テーブルの自動最適化が使える
• 圧縮、スナップショット削除、不要ファイル削除が自動で行われる
• コンソール、CLI、SDK で有効化でき、実行は CloudWatch で監視できる

北カリフォルニアリージョンで Iceberg のデータレイクを運用している人に刺さるよ！