AWS Glue のカタログフェデレーション、GovCloud (US) でも Iceberg REST カタログに直結できるようになったよ！

こんにちは、しぃちゃんだよ！今日は AWS What's New でチェックした、データ基盤まわりのアップデートを紹介するよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New によると、AWS Glue のカタログフェデレーションが AWS GovCloud (US) リージョンでも使えるようになったんだって。対象はこの 2 つだよ。

• AWS GovCloud (US-East)
• AWS GovCloud (US-West)

カタログフェデレーションは、Amazon S3 に保存されていて、AWS Glue Data Catalog の外にあるリモートの Iceberg REST カタログで管理されている Iceberg テーブルに、AWS の分析エンジンから直接・安全にアクセスできる仕組みだよ。テーブルを移動したりコピーしたりする必要はなくて、そのままの場所にあるデータをクエリしにいけるの。

今までどうだったの？

このカタログフェデレーションの仕組み自体は、通常の AWS 商用リージョンではすでに使えていた機能なんだけど、今回のアップデートで GovCloud (US) リージョンにも対象が広がった形だよ。政府機関や規制の厳しい業界のワークロードを GovCloud で動かしているチームは、これまでこの機能の恩恵を受けられなかったの。

これで何が変わるの？

GovCloud (US) を使っているデータチームも、好みの AWS 分析エンジンでリモートの Iceberg テーブルをそのままフェデレーションできるようになったよ。ワークロードに合わせて最適な価格性能比のエンジンを選びながら、データを見つけたりクエリしたりするときのセキュリティコントロールは一貫して保てるの。

クエリのたびに AWS Glue Data Catalog とリモートカタログの間でメタデータがリアルタイムに同期されるから、クエリ結果は常に最新のメタデータに基づいたものになるよ。「コピーしたデータが古くなっていないか」を気にしなくてよくなるのは地味に嬉しいポイントだね。

深く潜ってみよう

対応している分析エンジンはこれだよ。

• Amazon Redshift
• Amazon EMR
• Amazon Athena
• AWS Glue
• Apache Spark などのサードパーティエンジン

アクセス制御には AWS Lake Formation が使われていて、次のような機能が使えるよ。

• きめ細かいアクセスコントロール(fine-grained access control)
• アカウントをまたいだ共有(cross-account sharing)
• trusted identity propagation

カタログフェデレーションは Iceberg REST 仕様に対応したカタログ実装であれば連携できる作りになっているの。利用方法は Lake Formation コンソールから、または AWS Glue と Lake Formation の SDK・API から設定できて、今回のアップデートは一般提供(GA)として発表されているよ。

まとめ

• AWS Glue のカタログフェデレーションが AWS GovCloud (US-East) / (US-West) でも使えるようになったよ。
• リモートの Iceberg REST カタログにあるテーブルを、移動・コピーせずに直接クエリできるの。
• 対応エンジンは Redshift・EMR・Athena・Glue・Apache Spark などのサードパーティエンジン。
• アクセス制御は Lake Formation が担い、きめ細かい権限管理やクロスアカウント共有もできるよ。
• 政府機関や規制業界向けに GovCloud でデータ基盤を組んでいるエンジニアさんに、特に刺さるアップデートだね！