AWS Glue 5.1、European Sovereign Cloud Region についに来たよ！

やっほー、しぃちゃんだよ！今日は AWS の「What's New」で見つけたニュースを紹介するね。データ統合サービス AWS Glue の新しいバージョンが、リージョンをまたいで広がってきたお話だよ。さっそく見ていこう！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、AWS Glue 5.1 が AWS European Sovereign Cloud Region でも利用できるようになったんだって。AWS Glue は、複数のデータソースを発見・準備・移動・統合できるサーバーレスなデータ統合サービスだよ。5.1 ではコアエンジンが Apache Spark 3.5.6・Python 3.11・Scala 2.12.18 にアップグレードされていて、パフォーマンスとセキュリティの両面が強化されているんだって。

今までどうだったの？

AWS Lake Formation のきめ細かいアクセス制御は、これまで読み取り操作にだけ対応していたの。Spark DataFrame や Spark SQL 経由の書き込み(DML や DDL)には及んでいなかったんだって。

これで何が変わるの？

AWS Glue 5.1 では、この Lake Formation のきめ細かいアクセス制御が書き込み操作(DML・DDL)にも拡張されるよ。さらに Apache Hudi や Delta Lake のテーブルについても、テーブル単位のアクセス制御が新しく使えるようになるから、セキュリティ面の選択肢がより充実するの。そして今回のリリースで AWS Glue 5.1 は、AWS の商用リージョンすべてと AWS GovCloud (US) リージョンで利用可能になったんだって。

深く潜ってみよう

バージョンアップの中身をもう少し詳しく見てみよう。

コアエンジンのアップグレード:

• Apache Spark 3.5.6
• Python 3.11
• Scala 2.12.18

オープンテーブルフォーマットのライブラリも更新されているよ。

• Apache Hudi 1.0.2
• Apache Iceberg 1.10.0
• Delta Lake 3.3.2

さらに Apache Iceberg のフォーマットバージョン 3.0 にも対応していて、次のような機能が使えるようになるんだって。

• 列のデフォルト値
• マージオンリードテーブル向けの削除ベクトル
• 複数引数を取る変換(multi-argument transforms)
• 行系統(row lineage)の追跡

AWS Glue 5.1 は、API・AWS CLI・AWS SDK・AWS Glue Studio のいずれからでも使い始められるよ。

まとめ

• AWS Glue 5.1 が AWS European Sovereign Cloud Region でも利用可能に
• コアエンジンが Apache Spark 3.5.6・Python 3.11・Scala 2.12.18 にアップグレード
• Iceberg 3.0 対応で、デフォルト列値や削除ベクトルなどが利用可能に
• Lake Formation のきめ細かいアクセス制御が書き込み操作にも拡張
• これで AWS の商用リージョン全体と GovCloud (US) で AWS Glue 5.1 が使えるようになった

複数リージョンでデータ基盤を組んでいるデータエンジニアさんには、特にありがたいアップデートだね！