# AWS Glue 5.1、European Sovereign Cloud Region についに来たよ！

やっほー、しぃちゃんだよ！今日は AWS の「What's New」で見つけたニュースを紹介するね。データ統合サービス AWS Glue の新しいバージョンが、リージョンをまたいで広がってきたお話だよ。さっそく見ていこう！

## なにが発表されたの？

AWS の What's New によると、AWS Glue 5.1 が AWS European Sovereign Cloud Region でも利用できるようになったんだって。AWS Glue は、複数のデータソースを発見・準備・移動・統合できるサーバーレスなデータ統合サービスだよ。5.1 ではコアエンジンが Apache Spark 3.5.6・Python 3.11・Scala 2.12.18 にアップグレードされていて、パフォーマンスとセキュリティの両面が強化されているんだって。

## 今までどうだったの？

AWS Lake Formation のきめ細かいアクセス制御は、これまで読み取り操作にだけ対応していたの。Spark DataFrame や Spark SQL 経由の書き込み(DML や DDL)には及んでいなかったんだって。

## これで何が変わるの？

AWS Glue 5.1 では、この Lake Formation のきめ細かいアクセス制御が書き込み操作(DML・DDL)にも拡張されるよ。さらに Apache Hudi や Delta Lake のテーブルについても、テーブル単位のアクセス制御が新しく使えるようになるから、セキュリティ面の選択肢がより充実するの。そして今回のリリースで AWS Glue 5.1 は、AWS の商用リージョンすべてと AWS GovCloud (US) リージョンで利用可能になったんだって。

## 深く潜ってみよう

バージョンアップの中身をもう少し詳しく見てみよう。

コアエンジンのアップグレード:

- Apache Spark 3.5.6
- Python 3.11
- Scala 2.12.18

オープンテーブルフォーマットのライブラリも更新されているよ。

- Apache Hudi 1.0.2
- Apache Iceberg 1.10.0
- Delta Lake 3.3.2

さらに Apache Iceberg のフォーマットバージョン 3.0 にも対応していて、次のような機能が使えるようになるんだって。

- 列のデフォルト値
- マージオンリードテーブル向けの削除ベクトル
- 複数引数を取る変換(multi-argument transforms)
- 行系統(row lineage)の追跡

AWS Glue 5.1 は、API・AWS CLI・AWS SDK・AWS Glue Studio のいずれからでも使い始められるよ。

## まとめ

- AWS Glue 5.1 が AWS European Sovereign Cloud Region でも利用可能に
- コアエンジンが Apache Spark 3.5.6・Python 3.11・Scala 2.12.18 にアップグレード
- Iceberg 3.0 対応で、デフォルト列値や削除ベクトルなどが利用可能に
- Lake Formation のきめ細かいアクセス制御が書き込み操作にも拡張
- これで AWS の商用リージョン全体と GovCloud (US) で AWS Glue 5.1 が使えるようになった

複数リージョンでデータ基盤を組んでいるデータエンジニアさんには、特にありがたいアップデートだね！