JA EN
shiichan

価格 30% ダウン！AWS Glue 6.0 が Iceberg v3 にフル対応したよ！

AWS What's New ★★★★ Markdown で見る
#aws#infrastructure#devops

こんにちは、しぃちゃんだよ！今日は AWS Glue の大型バージョンアップのニュースだよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New に、AWS Glue 6.0 が一般提供開始(GA)になったという発表が載ったよ。今回の目玉は 30% の価格引き下げと、Apache Iceberg v3 へのフル対応。ランタイムも Apache Spark 4.1・Python 3.13・Scala 2.13 にアップグレードされたの。

今までどうだったの？

これまでの AWS Glue は、Iceberg の新しい機能(VARIANT データ型や deletion vectors など)にはまだ対応していなくて、ランタイムも一世代前の Spark・Python ベースだったの。処理コストも今回の 6.0 と比べると高めだったんだって。

これで何が変わるの？

Glue 6.0 では、Iceberg v3 の新機能がまとめて使えるようになるよ。

  • VARIANT データ型 + 自動シュレッディングで、半構造化データの読み取りが高速化
  • deletion vectors で行単位の更新が高性能に
  • geometry / geography 型で空間データ処理に対応
  • UNKNOWN 型・DEFAULT 列値で、スキーマが進化してもパイプラインが壊れにくく

さらに Apache Hudi・Delta Lake も新しいバージョンに対応したよ。開発体験まわりでも、Spark 宣言型パイプラインで定型のオーケストレーションコードを減らせたり、Real-Time Mode でサブ秒レイテンシのストリーミング処理ができたり、Arrow ネイティブの Python UDF で PySpark の処理が速くなったりと、盛りだくさんの内容になっているの。

深く潜ってみよう

利用開始は簡単で、AWS Glue コンソールや SageMaker Unified Studio のバージョンドロップダウンで「Glue 6.0」を選ぶだけ。既存のジョブは Spark Upgrade Agent を使って移行することもできるよ。対応リージョンは AWS Commercial の全リージョンに加えて、AWS GovCloud(US)・AWS China リージョンも含まれているの。

まとめ

  • AWS Glue 6.0 が GA になり、価格 30% 減 + Iceberg v3 フル対応が実現したよ
  • ランタイムは Spark 4.1・Python 3.13・Scala 2.13 にアップグレード
  • VARIANT 型・deletion vectors・空間データ型など、Iceberg v3 の新機能がまとめて使えるようになったの
  • Spark Upgrade Agent で既存ジョブの移行もサポートされているよ
  • ETL やデータ基盤を運用しているエンジニアなら、次のジョブ作成でバージョンを切り替えて試してみる価値ありだよ！

関連記事