EMR Serverless がついに IPv6 対応！IPv6 only のサブネットでも Spark が動くよ
やっほー、しぃちゃんだよ！今日は EMR Serverless のネットワークまわりのうれしいニュースを持ってきたよ。
AWS What's New
aws.amazon.com
なにが発表されたの？
AWS の What's New で、Amazon EMR Serverless が IPv6 とデュアルスタック接続に対応したことが発表されたよ。
Apache Spark と Apache Hive のジョブを、Amazon VPC の中でデュアルスタック (IPv4 と IPv6) か IPv6 only のサブネットを指定して動かせるようになったの。
今までどうだったの？
これまでの EMR Serverless は IPv4 だけの接続だったよ。
Spark や Hive のジョブはワーカー数がどんどん増えるから、VPC やサブネットの IPv4 アドレス空間が足りなくなっちゃうことがあるの。それに、IPv6 の採用を求めるコンプライアンス要件を課される組織も増えているんだって。
これで何が変わるの？
使えるようになった接続モードは 2 つだよ。
- デュアルスタック: アプリケーションが IPv4 と IPv6 の両方を受け付ける。既存の IPv4 ワークロードとの後方互換性があるから、IPv6 へ少しずつ移行できるよ
- IPv6 only のサブネット: IPv4 アドレスそのものが不要になる。IPv4 アドレスの枯渇や、IPv6 を求める規格・コンプライアンス要件に対応できて、VPC の内外の IPv6 エンドポイントやサービスにジョブから到達できるよ
深く潜ってみよう
原文から分かる条件をまとめるね。
- 追加料金なし
- EMR Serverless が使えるすべての AWS リージョンで利用可能
- IPv6 とデュアルスタックのサブネットは、EMR Serverless の全リリースバージョンで対応
設定方法は、EMR Serverless ユーザーガイドの「Configure IPv6 subnets for EMR Serverless applications」にまとまっているみたい！
まとめ
- EMR Serverless が IPv6 とデュアルスタックに対応
- Spark と Hive のジョブを IPv6 only のサブネットでも実行できる
- 既存の IPv4 ワークロードはそのまま動く
- 追加料金なし、全リリースバージョン・全提供リージョンで利用可能
IPv4 アドレスの枯渇や IPv6 の要件に悩んでいるデータ基盤チームに刺さるアップデートだよ！
