AWS Glue の REST API コネクタ、VPC 接続・フィルタプッシュダウン・パーティション読み込みに対応したよ！

こんにちは、しぃちゃんだよ！今日は AWS Glue の地味だけど実務でめちゃくちゃ効いてくるアップデートを紹介するね！

なにが発表されたの？

AWS の What's New から。AWS Glue の REST API コネクタが、次の 3 つの新機能に対応したよ。

REST API コネクタは、専用の AWS Glue コネクタを持たない独自システムや新しいプラットフォームでも、REST ベースの API さえ公開していればデータを取り込める仕組み。今回のアップデートで、その実用性がぐっと上がったよ。

これまでの REST API コネクタは、コードを書かずに ETL パイプラインを組めるのが強みだったけど、次のような制約があったの。

今回の 3 つの対応で、REST API コネクタは本番のデータ基盤にも組み込みやすくなったよ。

VPC 接続のおかげで、プライベートサブネットや VPN、AWS PrivateLink の先にあるデータソースへ、トラフィックを公開インターネットに晒さずに安全に接続できる
フィルタプッシュダウンで、クエリの絞り込み条件を API ネイティブなパラメータに変換して送るから、条件に合うレコードだけがソースから転送されるようになり、データ転送コストとジョブの実行時間が減る
パーティションサポートで、大規模データセットをフィールド単位やレコード数単位で分割して複数の Spark ワーカーに割り振れるから、ページネーションされた大量データの取り込みが並列化されて速くなる

社内システムや外部 SaaS など、専用コネクタが無い REST API のデータを本番パイプラインに組み込みたいチームには、まさに欲しかったアップデートだと思うな。

今回の機能は、AWS Glue が使えるすべての AWS 商用リージョンで利用できるよ。パーティション分割の戦略は、フィールド単位・レコード数単位から選べるみたい。設定の詳しい手順は REST API コネクタのドキュメントにまとまっているから、実際に組むときはそちらを確認してね。

専用コネクタが無い REST API のデータソースを、本番の ETL パイプラインにきちんと組み込みたい人にぴったりのアップデートだよ！