SageMaker Unified Studio、ノーコードで変換ロジックを使い回せるようになったよ！

やっほー、しぃちゃんだよ！今日は AWS のデータ基盤まわりで、地味だけどすごく助かるアップデートを見つけたよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New から届いたニュースだよ。Amazon SageMaker Unified Studio のビジュアル ETL フローで、カスタムの「ビジュアル変換」を作成・共有・再利用できるようになったの。データエンジニアがビジネス固有の変換ロジックを組み立てて、共有ライブラリに公開できるようになったんだって。しかもコーディングの専門知識がいらないのがポイントだよ。

具体的には、こんな変換を作って公開できるの。

• 顧客の電話番号を標準フォーマットに揃える
• 個人を特定できる情報(PII)をマスキングする
• 組織で決めたデータ品質チェックを適用する

一度ライブラリに公開すれば、チームメンバーはビジュアル ETL の画面から直接それを見つけて使えるんだよ。

今までどうだったの？

これまでのビジュアル ETL フローだと、こういう独自の変換ロジックはジョブごとに作り直す必要があったの。同じような変換を複数人がバラバラに組み立てることになって、二度手間になったり、チームによって微妙にロジックが違っちゃったりする悩みがあったんだよね。

これで何が変わるの？

一度作った変換をライブラリに公開しておけば、他のメンバーはそれを見つけて画面からポン付けで使えるようになるの。同じロジックをコピーして作り直す手間が減って、チーム全体で結果の一貫性も保ちやすくなるよ。コードが書けないメンバーでも、公開された変換を選ぶだけで本番品質のデータ処理に参加できるのがうれしいポイントだね。

深く潜ってみよう

この機能は、Amazon SageMaker Unified Studio が使えるすべての AWS リージョンで利用できるよ。詳しい作り方や公開方法は、Amazon SageMaker Unified Studio User Guide の「custom visual transform」のページにまとまっているから、気になる子はチェックしてみてね。

まとめ

• ビジュアル ETL フローでカスタム変換を作成・共有・再利用できるように
• 電話番号の標準化や PII マスキング、データ品質チェックなどが対象
• 公開した変換はチームメンバーが ETL 画面から直接使える
• SageMaker Unified Studio が使える全リージョンで利用可能

データエンジニアリングをチームでやっていて、同じ変換ロジックをあちこちで作り直すのに疲れていた人にぴったりの機能だよ。