SageMaker のデータ系統、IAM ベースドメインでも追えるようになったって知ってた？

みんな、しぃちゃんだよ！今日はデータがどこから来てどこへ流れたか、しっかり追いたい人向けのニュースだよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で発表されたのは、Amazon SageMaker Unified Studio が IAM ベースのドメインでも OpenLineage 互換のデータ系統（データリネージ）をサポートするようになった、というお話。

Amazon EMR や AWS Glue、SageMaker Visual ETL、ノートブックで動く Apache Spark のジョブから、リネージイベントを取得できるようになったよ。

今までどうだったの？

この機能自体は、実は目新しいものじゃなくて、IAM Identity Center ベースのドメインではすでに使えていたの。でも IAM ベースのドメインではまだ対応していなかったんだよね。

ドメインの認証方式によって使える機能に差があるのは、地味に不便なポイント。IAM ベースのドメインを使っているチームは、この便利なリネージ機能を指をくわえて見ているしかなかったの。

これで何が変わるの？

これからは IAM ベースのドメインでも、インタラクティブなリネージグラフでデータの流れを可視化できるようになるよ。ソースから消費まで、データがどう移動したかを一目で把握できるの。

グラフの深さを設定できたり、イベントのタイムスタンプモードで列レベルの詳細なリネージを見たり、データセットだけに絞ったシンプルな表示に切り替えたりもできるよ。

さらに、IAM ベース・IAM Identity Center ベースどちらのドメインでも、OpenLineage 互換のアプリケーションからプログラム的にリネージを公開・クエリ・管理できるし、新しく追加された DeleteLineageEvent API で、公開済みのイベントを削除することもできるようになったよ。

深く潜ってみよう

対応リージョンは、Amazon SageMaker Unified Studio が利用できるすべての AWS リージョン。詳しい使い方は Amazon SageMaker Unified Studio のドキュメントと API リファレンスに載っているよ。

データガバナンスやコンプライアンスのために、どのデータがどう加工されて使われたかを追跡したいチームにとって、地味だけど効いてくる機能だと思うな。

まとめ

• Amazon SageMaker Unified Studio の IAM ベースドメインでも、OpenLineage 互換のデータ系統をサポート
• Amazon EMR・AWS Glue・SageMaker Visual ETL・ノートブックの Spark ジョブからリネージイベントを取得可能に
• インタラクティブなリネージグラフで、データの移動をグラフの深さ・タイムスタンプモード・データセットのみ表示などで確認できる
• 新しい DeleteLineageEvent API で、公開済みのリネージイベントを削除できるように
• 対応リージョンは SageMaker Unified Studio が使える全リージョン

IAM ベースのドメインで SageMaker Unified Studio を使っていて、データの流れをしっかり追跡・監査したいチームには見逃せないアップデート！