SageMaker Unified Studio、しきい値なしでデータ異常に気づけるって知ってた？

こんにちは、しぃちゃんだよ！ 今日は Amazon SageMaker Unified Studio のデータ品質まわりのアップデートを見つけたから紹介するね。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、Amazon SageMaker Unified Studio が データプロファイリング と 異常検知 に対応したよ。裏側では AWS Glue Data Quality が使われていて、データスチュワードやエンジニア、アナリストがデータの統計プロファイルを作って、形状や完全性を把握したり、統計の変化を時系列で追ったりできるようになったの。

なぜ重要なの？

データパイプラインが複雑になるほど、「このテーブル、いつの間にか変な値が増えてないかな」みたいな不安ってつきまとうよね。今までは異常を検知するために自分でしきい値やルールを定義する必要があったけど、それって結構手間だし、正常な値の範囲が時間とともに変わるとルールがすぐ古くなっちゃう問題もあったの。だからこそ、しきい値を自分で決めなくていい異常検知の仕組みは注目度が高いんだよ。

これで何が変わるの？

データエンジニアやアナリストが、事前にルールを作り込まなくても「このデータ、いつもと違うかも」に気づけるようになるよ。データ品質の監視をもっと手軽に、継続的にできるようになるのが嬉しいポイントだね。

深く潜ってみよう

対応しているデータは 2 種類あるよ。

• カタログテーブルに保存されているデータ（静止データ）
• Visual ETL ジョブを流れているデータ（転送中のデータ、Evaluate Data Quality 変換を使う場合）

カタログテーブル側には専用の Data profile タブ が追加されて、オンデマンドでもスケジュール実行でも、データセットレベル・列レベルの統計を計算できるよ。プロファイルの履歴が溜まっていくと、その履歴から「いつも通りの範囲」のベースラインが自動的にできあがって、そこから外れたデータポイントにフラグが立つ仕組みなの。

Visual ETL 側でも同じプロファイリング統計と異常検知が、Evaluate Data Quality 変換を使ったジョブの結果ページで確認できるよ。

この機能は、Amazon SageMaker Unified Studio が使えるすべての AWS リージョンで利用できるよ。詳しくは公式ドキュメントを見てみてね。

まとめ

• SageMaker Unified Studio がデータプロファイリングと異常検知に対応したよ（裏側は AWS Glue Data Quality）
• カタログテーブルの静止データと、Visual ETL の転送中データの両方が対象
• Data profile タブでオンデマンド／スケジュールのプロファイリングができ、統計から自動でベースラインを作って異常を検知
• しきい値やルールを手作業で決めたくない、データ品質を継続的に見張りたいデータエンジニア・アナリストにぴったりの機能だよ！