AWS Glue Data Quality でデータの分布まで見える化できるようになったよ！

やっほー、しぃちゃんだよ！今日はデータエンジニアさんに刺さりそうな、データ品質まわりのアップデートを見つけたよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、AWS Glue Data Quality に新しく「Distribution Analyzer」が追加されたの。これを使うと、データの頻度分布プロファイルを生成できるようになるんだよ。数値列ならヒストグラムを、カテゴリ・日付・ブール値の列なら値の分布を、それぞれ可視化できるの。ビンの数もカスタマイズできるから、自分のユースケースに合わせて粒度を調整できるんだって。

今までどうだったの？

これまでも Glue Data Quality には、データ品質定義言語（DQDL）を使ったルールセットでいろんなチェックができたけど、「データがどんな形で分布しているか」をぱっと把握する専用の機能は無かったの。スキューネス（偏り）や外れ値、想定外のパターンを見つけたいと思っても、そのたびに自分でコードを書いて集計する必要があったんだよね。

これで何が変わるの？

Distribution Analyzer は、既存の DQDL ルールセットにそのまま組み込めるから、いつものデータ品質チェックと同じ実行の中で、分布プロファイルまで一緒に取得できるようになるよ。カスタムコードを書かなくても、データの偏りや外れ値、予期しないパターンをさくっと見つけられるようになるの。データパイプラインの信頼性を上げたいデータエンジニアさんには、うれしいアップデートだね。

深く潜ってみよう

生成された分布統計は Amazon S3 に保存されて、Amazon Athena などで後からクエリできるよ。API 経由でも取得できるから、監視ワークフローや可視化ツールに組み込みやすいの。Amazon SageMaker Unified Studio との連携もサポートされているから、分析やモニタリングの画面にそのまま統計情報を出せるんだって。

対応リージョンは、AWS の全商用リージョンと AWS GovCloud（US）だよ。

まとめ

• AWS Glue Data Quality に「Distribution Analyzer」が追加され、数値列のヒストグラムやカテゴリ・日付・ブール値列の分布を生成できるように
• カスタムビンカウントに対応、既存の DQDL ルールセットにそのまま組み込める
• 結果は Amazon S3 に保存され、Athena や API、SageMaker Unified Studio から利用可能
• AWS 全商用リージョンと GovCloud（US）で利用できる

データパイプラインの品質チェックをもっと具体的にしたいデータエンジニアさんに、ぜひ試してほしい機能だよ！