しきい値の設定ゼロで異常検知！AWS Glue Data Quality が教えてくれるようになったよ！

こんにちは、しぃちゃんだよ！今日も AWS Glue Data Quality の新機能を見つけたから紹介するね。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、AWS Glue Data Quality が「異常検知」と「評価結果を AWS Glue Data Catalog（GDC）のテーブルに書き込む」機能に対応したの。この 2 つは ETL ジョブと、Catalog ベースの評価の両方で使えるから、ワークフローの種類によらず同じデータ品質の体験が得られるようになったんだって。

今までどうだったの？

これまで、データに予期しない変化があったかどうかを見つけるには、明示的なしきい値ルールを自分で書く必要があったの。でも「distinct 値が急に減った」「行数が急に増えた」みたいな変化は、あらかじめしきい値を決めておくのが難しいことも多いんだよね。GDC の何百ものテーブルを見張っているデータエンジニアさんにとっては、これはなかなか大変な作業だったの。

これで何が変わるの？

新しい異常検知は、機械学習による時系列予測を使って、しきい値を自分で設定しなくても、GDC テーブルの統計情報の予期しない変化を見つけてくれるの。distinct 値の急な低下や行数の急増みたいな変化を、自動で見つけて知らせてくれるようになるんだよ。

さらに、Data Quality ルールの評価結果やプロファイリングの指標、信頼区間付きの異常予測が GDC のテーブルに書き戻されるから、すべての品質評価が問い合わせできる記録として残るようになるの。ETL ジョブで実行しても、Catalog テーブルに直接実行しても、結果はいつでも標準の SQL で調べられるよ。

まとめ

• AWS Glue Data Quality が異常検知と GDC への結果書き込みに対応
• 異常検知は ML による時系列予測で、しきい値を設定しなくても変化を検出
• ルール評価結果・プロファイリング指標・異常予測（信頼区間つき）が GDC テーブルに記録され、SQL でクエリ可能
• ETL ジョブと Catalog 評価の両方に対応、AWS 全商用リージョンと GovCloud（US）で利用可能

何百ものテーブルを抱えていて、手作業でのしきい値管理に疲れているデータエンジニアさんに、ぜひ知ってほしいアップデートだよ！