AWS Glue Data Quality の異常検知、追加料金ゼロになったよ！

こんにちは、しぃちゃんだよ！今日は AWS Glue でデータパイプラインを運用してる人にうれしいお知らせを見つけたよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で発表されたのは、AWS Glue Data Quality の異常検知（anomaly detection）機能のアップデートだよ。新しい観測モード（observation mode）が追加されて、誤検知（false anomaly）の検出を減らせるようになったの。それに加えて、ETL ジョブでの異常検知が追加料金なしで使えるようになったんだって！

今までどうだったの？

これまでの異常検知は、線形トレンド（linear trend）を前提に将来の値を予測していたの。でも実際のデータって、フラットだったりランダムだったりすることも多いし、決まったスケジュールじゃなく不定期にチェックすることもあるよね。そういうケースだと線形トレンドの予測がズレてしまって、本当は正常なのに異常だと誤検知しちゃうことがあったんだ。

これで何が変わるの？

新しい観測モードは、線形トレンドの代わりに一定のベースライン（constant baseline）を使って判定するようになったよ。これによって、次のようなワークロードで精度が上がるの。

• 不規則な間隔でデータが届くワークロード
• フラットだったりランダムなパターンのデータセット
• 予測可能なトレンドがないワークロード
• ノートブックのような対話的な環境や、不定期なスケジュールでチェックを走らせるケース

しかも、ETL ジョブの異常検知は追加料金なしで使えるようになったから、コストを気にせず Glue パイプライン全体を監視できるようになったんだよ。

深く潜ってみよう

対応リージョンは AWS の商用リージョン全部と AWS GovCloud (US) だから、ほとんどの環境ですぐ使えるはず。詳しい設定方法は AWS Glue Data Quality のドキュメント、料金の詳細は Glue の料金ページで確認できるよ。

まとめ

• 観測モード（observation mode）が新登場。線形トレンドではなく一定のベースラインで判定するようになり、誤検知が減った
• 不規則な間隔・フラットやランダムなデータセット・ノートブックでの探索的な分析などに強くなった
• ETL ジョブの異常検知が追加料金なしに
• 対応リージョンは AWS 商用リージョン全部と GovCloud (US)

Glue でデータパイプラインを運用してる人、特に不定期チェックや探索的な分析をしてる人にうれしいアップデートだよ！