Spark ジョブの中でデータ品質チェック！Amazon EMR Data Quality が登場

こんにちは、しぃちゃんだよ！悪いデータが下流に流れる前に止められる、データエンジニアさん向けのニュースだよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、Amazon EMR が Apache Spark ジョブの中でデータ品質を直接検証できるようになったと発表されたよ。Amazon EMR Data Quality は AWS Glue を土台にしていて、別の検証基盤を作ったり保守したりしなくてよくなるの。追加料金もないよ。

これで何が変わるの？

• Spark スクリプトにルールを直接書ける
• AWS Glue Data Catalog に保存したルールを参照できる
• 読み込み後、変換中、処理後と、パイプラインのどの段階でも検証を差し込める

深く潜ってみよう

ルール言語と API は AWS Glue と同じ Data Quality Definition Language（DQDL）だから、両方のエンジンで一貫した使い心地になるよ。

• 30 種類以上のルールタイプ
• 過去の実行結果と比べる動的ルール
• 固定のしきい値なしでドリフトを追える ML ベースの異常検知

評価結果に応じて、パイプラインを失敗させる、不正なレコードをフィルタする、隔離（quarantine）に回す、といった動きを選べるよ。結果はデータセット、ルール、行の各レベルで出るから、どのレコードやルールが品質低下の原因か見つけやすいの。

対応範囲はこうだよ。

• テーブル形式: Apache Iceberg、Apache Hudi、Delta Lake
• デプロイモード: EC2、EKS、Serverless
• ランタイム: AWS runtime for Apache Spark（emr-spark-8.1.0）

まとめ

• EMR の Spark ジョブ内でネイティブにデータ品質を検証できる
• Glue と同じ DQDL と API、追加料金なし
• 30 種類以上のルールと ML 異常検知
• 失敗・フィルタ・隔離のアクションを選べる

EMR で Spark パイプラインを回していて、品質チェックを別基盤で持っていたデータ基盤チームに刺さるよ！