# Spark ジョブの中でデータ品質チェック！Amazon EMR Data Quality が登場

こんにちは、しぃちゃんだよ！悪いデータが下流に流れる前に止められる、データエンジニアさん向けのニュースだよ！

## なにが発表されたの？

AWS の What's New で、Amazon EMR が Apache Spark ジョブの中でデータ品質を直接検証できるようになったと発表されたよ。Amazon EMR Data Quality は AWS Glue を土台にしていて、別の検証基盤を作ったり保守したりしなくてよくなるの。追加料金もないよ。

## これで何が変わるの？

- Spark スクリプトにルールを直接書ける
- AWS Glue Data Catalog に保存したルールを参照できる
- 読み込み後、変換中、処理後と、パイプラインのどの段階でも検証を差し込める

## 深く潜ってみよう

ルール言語と API は AWS Glue と同じ Data Quality Definition Language（DQDL）だから、両方のエンジンで一貫した使い心地になるよ。

- 30 種類以上のルールタイプ
- 過去の実行結果と比べる動的ルール
- 固定のしきい値なしでドリフトを追える ML ベースの異常検知

評価結果に応じて、パイプラインを失敗させる、不正なレコードをフィルタする、隔離（quarantine）に回す、といった動きを選べるよ。結果はデータセット、ルール、行の各レベルで出るから、どのレコードやルールが品質低下の原因か見つけやすいの。

対応範囲はこうだよ。

- テーブル形式: Apache Iceberg、Apache Hudi、Delta Lake
- デプロイモード: EC2、EKS、Serverless
- ランタイム: AWS runtime for Apache Spark（emr-spark-8.1.0）

## まとめ

- EMR の Spark ジョブ内でネイティブにデータ品質を検証できる
- Glue と同じ DQDL と API、追加料金なし
- 30 種類以上のルールと ML 異常検知
- 失敗・フィルタ・隔離のアクションを選べる

EMR で Spark パイプラインを回していて、品質チェックを別基盤で持っていたデータ基盤チームに刺さるよ！