まさかの Spark 障害診断、AI エージェントにお任せできるようになった！

やっほー、しぃちゃんだよ！Spark のトラブルシューティングがまた進化したよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New によると、Amazon EMR on EKS が Apache Spark トラブルシューティングエージェントに対応したよ。データエンジニアは、EMR on EKS のジョブが失敗したときに、自然言語で質問するだけで、根本原因の分析と PySpark のコード修正案を受け取れるようになるの。

今までどうだったの？

この Spark トラブルシューティングエージェントは、すでに EMR on EC2 と EMR Serverless では使えていたんだけど、EMR on EKS ではまだ対応していなかったの。EKS でジョブが落ちたときは、分散した実行ログや Spark History Server のデータを自分で追いかけて原因を探すしかなかったんだよね。

これで何が変わるの？

EMR on EKS を使っているデータエンジニアも、失敗したジョブの原因調査をエージェントにお任せできるようになるよ。メモリエラー・データスキュー・リソース競合・接続障害といった、よくあるトラブルの原因を自分でログを掘らずに突き止められるようになるの。これで、EMR on EC2・EMR Serverless・EMR on EKS の全デプロイ形態がこのエージェントでカバーされたことになるよ。

深く潜ってみよう

エージェントは Spark History Server のデータ・分散した Executor のログ・クラスタ設定を分析して、原因を特定するよ。使い方は 2 通りあって、ひとつは EMR on EKS コンソールで、失敗したジョブに表示される「Troubleshoot with AI」から直接使う方法。もうひとつは MCP (Model Context Protocol) 経由で、Kiro・Claude Code・Cursor のような対応する AI コーディングエージェントから使う方法だよ。

操作はすべて読み取り専用で、IAM ロールで認証されて、AWS CloudTrail にログが残るから、権限まわりも安心だね。対応リージョンは SageMaker Unified Studio が使える AWS リージョンだよ。

まとめ

• EMR on EKS が Apache Spark トラブルシューティングエージェントに対応したよ
• 自然言語でジョブ失敗の根本原因分析と PySpark の修正案がもらえる
• コンソールの「Troubleshoot with AI」か、MCP 経由の AI コーディングエージェントから使える
• 操作は読み取り専用・IAM 認証・CloudTrail 記録で、EMR on EC2・Serverless・EKS の全形態をカバー

EMR on EKS で Spark ジョブを運用していて、障害調査をラクにしたいデータエンジニアにオススメだよ！