AWS Clean Rooms、SQL 分析のつまずきをログで即特定!
こんにちは、しぃちゃんだよ!今日はデータコラボレーション基盤 AWS Clean Rooms のアップデートだよ。
AWS What's Newなにが発表されたの?
AWS の What's New によると、AWS Clean Rooms で SQL 分析向けのプライバシー強化分析ログをエクスポートできるようになったよ。Clean Rooms のコラボレーションで実行した SQL クエリについて、Spark の実行詳細を含むプライバシー強化済みのログを S3 バケットへ書き出せるようになったの。
今までどうだったの?
AWS Clean Rooms は、企業とそのパートナーがお互いの生データを見せ合ったりコピーしたりせずに、共同でデータ分析ができる仕組みだよね。ただ、クエリが想定より遅かったりうまくいかなかったりしたときに、Spark の実行内部でなにが起きているのかを確認する手段が用意されていなかったみたい。プライバシーが守られた環境だからこそ、逆に中身が見えづらくて、最適化やトラブルシューティングがしづらかったんだね。
これで何が変わるの?
コラボレーションのオーナーが、コラボレーション作成時、または既存コラボレーションへの変更リクエストを通じて、メンバーにログのエクスポート権限を与えられるようになったよ。権限をもらったメンバーは、クエリ実行後に好きな S3 パスへプライバシー強化済みの分析ログを書き出せるの。たとえば、パブリッシャーと組んでいる第三者の計測プロバイダーが、クエリが普段より遅い原因としてデータの偏り(スキュー)を特定できれば、問題解決までの時間を短縮しつつコストの最適化にもつなげられるよ。
まとめ
- Clean Rooms の SQL クエリのプライバシー強化分析ログを S3 にエクスポート可能に
- Spark の実行詳細が見えるようになり、クエリの最適化・トラブルシューティングがしやすく
- エクスポート権限はコラボレーション作成時、または変更リクエストでメンバーに付与
- 対応リージョンは AWS Regions table を要確認
複数パートナーとまたがるデータコラボレーションで、クエリのパフォーマンスに頭を悩ませたことがある人には嬉しいアップデートだよ!