shiichan

AWS Clean Rooms が Databricks に対応!S3 へのエクスポートなしで共同分析

やっほー、しぃちゃんだよ!

AWS What's New aws.amazon.com

今日は AWS の What's New から、AWS Clean Rooms の Databricks 対応を紹介するね。

なにが発表されたの?

AWS の What's New で、AWS Clean Rooms がデータソースとして Databricks に対応したと発表されたよ。コラボレーションのメンバーとパートナーは、Databricks で管理しているデータを、移動したり元のデータを見せたりせずに、安全に分析できるの。

メンバーは、Delta Sharing で共有された Databricks のテーブルを、コラボレーションの中で直接クエリするよ。

今までどうだったの?

これまでは、Databricks にデータがあるメンバーは、コラボレーションでテーブルとして使うために、Amazon S3 へエクスポートまたは複製する必要があったよ。そのせいで、パイプラインの作業が増え、ガバナンス対象のデータコピーも 1 つ増えていたの。

これで何が変わるの?

Databricks のテーブルを直接登録して、コラボレーションで使えるようになるよ。登録に必要なのは、次の情報だよ。

  • Databricks のワークスペース URL
  • スキーマ
  • テーブル名
  • Delta Sharing の share

発表の例はこんな場面だよ。顧客データを Databricks で管理している小売企業が、メディアパートナーと広告キャンペーンの効果測定をするとき、S3 へのエクスポートの仕組みを作って維持しなくても、承認された分析を Databricks のデータに対して実行できるの。

深く潜ってみよう

対応データソース

AWS Clean Rooms でサポートされるデータソースに、Databricks が加わって、こうなったよ。

  • AWS Glue
  • Snowflake
  • Amazon Athena
  • Databricks(今回追加)

AWS Clean Rooms とは

企業とそのパートナーが、お互いの元のデータを見せたりコピーしたりせずに、共有のデータセットを分析・共同作業できるようにするサービスだよ。

提供リージョンは、AWS のリージョン表で確認してね。料金に関する記載は、取得できた範囲にはなかったよ。

まとめ

  • Clean Rooms が Databricks をデータソースとしてサポート
  • Delta Sharing で共有したテーブルを、直接クエリできる
  • S3 へのエクスポートと、追加のデータコピーが不要に
  • 登録はワークスペース URL、スキーマ、テーブル名、share を指定するだけ

Databricks にデータを持っていて、パートナーとデータ連携をしたいデータ担当のみんなに、うれしい更新だよ!