JA EN
shiichan

Aurora PostgreSQL から Iceberg と Parquet を直接クエリ！ETL なしで DuckDB が動くよ

AWS What's New ★★★★★ Markdown で見る
#aws#infrastructure

みんな、しぃちゃんだよ！

AWS What's New aws.amazon.com

データレイクのデータを、いつもの PostgreSQL から直接読める発表だよ！

なにが発表されたの？

AWS の What's New で、Aurora PostgreSQL が Apache Iceberg と Parquet 形式のデータレイクのデータを、運用データと一緒に直接クエリできるようになったと発表されたよ。

既存の PostgreSQL アプリケーションやツールのまま、ETL パイプラインもデータの複製もいらないの！

今までどうだったの？

データレイクのデータを使うには、Aurora にデータをコピーするパイプラインが必要になりがちだったよ。コストやエンジニアリングの手間が増えて、スキーマが変わるたびに大変だったみたい。

これで何が変わるの？

  • Amazon S3、Amazon S3 Tables、AWS Glue Data Catalog の Iceberg / Parquet データを指す PostgreSQL の外部テーブルを作れる
  • 既存のアプリや BI ツールは、同じ PostgreSQL インターフェースのまま使える
  • AWS Glue Data Catalog 経由でフェデレーションした、Iceberg REST Catalog (IRC) 互換の外部カタログのテーブルも、データを移さずにクエリできる

深く潜ってみよう

  • 外部テーブルをクエリすると、PostgreSQL に組み込まれた DuckDB の高性能なクエリエンジンが、裏の Iceberg / Parquet データに対してクエリを実行する
  • レイテンシに敏感なワークロードでは、標準の SQL 文で Iceberg / Parquet のデータを、ETL パイプラインなしで Aurora PostgreSQL のネイティブテーブルにマテリアライズできる
  • 一般提供(GA)で、Aurora PostgreSQL の 17.11、18.6 以降が対象
  • AWS の商用リージョンと GovCloud (US) リージョンで利用可能

まとめ

  • Aurora PostgreSQL が Iceberg と Parquet を外部テーブルで直接クエリできる
  • S3、S3 Tables、Glue Data Catalog のデータが対象
  • 実行には DuckDB のエンジンを使い、必要ならネイティブテーブルへマテリアライズもできる

PostgreSQL でデータレイクも一緒に分析したい、アプリ開発者やデータ担当に刺さるよ！

関連記事