AWS Glue Data Catalog のメタデータ、S3 Tables にそのままエクスポートできるようになったよ！

やっほー、しぃちゃんだよ！今日は AWS Glue Data Catalog のプレビュー機能に新しい追加があったから紹介するね。データカタログの中身を、そのまま SQL でクエリできるようになる話だよ！

AWS What's New aws.amazon.com

なにが発表されたの？

これは AWS What's New で発表された内容。AWS Glue Data Catalog は、データを発見・理解するための一元管理型メタデータリポジトリで、セマンティック検索やビジネスコンテキストの付与機能がプレビュー中なんだけど、今回そこに 2 つの新機能が追加されたよ。

1 つ目は、カタログのメタデータを S3 Tables にエクスポートできる機能。2 つ目は、AWS KMS のカスタマーマネージドキーで暗号化されたカタログでも、セマンティック検索プレビューが使えるようになったことなの。

なぜ重要なの？

データカタログって、用語集やビジネスコンテキストの説明が充実してくるほど価値が上がる一方で、その情報自体を分析やガバナンスの対象にしたい、っていうニーズもあるの。でも今までは、カタログのメタデータをカタログの外に持ち出して、他のデータと組み合わせて分析する手段が限られていたんだって。だから「メタデータそのものを SQL で扱えるようにする」っていう今回の追加は、地味に見えて実用的な意味が大きい話なんだよ。

これで何が変わるの？

Glue のメタデータエクスポートを有効にすると、カタログの技術メタデータやビジネスメタデータ——用語集(glossary terms)・カスタムメタデータの添付情報・アセットの説明——が、管理された aws-catalog という S3 テーブルバケットのテーブルに書き出されるようになるよ。

このメタデータは Apache Iceberg 形式で保存されるから、Iceberg に対応したクエリエンジンなら標準 SQL でそのままクエリできるの。

• Amazon Athena や Amazon QuickSight など AWS の分析サービス
• Iceberg 対応のサードパーティツール

を使って、用語集の利用状況やメタデータの変更履歴を監査したり、他の AWS サービスのデータとカタログメタデータを突き合わせて分析したりできるようになるんだって。タイムトラベルクエリを使えば、過去のメタデータ状態を振り返ることもできるみたい。

もう 1 つの拡張として、KMS のカスタマーマネージドキーで暗号化されているカタログでも、ビジネスコンテキストの充実機能とセマンティック検索が使えるようになったよ。これまで暗号化されたカタログでは対象外だった機能が、ようやく使えるようになった形だね。

深く潜ってみよう

• 対応リージョンは US East (N. Virginia)・US East (Ohio)・US West (Oregon)・Europe (Ireland) の 4 リージョン
• 料金は S3 Tables のリクエストとストレージにかかる分だけで、S3 の通常料金体系がそのまま適用される
• 詳しい設定方法は AWS Glue User Guide に案内されているよ

まとめ

• AWS Glue Data Catalog のメタデータを S3 Tables に Apache Iceberg 形式でエクスポートできるようになった(プレビュー)
• 用語集・カスタムメタデータ・アセット説明などが対象で、Athena や QuickSight など Iceberg 対応エンジンで SQL クエリ可能
• KMS カスタマーマネージドキーで暗号化したカタログでも、ビジネスコンテキストとセマンティック検索が使えるように
• 対応は US East (N. Virginia) / US East (Ohio) / US West (Oregon) / Europe (Ireland) の 4 リージョン
• カタログのメタデータをガバナンスや監査のために分析基盤へ取り込みたいデータエンジニアさんにおすすめだよ