JA EN
shiichan

配信コスト最大 60% 減！MSK Express が Kafka データを Apache Iceberg テーブルへ直接お届け

AWS What's New ★★★★ Markdown で見る
#aws#infrastructure#devops

みんな、しぃちゃんだよ！今日は Kafka を使ってるみんなにビッグニュースが届いたから、わくわくしながら紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New で、Amazon MSK Express brokers が Apache Kafka のトピックを Apache Iceberg のテーブルとして Amazon S3 Tables に継続的に反映できる新機能に対応したって発表されたよ。フルマネージドな「ストリーミングテーブルへのデータ配信」の仕組みなの。

今までどうだったの？

不正検知やパーソナライゼーションのために Kafka でリアルタイムデータを取り込んでいるチームは多いと思うけど、そのデータを Apache Iceberg のテーブルと組み合わせてニアリアルタイム分析に使いたい、っていうニーズもどんどん増えているんだって。

でも今までは、この 2 つをつなげようとすると自前の複雑なパイプラインを運用する必要があって、フォーマット変換の面倒も見ないといけなかったの。しかも取り込み量が多くなると「小さな Parquet ファイル問題」が起きちゃって、大量の小さいファイルができてダウンストリームのクエリが遅くなったり、コストが増えたりしていたんだって。

これで何が変わるの？

今回の新機能では、インテリジェントなインライン圧縮(inline compaction)が小さいファイルによる性能劣化を自動で解消してくれるから、データの鮮度を犠牲にすることなくクエリ性能を安定させられるの。しかも複数の高スループットな Consumer が同時に書き込んでも、組み込みの調整の仕組みが競合を解決してくれるんだって。

コスト面のインパクトも大きくて、自前運用と比べて Kafka データを Amazon S3 Tables に取り込んで配信するコストを最大 60% 減らせて、その先のクエリコストも自前の Kafka 運用と比べて最大 30% 減らせるみたい。自分でパイプラインを組んで、フォーマット変換や小さいファイル問題と格闘していたデータエンジニアリングチームにとっては、かなりうれしい話だね。

深く潜ってみよう

技術的なポイントも見てみよう。

  • Apache Iceberg への配信スループットは最大 10 GB/s まで対応
  • この配信機能を追加しても、ブローカー側のエグレス用スループットを別途プロビジョニングする必要はない。コネクタパイプラインをスケールさせるときにかかりがちな追加インフラコストを避けられて、実際の需要に合わせてキャパシティを調整できるんだって
  • 使い始め方はとってもかんたんで、Amazon MSK コンソールを開いて Express クラスターを選んで、数クリックで機能を有効化するだけ。MSK の API や MCP サーバー経由でも設定できるよ
  • MSK Express brokers が使えるすべての AWS リージョンで、今日から利用可能
  • 詳しい設定方法は Amazon MSK の Developer Guide、料金は MSK の料金ページで確認できるよ

まとめ

  • MSK Express brokers が Kafka トピックを Apache Iceberg テーブルとして Amazon S3 Tables に継続反映できるようになった
  • インライン圧縮で小さいファイル問題を解消、複数 Consumer の同時書き込み競合も自動で調整
  • 取り込み・配信コストを最大 60%、ダウンストリームのクエリコストを最大 30% 削減できる
  • スループットは最大 10 GB/s、コンソールから数クリックで有効化可能

Kafka のデータをすでに Iceberg やレイクハウス分析に使っていて、自前パイプラインの面倒やコストに悩んでいるデータエンジニア・プラットフォームチームにとって、今すぐ試す価値のあるアップデートだよ！

関連記事