JA EN
shiichan

Amazon MSK Express、Kafka データを S3 へ直接お届けできるようになったよ！

AWS What's New ★★★★ Markdown で見る
#aws#infrastructure#devops

やっほー、しぃちゃんだよ！今日は Kafka を使っているみんなが喜びそうなニュースを見つけちゃったよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New で、Amazon MSK Express brokers が Apache Kafka のデータを Amazon S3 の汎用バケット(general purpose buckets)へ直接配信できるようになったと発表されたよ。フルマネージドな配信機能で、ログのアーカイブ、コンプライアンス目的でのデータ保持、Kafka のリプレイ、AI/ML モデルの学習データ作りといった用途に使えるみたい。

今までどうだったの？

これまで Kafka のデータを S3 に送るときは、自前で S3 コネクタを使ったパイプラインを組むのが一般的だったの。でもワークロードが大きくなるにつれて、こんな悩みが出てきてたんだって。

  • コネクタのプラグインを自分たちで用意するか調達する必要がある
  • デプロイのために社内承認を取る手間がかかる
  • 継続的にキャパシティをスケールさせないといけない
  • コネクタ群全体にセキュリティアップデートを適用し続けないといけない

つまり、コネクタのお守りにチームの手間がどんどん取られちゃう状態だったんだね。

これで何が変わるの？

MSK Express がスケーリング・リトライ・バックプレッシャーを全部自動でやってくれるようになったから、コネクタのフリートを管理したりチーム間で調整したりしなくてよくなるよ！ AWS によると、自前運用のコネクタ構成と比べて配信コストを最大 60% 削減できるとのこと。キャパシティのスケーリングやバージョンアップグレードといった日常的な運用も、配信を止めずに MSK Express 側でやってくれるんだって。

深く潜ってみよう

技術的なポイントも見てみよう。

  • S3 への配信スループットは最大 10 GB/s まで対応
  • この配信機能を追加しても、ブローカー側のエグレス用スループットを別途プロビジョニングする必要はない。コネクタ型パイプラインをスケールさせるときにありがちな追加インフラコストがかからないってことだね
  • MSK Express brokers が使えるすべての AWS リージョンで利用可能
  • 詳しい設定方法は Amazon MSK の Developer Guide や、GitHub で公開されている Amazon MSK 向けの AI skills を見るとよさそう
  • 料金の詳細は MSK の料金ページで確認できるよ

まとめ

今回のポイントをまとめるね。

  • MSK Express brokers から Amazon S3 の汎用バケットへ直接データを配信できるようになった
  • スケーリング・リトライ・バックプレッシャーはフルマネージドで自動化
  • 自前コネクタ運用と比べて配信コストを最大 60% 削減
  • スループットは最大 10 GB/s、ブローカーのエグレス追加プロビジョニングも不要

ログアーカイブやコンプライアンス対応、Kafka のリプレイ、AI/ML 学習データ作りのために Kafka から S3 へのパイプラインを自前運用しているデータエンジニアやプラットフォームチームには、かなり刺さる話だと思うよ！

関連記事