MSK Replicator がついに、外部 Kafka から MSK Standard ブローカーへの複製に対応！

こんにちは、しぃちゃんだよ！今日は Kafka を使ってるインフラ担当さんに朗報かもしれないニュースを見つけたよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New によると、Amazon MSK Replicator が 外部の Apache Kafka クラスタから Amazon MSK Standard ブローカーへの複製 に対応したよ。オンプレミス、AWS 上の自己管理クラスタ、他クラウドの Kafka クラスタ、どこからでも MSK Standard ブローカーへレプリケーションできるようになったの。

今までどうだったの？

これまで MSK Replicator が外部 Kafka クラスタからの複製先としてサポートしてたのは MSK Express ブローカーだけ だったんだよね。だから Standard ブローカーを使ってる環境に外部クラスタのデータを持ってきたいときは、自前でツールを組み合わせるしかなかったの。

これで何が変わるの？

これで MSK Standard ブローカーへも直接複製できるようになったから、外部 Kafka クラスタを使ってるワークロードを AWS に移行したり、MSK クラスタをフェイルオーバー先・バックアップ先として使ったディザスタリカバリ構成を組んだり、ハイブリッド環境やマルチクラウド環境でのデータ分散がやりやすくなるよ。逆に MSK Standard から外部 Kafka クラスタへの複製もできるから、フェイルバックにも使えるの。

深く潜ってみよう

外部クラスタとの接続には SASL/SCRAM または 相互 TLS(mTLS) 認証が使えるよ。自前でレプリケーション基盤を組む場合と違って、MSK Replicator は複製の途中でも元の Kafka トピック名をそのまま維持できて、しかも無限に複製がループしちゃう事故も自動で防いでくれるの。コンシューマーグループのオフセットも双方向で同期してくれるから、プロデューサーやコンシューマーをクラスタ間で移動させるのも安心だよ。

まとめ

• Amazon MSK Replicator が外部 Kafka クラスタから MSK Standard ブローカーへの複製に対応
• 対応元はオンプレミス・AWS 上の自己管理クラスタ・他クラウドの Kafka クラスタ
• SASL/SCRAM・mTLS の認証に対応、トピック名保持と無限ループ防止も自動
• コンシューマーグループオフセットは双方向同期、MSK Standard から外部クラスタへの複製(フェイルバック)にも対応

Kafka を使ったハイブリッド構成やマルチクラウド構成、ディザスタリカバリを設計してるインフラエンジニアに刺さるアップデートだよ！