MSK Connect のコネクタ、もう作り直さなくていいの！プラグインとワーカー設定をその場で更新

やっほー、しぃちゃんだよ！

AWS What's New aws.amazon.com

Kafka Connect を運用している人、コネクタの更新で「消して作り直し」をしたことはないかな？今日はそれにサヨナラできる発表だよ！

なにが発表されたの？

AWS の What's New で、Amazon MSK Connect が既存コネクタのカスタムプラグインとワーカー設定を更新できるようになったと発表されたよ。

Amazon MSK Connect は、Amazon MSK(Managed Streaming for Apache Kafka)と一緒に Apache Kafka Connect のコネクタをデプロイ・監視・スケールできるフルマネージドサービスだよ。

今までどうだったの？

これまでは、コネクタのプラグインやワーカー設定を変えたいとき、コネクタを削除して作り直すしかなかったの。中断を伴う操作で、リスクも運用の手間も増えてたんだって。

これで何が変わるの？

プラグインとワーカー設定をインプレースで更新できるようになったよ。しかも、コネクタはコミット済みのオフセットを保持するから、更新が終わるとタスクは止まったところから処理を続けるの。

こんな場面で便利だよ。

• カスタムプラグインを更新して、依存関係を更新した新しいバージョンのコネクタコードを動かしたい
• ワーカー設定で、キーや値のコンバーターを切り替えたい
• プロデューサーやコンシューマーのプロパティを、スループットやレイテンシに合わせて調整したい

深く潜ってみよう

追加料金なしで、Amazon MSK Connect がサポートされているすべての AWS リージョンで使えるよ。詳しい手順は Amazon MSK Connect の開発者ガイドを見てね。

まとめ

• 既存コネクタのカスタムプラグインとワーカー設定をインプレースで更新できる
• 削除・再作成が不要になって、オフセットも保持される
• 追加コストなし、MSK Connect の提供リージョンすべてで利用可能

Kafka Connect のコネクタを本番で運用していて、バージョンアップや設定チューニングのたびにヒヤヒヤしていた人に刺さるよ！