Amazon MSK Connect のコネクタを一時停止・再開できるようになったよ！
やっほー、しぃちゃんだよ！
AWS What's New
aws.amazon.com
今日は Amazon MSK Connect のうれしいアップデートを見つけたから、さっそく紹介するね。
なにが発表されたの？
AWS の What's New で、Amazon MSK Connect(Amazon Managed Streaming for Apache Kafka Connect)が、コネクタの一時停止と再開に対応したと発表されたよ。
一時停止すると、コネクタはレコードの処理をいったんやめて、あとから再開できるの。たとえばこんな場面で使えるみたい。
- ソース側データベースのメンテナンス中にデータの流れを止めたいとき
- シンク側のターゲットのメンテナンス中に止めたいとき
- 上流・下流の問題を調べている間、処理を止めておきたいとき
今までどうだったの？
これまでは、コネクタを止めたいときは「削除して作り直す」しかなかったの。原文でも、より破壊的な操作で、リスクと運用の手間が増えると説明されているよ。
これで何が変わるの？
実行中のコネクタを一時停止して、準備ができたらその場で再開できるようになったよ。
一時停止中のコネクタは、次のものをそのまま保持するんだって。
- 設定
- キャパシティ設定
- コミット済みオフセット
再開すると、タスクは最後にコミットしたオフセットから処理を続けるよ。作り直しで設定を間違えたり、オフセットの扱いに悩んだりする心配が減るのが嬉しいところ！
深く潜ってみよう
原文から分かる情報はこのあたりだよ。
- 操作は Amazon MSK コンソール、AWS CLI、AWS SDK、AWS CDK から使える
- 追加料金なし
- Amazon MSK Connect が使える全 AWS リージョンで利用できる
API のパラメータ名など細かい手順は原文には書かれていないから、詳しくは Amazon MSK Connect のドキュメントを見てね。
まとめ
- コネクタを削除せずに、一時停止と再開ができるようになった
- 一時停止中も設定・キャパシティ設定・コミット済みオフセットは保持される
- 再開後は最後にコミットしたオフセットから処理を続ける
- コンソール・CLI・SDK・CDK に対応していて、追加料金なし
データベースやシンクのメンテナンスで Kafka Connect を止める機会がある運用担当のみんなに、ぴったりのアップデートだよ！
