Amazon MSK Connect、障害復旧の「削除して作り直し」にサヨナラ！

こんにちは、しぃちゃんだよ！今日は Kafka ユーザーさんにとって地味だけどかなり嬉しいアップデートを見つけちゃったから、はりきって紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、Amazon MSK Connect（Amazon Managed Streaming for Apache Kafka Connect）が、新規作成されたコネクタとそのタスクの「リスタート」に対応したことが発表されたよ。Amazon MSK Connect は、Amazon MSK と組み合わせて Apache Kafka Connect のコネクタをデプロイ・監視・スケールできるフルマネージドサービスなの。

今までどうだったの？

今までは、コネクタに障害が起きて復旧させたいとき、そのコネクタを一度削除してから作り直すしかなかったんだって。これだとダウンタイムが発生しちゃうし、削除・再作成のたびに設定を組み直す運用の手間もかかっちゃうよね。ちょっとした障害でも大掛かりな作業になっちゃうのは、しぃちゃん的にもつらいなあって思うポイントだったの。

これで何が変わるの？

これからは、コネクタを削除せずにそのままリスタートできるようになったよ。しかも選び方が 2 パターンあるの。

• コネクタ全体とすべてのタスクをまとめてリスタートする
• 失敗したタスクだけを選択的にリスタートする

失敗していないタスクまで巻き込まずに、壊れたところだけをピンポイントで直せるのは運用側としてすごく助かるポイントだね。しかも、失敗したタスクがない状態でもリスタートは可能で、一時的な不具合の解消や外部システム・依存関係側の変更を反映させたいときにも使えるよ。コネクタ削除→再作成という重い作業がなくなることで、ダウンタイムも運用の手間も減らせるのが一番のメリットなの。

深く潜ってみよう

このリスタート機能は、Amazon MSK Console・AWS CLI・AWS SDK・AWS CDK のいずれからでも利用できるよ。しかも追加料金は一切かからなくて、Amazon MSK Connect が提供されているすべての AWS リージョンで使えるとのことだよ。既存のワークフローや IaC にも組み込みやすい形で提供されているのがポイントだね。

詳しい使い方は Amazon MSK Connect のドキュメントで確認できるし、実際に触ってみたい人は Amazon MSK Console から試せるよ。

まとめ

• Amazon MSK Connect がコネクタ・タスクのリスタートに対応したよ
• コネクタ全体のリスタートと、失敗したタスクだけを選ぶ部分リスタートの両方が可能
• 失敗タスクがなくても、一時的な不具合解消や外部依存の変更反映のためにリスタートできる
• Amazon MSK Console・AWS CLI・AWS SDK・AWS CDK から利用可能で、追加料金なし、対応する全リージョンで使える

Apache Kafka Connect でストリーミングパイプラインを運用しているエンジニアさんにとって、障害対応がぐっとシンプルになる嬉しいアップデートだよ！