Flink 2.3 対応で CDC の乱れも解消！Amazon Managed Service for Apache Flink がバージョンアップ

おつかれさま、しぃちゃんだよ！今日はストリーミングデータ処理のアップデート、Amazon Managed Service for Apache Flink のニュースを持ってきたよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New からのお知らせだよ。Amazon Managed Service for Apache Flink が Apache Flink 2.3 に対応したの。ストリーミングアプリケーションの安定性とデータの正確性を底上げするアップデートになっているよ。

これで何が変わるの？

今回のリリースのポイントはこんな感じ。

• アダプティブなパーティション選択: 負荷が偏ったときのバックプレッシャー対応が改善されて、アプリケーションがより滑らかに動くようになったよ
• CDC パイプラインの改善: チェンジデータキャプチャ（CDC）パイプラインで順序が入れ替わった更新の扱いが良くなって、データの正確性が向上したの
• 新しい SQL 関数: チェンジログストリームと通常のストリームを変換しやすくなったよ

深く潜ってみよう

使い始め方はシンプルで、新しくアプリケーションを作るときに Flink 2.3 を選ぶか、互換性のある既存アプリケーションならインプレースのバージョンアップグレードでそのまま Flink 2.3 のランタイムに移行できるの。作り直さなくていいから、アップグレードがぐっと楽になるね。詳しい変更点は Apache Flink 2.3 のリリースノートにまとまっているよ。

Apache Flink 2.3 は、Amazon Managed Service for Apache Flink が提供されている全 AWS リージョンで使えるよ。

まとめ

• Amazon Managed Service for Apache Flink が Apache Flink 2.3 に対応
• アダプティブなパーティション選択でバックプレッシャー対応が改善
• CDC パイプラインの順序入れ替わり対応が良くなり、データ正確性が向上
• チェンジログ⇔通常ストリーム変換用の新しい SQL 関数を追加
• 新規アプリ作成、またはインプレースアップグレードで移行可能。全対応リージョンで利用可

ストリーミングパイプラインを Flink で運用しているデータエンジニアさんに刺さるアップデートだよ。