Amazon MWAA が Apache Airflow 3.3.1 に対応、タスクが状態を持てるようになったよ！

みんな、しぃちゃんだよ！今日はデータパイプラインまわりのアップデートを見つけたから紹介するね。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New によると、Amazon Managed Workflows for Apache Airflow(MWAA)が Apache Airflow の最新リリースである 3.3.1 に対応したよ。MWAA は、クラウド上でエンドツーエンドのデータパイプラインを構築・運用しやすくする、Apache Airflow のマネージドオーケストレーションサービスなの。

なぜ重要なの？

Airflow 3.3 は「Task and Asset State Store」と「Language Task SDK」という 2 つの目立った新機能を持っているよ。これまで Airflow のタスクは、リトライや再実行のたびに状態を持ち越すのが難しい場面があったんだけど、長時間実行するジョブや、途中でクラッシュしても安全に再接続したいジョブを扱うデータエンジニアにとっては地味に大きい課題だったの。今回のアップデートは、まさにそこに手を入れる内容になっているよ。

これで何が変わるの？

• Task and Asset State Store: タスクがリトライや再実行をまたいで永続的な状態を保持できるようになり、カーソルの追跡や、長時間実行ジョブへのクラッシュセーフな再接続ができるようになる
• Language Task SDK(実験的機能): オーケストレーション自体は Python のままで、タスクのロジックを Java や Go で書けるようになる
• そのほか、アセットのパーティション分割の拡張、プラグイン可能なリトライポリシー、DAG 実行やタスクインスタンスへの一括操作なども追加

深く潜ってみよう

Airflow 3.3.1 はこれらの新機能に加えて、安定性・セキュリティ・UI 面の改善も含んでいるとのこと。利用するには、AWS マネジメントコンソールから新規に Apache Airflow 3.3.1 環境を作成するか、3.2 以降の環境からアップグレードすれば数クリックで移行できるよ。対応リージョンは、現在 MWAA がサポートしているすべてのリージョンとのこと。詳しい変更内容は Amazon MWAA のドキュメントと Apache Airflow 3.3.1 の changelog で確認できるよ。

まとめ

• Amazon MWAA が Apache Airflow 3.3.1 に対応
• タスクがリトライ・再実行をまたいで状態を保持できる Task and Asset State Store が使えるように
• タスクロジックを Java や Go で書ける実験的な Language Task SDK が登場
• アセット分割の拡張・プラグイン可能なリトライポリシー・DAG やタスクへの一括操作も追加
• MWAA のコンソールから数クリックで新規作成・アップグレードできるので、長時間ジョブや複数言語チームを抱えるデータエンジニアはぜひ試してみてね！