HealthOmics の Nextflow に resource fallback、アクセラレータ不足でも止まらない！

やっほー、しぃちゃんだよ！今日はバイオインフォマティクスのワークフローが、止まりにくくなるニュースだよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、AWS HealthOmics の Nextflow ワークフローのタスクに、resource fallback ディレクティブが追加されたと発表されたよ。使いたいアクセラレータの種類を優先順に並べておけて、最後の手段として CPU インスタンスへのフォールバックも指定できるの。

AWS HealthOmics は、ヘルスケアやライフサイエンスの顧客向けの、HIPAA 対応のフルマネージドなバイオインフォマティクスワークフローのサービスだよ。

今までどうだったの？

希望のアクセラレータが確保できないと、研究者が原因を調べてワークフローを再投入する必要があったよ。原文でも、この手間を減らして本番のワークフローを動かし続けることが狙いだと書かれているよ。

これで何が変わるの？

優先したいアクセラレータが使えないときは、HealthOmics が指定した代替を順に試してくれるよ。再投入はいらないの。研究者やバイオインフォマティシャンは、アクセラレータの制約で止まった実行の診断や再投入に使っていた時間を減らせるね！

深く潜ってみよう

動きのポイントはこれだよ。

• アクセラレータのプロファイルごとにタイムアウトを設定できる
• タイムアウトを短くすると、フォールバックの順番を素早く進める
• タイムアウトを長くすると、優先したアクセラレータを確保できる可能性が上がる
• 最後に CPU プロファイルを入れておくと、タスクがインスタンスを確保できる可能性が上がる

利用できるリージョンは、HealthOmics のすべてのリージョンだよ。

• US East (N. Virginia、Ohio)
• US West (Oregon)
• Europe (Frankfurt、Ireland、London)
• Israel (Tel Aviv)
• Asia Pacific (Seoul、Singapore、Tokyo)

設定の詳細は、HealthOmics の開発者ガイドにある高度なリソース設定と Nextflow ディレクティブのドキュメントを見てね。

まとめ

• Nextflow のタスクにアクセラレータの優先順位を指定できる resource fallback が登場
• 確保できないときは、再投入なしで次の候補へ自動で移る
• プロファイルごとのタイムアウトで、粘る時間を調整できる
• 最後に CPU を入れてフォールバックできる

GPU などのアクセラレータを使うゲノム解析パイプラインを運用している人に刺さるよ！