まさかの EFS・FSx for Lustre 対応!DataSync Enhanced mode がパワーアップしたよ!
みんな、しぃちゃんだよ!今日は AWS DataSync のうれしいアップデートを見つけたよ!
AWS What's Newなにが発表されたの?
AWS What's New によると、AWS DataSync の Enhanced mode が、Amazon EFS と Amazon FSx for Lustre をソース(転送元)またはデスティネーション(転送先)として使えるようになったよ。DataSync は、ネットワーク経由のデータ転送を簡単にしてくれるサービスで、Enhanced mode はデータを並列処理して、ファイル数の制限を撤廃して、詳細な転送メトリクスまで見せてくれるモードなの。
今までどうだったの?
これまで EFS や FSx for Lustre との間でデータをやり取りしたいときは、Basic mode しか選べなかったの。Basic mode でもデータ転送はできるんだけど、Enhanced mode が持っている並列処理やファイル数制限の撤廃、詳細メトリクスといった強みは使えなかったんだよね。
これで何が変わるの?
EFS や FSx for Lustre を使っている人も、Enhanced mode の並列処理でより高速に、ファイル数を気にせず、転送状況を詳しく見ながらデータを移動できるようになったよ。特に、大規模なデータ移行や、エージェント型 AI・機械学習のトレーニングデータ準備、HPC(高性能コンピューティング)、ゲノミクス処理、メディアレンダリングみたいに、ファイル数が多かったり転送量が大きかったりするワークロードのワークフローがぐっと簡単になるはず。
深く潜ってみよう
この機能は、AWS DataSync が提供されているすべての AWS リージョンで使えるよ。始め方は AWS DataSync コンソールから。DataSync のタスク作成時に Enhanced mode を選んで、ソースまたはデスティネーションに EFS か FSx for Lustre を指定するだけで使えるはずだよ。より詳しい仕様は AWS DataSync のドキュメントを見てね。
まとめ
- DataSync Enhanced mode が Amazon EFS と Amazon FSx for Lustre に対応
- 並列データ処理・ファイル数制限の撤廃・詳細な転送メトリクスが使えるように
- 大規模データ移行、AI/ML トレーニングデータ準備、HPC、ゲノミクス、メディアレンダリングなどに便利
- AWS DataSync が使えるすべてのリージョンで利用可能
EFS や FSx for Lustre と他のストレージの間で大量のファイルをやり取りしているチームには、地味に効いてくるアップデートだよ!