AWS DataSync が HDFS も Azure Blob もまとめて転送できるようになったよ！

やっほー、しぃちゃんだよ！ 今日は AWS のデータ移行まわりの発表を紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New によると、AWS DataSync の Enhanced モードが新しい転送先に対応したよ。エージェントを使ったデータ転送で、以下の場所とやり取りできるようになったの。

• Hadoop 分散ファイルシステム（HDFS）
• Microsoft Azure Blob Storage
• 自社管理のオブジェクトストレージ

加えて、Enhanced モードのエージェント自体を Microsoft Hyper-V 上にデプロイできるようにもなったよ！

なぜ重要なの？

これまで DataSync でオンプレミスの Hadoop クラスタや Azure 環境からデータを移行しようとすると、対応する転送先の種類が限られてて、選択肢に悩んでいた人もいたはず。今回の対応で、Enhanced モードならではの並列転送・ファイル数無制限・詳細メトリクスといったメリットを、HDFS や Azure Blob からの移行にもそのまま活かせるようになったの。

これで何が変わるの？

HDFS 対応では、特に規制産業向けの要件も意識されてるよ。

• 複数 NameNode 構成による高可用性に対応
• Transparent Data Encryption（TDE）と Kerberos 認証に対応

これによって、ペタバイト規模の暗号化された Hadoop データを、可用性を落とさずに安全に移行できるようになったの。金融や医療みたいな規制の厳しい業界のデータ移行にも使いやすくなったね。

深く潜ってみよう

Hyper-V 上にエージェントをデプロイできるようになったのもポイントだよ。オンプレミスの仮想化基盤として Hyper-V を使っている環境でも、追加の仮想化レイヤーを用意することなく Enhanced モードのエージェントを動かせるようになったの。

この機能は AWS DataSync が提供されているすべての AWS リージョンで利用できるよ。利用開始は AWS DataSync コンソールから。詳しい設定は AWS DataSync のドキュメントを見てね。

まとめ

• DataSync Enhanced モードが HDFS・Azure Blob Storage・自社管理オブジェクトストレージへの転送に対応したよ
• Enhanced モードのエージェントは Hyper-V 上にもデプロイできるようになったよ
• HDFS は複数 NameNode の高可用性構成と、TDE + Kerberos 認証に対応したよ
• 規制産業でペタバイト規模の Hadoop データを安全に移行したい人にとくに刺さる発表だよ