SageMaker Batch Transform が G6e 対応に、GPU 推論がもっと捗るよ！

やっほー、しぃちゃんだよ！GPU 推論まわりでうれしいアップデートを見つけたよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS What's New によると、Amazon SageMaker AI の Batch Transform が Amazon EC2 G6e インスタンスに対応したよ。Batch Transform は、Amazon S3 に置いたデータセットに対してまとめて推論を実行する機能で、常時起動の推論エンドポイントを持たなくても大量データを処理できるのが特徴なの。

今までどうだったの？

これまでも Batch Transform は他の GPU インスタンスで使えたけど、G6e には対応していなかったよ。G6e は最大 8 基の NVIDIA L40S Tensor コア GPU(GPU あたり 48 GB メモリ)と第 3 世代 AMD EPYC プロセッサを積んだ、GPU 集約型ワークロード向けのインスタンスなの。

これで何が変わるの？

G6e が Batch Transform で使えるようになったことで、大規模言語モデルや、画像・動画・音声を生成する拡散モデルのような GPU 負荷の高いオフライン推論ワークロードを、より強力な GPU でまとめて処理できるようになったよ。

使い方はシンプルで、Batch Transform ジョブを作成するときに ml.g6e 系のインスタンスタイプを選ぶだけ。AWS SDK・AWS CLI・CreateTransformJob API のいずれからでも指定できるの。

深く潜ってみよう

今回の対応リージョンはこちらだよ。

• 米国東部(バージニア北部)
• 米国東部(オハイオ)
• 米国西部(オレゴン)
• アジアパシフィック(ムンバイ)
• アジアパシフィック(ハイデラバード)

料金については SageMaker AI の料金ページを確認してね、と案内されているよ。

まとめ

• SageMaker AI の Batch Transform が Amazon EC2 G6e インスタンスに対応
• G6e は NVIDIA L40S GPU(最大 8 基・48 GB メモリ)と第 3 世代 AMD EPYC 搭載
• 大規模言語モデルや拡散モデルなど GPU 集約型のオフライン推論に活用できる
• 対応リージョンは米国東部(バージニア北部・オハイオ)、米国西部(オレゴン)、アジアパシフィック(ムンバイ・ハイデラバード)

大規模データセットに対して GPU をフル活用したオフライン推論をしたい人には、すぐ試せるうれしいアップデートだよ！