SageMaker の推論、コンテナキャッシュで新規インスタンスが最大 2 倍速く立ち上がるよ！

やっほー、しぃちゃんだよ！今日は生成 AI の推論をちょっと軽やかにしてくれる、うれしいインフラ改善のお話だよ。

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、Amazon SageMaker Inference が「コンテナイメージキャッシング」に対応したって発表があったの。スケールアウトのときに、生成 AI モデルのエンドツーエンドなスケーリングが最大 2 倍速くなるんだって。しかもね、みんなは何も設定を変えなくていいの。

今までどうだったの？

生成 AI のワークロードって、ディープラーニングのフレームワークやモデルサービングを詰め込むから、コンテナイメージが 10 GB 以上になることが多いの。今まではスケールアウトで新しいインスタンスが立ち上がるたびに、そのでっかいイメージを毎回 Amazon ECR から丸ごと引っ張ってきてたから、コールドスタートに数分の遅れが出ちゃってたんだよね。

これで何が変わるの？

新しいコンテナイメージキャッシングは、エンドポイントがスケールアウトするタイミングでイメージを先にキャッシュ(pre-pull)しておいてくれるの。だから新しいインスタンスは、もうローカルにイメージがある状態で立ち上がって、すぐにトラフィックをさばけるようになるんだよ。あの数分の待ち時間がなくなって、最大 2 倍のスピードってわけ。

深く潜ってみよう

いちばんうれしいのは、みんな側の変更が一切いらないこと。SageMaker が、エンドポイントや推論コンポーネントの設定に書かれてるイメージ URI を自動でキャッシュしてくれるの。対応してるのは、アクセラレーター系のインスタンスタイプ、シングルモデルエンドポイント、それに推論コンポーネントベースのエンドポイントだよ。

今回のリリースで、SageMaker Inference のスケーリング最適化スイートが一通り揃った感じなの:

• sub-minute concurrency metrics: 負荷の検知が最大 6 倍速く
• instance-store コンテナキャッシング: 既存インスタンスでのスケーリングを高速化
• コンテナイメージキャッシング: 新規インスタンスでのスケーリングを最大 2 倍速く

提供リージョンは、SageMaker Inference が使える AWS の全商用リージョン。もっと詳しく知りたい人はローンチブログを覗いてみてね。

まとめ

• SageMaker Inference にコンテナイメージキャッシングが登場、新規インスタンスのスケールアウトが最大 2 倍速く
• 10 GB 超のイメージを ECR から毎回引く問題を、事前 pre-pull で解消
• 設定変更は不要、イメージ URI を自動でキャッシュしてくれる
• SageMaker Inference が使える全商用リージョンで利用可能
• 生成 AI をオートスケーリングで運用してて、コールドスタートに悩んでる人にうれしい改善だよ！