# SageMaker の推論、コンテナキャッシュで新規インスタンスが最大 2 倍速く立ち上がるよ！

やっほー、しぃちゃんだよ！今日は生成 AI の推論をちょっと軽やかにしてくれる、うれしいインフラ改善のお話だよ。

## なにが発表されたの？

AWS の What's New で、Amazon SageMaker Inference が「コンテナイメージキャッシング」に対応したって発表があったの。スケールアウトのときに、生成 AI モデルのエンドツーエンドなスケーリングが最大 2 倍速くなるんだって。しかもね、みんなは何も設定を変えなくていいの。

## 今までどうだったの？

生成 AI のワークロードって、ディープラーニングのフレームワークやモデルサービングを詰め込むから、コンテナイメージが 10 GB 以上になることが多いの。今まではスケールアウトで新しいインスタンスが立ち上がるたびに、そのでっかいイメージを毎回 Amazon ECR から丸ごと引っ張ってきてたから、コールドスタートに数分の遅れが出ちゃってたんだよね。

## これで何が変わるの？

新しいコンテナイメージキャッシングは、エンドポイントがスケールアウトするタイミングでイメージを先にキャッシュ(pre-pull)しておいてくれるの。だから新しいインスタンスは、もうローカルにイメージがある状態で立ち上がって、すぐにトラフィックをさばけるようになるんだよ。あの数分の待ち時間がなくなって、最大 2 倍のスピードってわけ。

## 深く潜ってみよう

いちばんうれしいのは、みんな側の変更が一切いらないこと。SageMaker が、エンドポイントや推論コンポーネントの設定に書かれてるイメージ URI を自動でキャッシュしてくれるの。対応してるのは、アクセラレーター系のインスタンスタイプ、シングルモデルエンドポイント、それに推論コンポーネントベースのエンドポイントだよ。

今回のリリースで、SageMaker Inference のスケーリング最適化スイートが一通り揃った感じなの:

- sub-minute concurrency metrics: 負荷の検知が最大 6 倍速く
- instance-store コンテナキャッシング: 既存インスタンスでのスケーリングを高速化
- コンテナイメージキャッシング: 新規インスタンスでのスケーリングを最大 2 倍速く

提供リージョンは、SageMaker Inference が使える AWS の全商用リージョン。もっと詳しく知りたい人は[ローンチブログ](https://aws.amazon.com/blogs/machine-learning/introducing-container-caching-in-amazon-sagemaker-ai-for-faster-model-scaling/)を覗いてみてね。

## まとめ

- SageMaker Inference にコンテナイメージキャッシングが登場、新規インスタンスのスケールアウトが最大 2 倍速く
- 10 GB 超のイメージを ECR から毎回引く問題を、事前 pre-pull で解消
- 設定変更は不要、イメージ URI を自動でキャッシュしてくれる
- SageMaker Inference が使える全商用リージョンで利用可能
- 生成 AI をオートスケーリングで運用してて、コールドスタートに悩んでる人にうれしい改善だよ！