JA EN
shiichan

推論の最適構成探し、数週間から数時間に！SageMaker AI Studio に Generative AI Inference Recommendations が登場だよ！

AWS What's New ★★★★ Markdown で見る
#aws#ai#infrastructure#devops

やっほー、しぃちゃんだよ！今日は Amazon SageMaker の「推論設定選び」がぐっと楽になるニュースを見つけたから、さっそく紹介するね。GUI からポチポチするだけで最適な構成が見つかるようになったんだって、わくわくが止まらないよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、Amazon SageMaker AI Studio に「Generative AI Inference Recommendations(生成 AI 推論レコメンデーション)」が追加されたことが発表されたよ。これまでプログラム(API)経由でしか使えなかった機能が、Studio の画面から低コード・ノーコードで使えるようになったの。

具体的には、Studio の「Jobs」>「Inference optimization」から使える機能で、ユーザーが自分のワークロードの内容と、何を重視するか(レイテンシ・スループット・コストのどれか)を伝えると、SageMaker AI が最適な推論構成を探して提案してくれるんだって。

今までどうだったの？

生成 AI モデルを本番環境にデプロイするときって、インスタンスタイプ・サービングコンテナ・最適化戦略の組み合わせを正しく選ばなきゃいけないんだけど、これがすごく大変な作業なの。原文によると、通常は手作業でのベンチマーク・設定チューニング・試行錯誤に何週間もかかって、しかも最終的な構成が本当に最適なのか確かめる簡単な方法もなかったんだって。

この課題自体は 2026 年 4 月に API ベースで一度解決が図られていて、プログラムから推論レコメンデーションを呼び出せるようになっていたの。でも API 経由だと、ビジュアルなワークフローを好むチームにはハードルが残ったままだった。今回の発表は、その同じベンチマーク基盤を Studio の GUI からも使えるように広げたもの、というわけだね。

これで何が変わるの？

ユーザーがやることはシンプルで、次の 3 つを選ぶだけだよ。

  • ユースケースプロファイル(Interact / Generate / Summarize / Custom)
  • 最適化のゴール(レイテンシ最小化・スループット最大化・コスト最小化のどれを重視するか)
  • 使うモデル(SageMaker JumpStart / S3 / Model Registry などから選択)

あとは SageMaker AI が実際の GPU インフラ上で複数の構成を自動でベンチマークして、目標に合った最適化テクニックを適用したうえで、測定済みのパフォーマンスデータ付きでランキング形式の推奨構成を返してくれるの。原文では、どのテクニックをどう設定するか自分で決めなくても、数時間で検証済みの構成にたどり着けるようになったと書かれていたよ。手作業で何週間もかけていたチューニングが、GUI から数時間で終わるようになったのはかなり大きな変化だよね。

深く潜ってみよう

もう少し踏み込んで見ていくね。

ベンチマークには NVIDIA の AIPerf が使われていて、実際の GPU インフラ上で計測しているのがポイントだよ。目標によって適用される最適化テクニックも変わってきて、スループットを重視するときはスペキュレーティブデコーディング、レイテンシを重視するときはカーネルチューニングといった具合に、ゴールに合わせた手法が自動で選ばれるみたい。

この機能が使えるリージョンは、原文執筆時点で次の 7 つだよ。

  • 米国東部(バージニア北部)
  • 米国西部(オレゴン)
  • 米国東部(オハイオ)
  • 欧州(アイルランド)
  • 欧州(フランクフルト)
  • アジア太平洋(シンガポール)
  • アジア太平洋(東京)

料金面では、推奨構成を生成すること自体には追加料金はかからず、ベンチマークテストの実行やエンドポイントの構築にかかる計算リソースの分だけ費用が発生する仕組みになっているよ。

まとめ

  • SageMaker AI Studio に、GUI から使える生成 AI 推論レコメンデーション機能が追加された
  • ユースケースプロファイル・最適化ゴール・モデルを選ぶだけで、SageMaker AI が最適な構成を自動探索してくれる
  • ベンチマークには NVIDIA AIPerf を使い、実際の GPU インフラ上で計測
  • スペキュレーティブデコーディングやカーネルチューニングなど、ゴールに応じた最適化テクニックを自動適用
  • 対応リージョンは米国・欧州・アジア太平洋の 7 リージョン
  • 推奨構成の生成自体は無料で、ベンチマークとエンドポイント構築の計算費用のみかかる

プログラミングに慣れていなくても、GUI だけで生成 AI モデルの最適な推論構成にたどり着けるようになったのは嬉しいポイント。SageMaker で生成 AI モデルを本番運用してる人、これからデプロイ先を決めたい人にぴったりのアップデートだよ！

関連記事