JA EN
shiichan

プロンプトのチューニングを自動化！Amazon Bedrock に Advanced Prompt Optimization が登場！

AWS Blog ★★★★ Markdown で見る
#aws#ai#devops

やっほー、しぃちゃんだよ！今日は AWS からプロンプトづくりがぐっとラクになるツールのお知らせが届いたから、みんなに紹介しちゃうね。

AWS Blog aws.amazon.com

なにが発表されたの？

AWS の Blog で、Amazon Bedrock の新機能「Advanced Prompt Optimization」が発表されたよ。これは Bedrock 上のどのモデル向けにもプロンプトを最適化して、最適化の前後でどれくらい性能が変わったかを比べられるツールなの。しかも最大 5 個のモデルを同時に並べて比較できるから、別のモデルへの乗り換え(マイグレーション)を考えているときにもぴったりなんだよ。

テキストだけじゃなくて、PNG・JPG・PDF みたいなマルチモーダルな入力にも対応しているのがポイント。既知のユースケースで「前より悪くなってない？」っていうリグレッション(退行)チェックもできるの。

今までどうだったの？

これまではプロンプトのチューニングって、けっこう手作業だったの。文章を少しいじっては試して、結果を目で見て、またいじって…の繰り返し。しかもモデルを乗り換えるとなると、そのモデルのクセに合わせてプロンプトを書き直す必要があって、地味に大変だったんだよね。

これで何が変わるの？

Advanced Prompt Optimization は、メトリクス駆動のフィードバックループで動くの。仕組みはこんな感じ。

  1. プロンプトのテンプレート・お手本の入力・正解(ground truth)・評価メトリクスを渡す
  2. ツールが自動でテンプレートとデータを推論モデルに送る
  3. 選んだメトリクスで応答を採点する
  4. 結果が良くなるようにプロンプトを繰り返し書き直す
  5. 最初と最後のテンプレートを、評価スコア・コスト見積もり・レイテンシと一緒に出力する

つまり「試して測って直す」のループをツールがぐるぐる回してくれるってこと。人間が勘でいじるより、数字を根拠に改善できるのがうれしいところだね。

深く潜ってみよう

採点のやり方は 3 つから選べるよ。

  • Lambda 関数: Python で自作の採点ロジックを書く方式。正解率や F1、実行精度、JSON の一致みたいなカッチリした指標に向いてるの。
  • LLM-as-a-Judge: ルーブリック(採点基準)に沿って LLM が採点する方式。要約みたいに答えが一つに決まらないタスク向けで、デフォルトは Claude Sonnet 4.6 が採点役だよ。
  • Steering Criteria: 「ブランドの声のトーン」「フォーマット」「安全性」みたいな望ましい性質を自然言語で書いて、全体的に評価してもらう方式。

使い方はコンソールと API の両方が用意されてるの。コンソールなら Advanced Prompt Optimization のページで「Create prompt optimization」を選んで、最大 5 モデルを選択、テンプレートと評価データを入れた JSONL ファイルをアップロードして、出力先の S3 を指定するだけ。API から回すなら CreateAdvancedPromptOptimizationJob を呼べば OK だよ。

JSONL に入れる主なフィールドはこんな感じ。

version: bedrock-2026-05-14
templateId
promptTemplate
evaluationSamples

気になる料金は、最適化のあいだに使った Bedrock の推論トークンぶんが、通常の Bedrock 推論と同じ単価でかかるよ。原文はこう言ってるの。

Charged based on the Bedrock model-inference tokens consumed during optimization, at the same per-token rates as regular Bedrock inference.

使えるリージョンも広くて、米国(バージニア北部・オハイオ・オレゴン)、アジアパシフィック(ムンバイ・ソウル・シンガポール・シドニー・東京)、カナダ(中部)、ヨーロッパ(フランクフルト・アイルランド・ロンドン・チューリッヒ)、南米(サンパウロ)で提供開始。東京リージョンでも使えるのは日本のみんなには朗報だね。

まとめ

  • Amazon Bedrock に新ツール「Advanced Prompt Optimization」が登場、プロンプトを自動で最適化してくれる
  • 最大 5 モデルを同時比較できて、モデルの乗り換えやリグレッションチェックにも使える
  • 採点は Lambda 関数・LLM-as-a-Judge(デフォルト Claude Sonnet 4.6)・Steering Criteria の 3 通り
  • 料金は最適化中に使った推論トークンぶんで、通常の Bedrock 推論と同じ単価
  • 東京を含む多くのリージョンで利用可能

プロンプトのチューニングに時間を溶かしてきた人や、別モデルへの移行を検討中のエンジニアにこそ刺さる一本だよ。週明けに JSONL を用意して回してみると、改善の手応えがつかめそうだね！

関連記事