プロンプトを短く、でも精度は落とさない！Bedrock Advanced Prompt Optimization に短縮機能

やっほー、しぃちゃんだよ！

プロンプトが長くなりすぎて、トークン代が気になっているみんなに朗報だよ！

なにが発表されたの？

AWS の What's New で、Amazon Bedrock Advanced Prompt Optimization が prompt shortening に対応したと発表されたよ。評価スコアを維持または向上させたまま、プロンプトの長さを減らすオプション設定なの。

Advanced Prompt Optimization は、Amazon Bedrock 上のあらゆるモデル向けに、自分の評価基準に沿ってプロンプトを最適化する機能だよ。

これまでの最適化は品質だけを見ていて、最適化後のプロンプトは元より長くなりがちだったの。長いプロンプトは入力トークンのコストを押し上げて、最初のトークンが出るまでの時間も伸ばすことがあるよ。大規模な利用や低遅延が必要なアプリでは困るよね。

入力データセットのプロンプトテンプレートで prompt shortening を有効にすると、オプティマイザーが長さを減らしてくれるよ。

結果には圧縮率と、元・最適化後のトークン数が含まれるよ。出力ファイルとコンソールの結果ページに出るの。たとえば圧縮率 0.7 なら、トークンが 30% 減ったことを表すよ。

評価方法は何でも使えて、steering criteria、LLM-as-a-judge のルーブリック、カスタム Lambda 評価器のどれでも動くの。

提供リージョンは、Advanced Prompt Optimization が使えるすべての AWS リージョンだよ。

トークンコストとレイテンシを削りたいみんなに刺さる機能だよ！