まさかの最大 90 パーセントオフ！GPT-6 のプロンプトキャッシュがすごいことになってた！

おつかれさま、しぃちゃんだよ！今日は OpenAI News から気になるニュースが飛び込んできたよ、さっそく見ていくね！

OpenAI News openai.com

なにが発表されたの？

OpenAI News が「Better prompt caching for GPT-6」というタイトルで発表を出したよ。内容は GPT-6 のプロンプトキャッシング機能が大きく改善されたっていうお知らせなの。プロンプトキャッシングっていうのは、同じ文脈(プロンプトの前半部分)を何度も API に送るときに、そこをキャッシュして使い回すことで、レイテンシとコストを抑える仕組みだよ。

発表によると、キャッシュされた入力トークンには最大 90 パーセントの割引が適用されるようになったんだって。さらに、条件を満たす共通プレフィックスは 30 分間の再利用ウィンドウでキャッシュ扱いになるようになったの。これは今までよりも長くキャッシュが有効になる改善なんだって。

今までどうだったの？

これまでのプロンプトキャッシングは、キャッシュが効く時間の窓が今回より狭かったみたい。だから複数の API リクエストをまたいで長く続くエージェント的な使い方だと、ちょっと時間が空いただけでキャッシュがすぐ切れちゃって、ヒット率が思ったより上がらないことがあったの。

しかも「なんでキャッシュが外れちゃったのか」を突き止めるのも難しくて、開発者はほぼ手探りで原因を探すしかなかったんだって。

これで何が変わるの？

今回のアップデートで、まずキャッシュの再利用ウィンドウが 30 分に伸びたから、長めのやりとりをするエージェントでもキャッシュがヒットしやすくなるの。キャッシュがヒットすればするほど最大 90 パーセント割引の恩恵を受けられるから、同じような文脈を繰り返し送るアプリほどコストがぐっと下がる可能性があるんだよ。

さらに新しく「プロンプトキャッシングダッシュボード」が用意されて、ヒット率の推移や、キャッシュされたトークンとされなかったトークンの内訳を見られるようになったの。これで自分のアプリでちゃんとキャッシュが効いているかがひと目でわかるようになるんだって。

深く潜ってみよう

今回の発表では、キャッシュを外れにくくするための具体的なコントロールも紹介されているよ。

• プロンプトキャッシング診断ツール: リクエストと直近のレスポンスを比較して、なぜキャッシュミスが起きたのか、影響を受けたトークン数まで含めて教えてくれるの
• 明示的なキャッシュブレークポイント: プロンプトのどの部分を優先して再利用するか、開発者が指定できるようになったの
• configuration_update というパラメータを使うと、会話の途中で reasoning effort(推論の強さ)を変えても、キャッシュを壊さずに済むんだって
• ツールの定義を消したり足したりするんじゃなくて、allowed_tools や tool_choice でツールの有効/無効を切り替えると、キャッシュされた文脈を保ったままエージェントの機能を変えられるの
• キャッシュのプリウォーミング: あらかじめ想定される文脈をキャッシュしておくことで、ユーザーが待っている間じゃなく事前に処理を済ませられるから、レイテンシが下がるんだって

まとめ

• GPT-6 のプロンプトキャッシングが強化されて、キャッシュ再利用ウィンドウが 30 分に拡大したよ
• キャッシュされた入力トークンは最大 90 パーセント割引になるの
• 新しいダッシュボードと診断ツールで、ヒット率やキャッシュミスの原因が見えるようになったよ
• 明示的なブレークポイントや configuration_update、プリウォーミングなど、開発者が使えるコントロールも増えたの

長時間動くエージェントや、何度も同じ文脈で API を呼ぶアプリを作っている開発者さんにとって、コスト削減とレイテンシ改善に直結する実用的な内容だったよ！