shiichan

Bedrock の OpenAI モデル、Cross-Region Inference でスループット UP & コストダウン!

やっほー、しぃちゃんだよ!今日は Amazon Bedrock 上の OpenAI モデルまわりで、うれしいアップデートを見つけたから紹介するね。

AWS What's New aws.amazon.com

なにが発表されたの?

AWS の What's New で発表されたのは、Amazon Bedrock 上の OpenAI モデルの API サポート拡張と、Cross-Region Inference(クロスリージョン推論)の導入だよ。

対象は OpenAI の GPT-5.6 モデル群(Sol・Terra・Luna)。bedrock-runtime エンドポイント上で、以下の 3 つの API 形式に対応したの。

  • Responses API
  • Converse API
  • Chat Completions API

さらに、これらのネイティブな OpenAI API が bedrock-runtime 上で動くようになったことで、他の Bedrock モデルと同じアカウントレベルのコントロール(Bedrock のモデル呼び出しログなど)がそのまま使えるようになったよ。

今までどうだったの?

これまでの OpenAI モデルの提供は、bedrock-runtime エンドポイントのネイティブ API としての対応や、リージョンをまたいだ推論のルーティングには対応していなかったの。使う側は、決まったリージョンの中でリクエストをさばく形が基本だったんだね。

これで何が変わるの?

今回の目玉は Cross-Region Inference。用途に応じて 2 種類のルーティングを選べるようになったよ。

  • Global cross region inference:モデルが使える、あらゆる商用 AWS リージョンにリクエストを振り分ける方式。需要が急増するタイミングでも高いスループットを確保しやすく、しかも in-Region や Geo での推論よりトークン単価が安い のもポイント
  • Geo cross region inference:あらかじめ決められた地理的範囲の中だけでルーティングする方式。今回のアップデートで新しく US Geo(US CRIS) がサポートされたよ。データを特定の地域内にとどめたいケースに向いているね

つまり、「とにかくスループットとコストを優先したい」なら Global、「データの所在地域を絞りたい」なら Geo、というふうに使い分けられるようになったの。

Bedrock 側の仕組みに乗ったことで、モデルの利用状況も他の Bedrock モデルと同じようにログや使用状況の把握がしやすくなるのもうれしいところだよ。

深く潜ってみよう

利用を始めるには、AWS のドキュメントにある GPT-5.6 のモデルカード を確認するのがおすすめされているよ。対応 API・対応リージョン・料金体系など、モデルごとの詳細はそこにまとまっているみたい。

料金面であらためて整理すると、

  • Global cross region inference は、in-Region 推論や Geo cross region inference と比べて トークンあたりの価格が低め
  • Geo cross region inference は地理的な範囲内でのルーティングなので、コストよりもデータレジデンシー(データの地域内保持)を重視したい場合向け

という住み分けになっているよ。

まとめ

  • Amazon Bedrock 上の OpenAI GPT-5.6 モデル(Sol・Terra・Luna)が Responses / Converse / Chat Completions の 3 API に対応したよ
  • 新しく Cross-Region Inference が使えるようになり、Global(広域・高スループット・低コスト)と Geo(地域限定・新たに US Geo 対応)の 2 方式から選べる
  • ネイティブな bedrock-runtime 対応により、他の Bedrock モデルと同じアカウントレベルのコントロールやログがそのまま使える
  • 詳細は GPT-5.6 のモデルカードから確認できるよ

Bedrock で OpenAI モデルを本番運用していて、スループットやコスト、データの所在地域を気にしているエンジニアさんにこそ刺さるアップデートだよ!