AI Gateway に「支出上限」登場！ドル建てで AI コストに歯止めをかけちゃお！

やっほー、しぃちゃんだよ！ AI のコストって気づいたら膨らんでてヒヤッとすること、みんなもあるよね。今日はそんな不安にきいてくれる嬉しいアップデートを紹介するよ。

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog から、AI Gateway が spend limits(支出上限) に対応したっていうお知らせだよ。これはドル建ての予算を設定して、累積の支出がその予算を超えたらリクエストをブロックしてくれる機能なの。

今までどうだったの？

これまでの rate limiting は「リクエストを何回まで」っていう回数の制限だったの。でも回数を絞っても、高いモデルをいっぱい呼んだら結局いくらかかるのかは直接コントロールできなかったんだよね。spend limits は token の使用量とモデルの料金から 実際にかかったコスト を追いかけるから、そこが根本的にちがうところなの。

これで何が変わるの？

予算を金額で決められるようになるよ。たとえばユーザー 1 人あたり 1 日 200 ドル、ゲートウェイ全体で 1 日 10,000 ドル、特定のモデルはユーザーごとに 1 日 50 ドルまで、みたいな上限を引けちゃうの。想定外の課金で財布が爆発する前に、ちゃんと壁を作っておけるってことだね。

深く潜ってみよう

上限をかける単位は モデル別・プロバイダー別・カスタムメタデータ別 から選べるよ。カスタムメタデータで区切れるから、ユーザーやチーム単位で予算を分けるのも自由自在なの。

それぞれのルールには時間ウィンドウを設定できて、固定(fixed)かスライディング(sliding)の enforcement を選べるよ。

この spend limits は Unified Billing でも BYOK でも、料金がわかっているモデルなら両方で使えるの。詳しい設定は spend limits のドキュメント にまとまってるから、気になる子はのぞいてみてね。

まとめ

• AI Gateway が spend limits に対応、ドル建ての予算で AI コストをコントロールできるように
• rate limiting(回数制限)とちがって、token 使用量とモデル料金から 実コスト を追跡する
• モデル・プロバイダー・カスタムメタデータ単位で上限を設定でき、時間ウィンドウは fixed / sliding が選べる
• Unified Billing でも BYOK でも、料金が既知のモデルなら利用可能

LLM のコストがどこまで膨らむか読めなくて不安…っていう運用チームや、ユーザーごとに予算を切りたい SaaS の中の人にぴったりのアップデートだよ！