JA EN
shiichan

AI の請求書、もう青ざめない！Cloudflare AI Gateway に spend limits 登場！

Cloudflare Blog ★★★★ Markdown で見る
#cloudflare#ai#devops

やっほー、しぃちゃんだよ！今日はみんなの財布に直結するニュースを持ってきたよ。AI の請求書、気づいたら大変なことになってた…なんて経験、ドキッとする人も多いんじゃないかな。それを Cloudflare がバシッと抑えられるようにしてくれたの。

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog で、AI Gateway に「spend limits(支出上限)」が登場したよ！さらに、Cloudflare Access と連携した「identity-driven budgets(誰が使ったかに基づく予算)」がクローズドベータで発表されたの。

しかも spend limits は今日から、全プランの AI Gateway ユーザーが open beta で使えるんだって。

今までどうだったの？

AI Gateway は、みんなのアプリと OpenAI・Anthropic・Google みたいな AI プロバイダーの間に立つ中継役。直接呼ぶ代わりに Gateway 経由にすると、プロバイダーをまたいだ請求の一本化・ログ・レスポンスキャッシュ・レート制限・ガードレールがまとめて手に入るの。

でもね、「誰がいくら使ったか」「どうやって上限を決めるか」に答える手段がなかったの。アカウント全体の合計は見えても、たとえば…

You couldn't see that Jane from engineering burned through $2,000 on Claude this month while the entire data science team only used $400.

…みたいな内訳は見えなかった。予算もルールもないと、みんなついつい一番強いモデルを選んじゃうよね。でも本当は、コードレビューの要約に最上位モデルは要らないの。適材適所で選べて、支出の行き先がひと目で分かる…そこが足りなかったんだ。

これで何が変わるの？

spend limits は、トークンじゃなくて「ドル建ての予算」でコストを管理できる仕組み。全リクエストの累計支出をリアルタイムで追いかけて、従来のレート制限とは独立して動くよ。

上限は model・provider や、user・team・application みたいな管理者が決めたカスタム属性の組み合わせでスコープできるの。期間は毎月 1 日・月曜・深夜 0 時にリセットする固定型でも、ローリング型でも OK で、日次・週次・月次から選べるよ。ダッシュボードのアナリティクスで、モデル・プロバイダー・カスタム属性ごとに支出をフィルターして眺められるのも便利。

上限に達したらどうなるか？デフォルトはブロック。でも Dynamic Routes を使えば、上限後は安いフォールバックモデルに流すこともできるから、ハードな上限でエンジニアの作業が止まっちゃう心配もないの。上限到達時のアラート通知も準備中だって。

深く潜ってみよう

面白いのが、Cloudflare 自身がこれを使ってるってところ。社員みんなが毎日 AI を使って、月に何百万リクエスト・何十億トークンも AI Gateway を通してるんだって。そこで、Cloudflare Access で認証したときに JWT から本人の identity を取り出して、リクエストのメタデータとして付ける仕組みにしたの。

これがクローズドベータの identity-driven budgets。Access と組み合わせると、「どのアカウントか」だけじゃなく「どの社員・どの IdP グループ・どのサービスか」まで分かるようになるよ。

  • 個人ごとの予算:一般メンバーは月 500 ドル、シニアエンジニアは月 2,000 ドル、みたいに設定。上限を超えたら安いモデルに格下げか、ブロック。
  • チームごとのモデルポリシー:ML チームは Claude Opus、デザインチームは画像・動画モデル、インターンは Workers AI 上のオープンソースモデル、って感じで、既存の IdP グループにそのまま紐づくの。
  • CI/CD や自律エージェント:Access service tokens で 1 体ずつ名前付きの identity を渡せる。コードレビュー bot が週に 500 万トークン、ドキュメント生成 bot が 50 万トークン、みたいに個別に見えるし、暴走した子だけに予算ポリシーをかけられるよ。

仕組みとしては、AI Gateway のエンドポイント用に Cloudflare Access アプリを作って、IdP グループでポリシーを組むだけ。開発者やエージェントは OAuth の CLI device-code フローで認証して、AI Gateway がトークンを検証して identity を取り出すの。自前で Worker を書いたり、JWT をパースしたり、当てにならないメタデータヘッダーに頼ったりしなくていいのが嬉しいね。

そしてこの先には、タスクに応じた賢い自動ルーティングも来るみたい。リクエストごとに中身を見て、一番いい結果を一番安く出せるモデルへ自動で振り分ける…っていうのが active development 中なんだって。

まとめ

  • AI Gateway に spend limits が登場。ドル建て予算で累計支出をリアルタイム管理、今日から全プランで open beta。
  • スコープは model・provider・カスタム属性、期間は固定/ローリングで日次・週次・月次。
  • 上限到達時はデフォルトでブロック、Dynamic Routes で安いモデルへ逃がすことも可能。
  • Cloudflare Access 連携の identity-driven budgets はクローズドベータ。誰が・どのチームが・どのエージェントが使ったかまで見える。
  • 設定はダッシュボードか API で。まずは高めの上限で monitoring mode から始めて、使い方を把握するのがおすすめ。

AI のコストにヒヤヒヤしてる CIO・CFO はもちろん、社内の AI 利用を管理する情シスや、FinOps・プラットフォームチームにドンピシャな発表だよ。みんなの請求書、これで怖くなくなるかも！

関連記事