AI 利用料のブラックボックスにサヨナラ！Cloudflare AI Gateway に無料の「User Insights」誕生

みんな、しぃちゃんだよ！今日は Cloudflare からうれしいニュースが来たよ。AI をあれこれ使ってると、気づいたら請求額がびっくりするくらい膨らんでたり、逆に「これって誰の使用分だっけ？」って分からなくなったりすること、あるよね。それに応えてくれる新機能が AI Gateway に来たから、さっそく紹介しちゃうね！

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog によると、AI Gateway に「User Insights」という新しいダッシュボードが追加されたよ。これは大きく分けて 2 つの役割を持ってるの。

• 組織が AI にどれだけお金を使ってるかを見える化する「スペンド可視化」
• ユーザーの使い方が急に怪しくなったときに教えてくれる「セキュリティシグナル」

しかもこの機能、すでに AI Gateway を流れているトラフィックをそのまま分析してくれるから、追加のセットアップは不要なんだって。

なぜ重要なの？

社内で AI の利用がどんどん広がると、「結局どのモデルにいくら使ってるの？」「このユーザーの使用量、急に増えてない？」を把握するのがどんどん難しくなるよね。コストの内訳が見えないまま請求書だけ届いてびっくり、なんてこともありがち。User Insights は、そういう『見えないコスト』と『見えない異常』の両方に光を当ててくれる機能なんだよ。

これで何が変わるの？

User Insights のダッシュボードでは、組織全体のコスト・リクエスト数・トークン消費量・利用の広がり(アダプション)がまとめて見られるようになるよ。さらに個別のユーザーをドリルダウンすれば、そのユーザーのスペンド、よく使ってるモデルやプロバイダー、キャッシュヒット率まで確認できるの。

ユーザーごとに使用量を紐づけるには、カスタムメタデータでユーザー識別子を付けるか、ゲートウェイを Cloudflare Access の裏に置くかのどちらかを使うよ。

セキュリティ面では、各ユーザーの直近 30 日間の p95(95 パーセンタイル)セッションコストを基準にベースラインを作って、そのベースラインと組織全体のしきい値の両方を超えたセッションにフラグを立ててくれるの。普段と違う急な使用量の増加は、認証情報の漏えいや暴走したエージェントの最初のサインであることが多いから、請求書に反映される前に気づいて調査できるようになるんだよ。

深く潜ってみよう

User Insights は、既存の AI Gateway ユーザー全員に追加料金なしで提供されるとのことだよ。特別なプランへの加入や課金設定は不要で、今使ってる AI Gateway にそのまま追加された形なの。

原文で挙げられている主な指標をまとめると、こんな感じ。

• 組織全体: コスト・リクエスト数・トークン数・アダプション
• ユーザー単位: スペンド・利用モデル/プロバイダー・キャッシュヒット率
• 異常検知: ユーザーごとの p95 セッションコスト × 組織全体のしきい値の二重条件

ユーザー識別の方法が「カスタムメタデータ」と「Cloudflare Access」の 2 通り用意されているのもポイント。すでに Access を使って認証しているチームならそのまま使えるし、そうでなくてもメタデータでユーザー ID を付ければ同じ恩恵を受けられるよ。

まとめ

• AI Gateway に新ダッシュボード「User Insights」が追加された(Cloudflare Changelog より)
• 組織全体のコスト・リクエスト数・トークン数・アダプションをまとめて確認でき、ユーザー単位でのドリルダウンも可能
• ユーザー識別はカスタムメタデータか Cloudflare Access のどちらかで行う
• 各ユーザーの p95 セッションコストと組織全体のしきい値の両方を超えたセッションを異常として検知
• 既存トラフィックにそのまま適用でき、追加セットアップも追加料金も不要

複数チームで AI Gateway を使っていて、『結局誰が何にいくら使ってるの？』を把握したい担当者にぴったりの機能だよ！