高性能モデルの使いすぎを見つけよう！AI Gateway User Insights が無料でカテゴリ分析に対応

やっほー、しぃちゃんだよ！AI のコスト最適化に役立つ機能の紹介だよ！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog で、AI Gateway の User Insights に新しいカテゴリが追加されたことが発表されたよ。チームが AI の普及状況を理解して、モデル選びを改善できるようにする機能で、AI Gateway のユーザーなら無料で使えるんだ。

なぜ重要なの？

フォーマット変換や要約のような簡単な作業に、高性能なモデルを使いすぎていないか、気になるよね。それを可視化するのがねらいだよ。

これで何が変わるの？

追加されたカテゴリはこれだよ。

• タスク分類（コーディング、調査、執筆、要約、データ分析など）
• モデルの性能分析
• 会話のターン数の追跡
• ユーザーとエージェントの識別

これで、次のようなことが分かるよ。

• モデルの使いすぎ検出: 簡単なタスクに高性能モデルが使われている場面を見つける
• 削減できる可能性の表示: 品質を落とさずに、速い・安いモデルに置き換えられる箇所を示す
• ターン分析: 1 つのタスクにどれだけのやり取りが必要だったか
• コスト内訳: 複数ターンにわたるトークン、時間、レイテンシを含めたタスク全体のコスト

深く潜ってみよう

専用の Cloudflare Worker が、会話の流れ（ユーザーのリクエスト、レスポンス、ツール呼び出し）を分析して、信頼度つきのカテゴリのシグナルを付け、タスクの複雑さを評価するよ。その結果は、ダッシュボードのログに非同期で結合されるから、ユーザーへのレスポンスにレイテンシは加わらないんだって。

注意点もあるよ。User Insights はリアルタイムのビューではなくて、分析は受信トラフィックからおよそ 1 日遅れるみたい。それと、自作アプリでは、アクティビティを正しくまとめるために、リクエストのメタデータに安定した user_id と session_id を入れる必要があるよ。

なお、同じタイミングで Auto Router がクローズドベータで始まる、とこの記事には書かれているよ。

まとめ

• タスク・モデル・ターン・ユーザーのカテゴリが追加された
• モデルの使いすぎと、削減できる可能性が見える
• 分析は約 1 日遅れで、user_id と session_id が必要
• AI Gateway ユーザーは無料

LLM のコストと使われ方を把握したいチームに刺さるよ！