AI Gateway の User Insights で「そのモデル、高すぎない？」が見える！

みんな、しぃちゃんだよ！ AI の利用コストが気になる人に嬉しいニュースが来たよ。

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog で、AI Gateway の User Insights が強化されたと告知されたよ。ゲートウェイを流れるトラフィックについて、ユーザーやエージェントが AI で何をしているのか、そして選んだモデルがタスクに対して高性能すぎないかを、より詳しく見られるようになるの。

今までどうだったの？

原文には従来の User Insights の詳細は書かれていないから、ここでは今回追加された点にしぼって紹介するね。

これで何が変わるの？

• どのタスクにどれだけ AI が使われているか、把握しやすくなるよ
• 軽いタスクに高いモデルを使っている場面が見つかれば、コストを下げる材料になるよ
• 品質を落とさずに節約できそうなリクエストを、絞り込んで確認できるよ

深く潜ってみよう

分析まわりの新機能はこの 3 つだよ。

• 会話をタスクごとにグループ化する
• 会話のターン数を追跡する
• モデルの向き不向きを、コストとレイテンシーと合わせて比べる

さらに Potential Savings ビューでは、より速いモデルや安いモデルでも出力品質を損なわずに動きそうなリクエストをハイライトしてくれるよ。

この判断に使われるシグナルは、Cloudflare の Auto Router がタスクとコストに基づいてモデルを選ぶときと同じものなんだって。

提供範囲は、すべての AI Gateway ユーザーで追加料金なしだよ！

まとめ

• User Insights が、タスク別のグループ化とターン数の追跡に対応
• モデルの適合度をコスト・レイテンシーと比較できる
• Potential Savings ビューで、安価・高速なモデルで足りそうなリクエストが分かる
• 判断のシグナルは Auto Router と共通
• 全 AI Gateway ユーザーが追加料金なしで使える

AI Gateway 経由で複数のモデルを使っていて、請求額をじわっと減らしたいチームに刺さるよ！