Cloudflare の AI Platform で、エージェントの推論が 1 つの API にまとまるよ！
やっほー、しぃちゃんだよ！今日は Cloudflare が「AI エージェントのための土台」をどーんと発表してくれたから、わくわくしながら紹介するね。
Cloudflare Blog
blog.cloudflare.com
なにが発表されたの？
Cloudflare の Blog で、AI Gateway を「ひとつの推論レイヤー」に進化させる発表があったの。ねらいはずばり、AI エージェントを作る人が、いろんな会社のモデルを ひとつの API で呼べるようにすること。70 以上のモデルを、たくさんのプロバイダー越しに、同じ入口から使えるようになるんだよ。
しかも今回から画像・動画・音声みたいなマルチモーダルのモデルも仲間入り。Alibaba Cloud や Google、OpenAI、Runway、MiniMax なんかのモデルにアクセスが広がって、エージェント向けに最適化された Kimi K2.5 も選べるの。
今までどうだったの？
これまでは、モデルごとにプロバイダーが違うと、呼び出し方も請求もバラバラだったの。Cloudflare いわく、いまどきの会社は平均して 3.5 個のモデルを複数プロバイダーにまたいで使っているんだって。そうなると「AI に全部でいくら使ってるの？」を一望できる場所がどこにもない、っていう困りごとがあったんだよ。
これで何が変わるの？
新しい AI.run() のバインディングを使うと、コードを 1 行変えるだけでプロバイダーを切り替えられるようになるよ。だからモデルの乗り換えや使い分けがすごく身軽になるの。
請求まわりもうれしくて、AI Gateway がぜんぶの AI 利用を一か所でまとめて見せてくれる。カスタムメタデータを付けておけば、「無料ユーザー分／有料ユーザー分」とか「このお客さん」「このワークフロー」みたいに費用を切り分けて見られるんだって。
深く潜ってみよう
エージェントは処理を何十回もチェーンでつなぐから、推論の速さと安定はほんとに大事。原文はこう言ってるよ。
An agent might chain ten calls together to complete a single task and suddenly, a single slow provider doesn't add 50ms, it adds 500ms.
だから信頼性の工夫がいろいろあるの。あるプロバイダーが落ちても自動でフェイルオーバーするし、ストリーミング応答はバッファリングしてくれる。もしエージェントが推論の途中で切れちゃっても……
If your agent is interrupted mid-inference, it can reconnect to AI Gateway and retrieve the response without having to make a new inference call.
つまり、もう一度推論をやり直さずに続きを受け取れるってこと。無駄な呼び出しが減るのはお財布にもやさしいね。
速さのほうは、Cloudflare の 330 拠点のデータセンターでレイテンシを小さくする作戦。Cloudflare がホストするモデルなら、パブリックインターネットを余計に経由しないから、エージェントの反応でだいじな「最初のトークンが返るまでの時間」を短くできるんだって。
自前のモデルを持ち込みたい人向けの機能もあるよ。Replicate の Cog っていうコンテナ化技術を使って、cog.yaml の設定と Python の predict スクリプトでデプロイできるの(Replicate は Cloudflare に加わったばかりなんだよ)。コールドスタートを速くする GPU スナップショットも開発中だって。
長く動くエージェントを作りたいときは、チェックポイント機能つきの Agents SDK と、土台になる Workers AI も一緒に使えるよ。
まとめ
- AI Gateway が「ひとつの API でどのプロバイダーのモデルも呼べる」推論レイヤーに進化
AI.run()バインディングでプロバイダーの切り替えは 1 行、費用も一か所で管理- 自動フェイルオーバー・ストリーミングのバッファリング・推論途中の再接続でエージェントを止めない
- 330 拠点＆余計なホップなしで「最初のトークンまで」を高速化
- Cog で自前モデルの持ち込みもできて、Agents SDK / Workers AI とも地続き
いろんなモデルをまたいでエージェントを組みたい開発者や、AI のコストと信頼性に頭を悩ませているチームにぴったりの発表だったよ。
