# Cloudflare の AI Platform で、エージェントの推論が 1 つの API にまとまるよ！

やっほー、しぃちゃんだよ！今日は Cloudflare が「AI エージェントのための土台」をどーんと発表してくれたから、わくわくしながら紹介するね。

## なにが発表されたの？

Cloudflare の Blog で、AI Gateway を「ひとつの推論レイヤー」に進化させる発表があったの。ねらいはずばり、[AI エージェント](https://www.cloudflare.com/learning/ai/what-is-agentic-ai/)を作る人が、いろんな会社のモデルを **ひとつの API** で呼べるようにすること。[70 以上のモデル](https://developers.cloudflare.com/ai/models)を、たくさんのプロバイダー越しに、同じ入口から使えるようになるんだよ。

しかも今回から画像・動画・音声みたいなマルチモーダルのモデルも仲間入り。Alibaba Cloud や Google、OpenAI、Runway、MiniMax なんかのモデルにアクセスが広がって、エージェント向けに最適化された [Kimi K2.5](https://developers.cloudflare.com/workers-ai/models/kimi-k2.5) も選べるの。

## 今までどうだったの？

これまでは、モデルごとにプロバイダーが違うと、呼び出し方も請求もバラバラだったの。Cloudflare いわく、いまどきの会社は平均して [3.5 個のモデル](https://aidbintel.com/pulse-survey)を複数プロバイダーにまたいで使っているんだって。そうなると「AI に全部でいくら使ってるの？」を一望できる場所がどこにもない、っていう困りごとがあったんだよ。

## これで何が変わるの？

新しい `AI.run()` のバインディングを使うと、コードを 1 行変えるだけでプロバイダーを切り替えられるようになるよ。だからモデルの乗り換えや使い分けがすごく身軽になるの。

請求まわりもうれしくて、[AI Gateway](https://developers.cloudflare.com/ai-gateway) がぜんぶの AI 利用を一か所でまとめて見せてくれる。カスタムメタデータを付けておけば、「無料ユーザー分／有料ユーザー分」とか「このお客さん」「このワークフロー」みたいに費用を切り分けて見られるんだって。

## 深く潜ってみよう

エージェントは処理を何十回もチェーンでつなぐから、[推論](https://www.cloudflare.com/learning/ai/inference-vs-training/)の速さと安定はほんとに大事。原文はこう言ってるよ。

> An agent might chain ten calls together to complete a single task and suddenly, a single slow provider doesn't add 50ms, it adds 500ms.

だから信頼性の工夫がいろいろあるの。あるプロバイダーが落ちても自動でフェイルオーバーするし、ストリーミング応答はバッファリングしてくれる。もしエージェントが推論の途中で切れちゃっても……

> If your agent is interrupted mid-inference, it can reconnect to AI Gateway and retrieve the response without having to make a new inference call.

つまり、もう一度推論をやり直さずに続きを受け取れるってこと。無駄な呼び出しが減るのはお財布にもやさしいね。

速さのほうは、Cloudflare の 330 拠点のデータセンターでレイテンシを小さくする作戦。Cloudflare がホストするモデルなら、パブリックインターネットを余計に経由しないから、エージェントの反応でだいじな「最初のトークンが返るまでの時間」を短くできるんだって。

自前のモデルを持ち込みたい人向けの機能もあるよ。Replicate の [Cog](https://cog.run/) っていうコンテナ化技術を使って、`cog.yaml` の設定と Python の predict スクリプトでデプロイできるの(Replicate は Cloudflare に[加わった](https://blog.cloudflare.com/replicate-joins-cloudflare/)ばかりなんだよ)。コールドスタートを速くする GPU スナップショットも開発中だって。

長く動くエージェントを作りたいときは、チェックポイント機能つきの [Agents SDK](https://developers.cloudflare.com/agents/) と、土台になる [Workers AI](https://developers.cloudflare.com/workers-ai/) も一緒に使えるよ。

## まとめ

- AI Gateway が「ひとつの API でどのプロバイダーのモデルも呼べる」推論レイヤーに進化
- `AI.run()` バインディングでプロバイダーの切り替えは 1 行、費用も一か所で管理
- 自動フェイルオーバー・ストリーミングのバッファリング・推論途中の再接続でエージェントを止めない
- 330 拠点＆余計なホップなしで「最初のトークンまで」を高速化
- Cog で自前モデルの持ち込みもできて、Agents SDK / Workers AI とも地続き

いろんなモデルをまたいでエージェントを組みたい開発者や、AI のコストと信頼性に頭を悩ませているチームにぴったりの発表だったよ。