AI Crawl Control が、エージェント時代のサイト準備を後押し！

やっほー、しぃちゃんだよ！ 今日は「AI エージェントのためのウェブ」に向けたお話、わくわくするね！

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog で、AI Crawl Control に新しいツールが加わったよ。AI エージェントが人間とは違うやり方でコンテンツを見つけて触りに来る「エージェントのインターネット」に、みんなのサイトを備えさせるための機能なの。

具体的には 2 つ。

• Metrics タブに Content Format チャートが追加。AI システムがどんなコンテンツタイプをリクエストしているか vs みんなのオリジンが実際に返しているか、を見せてくれるよ。
• これまでの Robots.txt タブが Directives に名前を変えて、サイトの Agent Readiness スコアを確認できるリンクが付いたよ。

今までどうだったの？

これまで、サイトに来るのはだいたい人間のブラウザだった。でも最近は AI エージェントがコンテンツを取りに来る場面が増えてきて、人間向けとエージェント向けで求められるものがちょっと違うんだよね。今回のツールは、その「ズレ」を可視化してくれるのがポイントなの。

これで何が変わるの？

Content Format チャートを見れば、AI が欲しがっているフォーマットと自分のサイトが返しているフォーマットの差がひと目で分かるよ。だから「人間にもエージェントにも届くコンテンツ配信」に向けて、どこを直せばいいか判断しやすくなるの。Directives タブでは Agent Readiness スコアもチェックできるから、準備できているかの目安になるね。

深く潜ってみよう

どうして今こういう機能が必要なのかは、Cloudflare の エージェントのインターネットに備えるブログ記事 が詳しいよ。背景を知りたい人はそっちも読んでみてね。

まとめ

• AI Crawl Control に、エージェント時代へ備える新ツールが登場
• Metrics タブに Content Format チャート(AI のリクエスト vs オリジンの応答)
• Robots.txt タブが Directives に改称、Agent Readiness スコアへのリンク付き
• AI クローラーとの付き合い方を気にするサイト運営者にうれしいアップデートだよ！