AIボットをSearch・Agent・Trainingで仕分けできるようになったよ！広告ページはデフォルトで守られちゃうの

やっほー、しぃちゃんだよ！今日は Cloudflare からすっごく気になるニュースが来てて、もうわくわくが止まらないの。AIボットとの付き合い方が「ブロックか許可かの二択」から、ぐぐっと細かく選べるようになったんだって。さっそく紹介しちゃうね！

なにが発表されたの？

Cloudflare は 2026年7月1日、「第2回 Content Independence Day」というタイミングに合わせて、Webサイトの運営者が AI のトラフィックをもっと細かく管理できる新機能を発表したよ。去年の「Content Independence Day」宣言から1年経って、いよいよ進化版がお披露目されたって感じなの。

今回のポイントは、AI ボットのアクセス目的を「Search(検索結果に載せるための収集)」「Agent(人間の代わりにリアルタイムで何かをするエージェント)」「Training(モデルの学習・微調整のためのデータ収集)」という3つに分けて、それぞれ個別に許可・拒否を選べるようにしたところなの。しかも今までは一部プラン限定だった機能も、全顧客向けに開放されたのが大きいポイントだよ。

あわせて、Enterprise の Bot Management 顧客向けにボットを可視化する「BotBase」や、robots.txt を拡張してコンテンツの使われ方まで指定できる仕組みも一緒に発表されたの。盛りだくさんだね！

今までどうだったの？

昔は「クローラーがコンテンツを集めて、その代わりに紹介トラフィックをサイトに返す」っていう、持ちつ持たれつの関係が何十年も成り立ってたんだって。でも今の AI クローラーは、コンテンツを吸収するだけで何も返してくれないことが増えてて、特に小さいサイトの運営者さんにとってはすごく困った状況になってたみたいなの。

しかも困ったことに、「検索結果に出たいなら、AI に学習されることも受け入れなきゃいけない」っていうジレンマもあったんだって。ブロックする手段はあっても、それはだいたい「全部まとめてブロック」しかできなくて、Search 経由の発見のされやすさまで一緒に失っちゃう危険があったの。用途ごとに選べないのは、けっこう不便だったんだね。

これからどうなるの？

これからは、サイト運営者さんが「Search は許可するけど Training は断る」みたいに、目的別に細かく設定できるようになるよ。検索エンジンからの流入は残しつつ、勝手にモデル学習に使われるのだけ防ぐ、なんて選び方もできちゃうの。

特に注目なのが、2026年9月15日 から適用される新しいデフォルト設定だよ。広告で収益化しているページに対しては、新規ドメインでは Training ボットと Agent ボットをデフォルトでブロックし、Search ボットは引き続き許可するという設定になるんだって。理由としては「広告は人間に見てもらうためのもの。だから人間の注目を奪いかねない Training や Agent のボットは遠ざける」という考え方みたい。既存のお客さんは 9月15日 より前ならいつでも設定を変えられるし、何もしないという選択もできるよ。

Dive Deep

ここからは技術好きのしぃちゃんが本気を出しちゃうところだよ！

まず3分類の定義をおさらいすると、Search は「サイトをスキャン・インデックスして検索結果に表示する動作」、Agent は「ユーザーに代わってリアルタイムで何かを実行する自動化動作(ChatGPT のようなチャットfetchボットや、Gemini や Claude がブラウザを操作するようなエージェント)」、Training は「モデルの学習・微調整のためにコンテンツを取得するクローラー」を指すよ。Training はデータがモデルの中に永続的に吸収されちゃうのが特徴なの。

次に「content use」という新しいパラメータも登場したよ。ボット管理の顧客向けに、コンテンツの利用レベルを3段階で指定できるようになったんだって。

• immediate:その場でやり取りするだけで、保存も再利用もしない
• reference(デフォルト):インデックス化・抜粋・リンクバックまでOK
• full:要約や再現までOK

これを robots.txt の拡張仕様「Content Signals」に組み込むと、こんな感じで書けるようになるよ。

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

use フィールドが新しく追加されたのがポイントだね。ただし robots.txt の他の指示と同じで、これはあくまで「希望の表明」であって強制的なブロックじゃない、っていうのは覚えておきたいところなの。

さらに面白いのが「推移的信頼(transitive trust)」っていう考え方だよ。RFC 7239 の Forwarded ヘッダーを使って、中間業者経由のアクセスまで柔軟に管理できるようになるの。

Forwarded: for="openai";use="reference"

こんな感じで書くと、「OpenAI は信頼するけど、OpenAI のツールを使う開発者全員を無条件に信頼するわけじゃない」みたいな段階的な信頼の管理ができちゃうんだって。すごく丁寧な設計だよね。

Verified ボットの意味合いも変わるよ。今までは Verified なら基本デフォルトで許可されてたけど、これからは Verified は「許可され得る」という意味になって、実際に許可されるかどうかは Search を許可する、といった分類側の設定が決めることになるの。Verified になるには、自分たちが誰であるかを正直に示すこと、そしてその正直さで得たアクセスを悪用しないことの2つが条件になるみたい。

Googlebot や Applebot、Bingbot みたいに複数の目的を兼ねているボットについては、「一番制限の厳しいルールが適用される」という原則があるよ。たとえば Training をブロックしている設定なら、Search と Training を両方やってるボットはブロックされちゃうんだって。ちょっと厳しめだけど、安全側に倒す設計なのは納得だね。

設定方法としては、既存のお客さんは Cloudflare ダッシュボードの zone Settings から「Manage AI traffic」を開けば変更できるよ。新規ユーザーは 2026年9月15日 以降、自動的に新デフォルトが適用される形になるの。Enterprise のお客さんは「BotBase」というダッシュボードから、既知ボットの検索可能なカタログを見たり、分類ごとにトラフィックを絞り込んだり、Detection ID をコピーしてセキュリティルールに使ったりもできるみたいだよ。料金については追加費用の明記はなくて、これらの管理オプションは無料プランを含む全顧客層で使えるとされているの。

まとめ

今日紹介したのは、Cloudflare が AI ボットのアクセスを Search・Agent・Training の3種類に仕分けして個別に管理できるようにした新オプションのお話だったよ。広告ページでは 2026年9月15日 から Training と Agent がデフォルトでブロックされるようになるのも大きなポイントだったね。robots.txt の content use シグナルや、Forwarded ヘッダーを使った推移的信頼の仕組みまで用意されてて、ただブロックするだけじゃない、細やかな選択肢が広がったのがしぃちゃん的にはすごく嬉しいポイントなの。サイト運営者さんにとっても、AIとの付き合い方を自分で選べるようになるのは心強いことだと思うな。

出典: Your site, your rules: new AI traffic options for all customers