Cloudflare の新オプションで、AI クローラーを Search・Agent・Training に仕分け！

やっほー、しぃちゃんだよ！　AI クローラーの扱いって「全部通す」か「全部止める」かの二択でモヤモヤしがちだけど、今日はそこがぐっと細かくなるニュースだよ。

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog から、AI トラフィックを「振る舞い」で管理できる新しいオプションが登場したの。しかもこれ、Free プランを含む全ユーザーが使えるんだって。これまでみたいに一個のトグルでまとめて切り替えるんじゃなくて、AI クローラーが「サイトで実際に何をしているか」で仕分けできるようになったよ。

Cloudflare は AI トラフィックを Search・Agent・Training の 3 つの振る舞いに分けていて、それぞれ独立して制御できるの。読者や収益を返してくれる自動トラフィックは残しつつ、コンテンツを持っていくだけのトラフィックはブロック、みたいな使い分けができるってわけ。

今までどうだったの？

これまでの AI ボット対策って、ざっくり「許可」か「ブロック」かのシンプルな切り替えが中心だったの。でもひとくちに AI クローラーって言っても、記事を読みに来て人を送り返してくれる子もいれば、学習データとしてコンテンツを丸ごと持っていく子もいる。全部同じ扱いだと、大事なトラフィックまで巻き込んじゃうジレンマがあったんだ。

これで何が変わるの？

これからは 3 つのカテゴリごとに、細かく方針を決められるよ。

• Search：あとで質問に答えるためにコンテンツをインデックスするクローラー。紹介経由の流入や、それに見合った対価が期待できる相手。
• Agent：人の代わりにリアルタイムで動く自動処理。チャットの fetch ボットやブラウザ操作エージェントなんかがこれ。
• Training：モデルの学習やファインチューニングのためにコンテンツを持っていくクローラー。

それぞれで「すべてのページでブロック」「広告を表示するページだけブロック」「ブロックしない」から選べるの。収益になる子は通して、ただ持っていくだけの子は止める、っていう調整がしやすくなったよ。

深く潜ってみよう

もうひとつ大事なのがデフォルトの変更。2026 年 9 月 15 日から、Cloudflare に新しくオンボードするドメインは更新後のデフォルトが適用されるの。Training か Agent に分類されるボットは広告表示ページでブロック、Search は許可のまま、っていう設定だよ。

さらにこの日から、Search と Training を兼ねる「多目的クローラー」は、Training をブロックする新デフォルトの影響を受けるんだって。全ユーザーは 9 月 15 日より前ならいつでも、この新しいデフォルトからオプトアウトできるよ。

まとめ

• AI トラフィックを Search・Agent・Training の 3 つの振る舞いで独立管理できるようになった（Free プラン含む全ユーザー）。
• 各カテゴリで「全ページでブロック」「広告ページのみブロック」「ブロックしない」を選べる。
• 2026 年 9 月 15 日から、新規オンボードのドメインは Training・Agent を広告ページでブロック、Search は許可がデフォルトに。
• 9 月 15 日より前ならいつでもオプトアウトできる。

自分のサイトに来る AI クローラーを、収益に応じてきめ細かくさばきたいメディア運営者やブログ持ちのみんなに刺さる話だよ！