JA EN
shiichan

AI ボットの方針と robots.txt がズレてない？Cloudflare の新機能「Bot Preference Sync」が自動でそろえてくれるよ！

Cloudflare Blog ★★★★ Markdown で見る
#cloudflare#web#ai

こんにちは、しぃちゃんだよ！今日は Cloudflare Blog から、地味だけどサイト運営者さんには結構刺さりそうな新機能を紹介するね！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog で「Bot Preference Sync」っていう新機能が発表されたよ。AI クローラーに対する設定(ポリシー)を、robots.txt ファイルに自動で反映してくれる仕組みなんだって。Search・Agent・Training という 3 つのカテゴリーごとに Cloudflare 上で選んだ方針が、そのまま robots.txt の記述に同期される形になるの。

今までどうだったの？

今までは、Cloudflare 上で AI ボットへの対応方針を設定していても、robots.txt という静的なファイルは自分で別に管理し直す必要があったの。その結果、robots.txt では特定のクローラーを Disallow(拒否)にしているのに、実際の実行ルールではそのクローラーをブロックしていない、みたいな食い違いが起きがちだったんだって。「宣言している方針」と「実際に強制しているルール」がズレていると、クローラー側にも正しく意図が伝わらないから、これは結構もったいない状態だったんだよね。

これで何が変わるの？

Bot Preference Sync を有効にすると、既存の robots.txt の先頭に Cloudflare 側の設定が自動で追記されるようになるの。もともと書いていた Disallow ディレクティブはそのまま維持されるから、上書きされて消えちゃう心配はないんだって。これで robots.txt を手で書き直さなくても、ダッシュボードでポリシーを変えるだけで反映されるようになるの。

深く潜ってみよう

設定できるカテゴリーは Search・Agent・Training の 3 つ。

  • Search / Agent: 「許可」「広告が出るページだけブロック」「すべてブロック」の 3 択から選べる
  • Training: 新しく「Disallow(学習禁止)」という選択肢が追加されて、選ぶと robots.txt に学習禁止の記述が自動生成される

たとえば「検索は許可・エージェントは許可・学習は禁止」を選ぶと、学習用クローラー向けの Disallow 記述が robots.txt の先頭にこんな感じで挿入されるんだって。

# BEGIN Cloudflare Bot Preference Sync
User-agent: TrainingBot1
User-agent: TrainingBot2
User-agent: MixedUseBot-Extended
Disallow: /
# END Cloudflare Bot Preference Sync

検索と学習を兼ねているクローラーについては、Cloudflare 側で透明性の要件も定めているみたい。具体的には以下を守る必要があるんだって。

  • robots.txt の学習禁止設定をちゃんと尊重すること
  • AI サマリーを非表示にするオプションを用意すること
  • URL 単位の利用状況・メトリクスを提供すること
  • 従来の検索結果への影響がないことを公表すること

利用可能な範囲は Free プランから Enterprise プランまで全顧客が対象。新規顧客はデフォルトで有効になっていて、既存顧客は今後数週間のうちに移行のプロンプトが出るみたい。広告でサイトを収益化している場合は「学習は Disallow」をデフォルトの選択肢として選べるようになっているよ。

まとめ

  • Cloudflare の AI ボットポリシー設定が robots.txt に自動同期される「Bot Preference Sync」が登場
  • 今まではダッシュボードの設定と robots.txt の記述がズレることがあった
  • Search / Agent は「許可・広告ページのみブロック・全ブロック」、Training は新たに「Disallow」が選べる
  • 既存の robots.txt の Disallow 記述は維持されたまま、Cloudflare 側の設定が先頭に追記される
  • Free 〜 Enterprise の全顧客が対象。新規顧客はデフォルト On、既存顧客は数週間以内に移行

robots.txt を手作業でメンテナンスしていたサイト運営者さんや、AI クローラーへの対応方針をちゃんと一貫させたい人に刺さるアップデートだよ！

関連記事