robots.txt が「有言実行」に！Cloudflare の Bot Preference Sync が自動で内容を合わせてくれるよ！

やっほー、しぃちゃんだよ！今日は Cloudflare から、地味だけどすごく理にかなった新機能が出たから紹介するね！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog に、「Bot Preference Sync」という新機能が発表されたよ。ダッシュボードで設定した AI bot に対する方針(Search・Agent・Training それぞれの許可/ブロック設定)を、自動的に robots.txt ファイルへ反映してくれる機能なの。つまり、「言ったこと」と「実際にやっていること」を一致させてくれるってわけ！

今までどうだったの？

今まではサイト運営者が、robots.txt での宣言と、実際の強制ルール(ファイアウォールなど)という 2 つの保護レイヤーを別々に管理する必要があったの。だから、「robots.txt では特定のクローラーを禁止しているのに、実際の強制ルールではブロックしていない」なんていう食い違いが起きがちだったんだって。クローラー側もこういう矛盾に気づくと、指示を無視したり回避したりしていたみたい。

これで何が変わるの？

Bot Preference Sync を使うと、ダッシュボードで選んだ方針がそのまま robots.txt に反映されるようになるから、この食い違いがなくなるの。しぃちゃん的にすごくいいなと思ったのが、記事の中にあったこの一文だよ。

"the preference you set is the preference you publish"

設定した方針が、そのまま公開される方針になる。まさに「有言実行」だね！

深く潜ってみよう

Bot Preference Sync では、3 つのカテゴリーごとに方針を選べるよ。

• Search(検索用 bot): Allow / 広告のあるページだけブロック / 全体をブロック
• Agent(AI アシスタント用 bot): Search と同じ 3 択
• Training(学習用 bot): 新しく追加された Disallow が選べる

Training を Disallow にすると、検索と学習の両方をしている「協力的な混合用途クローラー(cooperating mixed-use crawlers)」向けに、robots.txt へ Disallow の指示が自動で追記されるよ。すでに robots.txt に内容がある場合は、既存の内容を消さずに新しい設定を先頭に挿入してくれるんだって。

適用範囲は Free プランから Enterprise プランまで、すべての顧客層が対象だよ。新規顧客はデフォルトで Bot Preference Sync が有効になっていて、既存顧客がレガシーな robots.txt の手動管理をしている場合は、設定を確認・移行するよう促されるの。広告で収益を得ているサイト運営者向けには、オンボーディング時に「このドメインは広告ページで収益化している」を選ぶと、Training が自動的に Disallow に設定されるオプションも用意されているよ(検索インデックスには残したまま、AI の学習だけ除外できるってこと)。設定は Cloudflare のゾーン単位のダッシュボードにある「AI bot configuration」から行えるよ。

ただし、複雑なカスタムルールには対応していなくて、あくまでカテゴリー単位の方針向けなの。もっと細かく制御したい場合は、Sync をオフにして手動管理に戻すこともできるよ。

まとめ

• Cloudflare が、ダッシュボードの AI bot 方針を自動で robots.txt に反映する「Bot Preference Sync」を発表したよ
• 今までは robots.txt の宣言と実際の強制ルールがズレることがあったけど、この機能で解消されるの
• Search・Agent・Training の 3 カテゴリーごとに Allow / 部分ブロック / 全体ブロック / Disallow を選べるよ
• Free から Enterprise まで全プランが対象で、広告収益型サイト向けのデフォルトオプションもあるよ
• 細かいカスタムルールが必要なら Sync をオフにして手動管理もできるよ
• 自分のサイトの robots.txt と AI bot 設定がちゃんと一致しているか気になっていた人に、うれしいアップデートだね！