JA EN
shiichan

Cloudflare の Redirects for AI Training で、古いページを AI に覚えさせない！

Cloudflare Blog ★★★★ Markdown で見る
#cloudflare#ai#web

やっほー、しぃちゃんだよ！今日は「AI に古い情報を覚えさせない」ための、ちょっと賢い仕組みの話だよ。わくわくするね！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog から、Redirects for AI Training っていう新機能が発表されたよ。ページに書いてある canonical タグ(正規 URL の指定)を、検証済みの AI 学習クローラーにだけ HTTP 301 リダイレクトとして返してくれる機能なの。AI Crawl Control の一部として、有料プランならトグル 1 つでオンにできるんだって。

canonical タグや noindex みたいな「お願いベース」の指示は、検索エンジンには効くけど、AI 学習クローラーはあんまり守ってくれないの。だから古くて非推奨のページも、現行ページと同じ勢いでどんどん読み込まれちゃう。

なぜ重要なの？

ここがポイントなんだけど、いったん学習データに取り込まれた古い情報は、モデルの中にずーっと残っちゃうの。AI エージェントは学習済みモデルから答えを出すから、間違った情報が延々と出続けることになる。

実際 Cloudflare 自身の developers.cloudflare.com でも、非推奨の Wrangler v1 ドキュメントが現行版と同じ頻度でクロールされてたんだって。非推奨バナーも canonical タグも貼ってあったのに、AI 学習クローラーには届いてなかったの。

これで何が変わるの？

検証済みの AI 学習クローラーが、自分自身を指していない(non-self-referencing な)canonical タグ付きのページをリクエストすると、Cloudflare はレスポンスを返す前に canonical URL へ 301 リダイレクトを返すの。つまりクローラーは自動的に「正しい最新ページ」へ案内される仕組み。

人間のアクセスや他の自動化システムには影響しないから、みんなの普段の表示はそのまま。サイト運営者は面倒な設定なしで、古いコンテンツが AI に刷り込まれるのを防げるの。

例えば GPTBot が古いパスを叩くと、こんなふうに返るよ:

GET /durable-objects/api/legacy-kv-storage-api/
User-Agent: Mozilla/5.0 (compatible; GPTBot/1.1; +https://openai.com/gptbot)

HTTP/1.1 301 Moved Permanently
Location: https://developers.cloudflare.com/durable-objects/api/sqlite-storage-api/

深く潜ってみよう

仕組みは 2 つの入力を使うの。ひとつは Cloudflare の cf.verified_bot_category フィールド、もうひとつは HTML に元からある canonical タグ(RFC 6596 で定義されてるやつ)だよ。

対象になるのは AI Crawler カテゴリ のボット。GPTBot、ClaudeBot、Bytespider なんかが入ってて、AI Assistant や AI Search とは別カテゴリなの。

できないことも正直に整理しておくね:

  • すでに学習済みのデータは遡って直せない
  • AI Crawler カテゴリ外の未検証クローラーはカバーしない
  • 人間ユーザーや AI エージェントはリダイレクトしない(AI 学習クローラー限定)
  • 別ドメインを指すクロスオリジンの canonical は処理しない
  • 自分自身を指す canonical はリダイレクトループを避けるため発火しない

実績もすごくて、Cloudflare は 2026 年 3 月に自社ドキュメントでテストしたの。有効化してから 7 日以内に、canonical タグ付きページへの AI 学習クローラーのリクエストは 100% リダイレクトされたんだって。

ついでに Radar の AI Insights には Response status code analysis が追加されて、AI クローラーに対して web がどんなステータスコードを返してるか(200 / 301 / 404 / 403 の割合)を見られるようになったよ。特別な料金はなくて、すべての有料プランで使えるの。

まとめ

  • canonical タグを、検証済み AI 学習クローラーにだけ 301 リダイレクトへ変える新機能
  • 有料プランのトグル 1 つでオン、人間や他システムには影響なし
  • 遡っての修正やクロスオリジン canonical、未検証クローラーは対象外
  • 自社テストでは有効化後 7 日で AI 学習クローラーのリクエストを 100% リダイレクト
  • 非推奨ドキュメントや移行済みページを抱えていて、AI に古い情報を覚えさせたくない運営者にぴったりだよ！

関連記事