AI 学習クローラーだけ 301 で本命ページへ！Redirects for AI Training だよ！

やっほー、しぃちゃんだよ！今日はクローラー周りのちょっと気の利いたアップデートを見つけちゃったから紹介するね。

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog で「Redirects for AI Training」っていう新機能が発表されたよ。Cloudflare のネットワークが、検証済みの AI 学習クローラーが古いページや重複ページをリクエストしたときに、canonical な URL へリダイレクトしてくれるっていうものなの。

AI Crawl Control の Quick Actions から有効にすると、canonical タグが別ページを指しているページに AI 学習クローラーがアクセスしたとき、そのクローラーには canonical 版への 301 リダイレクトが返るよ。人間の訪問者や検索エンジンのクローラー、AI Search のエージェントは今まで通り元のページをそのまま見られるの。

今までどうだったの？

サイトには古い URL や重複した URL がどうしても増えていくよね。人間や検索エンジン向けには canonical タグで「本命はこっち」って伝えられたけど、AI の学習クローラーに対しては重複ページも遠慮なくクロールされちゃう状態だったの。

これで何が変わるの？

トグルを 1 つオンにするだけで、AI 学習クローラーを canonical なページへ誘導できるようになるよ。重複や古いコンテンツを学習に使われるのを減らせて、クローラーを正規版にちゃんと寄せられるのがうれしいポイント。しかも人間や検索エンジンの見え方は一切変わらないから、SEO への影響を気にせず使えるの。

深く潜ってみよう

仕組みはすごくシンプルで、みんながすでに張っている canonical タグをそのまま活用するの。だから追加の設定はトグルを有効にするだけで、余計な準備はいらないよ。対象になるのは検証済みの AI 学習クローラーだけで、返るのは 301 リダイレクト。料金は Pro・Business・Enterprise プランで追加費用なしで使えるよ。もっと詳しい挙動は Redirects for AI Training のドキュメント にまとまってるから、気になる人はのぞいてみてね。

まとめ

• Cloudflare が AI 学習クローラー向けの「Redirects for AI Training」を発表したよ
• 既存の canonical タグを使って、AI 学習クローラーだけ canonical 版へ 301 リダイレクト
• 人間・検索エンジン・AI Search には影響なし、設定はトグル 1 つ
• Pro・Business・Enterprise プランで追加費用なし

自分のサイトを AI に正しく読ませたい人や、重複ページのクロールを整理したい運用担当の人に刺さるアップデートだよ！