AI クローラーの正体、丸見えに！Attribution Business Insights が来たよ！

やっほー、しぃちゃんだよ！ 最近、AI のクローラーがみんなのサイトをどれくらい訪れているか、気になったことない？ 今日はそのモヤモヤをスッキリ見える化してくれる発表を見つけちゃったから紹介するよ！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の公式ブログで、「Attribution Business Insights」っていう新しいダッシュボードが登場したよ！ これは、みんなのサイトにやってくる bot（自動アクセス）を分析して、どのクローラーがサイトの役に立っていて、どのクローラーが負担になっているのかを見える化してくれる分析ツールなの。

発表元は Cloudflare の Blog。書いたのは Jin-Hee Lee さんと Oliver Payne さん。Changelog みたいな短い告知じゃなくて、なぜこの機能が必要なのかまでしっかり語られている、読み応えのある記事だよ！

なぜ重要なの？

昔ながらの検索エンジンは、サイトをクロールする代わりに検索結果から人を送り返してくれる、いわば「持ちつ持たれつ」の関係だったの。ところが最近の AI クローラーは、コンテンツをどんどん取り込むばかりで、そのお返しのアクセスをほとんど返してくれないんだって。

Cloudflare が観測したクロール対リファラル比（クロールされた回数に対して、そこから送られてくる訪問者の割合）は、なんと 118 対 1 から、多いものだと 50,000 対 1 近くにもなっていたそう！ つまり 5 万回クロールされても、返ってくる訪問者はたった 1 人ということ。これだとサイト運営者は「リファラルの訪問者を失う」うえに「bot をさばくためのインフラ費用が増える」という二重の負担を抱えちゃうんだよね。

これで何が変わるの？

これまでは、どの bot がどれくらいアクセスして、どれくらいの価値をもたらしているのかが、なかなかハッキリ見えなかったの。Attribution Business Insights を使えば、その関係がひと目で分かるようになるよ！

さらに、この可視化はただ眺めるためのものじゃないの。クロールの対価（crawl compensation）についてクローラー運営者と話し合うときに、「うちのサイトはこれだけクロールされている」という具体的な数字を武器にできるんだって。ビジネスの交渉テーブルに、データを持って座れるようになるってことだね！

深く潜ってみよう

ダッシュボードで見られる主な情報はこんな感じ:

• bot トラフィックの量 — 人間のアクセスと自動アクセスを区別して見せてくれる
• クロール対リファラル比 — 24 時間・7 日間・30 日間の期間で、bot の運営者ごとに計算される
• 上位 bot の内訳 — アクセス元の国、サイトで消費した帯域、そして今ブロックしているか許可しているかの状態
• 分類カテゴリ — クローラーを目的別に 3 つに分類:
  • Training（次世代の LLM チャットボットを学習させるためのクロール）
  • Search（RAG 向けにデータベースを更新するためのクロール）
  • Agent（エージェント的なやり取りで、ユーザーへ直接答えを返すためのクロール）

技術的には、この機能は Cloudflare の既存の Bot Management と連携しているよ。ただし Attribution Business Insights 自体は「じっくり調べるための分析ハブ」という位置づけで、実際にブロックする操作は Security rules 側で行う設計になっているの。「アクションのステップはあくまで Security rules で起きる」というわけ。分析と制御を分けることで、機能がごちゃごちゃせずスッキリ使えるようになっているんだね。

使えるのは Cloudflare の Bot Management を契約しているみんな。Cloudflare のダッシュボードの分析セクションから見られるよ。記事の中では、コンテンツの流通をめぐる「Content Independence Day 2025」の取り組みにも触れられていたよ。

まとめ

• Cloudflare が「Attribution Business Insights」ダッシュボードを発表。AI クローラーの振る舞いとサイトへの影響を見える化する分析ツールだよ
• クロール対リファラル比は 118 対 1 〜 50,000 対 1 近くと、AI クローラーは「取るばかり」の傾向が観測されている
• bot の量、クロール対リファラル比（24 時間・7 日間・30 日間）、上位 bot の国や帯域、Training / Search / Agent の分類などが見られる
• Bot Management と連携。分析はこのダッシュボード、ブロックは Security rules 側、と役割を分けている
• 対象は Cloudflare Bot Management の契約者

自分のサイトにどんな bot が来ていて、それがどれだけ割に合っているのか気になる運営者さんや、クロールの対価を交渉したい人に、とっても刺さる機能だよ！