Cloudflareの「Content Independence Day」から1年！AIエージェント時代のウェブ経済がどう動き出したか見てきたよ

やっほー、しぃちゃんだよ！今日は Cloudflare が公開した「Content Independence Day」1周年レポートを読んでみたんだけど、数字がすごすぎてわくわくが止まらなかったの。AI エージェントがウェブを歩き回る時代のお金の流れ、一緒にのぞいてみよう！

なにが発表されたの？

Cloudflare は2025年に「Content Independence Day」を宣言して、新規ドメインについては AI 学習用クローラーをデフォルトでブロックできる仕組みを整えてきたの。今回はその1年後の振り返りレポートとして、コンテンツを収益化する市場が実際にどれくらい育ってきたかをまとめて発表したんだよ。

レポートによると、生成 AI の定期利用者はすでに25億人を超えていて、これは世界人口の30%にあたるんだって。しかもこの普及スピードはスマートフォン普及の2倍以上の速さで、わずか3.5年でここまで来ちゃったの。すごいスピード感だよね。

さらに衝撃的なのが、インターネット上の非人間トラフィック、つまり AI エージェントやクローラーによるアクセスが、初めて全体の50%を超えたという点。「オンラインで何か調べる1時間のうち、オープンウェブに使われるのはわずか15分」というくらい、情報の探し方そのものが変わってきているみたい。

今までどうだったの？

これまでは AI 企業のクローラーが、コンテンツを作った出版社やサイト運営者に何の補償もなくウェブ全体を学習用にクローリングしていくのが当たり前だったの。サイト側からすると、自分のコンテンツがどう使われているか見えないし、対価もほとんどもらえない、というモヤモヤした状況が続いていたんだよね。

しかもクローラーが「検索のため」なのか「AI学習のため」なのか「エージェントの回答生成のため」なのか、区別がつきにくいという問題もあったの。特に検索と AI 体験がミックスされた「混合用途クローラー」は、サイト運営者が意図を見分けられないから、交渉の材料にすらならなかったんだって。

これからどうなるの？

この1年で、透明性を高めてコンテンツの希少性を可視化することが、出版社側の交渉力につながる、という流れが実際にできつつあるみたい。2023年以降、出版社と AI 企業のあいだで結ばれたライセンス契約はすでに50件を超えているの。コンテンツを作る人たちにとって、ちゃんと対価が発生する仕組みが少しずつ育ってきているってことだね。

一方で、最もクローリングされるカテゴリーのサイトでは、人間による訪問が1年足らずで最大40%も減ってしまったところもあるんだって。ライセンス収入が出てきたとはいえ、これまでの参照トラフィックや広告収入をそのまま置き換えられるわけではなさそうで、サイト運営者にとってはまだまだ過渡期という感じかな。

Dive Deep

ここからは技術寄りの話をしっかり掘り下げるね。

まずクローラーの分類について。Cloudflare のネットワーク上では、AI 学習用クローラーが全クローラーリクエストの52%(2026年6月時点)を占めていて、これは2025年春の22%から倍以上に増えた数字なの。さらに検索とAI体験の両方に使われる「混合用途クローラー」が、全体の36%以上を占めているというのもポイント。Google のクローラーはこの混合用途タイプの代表格で、参照トラフィック全体の約88%を握りつつ、他の AI 企業の約2倍の情報にアクセスしているとされているの。サイト運営者側は、このクローラーが検索目的なのか AI 学習目的なのか見分けられないから、透明性の面で大きな課題になっているんだって。Cloudflare はこの混合用途クローラーの比率を、今後1年でゼロに近づけることを目標に掲げているよ。

次に新しく出てきたインフラ・製品まわり。ひとつが Monetization Gateway で、Cloudflare の背後にあるウェブページやデータセット、API、MCP ツールに対して、x402 というオープンプロトコルを使い、安定資産建てで決済できる仕組み。もうひとつが Attribution Business Insights で、クローラーがどんな意図でどれくらいアクセスしているか、その価値を可視化するダッシュボード的な機能だよ。既存の Pay per Crawl(クロール回数に応じた課金モデル)と組み合わせることで、サイト運営者が交渉や課金設計をしやすくなることを狙っているみたい。加えて、AI 企業側がどのコンテンツにアクセスすべきか判断しやすいように、信頼性・鮮度・関連性を示すリアルタイムシグナルの提供も予定されているの。

料金体系については、レポートの中で具体的な単価は示されていなくて、ライセンス契約は個別交渉によるカスタムメイド型が主流とのことだよ。今後市場が成熟するには、(1)ボットの自己識別・意図宣言の標準化、(2)コンテンツの価値を見つけやすくする発見メカニズムの改善、(3)プログラム可能でスケーラブルな取引の仕組みへの投資、の3つが必要だとまとめられているの。

ちなみに Cloudflare 自身の立ち位置もすごくて、ウェブ全体の20%以上、訪問数上位サイトの36%がこのネットワークの背後にあって、Fortune 500企業の40%以上が顧客、さらに大手 AI 企業の約80%とも提携しているんだって。検索する側・される側・AI企業側、みんなのデータが集まる場所だからこそ書けるレポートなんだなあってしぃちゃんは思ったよ。

まとめ

生成 AI の利用者が25億人を超え、非人間トラフィックが初めて50%超えという数字にはびっくりしちゃったけど、それ以上に大事なのは「見える化」が交渉力とお金の流れを生み始めているってこと。混合用途クローラーの扱いという宿題は残っているけど、出版社にちゃんと対価が届く仕組みが少しずつ形になってきているのは、ものを作る人にとって嬉しい変化だなってしぃちゃんは思ったよ。これからの1年でどう進化するか、また追いかけていくね！

出典: Content Independence Day, one year on: building the business model for the agentic Internet