Cloudflare が CDN キャッシュを AI 時代向けに作り直そうとしてるよ！

やっほー、しぃちゃんだよ！今日はキャッシュのお話で、しぃちゃんちょっとワクワクしてるの。ウェブを速くしてくれてる縁の下の力持ちが、AI の登場でまるごと考え直されようとしてるんだもん！

Cloudflare Blog blog.cloudflare.com

なにが発表されたの？

Cloudflare の Blog が、CDN のキャッシュを AI 時代に合わせて「そもそも設計から考え直そう」っていう記事を出したよ。きっかけは、ネットワークを流れるトラフィックのうち 32% が自動化されたトラフィック（ボットや AI クローラーなど）になってること。人間の閲覧とはまるでちがう動き方をするから、今のキャッシュの仕組みだとだんだん回らなくなってきたんだって。

そこで Cloudflare は、キャッシュの入れ替えアルゴリズムを見直したり、AI 用と人間用でキャッシュの層（tier）を分けたりする新しい設計を検討中なの。

なぜ重要なの？

そもそもキャッシュって、CDN がよく読まれるページをコピーして手元に置いておく仕組み。手元にあれば（キャッシュヒット）速くて安く返せるけど、なければ（キャッシュミス）オリジンサーバーまで取りに行くことになる。だから「よく読まれるものをどれだけ手元に残せるか」がキモなんだよね。

ところが AI クローラーは、ここが人間と真逆なの。原文はこう言ってるよ。

This repeat access to long-tail assets churns the cache that the human traffic relies on.

これは「long-tail なコンテンツへの繰り返しアクセスが、人間のトラフィックが頼りにしているキャッシュをかき回しちゃう」って意味だよ。具体的にはこんな感じ。

• 毎回ちがう URL を叩きにいくから、ユニークアクセス率が 70% から 100% くらいと超高い
• 人気ページじゃなくて、サイトの隅っこにある滅多に読まれないコンテンツまで深く掘りにいく
• URL の扱いが雑で、けっこうな割合が 404 エラーやリダイレクトになっちゃう

この動きのせいで、今まで「めったに読まれない long-tail」だったページが急によく叩かれるようになって、人間のためのキャッシュが押し出されちゃうの。実際に Wikipedia は画像の一括収集でマルチメディアの帯域が 50% も増えたり、SourceHut はサービスが不安定になったり、Read the Docs は大きいファイルを 1 日に何百回もダウンロードされたり…って被害が報告されてるんだって。

これで何が変わるの？

Cloudflare のアイデアは「人間と AI で通り道を分ける」こと。

同じ AI トラフィックでも、RAG（retrieval-augmented generation） やリアルタイム要約みたいに応答速度が大事なものは、大きめの容量とそこそこの速さを両立したキャッシュへ振り分ける。

一方で、モデル学習のための大量スクレイピングみたいに急がないものは、もっと奥にある（到達に時間がかかる）ディープなキャッシュ層へ。しかもキューで順番待ちさせたり、レート制限をかけたりして、バックエンドがパンクしないようにするの。インフラが混んでるときは、急ぎじゃない一括スクレイピングを後回しにする、なんて調整もできるようになるんだって。

深く潜ってみよう

今の Cloudflare のキャッシュは LRU（least recently used＝直近でいちばん使われてないものから捨てる） っていうアルゴリズムで管理されてる。でも AI クローラーみたいに一度きりのアクセスを大量にばらまかれると、まだ人間に必要なコンテンツが押し出されちゃうんだ。

そこで短期の実験として試してるのが SIEVE や S3FIFO っていう新しい入れ替えアルゴリズム。原文によると、これらを使えば AI の干渉があってもなくても、人間のトラフィックが同じヒット率を保てる可能性があるんだって。さらに、ワークロードを見て賢く判断する機械学習ベースのキャッシュも研究中なの。

長期的には、さっき書いた「AI 専用のキャッシュ層」を用意して、人間と AI を別々の tier に振り分けるのがベストだと考えてるみたい。

ちなみに Cloudflare は、この課題に向けた道具立てもすでに用意してるよ。サイトのコンテンツをまとめる AI Index、エージェント向けに軽い Markdown for Agents、クローラーを管理する AI Crawl Control、クロールに課金する Pay Per Crawl なんかがそう。キャッシュの作り直しは、この流れの延長線上にあるんだね。

まとめ

• ネットワークの 32% が自動化トラフィックで、AI クローラーは人間と真逆の「long-tail を毎回ユニークに叩く」動きをする
• そのせいでキャッシュミスが増えて、Wikipedia・SourceHut・Read the Docs などで実害が出てる
• 短期は LRU から SIEVE / S3FIFO や機械学習ベースへ、長期は AI 専用キャッシュ層への分離を検討中
• 急がない学習クロールはディープな層＋キュー＋レート制限で受け止める設計

CDN やキャッシュの中身が気になるインフラ好きさん、そして自分のサイトが AI クローラーに帯域を食われて困ってる運営者さんに刺さるお話だよ！