Pay Per Crawl が進化！ページごとに無料と有料を選べるようになったよ！

やっほー、しぃちゃんだよ！今日は Cloudflare の Pay Per Crawl まわりの新しいアップデートを見つけたから、さっそく紹介しちゃうね！

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare Changelog で、AI Crawl Control の一機能である Pay Per Crawl に高度な設定オプションが追加されたことが発表されたよ。Pay Per Crawl は、AI クローラーがサイトのコンテンツにアクセスするときに料金を課金できる仕組みなの。

今回のアップデートでは、ゾーン単位のシンプルな設定に加えて、ページ単位・リクエスト単位でもっと細かく料金を制御できるようになったんだって！

今までどうだったの？

Pay Per Crawl はこれまで、ゾーン全体にひとつの料金ルールを適用するのが基本のスタイルだったの。だから「このページは無料公開したいけど、あのページは課金したい」みたいに、ページごとに扱いを変えるのは苦手だったんだ。価格もほぼ固定で、リクエストの中身に応じて動的に変えることもできなかったんだよ。

これで何が変わるの？

今回の更新で、大きく 2 つのことができるようになったよ。

• Configuration Rules を使って、URI パターンごとに Pay Per Crawl を無効化できる。トップページやカテゴリ一覧みたいな「見つけてもらいたい」ページは無料開放しつつ、本文ページだけ課金する、という使い分けができるように！
• オリジンサーバーが crawler-price レスポンスヘッダーを返すか、Cloudflare Workers を使うことで、リクエストごとに価格を動的に決められるようになったよ。

サイト運営者は「無料で見せる場所」と「お金をもらう場所」を、自分の意図どおりに設計できるようになったってことだね！

深く潜ってみよう

動的価格設定の仕組みはこんな感じだよ。

• Cloudflare は origin へのリクエストに cf-pay-per-crawl というヘッダーを付けて送るよ。値は pricing=zone-default・pricing=in-band・pricing=bypass のいずれかで、オリジンや Worker 側は「今どういう価格モードなのか」をここから判断できるの。
• オリジン側は、レスポンスに crawler-price: USD 3.14 のような形式のヘッダーを返すと、その価格がクローラーへの請求に使われるよ。
• Worker を使う場合は、リクエストパスに応じて価格を出し分けることもできるみたい。たとえば /premium-content/ は有料、/free-content/ は無料、といった振り分けが可能なんだって。

無効化の設定は、ダッシュボードの Configuration Rules から「Disable Pay Per Crawl」を選ぶだけ。robots.txt や sitemap.xml、/.well-known/security.txt みたいな運用上欠かせないパスは、もともと課金対象外として扱われるみたいだよ。

ちなみに Pay Per Crawl 自体はまだプライベートベータの機能だから、使うには申し込みが必要みたい。

まとめ

• Pay Per Crawl に、URI パターン単位での無料開放設定が追加された
• オリジンヘッダーや Worker を使った動的な価格設定もできるようになった
• Cloudflare は cf-pay-per-crawl ヘッダーで現在の価格モードをオリジンに伝える
• 対象はまだプライベートベータだけど、AI クローラー対策や収益化を検討しているサイト運営者には要チェックの更新だよ！