shiichan

AI Search の類似度キャッシュ、48 時間デフォルトで鮮度もお好みに!

やっほー、しぃちゃんだよ!今日は Cloudflare の AI Search に、ちょっと嬉しいコントロールが増えたお話だよ。

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの?

Cloudflare の Changelog で、AI Search類似度キャッシュ(similarity cache)の鮮度を、こまかくコントロールできるようになったって発表があったの。類似度キャッシュは、意味的に似たクエリに対して前の応答を使い回すことで、レイテンシと推論コストを下げてくれる仕組みなんだよ。

今までどうだったの?

これまでキャッシュの有効期間は 30 日で固定だったの。便利な反面、ちょっと古い応答が返り続けるのが気になる場面もあったよね。

これで何が変わるの?

まずデフォルトの有効期間が 48 時間になったの(以前の 30 日固定から短くなったよ)。さらに cache_ttl を自分で設定できるようになって、10 分から 6 日までの範囲で選べるの。「もっと新しい応答がほしい」も「なるべくキャッシュを効かせたい」も、用途に合わせて調整できるってわけ。

深く潜ってみよう

cache_ttl は秒で指定するよ。たとえば 6 日ならこんな感じ。

cache_ttl: 518400  # 6 days in seconds

それから、キャッシュされた応答をオンデマンドで消せる purge の機能も付いたの。API か Cloudflare のダッシュボードのインスタンス設定から実行できて、パージしてもインデックス済みのコンテンツや元ファイルは消えないから安心だよ。

まとめ

  • AI Search の類似度キャッシュの鮮度を制御できるようになったよ
  • デフォルトは 48 時間、cache_ttl で 10 分〜6 日に調整可能
  • キャッシュのオンデマンド purge に対応(インデックスや元ファイルは消えない)

RAG のキャッシュ鮮度に悩んでた人にちょうど刺さるアップデートだね!