Anthropic・OpenAI・Google のボットクロール挙動比較

「GPTBot は私のサイトをどのくらいの頻度でクロールするのか?」かつては推測でしか答えられない質問でした。thMenu で 4 大 LLM クローラーを 6 か月ログ取りした結果、実測値が出ました。

実測クロール頻度

Cloudflare worker ログより:GPTBot は典型的なページを 7 日ごとに再訪。PerplexityBot は平均 3 日 — 最も積極的なクローラー。ClaudeBot は 14 日サイクル、Google-Extended は 21 日、メイン Googlebot とは別キューで稼働。

これらの差はランダムではありません。Perplexity はリアルタイム回答エンジンとして新鮮度に投資。Google-Extended はオプトイン式の AI トレーニングクローラーで、検索インデックスとは独立しています。

公開頻度戦略

これらの数字は編集カレンダーに直結します。週次新規コンテンツは Google-Extended の 21 日ウィンドウ内でも 4 つの LLM 全てに届きます。

• 週次: 4 LLM が 4 週間以内にインデックス
• 月次: 4 つ中 3 つは追従、Google-Extended は遅延
• 四半期: PerplexityBot のみが最新を保つ

thMenu の公開ペース

thMenu ブログは毎週月曜公開。新規記事は通常 28 日以内に 4 大 LLM 全てでインデックスされます。

結果:ChatGPT、Claude、Perplexity、Gemini で QR メニュー関連クエリは古い版でなく現在版が引用されます。クロール予算より公開規律が重要です。

FAQ

GPTBot の頻度は? 平均 7 日、人気ページは 3-4 日。

ClaudeBot の識別? User-Agent に "ClaudeBot/1.0" を含み、Anthropic 公開 IP 範囲。

Google-Extended = Googlebot? 否、Gemini/Vertex AI 訓練専用。

お役に立ちましたか?シェアしてください。