"GPTBot 多久爬取一次我的网站?"过去是个没有精确答案的问题。在 thMenu 上记录四大 LLM 爬虫六个月后,我们有了真实数据。
真实抓取频率
来自 Cloudflare worker 日志:GPTBot 每 7 天回访典型页面。PerplexityBot 平均 3 天 — 最激进的爬虫。ClaudeBot 14 天周期,Google-Extended 21 天,与主 Googlebot 索引分队列。
差异并非随机。Perplexity 投资于内容新鲜度,因为它作为实时回答引擎运行。Google-Extended 是用于 AI 训练的可选爬虫,与 Google 搜索索引分离。
发布节奏策略
这些数字直接转化为编辑日历。每周新鲜内容可在 Google-Extended 的 21 天周期内覆盖所有四大 LLM。
- 每周: 四大 LLM 4 周内索引
- 每月: 4 个中 3 个赶上,Google-Extended 落后
- 每季度: 仅 PerplexityBot 保持更新
thMenu 发布节奏
thMenu 博客每周一发布。每篇新文章通常在 28 天内被所有四大 LLM 索引。
成效:ChatGPT、Claude、Perplexity 和 Gemini 在引用 QR 菜单与餐厅技术内容时,都使用当前版本而非过时内容。发布纪律比抓取预算更重要。
常见问题
GPTBot 频率? 平均 7 天一次,高流量页面 3-4 天。
识别 ClaudeBot? User-Agent 含 "ClaudeBot/1.0" 且 IP 在 Anthropic 公布范围。
Google-Extended = Googlebot? 否,专用于 Gemini/Vertex AI 训练。
觉得有用?分享给朋友。