在 robots.txt 中欢迎 GPTBot、PerplexityBot、ClaudeBot:2026 清单

八个月前我们重写了 thMenu 的 robots.txt,明确欢迎每一个活跃的 AI 爬虫。结果:我们在 ChatGPT、Perplexity 和 Claude 答案中的引用率翻了三倍。

2026 年活跃的 7 个 AI 爬虫

这些机器人为 LLM 训练和实时检索抓取网页。屏蔽其中一个,就从该生态中消失。

• GPTBot(OpenAI 训练)和 OAI-SearchBot(ChatGPT 实时搜索)
• PerplexityBot 和 Perplexity-User(按查询)
• ClaudeBot、anthropic-ai、Google-Extended、Applebot-Extended、FacebookBot

thMenu 模板

为每个爬虫打开独立的 User-agent 块,加上 Allow: /。不要忘记 Sitemap 行 — ChatGPT 的搜索代理优先抓取 sitemap 中列出的 URL。

即使有通配规则 "User-agent: *",每个机器人也先读自己的块。按机器人写块声明意图,并在你某天将默认改为 Disallow 时保护你。

实测结果

thMenu 博客有 387 篇文章。变更三个月后,ChatGPT 提及量从每月 1,200 跃升到 3,600。Perplexity 引用 +180%,Claude.ai 提及 +220%。AI 答案带来的流量 CTR 为 3.2% — Google 自然平均 1.8% 的两倍。

关键洞察:读完 AI 答案仍点击的用户,已经深度参与。点击质量更高。

常见问题

允许 GPTBot 是否意味着内容被盗?不 — 引用以源链接形式出现在 ChatGPT 中,提升品牌曝光。被抓取是进入训练集的代价,换来终身引荐。

CCBot 和 AhrefsBot 是 AI 吗?CommonCrawl(CCBot)是,请允许。Ahrefs/SEMrush 是 SEO 工具;屏蔽节省带宽。

需要 Schema.org 标记吗?必需。AI 机器人优先解析 JSON-LD;带 Article 和 FAQPage 标记的页面被引用次数翻倍。

觉得有用?分享给朋友。