Skip to content
功能特色定价方案合作伙伴博客帮助关于我们联系我们
免费开始登录
返回博客
industry2027-11-086 分钟阅读

屏蔽还是允许AI爬虫?2026年的两难抉择

是否在robots.txt中屏蔽GPTBot?被屏蔽的网站AI引用率减少96%。SaaS与出版商决策矩阵以及路透社2026年的转向。

th

thMenu Team

thmenu.com

你的营销团队在Perplexity搜索"最佳QR菜单平台",结果找不到你的品牌。原因:robots.txt包含GPTBot Disallow指令,AI无法引用它读取不到的内容。

2024年看似简单的保护性决定,到2026年已成为战略性两难。你的内容是可授权资产还是营销门面?答案价值数百万美元。

引用惩罚:96%的隐形

Originality.AI在2026年10月的研究显示,屏蔽AI爬虫的网站在ChatGPT和Perplexity中获得的引用少96%。实际上你正在背离一个价值数十亿的AI搜索渠道。

损失在累积。谷歌AI Overviews在2026年占据搜索结果页面的43%,Perplexity每月处理7.8亿次查询。被屏蔽时,这些流量完全流向你的竞争对手。

SaaS与出版商:两种模型

决策矩阵取决于业务模式。对SaaS而言,内容是客户获取渠道:AI引用=免费线索。对出版商而言,内容是可授权资产:引用=无版税消费。

  • SaaS(thMenu, Shopify):允许——引用建立品牌知名度。
  • 出版商(Reuters, NYT):屏蔽+授权——内容即产品。
  • 电商(Amazon):允许——产品发现直接转化。

路透社和纽约时报的U型转弯

路透社和纽约时报在2024年8月完全屏蔽了GPTBot。但在2026年3月,他们转向了Reddit式的付费授权模式。纽约时报与OpenAI签署了1600万美元的年度协议。

教训:屏蔽不是终点,而是谈判策略。如果你的内容有独立市场价值,先屏蔽再谈判。如果没有,允许并收获可见性。

常见问题

屏蔽GPTBot会影响我的Google SEO吗?不会,Googlebot是独立的爬虫。但AI搜索流量会消失。

robots.txt更改需要多长时间生效?根据AI模型再训练周期需3-6个月。

餐厅网站应该允许GPTBot吗?是的。"附近最好的寿司"等查询会带来高购买意向流量。

觉得有用?分享给朋友。