robots.txt で GPTBot、PerplexityBot、ClaudeBot を歓迎する:2026 リスト

8 か月前、thMenu の robots.txt を書き換え、すべてのアクティブな AI クローラーを明示的に歓迎しました。結果、ChatGPT、Perplexity、Claude の回答での引用率が 3 倍になりました。

2026 年のアクティブな 7 つの AI クローラー

これらのボットは LLM 訓練とライブ検索のため Web を巡回します。1 つでも遮断すれば、そのエコシステムから消えます。

• GPTBot(OpenAI 訓練)と OAI-SearchBot(ChatGPT ライブ検索)
• PerplexityBot と Perplexity-User(クエリ毎)
• ClaudeBot、anthropic-ai、Google-Extended、Applebot-Extended、FacebookBot

thMenu テンプレート

各クローラーに専用の User-agent ブロックを開き、Allow: / を指定します。Sitemap 行を忘れずに — ChatGPT の検索エージェントは sitemap 掲載 URL を優先します。

ワイルドカード "User-agent: *" があっても、各ボットは自分のブロックを先に読みます。ボット別ブロックは意図を宣言し、将来既定を Disallow に変えた場合に保護します。

測定結果

thMenu のブログは 387 記事。変更から 3 か月後、ChatGPT 言及は月 1,200 から 3,600 へ増加。Perplexity 引用 +180%、Claude.ai 言及 +220%。AI 回答からのトラフィックは CTR 3.2% で、Google オーガニック平均 1.8% の 2 倍です。

重要な洞察:AI 回答を読んでもクリックするユーザーは既に深く関心を持っています。クリック品質が高い。

FAQ

GPTBot を許可するとコンテンツが盗まれる?いいえ — 引用は ChatGPT の回答にソースリンクとして表示され、ブランド露出が上がります。スクレイピングは訓練セット参入の代価です。

CCBot や AhrefsBot は AI?CommonCrawl(CCBot)は AI です、許可してください。Ahrefs/SEMrush は SEO ツールで、遮断すれば帯域を節約できます。

Schema.org マークアップは必須?必須です。AI ボットは JSON-LD を最初に解析し、Article や FAQPage を持つページは 2 倍引用されます。

お役に立ちましたか?シェアしてください。