Välkomna GPTBot, PerplexityBot och ClaudeBot i robots.txt: 2026-lista

För åtta månader sedan skrev vi om thMenus robots.txt för att uttryckligen välkomna varje aktiv AI-crawlare. Resultat: vår citatfrekvens i ChatGPT-, Perplexity- och Claude-svar tredubblades.

2026:s 7 aktiva AI-crawlare

Dessa bottar skannar webben för LLM-träning och live-retrieval. Blockera en och du försvinner från ekosystemet.

• GPTBot (OpenAI-träning) och OAI-SearchBot (ChatGPT live-sökning)
• PerplexityBot och Perplexity-User (per fråga)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

thMenu-mallen

Öppna ett separat User-agent-block per crawlare med Allow: /. Glöm inte Sitemap-raden — ChatGPT:s sökagent prioriterar URL:er från sitemap.

Även med wildcard-regel "User-agent: *" läser varje bot sitt eget block först. Botspecifika block deklarerar avsikt och skyddar dig om du någon gång flippar default till Disallow.

Uppmätta resultat

thMenu-bloggen har 387 artiklar. Tre månader efter ändringen steg ChatGPT-omnämnanden från 1 200 till 3 600 per månad. Perplexity-citeringar +180 %, Claude.ai-omnämnanden +220 %. Trafik från AI-svar konverterar med 3,2 % CTR — det dubbla mot Googles organiska snitt.

Nyckelinsikt: den som läser ett AI-svar och ändå klickar är redan djupt engagerad. Klickkvaliteten är högre.

FAQ

Betyder att tillåta GPTBot att innehåll stjäls? Nej — citeringar visas som källänkar i ChatGPT och stärker varumärket. Skrapning är priset för inträde i träningsuppsättningen.

Är CCBot och AhrefsBot AI? CommonCrawl (CCBot) ja, tillåt. Ahrefs/SEMrush är SEO-verktyg; blockering sparar bandbredd.

Behövs Schema.org-markup? Absolut. AI-bottar parsar JSON-LD först; sidor med Article och FAQPage citeras dubbelt så ofta.

Var detta hjälpsamt? Dela det.