Velkommen til GPTBot, PerplexityBot og ClaudeBot i robots.txt: 2026 liste

For otte måneder siden omskrev vi thMenus robots.txt for eksplicit at byde hver aktiv AI-crawler velkommen. Resultat: vores citatrate i ChatGPT-, Perplexity- og Claude-svar tredobledes.

De 7 aktive AI-crawlere i 2026

Disse bots gennemtrawler nettet til LLM-træning og live retrieval. Bloker én og du forsvinder fra økosystemet.

• GPTBot (OpenAI træning) og OAI-SearchBot (ChatGPT live søgning)
• PerplexityBot og Perplexity-User (per forespørgsel)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

thMenu-skabelonen

Åbn en separat User-agent-blok per crawler med Allow: /. Glem ikke Sitemap-linjen — ChatGPT's søgeagent prioriterer URL'er fra sitemap.

Selv med wildcard "User-agent: *" læser hver bot først sin egen blok. Bot-specifikke blokke erklærer intention og beskytter dig, hvis du senere flipper default til Disallow.

Målte resultater

thMenu-bloggen har 387 artikler. Tre måneder efter ændringen steg ChatGPT-omtaler fra 1.200 til 3.600 om måneden. Perplexity-citationer +180 %, Claude.ai-omtaler +220 %. Trafik fra AI-svar konverterer ved 3,2 % CTR — det dobbelte af Googles organiske gennemsnit.

Vigtig indsigt: den, der læser et AI-svar og alligevel klikker, er allerede dybt engageret. Klikkvaliteten er højere.

FAQ

Betyder tilladelse til GPTBot at indhold stjæles? Nej — citationer vises som kildelinks i ChatGPT og styrker brandet. Scraping er prisen for adgang til træningssæt.

Er CCBot og AhrefsBot AI? CommonCrawl (CCBot) ja, tillad. Ahrefs/SEMrush er SEO-værktøjer; blokering sparer båndbredde.

Er Schema.org markup nødvendigt? Absolut. AI-bots parser JSON-LD først; sider med Article og FAQPage citeres dobbelt så ofte.

Var dette nyttigt? Del det.