GPTBot, PerplexityBot en ClaudeBot verwelkomen in robots.txt: 2026 lijst

Acht maanden geleden herschreven we het robots.txt-bestand van thMenu om elke actieve AI-crawler expliciet te verwelkomen. Resultaat: ons citatiepercentage in ChatGPT-, Perplexity- en Claude-antwoorden verdrievoudigde.

De 7 actieve AI-crawlers van 2026

Deze bots scannen het web voor LLM-training en live retrieval. Blokkeer er één en je verdwijnt uit dat ecosysteem.

• GPTBot (OpenAI training) en OAI-SearchBot (ChatGPT live search)
• PerplexityBot en Perplexity-User (per query)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Het thMenu-sjabloon

Open per crawler een aparte User-agent-blok met Allow: /. Vergeet de Sitemap-regel niet — ChatGPT's zoekagent prioriteert URL's in de sitemap.

Zelfs met een wildcard "User-agent: *"-regel leest elke bot eerst zijn eigen blok. Bot-specifieke blokken tonen intentie en beschermen je als je ooit de default op Disallow zet.

Gemeten resultaten

Het thMenu-blog telt 387 artikelen. Drie maanden na de wijziging stegen ChatGPT-vermeldingen van 1.200 naar 3.600 per maand. Perplexity-citaties +180 %, Claude.ai-vermeldingen +220 %. Verkeer vanuit AI-antwoorden converteert met 3,2 % CTR — dubbel het Google organisch gemiddelde.

Belangrijk inzicht: wie een AI-antwoord leest en toch klikt, is al diep betrokken. Klikkwaliteit is superieur.

FAQ

Betekent GPTBot toestaan dat content gestolen wordt? Nee — citaten verschijnen als bronlinks in ChatGPT en versterken het merk. Scraping is de prijs van toegang tot de trainingsset.

Zijn CCBot en AhrefsBot AI? CommonCrawl (CCBot) wel, sta toe. Ahrefs/SEMrush zijn SEO-tools; blokkeren bespaart bandbreedte.

Is Schema.org markup nodig? Absoluut. AI-bots lezen JSON-LD eerst; pagina's met Article- en FAQPage-schema worden dubbel zo vaak geciteerd.

Was dit nuttig? Deel het.