GPTBot, PerplexityBot és ClaudeBot üdvözlése a robots.txt-ben: 2026 lista

Nyolc hónapja átírtuk a thMenu robots.txt fájlját, hogy minden aktív AI-crawlert kifejezetten üdvözöljünk. Eredmény: a ChatGPT, Perplexity és Claude válaszaiban idézési arányunk megháromszorozódott.

A 2026 7 aktív AI-crawlere

Ezek a botok pásztázzák a webet LLM-tanításra és élő lekérdezésre. Egyet blokkolsz — eltűnsz az ökoszisztémából.

• GPTBot (OpenAI tanítás) és OAI-SearchBot (ChatGPT élő keresés)
• PerplexityBot és Perplexity-User (lekérdezésenként)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

A thMenu sablon

Nyiss külön User-agent blokkot crawlerenként Allow: / direktívával. Ne felejtsd a Sitemap sort — a ChatGPT keresőügynöke előnyben részesíti a sitemapben listázott URL-eket.

Wildcard "User-agent: *" szabály mellett is minden bot először a saját blokkját olvassa. Botspecifikus blokkok kinyilvánítják a szándékot és védenek, ha valaha Disallow-ra váltod a defaultot.

Mért eredmények

A thMenu blog 387 cikkből áll. A változás után három hónappal a ChatGPT-említések havi 1.200-ról 3.600-ra ugrottak. Perplexity-idézések +180 %, Claude.ai említések +220 %. Az AI-válaszokból érkező forgalom 3,2 % CTR-rel konvertál — a Google organikus átlagának kétszerese.

Kulcs felismerés: aki olvas egy AI-választ és mégis kattint, már mélyen érdekelt. A kattintásminőség magasabb.

GYIK

A GPTBot engedélyezése tartalomlopást jelent? Nem — az idézetek forrás-linkként jelennek meg a ChatGPT-ben és erősítik a márkát. A scraping ára a tanító halmazba kerülésnek.

CCBot és AhrefsBot AI-crawlerek? A CommonCrawl (CCBot) igen, engedélyezd. Az Ahrefs/SEMrush SEO-eszközök; blokkolásuk sávszélességet spórol.

Szükséges a Schema.org jelölés? Elengedhetetlen. Az AI-botok először a JSON-LD-t parse-olják; Article és FAQPage sémájú oldalakat kétszer gyakrabban idéznek.

Hasznosnak találtad? Oszd meg.