Přivítání GPTBot, PerplexityBot a ClaudeBot v robots.txt: seznam 2026

Před osmi měsíci jsme přepsali robots.txt thMenu, abychom výslovně přivítali každého aktivního AI crawlera. Výsledek: naše míra citování v odpovědích ChatGPT, Perplexity a Claude se ztrojnásobila.

7 aktivních AI crawlerů v roce 2026

Tito boti procházejí web pro trénink LLM a live retrieval. Zablokujte jednoho — zmizíte z jeho ekosystému.

• GPTBot (trénink OpenAI) a OAI-SearchBot (live vyhledávání ChatGPT)
• PerplexityBot a Perplexity-User (per dotaz)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Šablona thMenu

Otevřete samostatný blok User-agent pro každého crawlera s Allow: /. Nezapomeňte na řádek Sitemap — vyhledávací agent ChatGPT preferuje URL ze sitemap.

I s wildcard pravidlem "User-agent: *" čte každý bot nejdřív svůj blok. Specifické bloky deklarují záměr a chrání, pokud někdy změníte default na Disallow.

Naměřené výsledky

Blog thMenu má 387 článků. Tři měsíce po změně zmínky v ChatGPT vzrostly z 1 200 na 3 600 měsíčně. Citace Perplexity +180 %, zmínky Claude.ai +220 %. Návštěvnost z AI odpovědí konvertuje s CTR 3,2 % — dvojnásobek průměru Google organic.

Klíčový poznatek: kdo čte AI odpověď a stejně klikne, je už hluboce zapojen. Kvalita kliknutí je vyšší.

FAQ

Znamená povolení GPTBot krádež obsahu? Ne — citace se zobrazují jako zdrojové odkazy v ChatGPT a posilují značku. Scraping je cena vstupu do training setu.

Jsou CCBot a AhrefsBot AI? CommonCrawl (CCBot) ano, povolte. Ahrefs/SEMrush jsou SEO nástroje; blokování šetří šířku pásma.

Je značkování Schema.org nutné? Nezbytné. AI boti parsují JSON-LD první; stránky s Article a FAQPage jsou citované dvakrát častěji.

Bylo to užitečné? Sdílejte to.