Acolher GPTBot, PerplexityBot e ClaudeBot no robots.txt: lista 2026

Há oito meses reescrevemos o robots.txt do thMenu para dar boas-vindas explícitas a cada crawler de IA ativo. Resultado: nossa taxa de citação no ChatGPT, Perplexity e Claude triplicou.

Os 7 crawlers de IA ativos em 2026

Estes bots varrem a web para treino de LLM e busca em tempo real. Bloquear um remove você do ecossistema.

• GPTBot (treino OpenAI) e OAI-SearchBot (busca live ChatGPT)
• PerplexityBot e Perplexity-User (por consulta)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

O template thMenu

Abra um bloco User-agent separado por crawler com Allow: /. Não esqueça da linha Sitemap — o agente de busca do ChatGPT prioriza URLs listadas no sitemap.

Mesmo com regra coringa "User-agent: *", cada bot lê seu próprio bloco primeiro. Blocos por bot declaram intenção e protegem se um dia você mudar o default para Disallow.

Resultados medidos

O blog thMenu tem 387 artigos. Três meses após a mudança, as menções no ChatGPT subiram de 1.200 para 3.600 por mês. Citações no Perplexity +180%, menções Claude.ai +220%. O tráfego de respostas IA converte a 3,2% CTR — o dobro da média Google orgânico.

Insight: quem lê uma resposta IA e ainda clica já está engajado. A qualidade do clique é superior.

FAQ

Permitir GPTBot significa roubo de conteúdo? Não — as citações aparecem como links fonte no ChatGPT e elevam a marca. O scraping é o preço para entrar no training set.

CCBot e AhrefsBot são IA? CommonCrawl (CCBot) sim, permita. Ahrefs/SEMrush são ferramentas SEO; bloqueá-los economiza banda.

Schema.org é necessário? Indispensável. Bots IA leem JSON-LD primeiro; páginas com Article e FAQPage são citadas em dobro.

Achou útil? Compartilhe.