Detecção de bots LLM: separar tráfego GPTBot dos logs

Em novembro de 2027, os logs Cloudflare do thMenu registram mensalmente 14.200 pageviews GPTBot, 8.700 PerplexityBot e 4.100 ClaudeBot. Representa 18 % do crawl total e decide quais páginas são citadas em respostas de IA.

Assinaturas User-Agent

A OpenAI usa "GPTBot/1.2" para crawl de treino e "ChatGPT-User" para fetch em sessão. A Perplexity separa "PerplexityBot" e "Perplexity-User"; a Anthropic combina "ClaudeBot", "Claude-Web" e "anthropic-ai".

No Cloudflare Logpush o campo ClientRequestUserAgent vai direto para BigQuery. Em Combined Log Format, basta um grep.

Modelos grep prontos

Comandos que usamos no relatório semanal:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URLs
• grep -c "PerplexityBot" access.log — contagem diária
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — banda

No thMenu as páginas de categoria de cozinha recebem 340 hits semanais de GPTBot; os posts de blog dominam para PerplexityBot. Isso reordenou nosso backlog AI no trimestre.

Filtrar falsificações

Scrapers imitam GPTBot. Verifique reverse DNS: openai.com, anthropic.com, perplexity.ai. A regra WAF "Verified Bot" do Cloudflare automatiza isso.

OpenAI e Anthropic publicam ranges CIDR — IP fora do range com user-agent oficial é quase sempre fraude.

FAQ

Devo bloquear GPTBot? Não — bloquear remove você das citações ChatGPT. Use Disallow só em conteúdo pago.

ChatGPT-User vs GPTBot? GPTBot indexa em massa; ChatGPT-User busca em tempo real quando um usuário clica — sinal direto de citação.

Quanto reter? 30 dias para tendências; 7 dias mínimos para uso operacional.

Achou útil? Compartilhe.