Rilevamento bot LLM: separare il traffico GPTBot nei log

A novembre 2027 i log Cloudflare di thMenu mostrano 14.200 pageview GPTBot, 8.700 PerplexityBot e 4.100 ClaudeBot al mese. È il 18 % del crawl totale e decide quali pagine vengono citate nelle risposte AI.

Firme User-Agent

OpenAI distingue "GPTBot/1.2" per il crawl di training e "ChatGPT-User" per i fetch in sessione. Perplexity divide tra "PerplexityBot" e "Perplexity-User", Anthropic tra "ClaudeBot", "Claude-Web" e "anthropic-ai".

Con Cloudflare Logpush il campo ClientRequestUserAgent va in BigQuery; in Combined Log Format basta un grep.

Comandi grep pratici

I comandi che usiamo per il report settimanale:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URL
• grep -c "PerplexityBot" access.log — conteggio giornaliero
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — banda

Per thMenu le pagine di categoria cucina ricevono 340 hit settimanali da GPTBot, mentre PerplexityBot predilige i post del blog. Questo ha riordinato il backlog AI per il trimestre.

Smascherare i falsi bot

Gli scraper imitano GPTBot. Verifica con reverse DNS: openai.com, anthropic.com, perplexity.ai. La regola WAF Cloudflare "Verified Bot" automatizza il controllo.

OpenAI e Anthropic pubblicano i range CIDR ufficiali — IP fuori range con user-agent valido sono quasi sempre fraudolenti.

FAQ

Devo bloccare GPTBot? No — bloccarlo cancella le tue citazioni ChatGPT. Usa Disallow solo per contenuti a pagamento.

ChatGPT-User vs GPTBot? GPTBot indicizza in massa; ChatGPT-User apre il link in tempo reale quando un utente lo richiede — segnale di citazione.

Per quanto tenere i log? 30 giorni per analisi di trend; 7 giorni minimi per uso operativo.

Ti è stato utile? Condividilo.