LLM-bot detectie: GPTBot-verkeer uit je logs filteren

In november 2027 tellen de Cloudflare-logs van thMenu maandelijks 14.200 GPTBot, 8.700 PerplexityBot en 4.100 ClaudeBot pageviews. Dat is 18% van het totale crawl-volume en bepaalt direct welke pagina's in AI-antwoorden geciteerd worden.

User-Agent handtekeningen

OpenAI publiceert "GPTBot/1.2" voor training en "ChatGPT-User" voor live fetches. Perplexity splitst "PerplexityBot" en "Perplexity-User", Anthropic "ClaudeBot", "Claude-Web" en "anthropic-ai".

Met Cloudflare Logpush gaat het veld ClientRequestUserAgent direct naar BigQuery; voor Combined Log Format volstaat een grep-oneliner.

Praktische grep-templates

De commando's voor onze weekrapportage:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URLs
• grep -c "PerplexityBot" access.log — dagelijks totaal
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — bandbreedte

Bij thMenu krijgen keukencategoriepagina's wekelijks 340 GPTBot-hits, en blogposts trekken vooral PerplexityBot aan. Die analyse herschikte onze AI-content backlog.

Vervalste bots eruit halen

Scrapers vermommen zich als GPTBot. Controleer met reverse DNS naar openai.com, anthropic.com of perplexity.ai. Cloudflare WAF-regel "Verified Bot" automatiseert dit.

OpenAI en Anthropic publiceren CIDR-ranges; een IP buiten de range met een geldig user-agent is bijna altijd vervalst.

FAQ

Moet ik GPTBot blokkeren? Nee — blokkeren haalt je uit ChatGPT-citaten. Disallow alleen voor betaalde content.

Verschil tussen ChatGPT-User en GPTBot? GPTBot crawlt voor index; ChatGPT-User haalt je pagina realtime op bij een gebruikersvraag — een direct citatensignaal.

Hoe lang bewaren? 30 dagen voor trends, minimaal 7 dagen voor dagelijkse analyse.

Was dit nuttig? Deel het.