LLM-botdetektering: separera GPTBot-trafik i loggar

I november 2027 visar thMenus Cloudflare-loggar månatligen 14 200 GPTBot-, 8 700 PerplexityBot- och 4 100 ClaudeBot-sidvisningar. Det är 18 % av total crawl-volym och avgör vilka sidor som citeras i AI-svar.

User-Agent-signaturer

OpenAI använder "GPTBot/1.2" för tränings-crawl och "ChatGPT-User" för live-hämtning. Perplexity delar mellan "PerplexityBot" och "Perplexity-User", Anthropic mellan "ClaudeBot", "Claude-Web" och "anthropic-ai".

Med Cloudflare Logpush går fältet ClientRequestUserAgent direkt till BigQuery; Combined Log Format klarar sig med en grep-rad.

Praktiska grep-mallar

Kommandona i vår veckorapport:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — topp 20 URL
• grep -c "PerplexityBot" access.log — dagliga träffar
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — bandbredd

Hos thMenu får kökskategorisidor 340 GPTBot-träffar per vecka, medan PerplexityBot föredrar bloggen. Det omorganiserade vår AI-backlog för kvartalet.

Filtrera bort falska bots

Scrapers utger sig för att vara GPTBot. Verifiera med reverse DNS mot openai.com, anthropic.com eller perplexity.ai. Cloudflare WAF-regeln "Verified Bot" gör det automatiskt.

OpenAI och Anthropic publicerar CIDR-intervall; IP utanför med giltig user-agent är nästan alltid förfalskad.

FAQ

Ska jag blockera GPTBot? Nej — blockering tar bort dig från ChatGPT-citat. Disallow endast för betalinnehåll.

ChatGPT-User vs GPTBot? GPTBot indexerar i bulk; ChatGPT-User hämtar sidan i realtid på användarens fråga — direkt citatsignal.

Hur länge spara loggar? 30 dagar för trender, minst 7 dagar för drift.

Var detta hjälpsamt? Dela det.