LLM-bot detektion: Adskil GPTBot-trafik i dine logs

I november 2027 viser thMenus Cloudflare-logs månedligt 14.200 GPTBot, 8.700 PerplexityBot og 4.100 ClaudeBot sidevisninger. Det er 18 % af det samlede crawl-volumen og afgør hvilke sider der citeres i AI-svar.

User-Agent signaturer

OpenAI bruger "GPTBot/1.2" til trænings-crawl og "ChatGPT-User" til live fetches. Perplexity opdeler "PerplexityBot" og "Perplexity-User", Anthropic "ClaudeBot", "Claude-Web" og "anthropic-ai".

Med Cloudflare Logpush sendes feltet ClientRequestUserAgent direkte til BigQuery; til Combined Log Format rækker en grep-linje.

Klar-til-brug grep-skabeloner

Kommandoer fra vores ugentlige rapport:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URLs
• grep -c "PerplexityBot" access.log — dagligt hit-tal
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — båndbredde

Hos thMenu får køkken-kategorisider 340 GPTBot-hits om ugen, og blogindlæg er PerplexityBots favoritter. Det omrokerede vores AI-backlog for kvartalet.

Frasortering af falske bots

Scrapere efterligner GPTBot. Tjek reverse DNS mod openai.com, anthropic.com eller perplexity.ai. Cloudflare WAF-reglen "Verified Bot" automatiserer det.

OpenAI og Anthropic udgiver CIDR-områder; en IP udenfor med gyldig user-agent er næsten altid falsk.

FAQ

Skal jeg blokere GPTBot? Nej — blokering fjerner dig fra ChatGPT-citater. Disallow kun for betalingsindhold.

ChatGPT-User vs GPTBot? GPTBot indekserer i bulk; ChatGPT-User henter siden i realtid når en bruger spørger — direkte citationssignal.

Hvor længe gemmes logs? 30 dage til trends, mindst 7 til drift.

Var dette nyttigt? Del det.