LLM-bot deteksjon: skille GPTBot-trafikk i loggene

I november 2027 viser thMenus Cloudflare-logger månedlig 14 200 GPTBot-, 8 700 PerplexityBot- og 4 100 ClaudeBot-sidevisninger. Det er 18 % av totalt crawlvolum og avgjør hvilke sider som siteres i AI-svar.

User-Agent-signaturer

OpenAI bruker "GPTBot/1.2" til trenings-crawl og "ChatGPT-User" for live fetches. Perplexity skiller "PerplexityBot" og "Perplexity-User", Anthropic "ClaudeBot", "Claude-Web" og "anthropic-ai".

Med Cloudflare Logpush går feltet ClientRequestUserAgent rett til BigQuery; Combined Log Format trenger bare en grep-linje.

Praktiske grep-maler

Kommandoer fra ukerapporten vår:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — topp 20 URL
• grep -c "PerplexityBot" access.log — daglige treff
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — båndbredde

Hos thMenu får kjøkkenkategoriene 340 GPTBot-treff i uka, mens PerplexityBot foretrekker bloggen. Det omrokerte AI-backloggen vår for kvartalet.

Filtrere ut falske bots

Scrapers utgir seg for GPTBot. Sjekk reverse DNS mot openai.com, anthropic.com eller perplexity.ai. Cloudflare WAF-regel "Verified Bot" automatiserer det.

OpenAI og Anthropic publiserer CIDR-områder; IP utenfor området med gyldig user-agent er nesten alltid forfalsket.

FAQ

Bør jeg blokkere GPTBot? Nei — blokkering fjerner deg fra ChatGPT-siteringer. Disallow kun for betalingsinnhold.

ChatGPT-User vs GPTBot? GPTBot indekserer i bulk; ChatGPT-User henter siden sanntid på brukerforespørsel — direkte sitatsignal.

Hvor lenge lagre logger? 30 dager til trender, minst 7 til drift.

Var dette nyttig? Del det.