LLM-botok felismerése: GPTBot-forgalom szűrése naplókból

2027 novemberében a thMenu Cloudflare-naplói havonta 14 200 GPTBot, 8 700 PerplexityBot és 4 100 ClaudeBot oldalmegtekintést rögzítenek. Ez a teljes crawl 18%-a, és közvetlenül meghatározza, mely oldalak kerülnek AI-válaszokba.

User-Agent aláírások

Az OpenAI "GPTBot/1.2"-t használ tanító crawlhoz és "ChatGPT-User"-t munkamenetbeli lekéréshez. A Perplexity "PerplexityBot" és "Perplexity-User" között oszlik meg, az Anthropic "ClaudeBot", "Claude-Web" és "anthropic-ai" jelöléseket használ.

Cloudflare Logpush esetén a ClientRequestUserAgent mező közvetlenül BigQuery-be küldhető; Combined Log Format esetén egy grep-sor elég.

Használható grep-sablonok

Heti riportunk parancsai:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URL
• grep -c "PerplexityBot" access.log — napi találatok
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — sávszélesség

A thMenu konyha-kategória oldalait GPTBot heti 340 alkalommal nyitja meg, a blogbejegyzéseket PerplexityBot kedveli leginkább. Ez átrendezte negyedéves AI-backlogunkat.

Hamis botok kiszűrése

Scraperek GPTBotnak adják ki magukat. Ellenőrizd reverse DNS-szel: openai.com, anthropic.com, perplexity.ai. A Cloudflare WAF "Verified Bot" szabálya automatikus.

OpenAI és Anthropic CIDR-tartományokat tesz közzé; tartományon kívüli IP érvényes user-agenttel szinte biztosan hamisítvány.

GYIK

Tiltsam le a GPTBotot? Ne — a tiltás eltüntet a ChatGPT-idézetekből. Disallow csak fizetős tartalomra.

ChatGPT-User vs GPTBot? GPTBot tömegesen indexel; ChatGPT-User valós időben tölti le az oldalt egy felhasználói kérdéskor — közvetlen idézési jel.

Mennyi ideig tároljam a logokat? 30 nap trendekhez, minimum 7 nap üzemeltetéshez.

Hasznosnak találtad? Oszd meg.