LLM-bottien tunnistus: GPTBot-liikenteen erottelu lokeista

Marraskuussa 2027 thMenun Cloudflare-lokit kirjaavat kuukausittain 14 200 GPTBot-, 8 700 PerplexityBot- ja 4 100 ClaudeBot-sivunäyttöä. Se on 18 % koko crawl-volyymistä ja määrää, mitkä sivut päätyvät AI-vastausten lähteiksi.

User-Agent-allekirjoitukset

OpenAI käyttää koulutus-crawliin "GPTBot/1.2" ja istuntoaikaiseen hakuun "ChatGPT-User". Perplexity jakautuu "PerplexityBot" ja "Perplexity-User", Anthropic "ClaudeBot", "Claude-Web" ja "anthropic-ai".

Cloudflare Logpushissa ClientRequestUserAgent-kenttä menee suoraan BigQueryyn; Combined Log Formatille riittää grep-yksirivinen.

Käytännön grep-mallit

Viikkoraporttimme komennot:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URL
• grep -c "PerplexityBot" access.log — päivittäiset osumat
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — kaista

thMenussa keittiöiden kategoriasivut saavat 340 GPTBot-osumaa viikossa, blogi taas PerplexityBotin suosion. Tämä järjesti AI-jonomme uudelleen.

Väärennösten siivous

Scraperit teeskentelevät GPTBotia. Tarkista reverse DNS osoitteisiin openai.com, anthropic.com tai perplexity.ai. Cloudflaren WAF-sääntö "Verified Bot" hoitaa sen automaattisesti.

OpenAI ja Anthropic julkaisevat virallisia CIDR-alueita; alueen ulkopuolinen IP virallisella user-agentilla on lähes varmasti väärennetty.

UKK

Pitääkö GPTBot estää? Ei — esto poistaa sinut ChatGPT-lähteistä. Käytä Disallow vain maksumuurin takana.

ChatGPT-User vs GPTBot? GPTBot indeksoi massana; ChatGPT-User hakee sivun reaaliajassa käyttäjän pyynnöstä — suora viittaussignaali.

Kuinka kauan säilytät lokit? 30 päivää trendeille, vähintään 7 päivää operatiivisesti.

Oliko tästä hyötyä? Jaa se.