Обнаружение LLM-ботов: отделение трафика GPTBot в логах

В ноябре 2027 года логи Cloudflare thMenu показывают ежемесячно 14 200 просмотров GPTBot, 8 700 PerplexityBot и 4 100 ClaudeBot. Это 18 % всего объёма crawl и определяет, какие страницы цитируются в ответах AI.

Сигнатуры User-Agent

OpenAI публикует "GPTBot/1.2" для обучающего crawl и "ChatGPT-User" для live-запросов сессии. Perplexity делит на "PerplexityBot" и "Perplexity-User", Anthropic — на "ClaudeBot", "Claude-Web" и "anthropic-ai".

В Cloudflare Logpush поле ClientRequestUserAgent идёт прямо в BigQuery; для Combined Log Format хватит одной строки grep.

Готовые шаблоны grep

Команды нашего еженедельного отчёта:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — топ-20 URL
• grep -c "PerplexityBot" access.log — суточные хиты
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — трафик

Категории кухонь у thMenu получают 340 хитов GPTBot в неделю, а PerplexityBot предпочитает блог. Это переставило AI-backlog квартала.

Отсеять подделки

Скрейперы маскируются под GPTBot. Проверьте reverse DNS: openai.com, anthropic.com, perplexity.ai. Правило WAF Cloudflare "Verified Bot" делает это автоматически.

OpenAI и Anthropic публикуют CIDR-диапазоны; IP вне диапазона с легитимным user-agent почти наверняка подделка.

FAQ

Блокировать ли GPTBot? Нет — блок убирает вас из цитат ChatGPT. Disallow используйте только для платного контента.

ChatGPT-User vs GPTBot? GPTBot индексирует массово; ChatGPT-User берёт страницу в реальном времени по запросу пользователя — это прямой сигнал цитирования.

Сколько хранить логи? 30 дней для трендов, минимум 7 дней для оперативного анализа.

Было полезно? Поделитесь.