Detección de bots LLM: separar el tráfico de GPTBot en los logs

En noviembre de 2027, los logs de Cloudflare de thMenu registran mensualmente 14.200 GPTBot, 8.700 PerplexityBot y 4.100 ClaudeBot pageviews. Es el 18 % del crawl total y determina qué páginas se citan en respuestas de IA.

Firmas User-Agent

OpenAI publica "GPTBot/1.2" para crawl masivo y "ChatGPT-User" para fetch en sesión activa. Perplexity divide entre "PerplexityBot" y "Perplexity-User", Anthropic en "ClaudeBot", "Claude-Web" y "anthropic-ai".

Con Cloudflare Logpush el campo ClientRequestUserAgent va directo a BigQuery. Para Combined Log Format basta con grep en una línea.

Plantillas grep listas

Los comandos que ejecutamos cada semana:

• grep -E "GPTBot|ChatGPT-User" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20 — top 20 URLs
• grep -c "PerplexityBot" access.log — conteo diario
• awk '/ClaudeBot/ {bytes+=$10} END {print bytes/1024/1024 " MB"}' access.log — ancho de banda

En thMenu las páginas de categoría de cocina reciben 340 hits semanales de GPTBot; las entradas de blog son las preferidas de PerplexityBot. Esto reordenó nuestro backlog AI.

Filtrar suplantadores

Los scrapers fingen ser GPTBot. Verifica con reverse DNS: openai.com, anthropic.com, perplexity.ai. La regla WAF "Verified Bot" de Cloudflare lo hace solo.

OpenAI y Anthropic publican rangos CIDR; cualquier IP fuera del rango con user-agent oficial es casi seguro fraudulenta.

FAQ

¿Debo bloquear GPTBot? No — bloquear te elimina de citas ChatGPT. Usa Disallow solo en zonas de pago.

¿ChatGPT-User vs GPTBot? GPTBot crawlea para entrenamiento; ChatGPT-User abre tu URL cuando un usuario lo solicita — señal directa de cita.

¿Cuánto retener? 30 días dan margen para tendencias; 7 días para análisis operativo.

¿Te resultó útil? Compártelo.