Bienvenida a GPTBot, PerplexityBot y ClaudeBot en robots.txt: lista 2026

Hace ocho meses reescribimos el robots.txt de thMenu para dar la bienvenida explícita a cada crawler de IA activo. Resultado: nuestra tasa de citas en ChatGPT, Perplexity y Claude se triplicó.

Los 7 crawlers de IA activos en 2026

Estos bots rastrean la web para entrenamiento de LLM y recuperación en vivo. Bloquear uno te elimina de su ecosistema.

• GPTBot (entrenamiento OpenAI) y OAI-SearchBot (búsqueda live ChatGPT)
• PerplexityBot y Perplexity-User (por consulta)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

La plantilla de thMenu

Abre un bloque User-agent separado por crawler con Allow: /. No olvides la línea Sitemap — el agente de búsqueda de ChatGPT prioriza URLs listadas en sitemap.

Aun con una regla comodín "User-agent: *", cada bot lee su propio bloque primero. Los bloques específicos declaran intención y te protegen si algún día cambias el default a Disallow.

Resultados medidos

El blog de thMenu tiene 387 artículos. Tres meses después del cambio, las menciones en ChatGPT subieron de 1.200 a 3.600 mensuales. Citas en Perplexity +180 %, menciones en Claude.ai +220 %. El tráfico desde respuestas IA convierte al 3,2 % CTR — el doble de la media de Google orgánico.

Hallazgo clave: quien lee una respuesta IA y aun así hace clic ya está implicado. La calidad del clic es superior.

FAQ

¿Permitir GPTBot significa que me roben contenido? No — las citas aparecen como enlaces fuente en ChatGPT y elevan la marca. El scraping es el precio de entrar al training set.

¿CCBot y AhrefsBot son IA? CommonCrawl (CCBot) sí, permítelo. Ahrefs/SEMrush son herramientas SEO; bloquearlos ahorra ancho de banda.

¿Es necesario Schema.org? Imprescindible. Los bots IA leen JSON-LD primero; las páginas con Article y FAQPage se citan el doble.

¿Te resultó útil? Compártelo.