Accogliere GPTBot, PerplexityBot e ClaudeBot in robots.txt: lista 2026

Otto mesi fa abbiamo riscritto il robots.txt di thMenu per dare il benvenuto esplicito a ogni crawler IA attivo. Risultato: il tasso di citazione in ChatGPT, Perplexity e Claude è triplicato.

I 7 crawler IA attivi nel 2026

Questi bot setacciano il web per il training LLM e il retrieval in tempo reale. Bloccarne uno significa sparire dal suo ecosistema.

• GPTBot (training OpenAI) e OAI-SearchBot (ricerca live ChatGPT)
• PerplexityBot e Perplexity-User (per query)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Il template thMenu

Apri un blocco User-agent distinto per ogni crawler con Allow: /. Non dimenticare la riga Sitemap — l'agente di ricerca di ChatGPT dà priorità agli URL listati nella sitemap.

Anche con una regola wildcard "User-agent: *", ogni bot legge prima il proprio blocco. Blocchi specifici dichiarano intento e ti proteggono se un giorno cambi il default in Disallow.

Risultati misurati

Il blog thMenu ha 387 articoli. Tre mesi dopo la modifica, le menzioni in ChatGPT sono passate da 1.200 a 3.600 al mese. Citazioni Perplexity +180%, menzioni Claude.ai +220%. Il traffico da risposte IA converte al 3,2% CTR — il doppio della media Google.

Insight chiave: chi legge una risposta IA e clicca comunque è già coinvolto. La qualità del clic è superiore.

FAQ

Permettere GPTBot significa farsi rubare i contenuti? No — le citazioni appaiono come link sorgente in ChatGPT e amplificano il brand. Lo scraping è il prezzo per entrare nel training set.

CCBot e AhrefsBot sono IA? CommonCrawl (CCBot) sì, permettilo. Ahrefs/SEMrush sono tool SEO; bloccarli risparmia banda.

Serve Schema.org? Indispensabile. I bot IA leggono prima il JSON-LD; le pagine con Article e FAQPage sono citate il doppio.

Ti è stato utile? Condividilo.