Accueillir GPTBot, PerplexityBot, ClaudeBot dans robots.txt : liste 2026

Il y a huit mois, nous avons réécrit le robots.txt de thMenu pour accueillir explicitement chaque crawler IA actif. Résultat : notre taux de citation dans les réponses de ChatGPT, Perplexity et Claude a triplé.

Les 7 crawlers IA actifs en 2026

Ces bots parcourent le web pour entraîner les LLM et récupérer en direct. Bloquez-en un, et vous disparaissez de l'écosystème.

• GPTBot (entraînement OpenAI) et OAI-SearchBot (recherche live ChatGPT)
• PerplexityBot et Perplexity-User (par requête)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Le modèle thMenu

Ouvrez un bloc User-agent distinct par crawler avec Allow: /. N'oubliez pas la ligne Sitemap — l'agent de recherche ChatGPT priorise les URL listées dans le sitemap.

Même avec une règle "User-agent: *", chaque bot lit son propre bloc en premier. Les blocs par bot affichent une intention claire et vous protègent si vous passez un jour le défaut en Disallow.

Résultats mesurés

Le blog thMenu compte 387 articles. Trois mois après le changement, les références ChatGPT sont passées de 1 200 à 3 600 par mois. Citations Perplexity +180 %, mentions Claude.ai +220 %. Le trafic des réponses IA convertit à 3,2 % de CTR — le double de la moyenne Google.

Observation clé : qui lit une réponse IA puis clique est déjà engagé. La qualité du clic est supérieure.

FAQ

Autoriser GPTBot, c'est laisser voler son contenu ? Non — les citations s'affichent en liens source dans ChatGPT et boostent la marque. Le scraping est le prix d'entrée dans le set d'entraînement.

CCBot et AhrefsBot sont-ils IA ? CommonCrawl (CCBot) oui, autorisez-le. Ahrefs/SEMrush sont des outils SEO ; les bloquer économise de la bande passante.

Le balisage Schema.org est-il nécessaire ? Indispensable. Les bots IA lisent d'abord le JSON-LD ; les pages avec Article et FAQPage sont citées deux fois plus.

Cet article vous a été utile ? Partagez-le.