Приветствуем GPTBot, PerplexityBot и ClaudeBot в robots.txt: список 2026

Восемь месяцев назад мы переписали robots.txt thMenu, чтобы явно приветствовать каждый активный ИИ-краулер. Результат: частота цитирования в ответах ChatGPT, Perplexity и Claude утроилась.

7 активных ИИ-краулеров 2026

Эти боты сканируют веб для обучения LLM и live-поиска. Заблокируете одного — исчезнете из его экосистемы.

• GPTBot (обучение OpenAI) и OAI-SearchBot (живой поиск ChatGPT)
• PerplexityBot и Perplexity-User (на запрос)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Шаблон thMenu

Откройте отдельный блок User-agent на каждого краулера с Allow: /. Не забудьте строку Sitemap — поисковый агент ChatGPT приоритизирует URL из sitemap.

Даже с правилом "User-agent: *" каждый бот сначала читает свой блок. Блоки на каждого бота декларируют намерение и защищают, если когда-нибудь смените дефолт на Disallow.

Измеренные результаты

Блог thMenu — 387 статей. Через три месяца после изменения упоминания в ChatGPT выросли с 1 200 до 3 600 в месяц. Цитирования Perplexity +180%, упоминания Claude.ai +220%. Трафик из ИИ-ответов конвертится на 3,2% CTR — вдвое выше среднего по Google organic.

Ключевой инсайт: кто читает ИИ-ответ и всё равно кликает — уже глубоко вовлечён. Качество клика выше.

FAQ

Разрешить GPTBot — это кража контента? Нет — цитаты появляются как source-ссылки в ChatGPT и поднимают бренд. Скрейпинг — цена входа в training set.

CCBot и AhrefsBot — ИИ? CommonCrawl (CCBot) — да, разрешите. Ahrefs/SEMrush — SEO-инструменты; их блокировка экономит трафик.

Нужна разметка Schema.org? Обязательно. ИИ-боты сначала читают JSON-LD; страницы с Article и FAQPage цитируются вдвое чаще.

Было полезно? Поделитесь.