Skip to content
ВозможностиТарифыПартнёрамБлогСправкаО насКонтакты
НачатьВойти
Назад к Блогу
industry2027-11-086 мин чтения

Блокировать или разрешать AI-краулеры? Дилемма 2026

Блокировать GPTBot в robots.txt? Заблокированные сайты получают на 96% меньше цитирований в AI. Матрица решения SaaS против изданий и разворот Reuters.

th

thMenu Team

thmenu.com

Ваша маркетинговая команда ищет "лучшую платформу QR-меню" в Perplexity, и ваш бренд не находится. Причина: в вашем robots.txt стоит GPTBot Disallow, и AI не может цитировать то, что не может прочитать.

То, что в 2024 году казалось простым защитным решением, стало стратегической дилеммой в 2026 году. Контент — это лицензируемый актив или маркетинговая витрина? Ответ стоит миллионы.

Штраф за цитирование: 96% невидимости

Исследование Originality.AI от октября 2026 показало, что сайты, блокирующие AI-краулеры, получают на 96% меньше цитирований в ChatGPT и Perplexity. Практически вы отворачиваетесь от многомиллиардного канала AI-поиска.

Потери накапливаются. AI Overviews Google занимают 43% страницы результатов в 2026, Perplexity обрабатывает 780 миллионов запросов в месяц. Блокированный трафик полностью уходит к конкурентам.

SaaS против изданий: две модели

Матрица зависит от модели бизнеса. Для SaaS контент — это канал привлечения клиентов: AI-цитирование = бесплатный лид. Для издателей контент — лицензируемый актив: цитирование = потребление без роялти.

  • SaaS (thMenu, Shopify): Allow — цитирования строят узнаваемость.
  • Издания (Reuters, NYT): Block + Лицензия — контент И ЕСТЬ продукт.
  • Электронная коммерция (Amazon): Allow — обнаружение конвертирует.

Разворот Reuters и NYT

Reuters и NYT заблокировали GPTBot в августе 2024. В марте 2026 они перешли на модель платной лицензии в стиле Reddit. NYT подписала годовое соглашение с OpenAI на 16 миллионов долларов.

Урок: блокировка не финал, а тактика переговоров. Если ваш контент имеет рыночную ценность, блокируйте и затем договаривайтесь. Иначе разрешите и собирайте видимость.

FAQ

Влияет ли блокировка GPTBot на мой Google SEO? Нет, Googlebot — отдельный краулер. Но AI-трафик исчезает.

Сколько времени до эффекта изменения robots.txt? 3-6 месяцев в зависимости от циклов переобучения моделей.

Должен ли сайт ресторана разрешать GPTBot? Да. Запросы "лучшие суши рядом" дают трафик с высоким намерением покупки.

Было полезно? Поделитесь.