"Как часто GPTBot сканирует мой сайт?" — раньше это был вопрос без точного ответа. После шести месяцев логирования четырёх основных LLM-краулеров на thMenu у нас есть реальные цифры.
Реальные Частоты Краула
Из логов нашего Cloudflare worker: GPTBot возвращается к типичной странице каждые 7 дней. PerplexityBot в среднем каждые 3 дня — самый агрессивный краулер. ClaudeBot работает в 14-дневном цикле, Google-Extended — 21 день, на отдельной очереди от основного Googlebot.
Эти различия не случайны. Perplexity инвестирует в свежесть, потому что работает как поисковик реального времени. Google-Extended — opt-in краулер для обучения ИИ, отдельно от поискового индекса.
Стратегия Публикаций
Эти числа превращаются в редакционный календарь. Еженедельный контент достигает всех четырёх LLM даже в окне 21 дня Google-Extended.
- Еженедельно: Все 4 LLM индексируют за 4 недели
- Ежемесячно: 3 из 4 успевают, Google-Extended отстаёт
- Ежеквартально: Только PerplexityBot остаётся актуальным
Ритм thMenu
Блог thMenu публикует новый пост каждый понедельник. Каждая статья типично индексируется четырьмя LLM за 28 дней.
Результат: ChatGPT, Claude, Perplexity и Gemini цитируют актуальные версии, а не устаревший контент. Дисциплина публикации важнее бюджета краула.
FAQ
Частота GPTBot? Каждые 7 дней в среднем, 3-4 дня для популярных страниц.
Как опознать ClaudeBot? User-Agent "ClaudeBot/1.0" и IP-диапазон Anthropic.
Google-Extended = Googlebot? Нет, выделенный краулер для Gemini/Vertex AI.
Было полезно? Поделитесь.
Похожие статьи
Статический QR vs динамический QR: сравнение TCO за 3 года
Бистро на 24 столика: 21 000 TRY на перепечатки против 11 640 TRY за динамическу…
Омотэнаси и QR: японское гостеприимство без потери человечности
Почему Sukiyabashi Jiro в Токио отказывается от QR-меню, а 68% средних идзакай п…
AR-предпросмотр блюд через WebXR: 3D в браузере без приложения
Как Dishoom Soho достиг +22% к среднему чеку благодаря model-viewer. Оптимизация…