Anthropic, OpenAI i Google: Porównanie Zachowań Botów Crawlujących

"Jak często GPTBot crawluje moją stronę?" było długo pytaniem bez precyzyjnej odpowiedzi. Po sześciu miesiącach logowania czterech głównych crawlerów LLM na thMenu mamy twarde liczby.

Rzeczywiste Częstotliwości

Z logów naszego workera Cloudflare: GPTBot wraca co 7 dni do typowej strony. PerplexityBot średnio co 3 dni — najbardziej agresywny. ClaudeBot cykl 14-dniowy, Google-Extended 21 dni, w osobnej kolejce od głównego Googlebota.

Te różnice nie są przypadkowe. Perplexity inwestuje w świeżość, bo działa jako silnik odpowiedzi w czasie rzeczywistym. Google-Extended to opt-in crawler treningowy AI, oddzielony od indeksu wyszukiwarki.

Strategia Publikacji

Te liczby przekładają się na kalendarz redakcyjny. Cotygodniowa świeża treść dociera do wszystkich czterech LLM w 21-dniowym oknie Google-Extended.

• Tygodniowo: 4 LLM indeksują w 4 tygodnie
• Miesięcznie: 3 z 4 nadążają, Google-Extended zostaje
• Kwartalnie: Tylko PerplexityBot pozostaje aktualny

Rytm Publikacji thMenu

Blog thMenu publikuje w każdy poniedziałek. Każdy nowy artykuł jest zazwyczaj indeksowany przez cztery LLM w ciągu 28 dni.

Efekt: ChatGPT, Claude, Perplexity i Gemini cytują aktualne wersje treści o menu QR, nie stare wersje. Dyscyplina publikacji waży więcej niż budżet crawlowania.

FAQ

Częstotliwość GPTBota? Średnio co 7 dni, popularne strony 3-4 dni.

Identyfikacja ClaudeBota? User-Agent "ClaudeBot/1.0" i zakres IP Anthropic.

Google-Extended = Googlebot? Nie, dedykowany Gemini/Vertex AI.

Czy to było pomocne? Udostępnij.