Anthropic, OpenAI a Google: Srovnání Chování Crawl Botů

"Jak často GPTBot crawluje moje webové stránky?" bývala otázka bez přesné odpovědi. Po šesti měsících logování čtyř hlavních LLM crawlerů na thMenu máme reálná čísla.

Skutečné Frekvence

Z logů našeho Cloudflare workeru: GPTBot navštěvuje typickou stránku každých 7 dní. PerplexityBot v průměru každé 3 dny — nejagresivnější crawler. ClaudeBot 14denní cyklus, Google-Extended 21 dní, na oddělené frontě od hlavního Googlebota.

Tyto rozdíly nejsou náhodné. Perplexity investuje do čerstvosti, protože funguje jako real-time odpovědní engine. Google-Extended je opt-in trénovací AI crawler, oddělený od vyhledávacího indexu.

Strategie Publikování

Tato čísla se přímo promítají do redakčního kalendáře. Týdenní čerstvý obsah dosáhne všech čtyř LLM v 21denním okně Google-Extended.

• Týdně: 4 LLM indexují za 4 týdny
• Měsíčně: 3 ze 4 stíhají, Google-Extended zaostává
• Čtvrtletně: Jen PerplexityBot zůstává aktuální

Tempo thMenu

Blog thMenu publikuje každé pondělí. Každý nový článek je obvykle indexován všemi čtyřmi LLM během 28 dnů.

Výsledek: ChatGPT, Claude, Perplexity a Gemini citují aktuální verze QR menu obsahu, ne zastaralé verze. Publikační disciplína váží více než crawl budget.

FAQ

Frekvence GPTBota? V průměru každých 7 dní, populární stránky 3-4 dny.

Identifikace ClaudeBota? User-Agent "ClaudeBot/1.0" a IP rozsah Anthropic.

Google-Extended = Googlebot? Ne, dedikovaný Gemini/Vertex AI.

Bylo to užitečné? Sdílejte to.