Anthropic, OpenAI og Google: Sammenligning av Bot-Crawl-Atferd

"Hvor ofte crawler GPTBot siden min?" var lenge et gjettespørsmål. Etter seks måneders logging av de fire største LLM-crawlerne på thMenu har vi harde tall.

De Reelle Crawl-Frekvensene

Fra våre Cloudflare worker-logger: GPTBot vender tilbake hver 7. dag til en typisk side. PerplexityBot i gjennomsnitt hver 3. dag — den mest aggressive crawleren. ClaudeBot kjører 14-dagers syklus, Google-Extended 21 dager, på en separat kø fra hoved-Googlebot.

Forskjellene er ikke tilfeldige. Perplexity investerer i ferskhet fordi den fungerer som sanntids-svarmotor. Google-Extended er en opt-in AI-treningscrawler, atskilt fra søkeindeksen.

Publiseringsstrategi

Disse tallene oversettes direkte til en redaksjonell kalender. Ukentlig nytt innhold når alle fire LLM innen Google-Extendeds 21-dagers vindu.

• Ukentlig: Alle 4 LLM indekserer innen 4 uker
• Månedlig: 3 av 4 holder følge, Google-Extended henger etter
• Kvartalsvis: Bare PerplexityBot forblir oppdatert

thMenus Publiseringsrytme

thMenu-bloggen publiserer hver mandag. Hver ny artikkel indekseres typisk av alle fire LLM innen 28 dager.

Resultat: ChatGPT, Claude, Perplexity og Gemini siterer aktuelle versjoner av QR-meny-innhold, ikke utdaterte. Publiseringsdisiplin veier tyngre enn crawl-budsjett.

FAQ

Hvor ofte GPTBot? Gjennomsnitt hver 7. dag, populære sider 3-4 dager.

Identifisere ClaudeBot? User-Agent "ClaudeBot/1.0" og Anthropic IP-områder.

Google-Extended = Googlebot? Nei, dedikert til Gemini/Vertex AI.

Var dette nyttig? Del det.