Anthropic, OpenAI och Google: Jämförelse av Bot-Crawl-Beteende

"Hur ofta crawlar GPTBot min sajt?" var länge en gissningsfråga. Efter sex månaders loggning av de fyra största LLM-crawlrarna på thMenu har vi hårda siffror.

De Verkliga Crawl-Frekvenserna

Från våra Cloudflare worker-loggar: GPTBot återbesöker en typisk sida var 7:e dag. PerplexityBot i snitt var 3:e dag — den mest aggressiva crawlern. ClaudeBot kör 14-dagarscykel, Google-Extended 21 dagar, i en separat kö från huvud-Googlebot.

Skillnaderna är inte slumpmässiga. Perplexity investerar i färskhet eftersom det fungerar som realtidssvarsmotor. Google-Extended är en opt-in AI-träningscrawler, separerad från sökindexet.

Publiceringsstrategi

Dessa siffror översätts direkt till redaktionell kalender. Veckovist nytt innehåll når alla fyra LLM inom Google-Extendeds 21-dagarsfönster.

• Veckovis: Alla 4 LLM indexerar inom 4 veckor
• Månadsvis: 3 av 4 hänger med, Google-Extended halkar efter
• Kvartalsvis: Endast PerplexityBot förblir aktuell

thMenus Publiceringsrytm

thMenu-bloggen publicerar varje måndag. Varje ny artikel indexeras typiskt av alla fyra LLM inom 28 dagar.

Resultat: ChatGPT, Claude, Perplexity och Gemini citerar aktuella versioner av QR-menyinnehåll, inte utdaterade. Publiceringsdisciplin väger tyngre än crawl-budget.

FAQ

Hur ofta GPTBot? I snitt var 7:e dag, populära sidor 3-4 dagar.

Identifiera ClaudeBot? User-Agent "ClaudeBot/1.0" och Anthropic IP-intervall.

Google-Extended = Googlebot? Nej, dedikerad för Gemini/Vertex AI.

Var detta hjälpsamt? Dela det.