Anthropic, OpenAI ja Google: Bottien Crawl-Käyttäytymisen Vertailu

"Kuinka usein GPTBot crawlaa sivustoani?" oli pitkään arvauskysymys. Kuuden kuukauden ajan thMenun neljän tärkeimmän LLM-crawlerin lokituksen jälkeen meillä on todellisia lukuja.

Todelliset Crawl-Taajuudet

Cloudflare worker -lokeista: GPTBot käy tyypillisellä sivulla 7 päivän välein. PerplexityBot keskimäärin 3 päivän välein — aggressiivisin crawler. ClaudeBot 14 päivän sykli, Google-Extended 21 päivää, erillisellä jonolla pää-Googlebotista.

Erot eivät ole sattumaa. Perplexity investoi tuoreuteen, koska se toimii reaaliaikaisena vastauskoneena. Google-Extended on opt-in AI-koulutus-crawler, erillään hakuindeksistä.

Julkaisustrategia

Nämä luvut kääntyvät suoraan toimituskalenteriksi. Viikoittainen tuore sisältö tavoittaa kaikki neljä LLM:ää Google-Extendedin 21 päivän ikkunan sisällä.

• Viikoittain: Kaikki 4 LLM:ää indeksoivat 4 viikossa
• Kuukausittain: 3/4 ehtii, Google-Extended jää jälkeen
• Neljännesvuosittain: Vain PerplexityBot pysyy ajan tasalla

thMenun Julkaisurytmi

thMenu-blogi julkaisee joka maanantai. Jokainen uusi artikkeli indeksoidaan tyypillisesti kaikkien neljän LLM:n toimesta 28 päivän sisällä.

Tulos: ChatGPT, Claude, Perplexity ja Gemini siteeraavat QR-menu-sisällöstä ajantasaisia versioita, ei vanhentuneita. Julkaisukurinalaisuus painaa enemmän kuin crawl-budjetti.

FAQ

GPTBotin taajuus? Keskimäärin 7 päivän välein, suositut sivut 3-4 päivää.

ClaudeBotin tunnistaminen? User-Agent "ClaudeBot/1.0" ja Anthropicin IP-alueet.

Google-Extended = Googlebot? Ei, omistettu Gemini/Vertex AI -koulutukseen.

Oliko tästä hyötyä? Jaa se.