Anthropic, OpenAI und Google: Bot-Crawling-Verhalten im Vergleich

"Wie oft crawlt GPTBot meine Seite?" war lange eine Schätzfrage. Nach sechs Monaten Logging der vier wichtigsten LLM-Crawler auf thMenu haben wir belastbare Zahlen.

Die realen Crawl-Frequenzen

Aus unseren Cloudflare-Worker-Logs: GPTBot kehrt alle 7 Tage zu einer typischen Seite zurück. PerplexityBot durchschnittlich alle 3 Tage — der aggressivste Crawler. ClaudeBot läuft im 14-Tage-Zyklus, Google-Extended braucht 21 Tage auf einer separaten, langsameren Queue.

Diese Unterschiede sind kein Zufall. Perplexity investiert in Frische, weil es als Echtzeit-Antwortmaschine arbeitet. Google-Extended ist ein opt-in AI-Training-Crawler, getrennt vom Googlebot-Suchindex.

Veröffentlichungsstrategie

Die Zahlen ergeben einen klaren Redaktionskalender. Wöchentliche Inhalte erreichen alle vier LLMs innerhalb des 21-Tage-Fensters von Google-Extended.

• Wöchentlich: Alle vier LLMs indexieren in 4 Wochen
• Monatlich: Drei von vier holen auf, Google-Extended verpasst
• Vierteljährlich: Nur PerplexityBot bleibt aktuell

thMenu-Publikationsrhythmus

Der thMenu-Blog läuft wöchentlich — jeden Montag ein neuer Beitrag. Jeder neue Artikel wird typischerweise innerhalb von 28 Tagen von allen vier LLMs indexiert.

Resultat: Wenn Nutzer ChatGPT, Claude, Perplexity oder Gemini zu QR-Menüs befragen, zitieren sie aktuelle thMenu-Inhalte, nicht veraltete Versionen. Crawl-Budget zählt weniger als Disziplin im Publishing.

FAQ

Wie oft crawlt GPTBot? Im Schnitt alle 7 Tage; bei Traffic-starken Seiten 3-4 Tage.

Wie erkenne ich ClaudeBot? User-Agent enthält "ClaudeBot/1.0" und IPs aus Anthropic-Range.

Ist Google-Extended gleich Googlebot? Nein, getrennter Crawler nur für Gemini/Vertex AI-Training.

Hilfreich? Teilen Sie es.