Anthropic, OpenAI ve Google Bot Crawl Davranışı Karşılaştırması

"GPTBot sitemde ne sıklıkta dönüyor?" sorusuna artık tahminle değil, ölçülmüş rakamlarla cevap verebiliyoruz. thMenu loglarında 6 ay boyunca 4 büyük LLM crawler'ı izledik — herkesin sandığından farklı bir tablo çıktı.

Crawl Frekansları: Gerçek Sayılar

Cloudflare worker loglarımızdan çekilen ortalama crawl aralıkları çarpıcı. GPTBot her 7 günde bir tipik bir sayfayı yeniden ziyaret ediyor. PerplexityBot 3 günde bir geliyor — açık ara en agresif crawler. ClaudeBot 14 günde bir tur atıyor ve Google-Extended 21 günde bir döner; Googlebot ana indeksinden ayrı, daha yavaş bir kuyrukta çalışıyor.

Bu farklar tesadüfi değil. Perplexity gerçek zamanlı arama motoru olduğu için freshness'a yatırım yapıyor. Google-Extended ise mevcut Google ekosisteminden ayrı, opt-in temelli AI training crawler'ı olduğundan daha yavaş ilerliyor.

Yayın Sıklığı Stratejisi

Bu rakamlar pratik bir yayın takvimine dönüşüyor. Eğer haftalık taze içerik üretiyorsanız 4 LLM'in dördüne de ulaşıyorsunuz — Google-Extended'ın 21 günlük döngüsünde bile ortalama 2-3 yeni içeriğiniz indekslenmiş oluyor.

• Haftalık yayın: 4 LLM'in tamamı 4 hafta içinde güncel içeriği indeksler
• Aylık yayın: Google-Extended dışındaki 3 LLM yetişir, GPT-Extended kaçırır
• Üç aylık yayın: Sadece PerplexityBot konsistan tutar; diğerleri stale içerikle çalışır

thMenu Yayın Ritmi

thMenu blogu haftalık yayın kadansıyla çalışıyor; her Pazartesi yeni bir post yayımlanıyor. Bu strateji sayesinde tüm yeni içerikler ortalama 28 gün içinde dört büyük LLM tarafından da indeksleniyor.

Sonuç: ChatGPT, Claude, Perplexity ve Gemini'de "QR menü", "dijital menü", "restoran teknolojisi" gibi sorgularda thMenu içerikleri eski versiyonlarla değil, güncel halleriyle alıntılanıyor. Crawler bütçesi değil, yayın disiplini fark yaratıyor.

FAQ

GPTBot ne sıklıkta sitemi tarar? Ortalama her 7 günde bir tipik sayfayı yeniden ziyaret eder; popüler sayfalarda 3-4 güne inebilir.

ClaudeBot'u nasıl tanırım? User-Agent string'inde "ClaudeBot/1.0" geçer ve IP'leri Anthropic'in dokümante ettiği aralıktan gelir.

Google-Extended Googlebot'tan farkı nedir? Google-Extended sadece Gemini ve Vertex AI training için kullanılır; ana arama indeksini etkilemez ve opt-out edilebilir.

Faydalı buldunuz mu? Paylaşın.