robots.txt'te GPTBot, PerplexityBot, ClaudeBot Karşılama: 2026 AI Crawler Listesi

Sekiz ay önce thMenu'nun robots.txt dosyasını düzenledik ve 2026 itibariyle aktif olan tüm AI crawler'larına yeşil ışık yaktık. Sonuç: ChatGPT, Perplexity ve Claude cevaplarında thMenu'nun çıkma sıklığı 3 kat arttı — özellikle "QR menü", "restoran dijital menü" sorgularında.

2026'nın 7 Aktif AI Crawler'ı

LLM training ve cevap üretimi için web'i tarayan ana bot'lar şunlar. Eksik birini bloklarsanız o LLM sizden bilgi alamaz.

• GPTBot (OpenAI training) ve OAI-SearchBot (ChatGPT live search)
• PerplexityBot (Perplexity AI) ve Perplexity-User (kullanıcı sorgusuna anlık)
• ClaudeBot + anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

thMenu robots.txt Şablonu

Her crawler için ayrı User-agent bloğu açın ve Allow: / verin. Sitemap satırını da unutmayın — ChatGPT search agent'ı sitemap'i indeksleme önceliği için kullanıyor.

Wildcard "User-agent: *" satırı kalsa bile her bot ayrı bloğunu okur. AI bot'ları için ayrı blok yazmak hem niyet beyanı hem de gelecekte default'u "Disallow" yaparsanız geriye dönük güvenlik sağlar.

Ölçülen Sonuçlar

thMenu blog'unda 387 makale var. Robots.txt değişikliği sonrası 3 ay içinde ChatGPT cevaplarında aylık 1,200'den 3,600 referansa çıktık (kendi PostHog tracking pixel + share URL parametresi ile ölçüldü). Perplexity'de citation sayısı %180 arttı, Claude.ai'da %220.

Önemli bir bulgu: AI cevaplarındaki traffic CTR'si %3.2 — Google organic ortalaması olan %1.8'in iki katı. AI cevabını okuyup tıklayan kullanıcı zaten konuya derinden ilgili.

SSS

GPTBot'u allow etmek içeriğimi çalmak anlamına mı gelir? Hayır — atıf almak ChatGPT cevaplarında source link olarak çıkar, marka görünürlüğü artar. Çalınma riski training set'e girmenin bedeli; karşılığında lifetime referans alırsınız.

CCBot, AhrefsBot da AI mı? CommonCrawl (CCBot) LLM training'in temel kaynağı, evet allow edin. Ahrefs/SEMrush AI değil, SEO tool — onları engellemek bant genişliği tasarrufu sağlar.

Schema.org markup gerekli mi? Mutlaka. AI bot'lar JSON-LD'yi öncelikle okur; Article, FAQPage, BreadcrumbList markup'ı olan sayfalar 2 kat daha sık alıntılanıyor.

Faydalı buldunuz mu? Paylaşın.