Powitanie GPTBot, PerplexityBot i ClaudeBot w robots.txt: lista 2026

Osiem miesięcy temu przepisaliśmy robots.txt thMenu, aby jawnie powitać każdy aktywny crawler AI. Efekt: nasz wskaźnik cytowania w odpowiedziach ChatGPT, Perplexity i Claude potroił się.

7 aktywnych crawlerów AI w 2026

Te boty przeszukują sieć dla treningu LLM i live retrieval. Zablokujesz jeden — znikasz z tego ekosystemu.

• GPTBot (trening OpenAI) i OAI-SearchBot (wyszukiwanie live ChatGPT)
• PerplexityBot i Perplexity-User (per zapytanie)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Szablon thMenu

Otwórz osobny blok User-agent dla każdego crawlera z Allow: /. Nie zapomnij linii Sitemap — agent wyszukiwania ChatGPT priorytetyzuje URL-e z sitemap.

Nawet z regułą wildcard "User-agent: *" każdy bot najpierw czyta swój blok. Bloki per bot deklarują intencję i chronią, jeśli kiedyś zmienisz default na Disallow.

Wyniki pomiarowe

Blog thMenu liczy 387 artykułów. Trzy miesiące po zmianie wzmianki w ChatGPT wzrosły z 1 200 do 3 600 miesięcznie. Cytowania Perplexity +180 %, wzmianki Claude.ai +220 %. Ruch z odpowiedzi AI konwertuje z CTR 3,2 % — dwukrotność średniej Google organic.

Kluczowy insight: kto czyta odpowiedź AI i mimo to klika, jest już głęboko zaangażowany. Jakość kliknięcia wyższa.

FAQ

Czy zezwalanie GPTBot oznacza kradzież treści? Nie — cytaty pojawiają się jako linki źródłowe w ChatGPT i wzmacniają markę. Scraping to cena wejścia do training set.

Czy CCBot i AhrefsBot to crawlery AI? CommonCrawl (CCBot) tak, zezwól. Ahrefs/SEMrush to narzędzia SEO; blokowanie oszczędza pasmo.

Czy znaczniki Schema.org są wymagane? Konieczne. Boty AI najpierw parsują JSON-LD; strony z Article i FAQPage są cytowane dwukrotnie częściej.

Czy to było pomocne? Udostępnij.