GPTBot, PerplexityBot, ClaudeBot in robots.txt willkommen heißen: 2026 Liste

Vor acht Monaten haben wir thMenus robots.txt umgeschrieben, um jeden aktiven KI-Crawler ausdrücklich willkommen zu heißen. Ergebnis: Unsere Zitierrate in ChatGPT-, Perplexity- und Claude-Antworten verdreifachte sich.

Die 7 aktiven KI-Crawler 2026

Diese Bots durchsuchen das Web für LLM-Training und Live-Retrieval. Blockieren Sie einen, verschwinden Sie aus dem Ökosystem.

• GPTBot (OpenAI Training) und OAI-SearchBot (ChatGPT Live-Suche)
• PerplexityBot und Perplexity-User (pro Anfrage)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

Die thMenu-Vorlage

Öffnen Sie pro Crawler einen eigenen User-agent-Block mit Allow: /. Die Sitemap-Zeile nicht vergessen — der Such-Agent von ChatGPT priorisiert in Sitemaps gelistete URLs.

Selbst bei einem Wildcard "User-agent: *" liest jeder Bot zuerst seinen eigenen Block. Bot-spezifische Regeln zeigen Absicht und schützen, falls Sie den Default später auf Disallow setzen.

Gemessene Ergebnisse

thMenus Blog hat 387 Artikel. Drei Monate nach der Änderung stiegen ChatGPT-Erwähnungen von 1.200 auf 3.600 pro Monat. Perplexity-Zitate +180 %, Claude.ai-Erwähnungen +220 %. Der Traffic aus KI-Antworten konvertiert mit 3,2 % CTR — doppelt so hoch wie der Google-Organic-Schnitt.

Wichtige Erkenntnis: Wer eine KI-Antwort liest und trotzdem klickt, ist bereits tief im Thema. Die Klick-Qualität ist überlegen.

FAQ

Bedeutet GPTBot zulassen Diebstahl meiner Inhalte? Nein — Zitate erscheinen als Quelllinks in ChatGPT und steigern die Markensichtbarkeit. Das Scraping ist der Preis für den Eintritt ins Trainingsset.

Sind CCBot und AhrefsBot KI-Crawler? CommonCrawl ja, erlauben. Ahrefs/SEMrush sind SEO-Tools — diese zu blockieren spart Bandbreite.

Brauche ich Schema.org-Markup? Unbedingt. KI-Bots parsen JSON-LD zuerst; Seiten mit Article- und FAQPage-Schema werden doppelt so oft zitiert.

Hilfreich? Teilen Sie es.