GPTBot, PerplexityBot ja ClaudeBot tervetulleiksi robots.txt:ssä: 2026

Kahdeksan kuukautta sitten kirjoitimme thMenun robots.txt:n uudelleen toivottaaksemme tervetulleeksi jokaisen aktiivisen AI-indeksoijan. Tulos: viittausprosenttimme ChatGPT-, Perplexity- ja Claude-vastauksissa kolminkertaistui.

2026:n 7 aktiivista AI-indeksoijaa

Nämä botit haravoivat webiä LLM-koulutusta ja live-hakua varten. Estä yksi ja häviät sen ekosysteemistä.

• GPTBot (OpenAI-koulutus) ja OAI-SearchBot (ChatGPT live-haku)
• PerplexityBot ja Perplexity-User (per kysely)
• ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, FacebookBot

thMenu-malli

Avaa erillinen User-agent-lohko jokaiselle indeksoijalle ja Allow: /. Älä unohda Sitemap-riviä — ChatGPT:n hakuagentti priorisoi sitemap-listattuja URL:eja.

Vaikka olisi yleissääntö "User-agent: *", jokainen botti lukee oman lohkonsa ensin. Bottikohtaiset lohkot julistavat aikomuksen ja suojaavat, jos joskus vaihdat oletuksen Disallow:ksi.

Mitatut tulokset

thMenun blogissa on 387 artikkelia. Kolme kuukautta muutoksen jälkeen ChatGPT-maininnat nousivat 1 200:sta 3 600:aan kuukaudessa. Perplexity-viittaukset +180 %, Claude.ai-maininnat +220 %. AI-vastausten liikenne konvertoi 3,2 % CTR:llä — kaksinkertainen Googlen orgaaniseen keskiarvoon.

Keskeinen havainto: AI-vastauksen lukenut ja silti klikkaava käyttäjä on jo syvällä mukana. Klikkilaatu on parempi.

UKK

Tarkoittaako GPTBot:n salliminen sisällön varastamista? Ei — viittaukset näkyvät lähde­linkkeinä ChatGPT:ssä ja nostavat brändiä. Skreippaus on hinta koulutus­settiin pääsystä.

Ovatko CCBot ja AhrefsBot AI-indeksoijia? CommonCrawl (CCBot) on, salli. Ahrefs/SEMrush ovat SEO-työkaluja; estäminen säästää kaistaa.

Tarvitaanko Schema.org-merkintä? Välttämätön. AI-botit jäsentävät JSON-LD:n ensin; Article- ja FAQPage-sivuja siteerataan kaksi kertaa useammin.

Oliko tästä hyötyä? Jaa se.