Anthropic, OpenAI, Google 봇 크롤링 행동 비교

"GPTBot이 내 사이트를 얼마나 자주 크롤링하는가?"는 한때 추측의 영역이었습니다. thMenu에서 4대 LLM 크롤러를 6개월간 로깅한 결과, 실측치를 얻었습니다.

실제 크롤 빈도

Cloudflare worker 로그에서: GPTBot은 일반 페이지를 7일마다 재방문. PerplexityBot은 평균 3일 — 가장 적극적인 크롤러. ClaudeBot은 14일 사이클, Google-Extended는 21일, 메인 Googlebot과 별도 큐에서 운영.

이 차이는 우연이 아닙니다. Perplexity는 실시간 답변 엔진으로 작동해 신선도에 투자합니다. Google-Extended는 옵트인 AI 학습 크롤러로 검색 인덱스와 분리됩니다.

발행 전략

이 숫자들은 편집 캘린더로 직결됩니다. 주간 신선 콘텐츠는 Google-Extended의 21일 윈도우 안에서도 4개 LLM 모두에 도달합니다.

• 주간: 4개 LLM이 4주 내 색인
• 월간: 4개 중 3개 따라잡음, Google-Extended 뒤처짐
• 분기별: PerplexityBot만 최신 유지

thMenu 발행 리듬

thMenu 블로그는 매주 월요일 발행. 새 글은 보통 28일 내에 4대 LLM 모두에서 색인됩니다.

결과: ChatGPT, Claude, Perplexity, Gemini에서 QR 메뉴 관련 쿼리는 구버전이 아닌 최신 버전이 인용됩니다. 크롤 예산보다 발행 규율이 더 중요합니다.

FAQ

GPTBot 빈도는? 평균 7일, 인기 페이지는 3-4일.

ClaudeBot 식별? User-Agent에 "ClaudeBot/1.0" 포함 및 Anthropic 공개 IP 범위.

Google-Extended = Googlebot? 아니요, Gemini/Vertex AI 학습 전용.

도움이 되셨나요? 공유해 주세요.