robots.txt 설계와 크롤러 제어 전략 (AI 봇 포함)

robots.txt는 웹 서버 루트에 위치한 텍스트 파일로, 검색엔진 크롤러가 어떤 경로를 방문할 수 있는지 알려주는 크롤러 접근 제어 파일입니다. 모든 준수하는 크롤러(Googlebot, Yeti, GPTBot 등)는 첫 크롤링 전에 반드시 이 파일을 확인합니다.

중요한 오해 바로잡기: robots.txt는 보안 도구가 아닙니다. 악의적인 봇은 이를 무시할 수 있습니다. 민감한 데이터 보호는 서버 인증·방화벽으로 해야 합니다. robots.txt는 크롤링 효율을 제어하는 도구입니다.

접근 URL: https://example.com/robots.txt

# 모든 크롤러 허용 (기본)
User-agent: *
Disallow:

# 특정 경로 차단
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /login/
Disallow: /cart/
Disallow: /*.pdf$

# 사이트맵 위치 명시
Sitemap: https://example.com/sitemap.xml

# 크롤링 속도 제한 (일부 엔진 지원)
Crawl-delay: 10

와일드카드 패턴 (Googlebot만 완전 지원)

2024~2025년 들어 AI 검색·생성 서비스가 급성장하면서 수십 개의 AI 크롤러가 웹을 순회하고 있습니다. 이들을 전략적으로 제어하는 것이 GEO(생성형 AI 최적화)의 핵심입니다.

핵심 구분: AI 크롤러는 크게 두 종류입니다. 학습(Training) 크롤러는 데이터를 모아 모델을 재훈련시키며 (GPTBot, ClaudeBot, Google-Extended 등), 인용(Citation) 크롤러는 실시간 검색·답변에 내 사이트를 인용할 때 사용합니다 (ChatGPT-User, Claude-User, PerplexityBot 등). GEO를 위해서는 인용 크롤러를 반드시 허용해야 합니다.

# =============================================
# robots.txt — SEO + GEO 최적화 템플릿 (2025)
# =============================================

# 기본: 모든 봇에게 전체 허용
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /login/
Disallow: /my-account/
Disallow: /cart/
Disallow: /checkout/
Disallow: /wp-admin/
Disallow: /search?
Disallow: /*?sessionid=

# ===== AI 학습 크롤러 선택적 차단 =====
# (학습 참여 원하지 않을 경우만 사용)
# User-agent: GPTBot
# Disallow: /

# User-agent: ClaudeBot
# Disallow: /

# User-agent: Google-Extended
# Disallow: /

# ===== GEO를 위한 AI 인용 크롤러는 허용 =====
# ChatGPT-User, OAI-SearchBot, Claude-User,
# Claude-SearchBot, PerplexityBot 은 차단하지 않음

# 사이트맵
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-blog.xml

흔한 실수: robots.txt로 차단한 페이지에 noindex를 추가하는 경우입니다. 크롤러가 페이지를 방문하지 않으면 noindex를 읽을 수 없어, 해당 페이지가 백링크로 인해 여전히 색인될 수 있습니다.