서버 로그 분석으로 발견하는 크롤링 이상 징후: 봇 트래픽 해석의 실전 가이드

Google Search Console이 제공하는 크롤링 통계는 요약된 지표에 불과하다. Googlebot이 실제로 어떤 URL을 어떤 빈도로 요청하고 있는지, 어떤 상태 코드를 받고 있는지, 어떤 User-Agent로 접근하고 있는지를 정확히 파악하려면 서버 액세스 로그(Access Log)를 직접 분석해야 한다. 서버 로그는 검색엔진 봇의 행동을 가감 없이 기록한 유일한 1차 데이터 소스이며, SEO 진단의 가장 신뢰할 수 있는 근거가 된다.

서버 로그에서 봇 트래픽을 분리하는 기본 방법은 User-Agent 필드의 필터링이다. Googlebot의 공식 User-Agent는 Googlebot/2.1 (+http://www.google.com/bot.html) 형태이며, 모바일 크롤러는 Googlebot-Mobile을 포함한다. 다만 User-Agent는 위조가 가능하므로, Google의 공식 문서 "Verifying Googlebot and other Google crawlers"에서 권장하는 역방향 DNS 조회(Reverse DNS Lookup)를 통해 실제 Googlebot 여부를 검증해야 한다. <em>.googlebot.com 또는 </em>.google.com으로 역분석되는 IP만 신뢰할 수 있다.

로그 분석에서 주목해야 할 이상 징후는 네 가지다. 첫째, 특정 디렉토리에 대한 비정상적 크롤링 집중이다. 예를 들어 /tag/ 또는 /calendar/ 경로에 크롤링 요청의 60% 이상이 몰려 있다면, 이는 크롤러 트랩의 전형적 증상이다. 둘째, 5xx 에러의 급증이다. 서버 에러가 반복되면 Googlebot은 크롤링 속도를 자발적으로 낮추며, 이는 신규 콘텐츠의 인덱싱 지연으로 이어진다. 셋째, 과도한 301/302 리디렉트 체인이다. 3단계 이상의 리디렉트는 크롤링 예산을 소모할 뿐 아니라 PageRank 전달 효율도 저하시킨다. 넷째, 이미 삭제된 URL에 대한 반복 요청이다. 404를 반환하는 URL이 로그에 지속적으로 등장하면, 해당 URL이 XML 사이트맵이나 내부 링크에 여전히 남아 있다는 증거다.

분석 도구와 파이프라인은 사이트 규모에 따라 선택한다. 일일 로그 용량이 수 GB 이하인 중소규모 사이트는 ELK Stack(Elasticsearch + Logstash + Kibana) 또는 GoAccess로 충분하다. 수십 GB 이상의 대규모 사이트는 BigQuery에 로그를 적재하고 SQL 기반으로 분석하는 것이 효율적이다.

실무 체크리스트로 정리한다. 첫째, 서버 로그에서 Googlebot 트래픽만 분리하는 필터를 설정하고, 역방향 DNS로 Real Googlebot 여부를 검증한다. 둘째, 주 1회 디렉토리별 크롤링 분포를 시각화하여 비정상적 집중 패턴을 모니터링한다. 셋째, 5xx 에러율이 1%를 초과하면 즉시 서버 인프라 점검을 실행한다. 넷째, 크롤링 대상에서 제외해야 할 URL 패턴을 발견하면 robots.txt와 noindex 메타 태그를 병행 적용하여 크롤링과 인덱싱을 동시에 차단한다.