서버 로그 파일 분석으로 크롤러 행동 파악하기

Google Search Console은 구글이 선별해 제공하는 데이터만 보여줍니다. 반면 웹서버 로그 파일은 구글 봇이 실제로 방문한 모든 URL과 시간을 기록합니다. 이를 통해 다음을 정확히 파악할 수 있습니다.

• 구글봇이 실제로 크롤링하는 URL 목록 (GSC가 알려주지 않는 URL 포함)
• 어떤 URL에 크롤 버짓이 낭비되고 있는가
• 크롤링 오류(404·5xx)가 발생하는 정확한 URL
• Googlebot의 일별·시간대별 크롤링 빈도 패턴
• 중요 페이지가 충분히 자주 크롤링되는가

공통 로그 형식 (Apache/Nginx)

# 샘플 Nginx access.log 항목
66.249.66.1 - - [22/Mar/2025:09:15:32 +0900] "GET /seo/fundamentals HTTP/1.1" 200 5234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

# 구성: IP 주소 - - [날짜:시간] "메서드 URL 프로토콜" 상태코드 크기 "Referer" "User-Agent"

Googlebot IP 범위 확인

가짜 Googlebot을 걸러내려면 DNS 역방향 조회(rDNS)로 IP 소유자가 googlebot.com 또는 google.com인지 확인해야 합니다. 단순 IP 기반 필터는 스푸핑 가능합니다.

# Linux/Mac에서 rDNS 확인
host 66.249.66.1
# 결과: 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

import re
from collections import Counter
from datetime import datetime

# Googlebot User-Agent 패턴
GOOGLEBOT_PATTERN = re.compile(r'Googlebot', re.IGNORECASE)

# 로그 파싱 정규식
LOG_PATTERN = re.compile(
    r'(S+) S+ S+ [(.+?)] "(S+) (S+) S+" (d+) S+ "S+" "(.+?)"'
)

def analyze_log(log_file_path):
    googlebot_requests = []
    
    with open(log_file_path, 'r', encoding='utf-8', errors='ignore') as f:
        for line in f:
            match = LOG_PATTERN.match(line)
            if not match:
                continue
            
            ip, timestamp, method, url, status, user_agent = match.groups()
            
            if GOOGLEBOT_PATTERN.search(user_agent):
                googlebot_requests.append({
                    'ip': ip,
                    'timestamp': timestamp,
                    'method': method,
                    'url': url,
                    'status': int(status),
                })
    
    return googlebot_requests

def generate_report(requests):
    # 상태코드별 분류
    status_counts = Counter(r['status'] for r in requests)
    
    # 크롤링 빈도 상위 URL
    url_counts = Counter(r['url'] for r in requests)
    
    # 404 오류 URL
    not_found = [r['url'] for r in requests if r['status'] == 404]
    
    print(f"총 Googlebot 요청: {len(requests)}건")
    print(f"\n상태코드 분포:")
    for code, count in sorted(status_counts.items()):
        print(f"  {code}: {count}건 ({count/len(requests)*100:.1f}%)")
    
    print(f"\n크롤링 빈도 상위 10 URL:")
    for url, count in url_counts.most_common(10):
        print(f"  {count}회: {url}")
    
    print(f"\n404 오류 URL (상위 10개):")
    for url, count in Counter(not_found).most_common(10):
        print(f"  {count}회: {url}")