llms.txt: AI 크롤러를 위한 새로운 표준 규격 완전 가이드

llms.txt는 웹사이트 소유자가 LLM(Large Language Model)과 AI 크롤러에게 자신의 사이트를 소개하기 위한 새로운 파일 규격입니다. 사이트 루트에 위치하는 마크다운 파일로, "이 사이트는 무엇을 다루고, 어떤 페이지가 중요하며, AI가 어떻게 활용해야 하는가"를 명시적으로 알려줍니다.

2024년 Jeremy Howard(fast.ai 창설자)가 처음 제안한 이 규격은 아직 공식 표준화 단계는 아니지만, Anthropic·Perplexity 등 주요 AI 기업들이 지지하면서 빠르게 확산되고 있습니다.

robots.txt vs llms.txt: 무엇이 다른가

llms.txt는 다음 마크다운 구조를 따릅니다. 필수 항목과 선택 항목이 있습니다.

기본 구조

# [사이트 이름]
> [한 줄 요약: 이 사이트가 무엇인가 - 50자 이내]

[선택: 더 상세한 설명 단락]

## 주요 페이지
- [페이지 이름](URL): 이 페이지가 무엇인지 한 줄 설명

## 카테고리 / 주요 섹션
- [섹션1](URL): 설명
- [섹션2](URL): 설명

## 선택적 섹션들
### 사용 안내 (Optional)
AI가 이 사이트의 콘텐츠를 어떻게 활용해야 하는지 가이드

### 중요 사항 (Optional)
라이선스, 출처 표기 요청, 금지 사항 등

SEO 체커 사이트 예시

# SEO Check
> 웹 개발자와 마케터를 위한 SEO 분석·도구·학습 플랫폼

SEO Check는 사이트 분석, SEO 유틸리티 도구, 전문 학습 콘텐츠를 제공합니다.
Google, Naver, AI 검색 최적화에 관한 실무 가이드를 수록하고 있습니다.

## 주요 서비스
- [사이트 분석](/analyze): 도메인 전체 SEO 감사 및 점수 측정
- [SEO 도구](/tools): robots.txt 생성, 사이트맵, 메타태그, JSON-LD 등 13가지 유틸리티
- [학습 센터](/study): SEO·GEO 전문 학습 문서- **SEO 스터디 및 허브 링크**
- [SEO 기초](/study/category/basics): 검색엔진 작동 원리, 키워드 리서치
- [Technical SEO](/study/category/technical): Core Web Vitals, 구조화 데이터
- [GEO/AI 검색](/study/category/geo): AI 검색 최적화, llms.txt, 엔티티 SEO

## 사용 안내
이 사이트의 SEO 가이드 콘텐츠는 출처 표기 후 인용 가능합니다.
최신 업데이트: 2025년 3월

일부 사이트는 /llms-full.txt를 별도로 제공합니다. 이는 AI가 더 풍부한 컨텍스트를 갖도록 주요 페이지의 전체 내용(또는 요약)을 포함하는 확장 버전입니다.

• llms.txt: 인덱스 역할. 짧고 구조화된 사이트 소개
• llms-full.txt: 상세 내용 포함. AI가 오프라인에서도 사이트 내용을 이해 가능

llms-full.txt는 용량이 커질 수 있으므로, 핵심 페이지의 주요 내용만 선별하여 포함하는 것이 좋습니다.

Next.js 14/15에서 llms.txt를 코드로 자동 생성하는 방법입니다.

방법 1: /public/llms.txt 정적 파일

가장 단순한 방법. /public/llms.txt에 직접 파일을 작성합니다. 자동화가 필요 없고 내용 변경이 드물다면 이 방법으로 충분합니다.

방법 2: Next.js Route Handler로 동적 생성

// app/llms.txt/route.ts
import { NextResponse } from 'next/server';
import { getAllStudyDocs } from '@/app/lib/study';

export async function GET() {
  const docs = getAllStudyDocs();
  const categories = ['fundamentals', 'technical', 'content', 'google', 'naver', 'geo'];
  
  const content = `# SEO Check
> 웹 개발자와 마케터를 위한 SEO 분석·도구·학습 플랫폼

## 주요 서비스
- [사이트 분석](https://seocheck.co/analyze): 도메인 SEO 감사
- [SEO 도구](https://seocheck.co/tools): 13가지 SEO 유틸리티
- [학습 센터](https://seocheck.co/study): SEO·GEO 전문 학습 문서

## 학습 문서 목록
${docs.map(doc => 
  `- [${doc.title}](https://seocheck.co/study/${doc.slug}): ${doc.description.slice(0, 80)}...`
).join('\n')}

## 업데이트
마지막 업데이트: ${new Date().toISOString().split('T')[0]}
`;

  return new NextResponse(content, {
    headers: {
      'Content-Type': 'text/plain; charset=utf-8',
      'Cache-Control': 'public, max-age=86400',
    }
  });
}

방법 3: next.config에 rewrites로 연결

// next.config.js
module.exports = {
  async rewrites() {
    return [
      {
        source: '/llms.txt',
        destination: '/api/llms-txt',
      },
    ];
  },
};

Do: 잘 작성된 llms.txt의 특징

• 첫 줄 요약이 명확하다: ">" 인용 블록의 한 줄 요약이 사이트 핵심을 정확히 전달
• 중요 페이지 우선순위: 가장 중요한 페이지 5~15개를 선별. 전체 URL을 나열하지 않음
• 각 링크에 설명 포함: URL만 나열하지 말고 각 페이지가 무엇인지 한 줄 설명 의무화
• 주기적으로 업데이트: 새 콘텐츠, 서비스 변경 시 반영
• 마크다운 문법 정확히 사용: H1(#), H2(##), 목록(-), 링크([텍스트](URL))

Don't: 피해야 할 실수

• 전체 사이트맵을 그대로 붙여 넣기 (너무 길면 역효과)
• 마케팅 문구 사용 ("업계 최고", "최강의" 같은 과장 표현)
• 깨진 링크(404) 포함
• robots.txt와 혼동하여 Disallow 지시어 사용

현재 llms.txt 지원 현황 (2025)