robots.txt와 llms.txt — 차이와 우선순위 정리

robots.txt는 "이 페이지는 읽지 마"라는 출입 규칙이고, llms.txt는 "이 사이트는 이런 곳이니 여기부터 읽어"라는 안내문입니다. 둘은 대체 관계가 아니라 보완 관계이며, robots.txt에서 AI 크롤러를 차단하면 llms.txt를 아무리 잘 써도 AI 검색에 인용되지 않습니다. 설정 순서는 robots.txt 허용이 먼저, llms.txt 안내가 그다음입니다.

광고 · 백결보감백결보감

robots.txt는 무엇을 하나요?

robots.txt는 웹사이트 루트(/robots.txt)에 놓는 텍스트 파일로, 크롤러에게 "어디를 읽어도 되고 어디를 읽으면 안 되는지"를 알려주는 출입 규칙입니다. 1994년부터 사용된 표준이며, Googlebot·Yeti 같은 검색엔진 크롤러뿐 아니라 GPTBot·ClaudeBot·PerplexityBot 같은 AI 크롤러도 이 파일을 확인합니다.

User-agent: *
Disallow: /admin/
Allow: /

User-agent: GPTBot
Allow: /

위 예시에서 모든 크롤러는 /admin/을 읽지 못하고, GPTBot은 나머지 전체를 읽을 수 있습니다. robots.txt에서 차단된 크롤러는 해당 페이지를 아예 방문하지 않습니다. AI 크롤러도 마찬가지입니다.

llms.txt는 무엇을 하나요?

llms.txt는 역시 사이트 루트(/llms.txt)에 놓는 텍스트 파일이지만, 역할이 다릅니다. "이 사이트는 이런 곳이고, 중요한 페이지는 여기입니다"라고 AI에게 직접 안내하는 문서입니다. 2025년부터 확산되기 시작했습니다.

# 대치수학학원
> 서울 강남구 대치동 초·중등 수학 전문 학원입니다.

## 주요 페이지
- [수업 과정](/courses): 초등 심화, 중등 내신 수학반 안내
- [시간표·교습비](/schedule): 반별 시간표와 교습비
- [자주 묻는 질문](/faq): 레벨 테스트, 상담 예약 방법
- [오시는 길](/location): 주소, 주차, 대중교통 안내

robots.txt가 "문 앞의 잠금장치"라면, llms.txt는 "로비의 안내 데스크"입니다. 문이 잠겨 있으면 안내 데스크에 도달할 수 없고, 문이 열려 있어도 안내가 없으면 방문자가 건물 구조를 파악하는 데 시간이 걸립니다.

FAQ

llms.txt만 있으면 robots.txt는 안 봐도 되나요?

아닙니다. AI 크롤러는 페이지를 방문하기 전에 robots.txt부터 확인합니다. robots.txt에서 차단되어 있으면 llms.txt 자체를 읽지 못합니다. 반드시 robots.txt에서 AI 크롤러를 허용한 뒤 llms.txt를 배치해야 합니다.

robots.txt에서 AI 크롤러만 따로 허용할 수 있나요?

가능합니다. User-agent별로 규칙을 나눠 쓸 수 있으므로 GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러에 대해서만 Allow 규칙을 적용하면 됩니다. 기존 검색엔진 크롤러 설정에는 영향을 주지 않습니다.

llms.txt 없이 robots.txt만 허용해도 AI에 나오나요?

나올 수 있습니다. llms.txt가 없어도 AI 크롤러가 접근 가능하면 HTML을 읽어서 답변 근거로 사용합니다. 다만 llms.txt가 있으면 AI가 사이트의 구조와 핵심 페이지를 빠르게 파악하므로, 정확한 인용 가능성이 높아집니다.

How does your website score against these criteria? 10 seconds, free, no sign-up.

Scan my siteNeed help? Request a consultation
New articles and industry averages, delivered monthlyJust your email, no sign-up. Subscription starts after you click the confirmation email button. Unsubscribe anytime. Confirming opens the AI Search Readiness Checklist (PDF).

Related posts

광고 · 그룹디그룹디 — 디자인·홈페이지 제작