robots.txt는 "이 페이지는 읽지 마"라는 출입 규칙이고, llms.txt는 "이 사이트는 이런 곳이니 여기부터 읽어"라는 안내문입니다. 둘은 대체 관계가 아니라 보완 관계이며, robots.txt에서 AI 크롤러를 차단하면 llms.txt를 아무리 잘 써도 AI 검색에 인용되지 않습니다. 설정 순서는 robots.txt 허용이 먼저, llms.txt 안내가 그다음입니다.
광고 · 백결보감
robots.txt는 무엇을 하나요?
robots.txt는 웹사이트 루트(/robots.txt)에 놓는 텍스트 파일로, 크롤러에게 "어디를 읽어도 되고 어디를 읽으면 안 되는지"를 알려주는 출입 규칙입니다. 1994년부터 사용된 표준이며, Googlebot·Yeti 같은 검색엔진 크롤러뿐 아니라 GPTBot·ClaudeBot·PerplexityBot 같은 AI 크롤러도 이 파일을 확인합니다.
llms.txt는 역시 사이트 루트(/llms.txt)에 놓는 텍스트 파일이지만, 역할이 다릅니다. "이 사이트는 이런 곳이고, 중요한 페이지는 여기입니다"라고 AI에게 직접 안내하는 문서입니다. 2025년부터 확산되기 시작했습니다.
# 대치수학학원
> 서울 강남구 대치동 초·중등 수학 전문 학원입니다.
## 주요 페이지
- [수업 과정](/courses): 초등 심화, 중등 내신 수학반 안내
- [시간표·교습비](/schedule): 반별 시간표와 교습비
- [자주 묻는 질문](/faq): 레벨 테스트, 상담 예약 방법
- [오시는 길](/location): 주소, 주차, 대중교통 안내
robots.txt가 "문 앞의 잠금장치"라면, llms.txt는 "로비의 안내 데스크"입니다. 문이 잠겨 있으면 안내 데스크에 도달할 수 없고, 문이 열려 있어도 안내가 없으면 방문자가 건물 구조를 파악하는 데 시간이 걸립니다.
자주 묻는 질문
llms.txt만 있으면 robots.txt는 안 봐도 되나요?
아닙니다. AI 크롤러는 페이지를 방문하기 전에 robots.txt부터 확인합니다. robots.txt에서 차단되어 있으면 llms.txt 자체를 읽지 못합니다. 반드시 robots.txt에서 AI 크롤러를 허용한 뒤 llms.txt를 배치해야 합니다.
robots.txt에서 AI 크롤러만 따로 허용할 수 있나요?
가능합니다. User-agent별로 규칙을 나눠 쓸 수 있으므로 GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러에 대해서만 Allow 규칙을 적용하면 됩니다. 기존 검색엔진 크롤러 설정에는 영향을 주지 않습니다.
llms.txt 없이 robots.txt만 허용해도 AI에 나오나요?
나올 수 있습니다. llms.txt가 없어도 AI 크롤러가 접근 가능하면 HTML을 읽어서 답변 근거로 사용합니다. 다만 llms.txt가 있으면 AI가 사이트의 구조와 핵심 페이지를 빠르게 파악하므로, 정확한 인용 가능성이 높아집니다.