AI 검색이 내 사이트를 인용하는 구조 — 크롤링에서 답변까지 4단계

AI 검색 엔진이 내 홈페이지를 답변에 넣으려면 네 단계를 거칩니다. (1) 크롤러가 사이트를 방문할 수 있어야 하고, (2) HTML에서 텍스트를 추출할 수 있어야 하며, (3) 구조화 데이터로 내용을 정확하게 파악하고, (4) 답변을 생성할 때 출처로 선택해야 합니다. 어느 한 단계라도 막히면 인용되지 않습니다. 이 글에서는 각 단계에서 무엇이 일어나고, 홈페이지 운영자가 확인해야 할 항목을 정리합니다.

광고 · 백결보감백결보감

AI 검색은 어떻게 내 사이트를 답변에 넣나요?

"강남에서 임플란트 잘하는 치과 추천해 줘"라고 ChatGPT에 물으면, AI는 파란 링크 10개를 보여주는 대신 한두 곳을 골라 문장으로 답합니다. 이 답변이 만들어지기까지 네 단계를 거칩니다. 어느 한 단계에서 막히면 내 사이트는 답변에 들어갈 수 없습니다.

1단계: 크롤러가 방문할 수 있는가

AI 검색 서비스는 자체 크롤러를 운영합니다. GPTBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot이 대표적입니다. 이 크롤러는 사이트의 robots.txt를 먼저 확인합니다.

# 이렇게 되어 있으면 AI 크롤러가 읽을 수 없습니다
User-agent: GPTBot
Disallow: /

많은 사이트가 호스팅이나 빌더의 기본 설정으로 AI 크롤러를 차단하고 있습니다. 의도한 차단이 아니라면 해제해야 합니다. 차단된 상태에서는 나머지 세 단계가 의미 없습니다.

llms.txt를 함께 두면 "이 사이트는 이런 곳이고, 중요한 페이지는 여기입니다"를 크롤러에게 직접 안내할 수 있습니다. robots.txt가 "어디를 읽지 마"라면 llms.txt는 "어디를 먼저 읽어"입니다.

常见问题

AI가 내 사이트를 크롤링했는지 어떻게 확인하나요?

웹서버 접속 로그에서 GPTBot, ClaudeBot, PerplexityBot 같은 User-Agent를 검색하면 됩니다. 클라우드플레어나 카페24 같은 호스팅을 쓴다면 관리자 페이지의 트래픽 로그에서 봇 방문 기록을 확인할 수 있습니다. 로그에 해당 봇이 없다면 robots.txt에서 차단되어 있을 가능성이 높습니다.

구조화 데이터 없이도 AI가 인용할 수 있나요?

가능은 하지만 확률이 낮습니다. AI는 일반 텍스트도 읽지만, JSON-LD로 업종·주소·영업시간·FAQ가 명시된 페이지를 더 정확하게 파악합니다. 같은 내용이라도 구조화 데이터가 있는 쪽이 출처로 선택될 가능성이 높습니다.

인용되면 트래픽이 줄어드는 거 아닌가요?

AI 답변에서 출처 링크를 함께 보여주는 서비스(Perplexity, Google AI Overviews 등)가 늘고 있습니다. 사용자가 더 자세한 정보를 원할 때 출처 링크를 클릭하므로, 인용 자체가 트래픽 감소를 뜻하지는 않습니다. 오히려 인용되지 않으면 AI 검색 사용자에게 아예 노출되지 않는 것이 더 큰 문제입니다.

您的网站按这些标准得几分?10秒、免费、无需注册。

诊断我的网站自行修改有困难?申请改善咨询
每月1日发送新文章和行业平均分只需邮箱,无需注册。点击确认邮件中的按钮即可开始订阅,随时可退订。确认订阅后可获取行业AI搜索准备清单(PDF)。

相关文章

광고 · 그룹디그룹디 — 디자인·홈페이지 제작