AI 검색은 어떻게 내 사이트를 답변에 넣나요?
"강남에서 임플란트 잘하는 치과 추천해 줘"라고 ChatGPT에 물으면, AI는 파란 링크 10개를 보여주는 대신 한두 곳을 골라 문장으로 답합니다. 이 답변이 만들어지기까지 네 단계를 거칩니다. 어느 한 단계에서 막히면 내 사이트는 답변에 들어갈 수 없습니다.
AI 검색 엔진이 내 홈페이지를 답변에 넣으려면 네 단계를 거칩니다. (1) 크롤러가 사이트를 방문할 수 있어야 하고, (2) HTML에서 텍스트를 추출할 수 있어야 하며, (3) 구조화 데이터로 내용을 정확하게 파악하고, (4) 답변을 생성할 때 출처로 선택해야 합니다. 어느 한 단계라도 막히면 인용되지 않습니다. 이 글에서는 각 단계에서 무엇이 일어나고, 홈페이지 운영자가 확인해야 할 항목을 정리합니다.
"강남에서 임플란트 잘하는 치과 추천해 줘"라고 ChatGPT에 물으면, AI는 파란 링크 10개를 보여주는 대신 한두 곳을 골라 문장으로 답합니다. 이 답변이 만들어지기까지 네 단계를 거칩니다. 어느 한 단계에서 막히면 내 사이트는 답변에 들어갈 수 없습니다.
AI 검색 서비스는 자체 크롤러를 운영합니다. GPTBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot이 대표적입니다. 이 크롤러는 사이트의 robots.txt를 먼저 확인합니다.
# 이렇게 되어 있으면 AI 크롤러가 읽을 수 없습니다
User-agent: GPTBot
Disallow: /
많은 사이트가 호스팅이나 빌더의 기본 설정으로 AI 크롤러를 차단하고 있습니다. 의도한 차단이 아니라면 해제해야 합니다. 차단된 상태에서는 나머지 세 단계가 의미 없습니다.
llms.txt를 함께 두면 "이 사이트는 이런 곳이고, 중요한 페이지는 여기입니다"를 크롤러에게 직접 안내할 수 있습니다. robots.txt가 "어디를 읽지 마"라면 llms.txt는 "어디를 먼저 읽어"입니다.
웹서버 접속 로그에서 GPTBot, ClaudeBot, PerplexityBot 같은 User-Agent를 검색하면 됩니다. 클라우드플레어나 카페24 같은 호스팅을 쓴다면 관리자 페이지의 트래픽 로그에서 봇 방문 기록을 확인할 수 있습니다. 로그에 해당 봇이 없다면 robots.txt에서 차단되어 있을 가능성이 높습니다.
가능은 하지만 확률이 낮습니다. AI는 일반 텍스트도 읽지만, JSON-LD로 업종·주소·영업시간·FAQ가 명시된 페이지를 더 정확하게 파악합니다. 같은 내용이라도 구조화 데이터가 있는 쪽이 출처로 선택될 가능성이 높습니다.
AI 답변에서 출처 링크를 함께 보여주는 서비스(Perplexity, Google AI Overviews 등)가 늘고 있습니다. 사용자가 더 자세한 정보를 원할 때 출처 링크를 클릭하므로, 인용 자체가 트래픽 감소를 뜻하지는 않습니다. 오히려 인용되지 않으면 AI 검색 사용자에게 아예 노출되지 않는 것이 더 큰 문제입니다.
How does your website score against these criteria? 10 seconds, free, no sign-up.
Scan my siteNeed help? Request a consultation