AI 검색에 인용되려면 AI 크롤러가 내 사이트를 읽을 수 있어야 합니다. 2026년 현재 주요 AI 크롤러는 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider, CCBot, Yeti 등 10종 이상입니다. 이 글에서는 각 크롤러의 정확한 User-Agent 문자열, 운영 주체, 역할, robots.txt 허용 방법, 차단했을 때 무엇을 잃는지를 표로 정리합니다.
광고 · 백결보감
AI 크롤러는 왜 이렇게 많나요?
기존 검색엔진은 Googlebot, Yeti(네이버) 정도만 신경 쓰면 됐습니다. AI 검색이 등장하면서 크롤러 수가 크게 늘었습니다. ChatGPT, Claude, Perplexity, Gemini, Apple Intelligence, 네이버 Cue: 등 각 서비스가 자체 크롤러를 운영하기 때문입니다.
문제는 많은 사이트가 자기도 모르게 이 크롤러들을 차단하고 있다는 것입니다. 호스팅 기본 설정이나 SEO 플러그인이 알려지지 않은 봇을 일괄 차단하는 경우가 흔합니다. 어떤 크롤러가 있는지 알아야 허용 여부를 판단할 수 있습니다.
대부분의 AI 크롤러는 Googlebot보다 방문 빈도가 낮습니다. 소규모 사이트에서 체감할 수준의 부하는 거의 없습니다. 다만 Bytespider처럼 크롤링 빈도가 높은 경우가 있으므로, 서버 로그를 주기적으로 확인하고 필요하면 Crawl-delay를 설정하거나 해당 봇만 제한할 수 있습니다.
목록에 없는 AI 크롤러도 있나요?
있습니다. AI 서비스가 계속 늘고 있어 새로운 크롤러가 등장할 수 있습니다. 다만 이 글에서 다룬 10종이 2026년 현재 가장 널리 알려진 크롤러이며, robots.txt에서 이들을 허용하면 주요 AI 검색은 대부분 커버됩니다.
크롤러를 허용해도 AI가 내 콘텐츠를 학습에 쓰는 걸 막을 수 있나요?
일부 크롤러는 역할이 나뉘어 있습니다. 예를 들어 OpenAI는 GPTBot(학습용)과 OAI-SearchBot(검색 인용)을 분리했으므로, GPTBot만 차단하고 OAI-SearchBot은 허용하면 학습에는 쓰이지 않으면서 ChatGPT 검색에는 인용될 수 있습니다. 다만 모든 서비스가 이렇게 분리하지는 않습니다.
How does your website score against these criteria? 10 seconds, free, no sign-up.