2026년 AI 크롤러 전체 목록 — GPTBot부터 NaverBot까지

AI 검색에 인용되려면 AI 크롤러가 내 사이트를 읽을 수 있어야 합니다. 2026년 현재 주요 AI 크롤러는 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider, CCBot, Yeti 등 10종 이상입니다. 이 글에서는 각 크롤러의 정확한 User-Agent 문자열, 운영 주체, 역할, robots.txt 허용 방법, 차단했을 때 무엇을 잃는지를 표로 정리합니다.

광고 · 백결보감백결보감

AI 크롤러는 왜 이렇게 많나요?

기존 검색엔진은 Googlebot, Yeti(네이버) 정도만 신경 쓰면 됐습니다. AI 검색이 등장하면서 크롤러 수가 크게 늘었습니다. ChatGPT, Claude, Perplexity, Gemini, Apple Intelligence, 네이버 Cue: 등 각 서비스가 자체 크롤러를 운영하기 때문입니다.

문제는 많은 사이트가 자기도 모르게 이 크롤러들을 차단하고 있다는 것입니다. 호스팅 기본 설정이나 SEO 플러그인이 알려지지 않은 봇을 일괄 차단하는 경우가 흔합니다. 어떤 크롤러가 있는지 알아야 허용 여부를 판단할 수 있습니다.

2026년 주요 AI 크롤러 목록

User-Agent 운영 주체 역할 차단 시 영향
GPTBot OpenAI AI 모델 학습 데이터 수집 ChatGPT 학습 대상에서 제외
OAI-SearchBot OpenAI ChatGPT 검색 답변용 인용 ChatGPT 검색에서 인용 불가
ChatGPT-User OpenAI 사용자 요청 시 실시간 브라우징 ChatGPT "웹 검색" 기능에서 제외
ClaudeBot Anthropic Claude 학습 및 검색 Claude 답변에서 인용 불가
PerplexityBot Perplexity Perplexity 검색 답변용 인용 Perplexity 검색에서 제외
Google-Extended Google Gemini 학습 데이터 수집 Gemini 학습 대상에서 제외
Applebot-Extended Apple Apple Intelligence 학습 Apple AI 기능에서 제외
Bytespider ByteDance TikTok 검색·AI 학습 TikTok 검색에서 제외
CCBot Common Crawl 오픈 웹 아카이브 수집 다수 AI 서비스의 학습 원천에서 제외
Yeti 네이버 네이버 검색·Cue: AI 답변 네이버 검색·Cue: 인용 불가

常见问题

AI 크롤러를 전부 허용하면 서버에 부담이 되나요?

대부분의 AI 크롤러는 Googlebot보다 방문 빈도가 낮습니다. 소규모 사이트에서 체감할 수준의 부하는 거의 없습니다. 다만 Bytespider처럼 크롤링 빈도가 높은 경우가 있으므로, 서버 로그를 주기적으로 확인하고 필요하면 Crawl-delay를 설정하거나 해당 봇만 제한할 수 있습니다.

목록에 없는 AI 크롤러도 있나요?

있습니다. AI 서비스가 계속 늘고 있어 새로운 크롤러가 등장할 수 있습니다. 다만 이 글에서 다룬 10종이 2026년 현재 가장 널리 알려진 크롤러이며, robots.txt에서 이들을 허용하면 주요 AI 검색은 대부분 커버됩니다.

크롤러를 허용해도 AI가 내 콘텐츠를 학습에 쓰는 걸 막을 수 있나요?

일부 크롤러는 역할이 나뉘어 있습니다. 예를 들어 OpenAI는 GPTBot(학습용)과 OAI-SearchBot(검색 인용)을 분리했으므로, GPTBot만 차단하고 OAI-SearchBot은 허용하면 학습에는 쓰이지 않으면서 ChatGPT 검색에는 인용될 수 있습니다. 다만 모든 서비스가 이렇게 분리하지는 않습니다.

您的网站按这些标准得几分?10秒、免费、无需注册。

诊断我的网站自行修改有困难?申请改善咨询
每月1日发送新文章和行业平均分只需邮箱,无需注册。点击确认邮件中的按钮即可开始订阅,随时可退订。确认订阅后可获取行业AI搜索准备清单(PDF)。

相关文章

광고 · 그룹디그룹디 — 디자인·홈페이지 제작