AI 크롤러 robots.txt 설정 가이드: GPTBot·ClaudeBot·Google-Extended 허용과 차단

AI 크롤러 설정이 GEO에 왜 중요한가요?

AI 검색은 자사 크롤러로 수집한 문서를 근거로 답하기 때문에, 검색용 봇을 막으면 인용될 기회도 사라집니다. OpenAI는 OAI-SearchBot을 차단한 사이트가 ChatGPT 검색 답변에 표시되지 않고 탐색용 링크로만 나올 수 있다고 밝힙니다(OpenAI, 2026). Anthropic도 Claude-SearchBot이나 Claude-User를 막으면 검색 노출이 줄 수 있다고 안내합니다(Anthropic, 2026). 구글도 AI 기능을 위한 기본 관행으로 robots.txt와 CDN·호스팅 설정 모두에서 크롤링을 허용하라고 안내합니다(Google Search Central, 2025).

실제로 대부분의 사이트는 검색은 열고 학습만 선택적으로 막습니다. Cloudflare를 쓰는 사이트 중 검색 봇을 차단하는 곳은 1% 미만이지만, 학습 차단 수단을 켠 곳은 17%입니다(Cloudflare, 2026).

주요 AI 크롤러는 무엇이고 용도는 어떻게 다른가요?

아래 표는 2026년 9월 28일 각 회사 공식 문서를 기준으로 정리했습니다. 회사명을 누르면 공식 문서로 이동합니다. ‘사용자 요청’ 봇은 사람이 AI에게 질문했을 때 특정 페이지를 가져오는 봇으로, 여러 회사가 robots.txt가 적용되지 않을 수 있다고 밝힙니다.

표에서 놓치기 쉬운 사실이 몇 가지 있습니다.

• Google-Extended는 검색과 무관합니다. 구글 검색 노출이나 순위에 영향을 주지 않으며, Gemini 모델 학습과 Gemini 앱·Vertex AI의 그라운딩(답변 생성 시 검색 색인 내용 제공)만 제어합니다(Google, 2026). AI 개요와 AI 모드는 Googlebot 설정을 따르고, 노출 범위는 nosnippet·data-nosnippet·max-snippet·noindex로 조절합니다(Google Search Central, 2025).
• Applebot은 Googlebot 규칙을 따를 수 있습니다. robots.txt가 Applebot은 언급하지 않고 Googlebot만 언급하면 Applebot은 Googlebot 규칙을 따릅니다. Applebot이 수집한 데이터는 학습에도 쓰일 수 있어 학습 거부는 Applebot-Extended로, Siri·검색의 AI 답변 제외는 nosnippet으로 합니다(Apple, 2026).
• 옛 토큰을 점검하세요. 많은 템플릿에 있는 anthropic-ai, Claude-Web은 Anthropic의 현재 문서에 없습니다(Anthropic, 2026). 다음 고객센터는 수집 로봇 이름을 Daum(User-Agent Daum/4.1)으로 안내하며(Daum, 2026), 흔히 쓰는 Daumoa는 2007년 발표된 옛 이름입니다(카카오, 2007).
• Bytespider는 운영사 문서를 확인할 수 없습니다. Cloudflare는 2024년 자사 네트워크에서 요청 수가 가장 많은 AI 크롤러로 Bytespider를 꼽았고, 관리형 robots.txt의 차단 목록에도 넣고 있습니다(Cloudflare, 2024; Cloudflare, 2026). robots.txt만으로 통제된다고 가정하지 않는 편이 안전합니다.

바로 쓰는 robots.txt 템플릿 3종

작성 전에 한 가지 규칙을 알아야 합니다. 크롤러는 자기 이름과 일치하는 그룹이 있으면 그 그룹만 따르고, 일치하는 그룹이 없을 때만 User-agent: * 그룹을 따릅니다(IETF, 2022). 그래서 특정 봇 그룹을 만들면 /admin/ 같은 공통 차단 경로를 그 그룹에도 다시 적어야 합니다. 여러 User-agent 줄을 한 그룹으로 묶을 수 있고, 이름은 대소문자를 구분하지 않습니다.

# 검색엔진과 AI 크롤러를 모두 허용
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

# 학습 목적 크롤러·토큰 차단
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# 그 밖의 크롤러(Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Yeti 등)는 허용
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

# AI 학습·검색·사용자 요청 봇 차단
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# Googlebot, Bingbot, Applebot, Yeti, Daum 등 일반 검색은 허용
User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

진짜 AI 크롤러인지 어떻게 확인하나요?

User-Agent 문자열은 누구나 흉내 낼 수 있으므로 IP로 확인해야 합니다(Google, 2026). 방법은 두 가지입니다.

1. 역방향·정방향 DNS 조회: 접속 IP의 호스트 이름을 조회해 공식 도메인인지 보고, 그 호스트 이름을 다시 조회해 원래 IP와 같은지 확인합니다. 구글·Apple·네이버·Common Crawl이 이 방식을 안내하며, 예시는 아래 코드와 같습니다.
2. 공개 IP 목록 대조: OpenAI·Perplexity는 봇마다 IP 목록 파일을 따로 공개하고, Anthropic·구글·Apple·Amazon·네이버·Common Crawl도 크롤러 IP 대역을 공개합니다. 목록은 예고 없이 바뀌므로 한 번 복사해 두지 말고 주기적으로 새로 받아 대조하세요.

# 1) Nginx 접근 로그에서 크롤러별 요청 수 집계
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Applebot|meta-externalagent|Amazonbot|CCBot|Bytespider|Yeti|Daum" /var/log/nginx/access.log | sort | uniq -c | sort -rn

# 2) 역방향 조회 → 정방향 조회 결과가 원래 IP와 같으면 진짜 봇 (구글 문서 예시)
host 66.249.66.1
host crawl-66-249-66-1.googlebot.com

# 네이버 Yeti (서치어드바이저 예시)
host 125.209.235.169
host crawl.125-209-235-169.web.naver.com

Cloudflare를 거치는 사이트는 원 서버 로그에 Cloudflare IP가 찍힐 수 있으니, 방문자 IP를 담은 CF-Connecting-IP 헤더를 로그에 남기세요(Cloudflare, 2026). 구글은 서명으로 봇을 인증하는 Web Bot Auth도 시험하고 있습니다(Google, 2026).

Cloudflare를 쓴다면 무엇을 확인해야 하나요?

Cloudflare 사이트는 robots.txt와 별개로 CDN 단계에서 AI 봇이 차단될 수 있습니다. Cloudflare는 2024년 7월 무료 플랜을 포함한 모든 고객에게 AI 봇 원클릭 차단을 제공했고(Cloudflare, 2024), 2025년 7월 1일에는 새로 등록하는 모든 도메인에 AI 크롤러 허용 여부를 묻고 기본값을 차단 쪽으로 바꿨습니다(Cloudflare, 2025). 관리형 robots.txt를 켜면 원래 파일 앞에 학습 크롤러 차단 규칙을 덧붙여 제공합니다(Cloudflare, 2026).

2026년 9월 15일에는 설정 체계가 크게 바뀌었습니다(Cloudflare, 2026).

• AI 봇 정책이 검색(Search)·학습(Training)·에이전트(Agent) 세 항목으로 나뉘었습니다.
• 학습 항목에 새 옵션 ‘Disallow AI Training’이 생겼습니다. GPTBot·ClaudeBot 같은 학습 전용 크롤러는 차단하고, 검색을 겸하는 Googlebot 등은 검색용으로 계속 허용하면서 학습 거부 의사를 robots.txt로 알립니다.
• 학습 항목의 Block과 ‘광고 페이지에서만 차단’은 이제 Googlebot·Bingbot·Applebot 같은 겸용 크롤러에도 적용되어 검색에도 영향을 줍니다.
• 기존 ‘Block AI bots’ 설정은 폐지 예정이고, 관리형 robots.txt는 Bot Preference Sync로 대체됩니다. 기존 설정은 자동으로 이전됩니다.

우리 회사는 어떻게 설정해야 할까요?

B2B 서비스·제조·SaaS처럼 AI 추천이 영업 기회로 이어지는 회사라면 템플릿 1이나 2가 맞습니다. 콘텐츠 자체가 상품인 유료 매체·데이터 사업자는 템플릿 2나 3을 검토하되, 차단할수록 AI 답변에서 빠진다는 비용을 함께 따져야 합니다. 국내 사이트라면 설정을 바꾼 뒤 네이버 서치어드바이저의 robots.txt 검증 도구로 Yeti가 함께 막히지 않았는지 꼭 확인하세요. 네이버 수집이 막히면 네이버 검색 노출 전체가 흔들립니다.

AI 크롤러 설정은 기술적 SEO의 일부입니다. 크롤링·색인 전반은 기술적 SEO 가이드(PART 5), AI용 안내 파일은 llms.txt 가이드, 전략의 큰 그림은 GEO란 무엇인가에서 이어서 볼 수 있습니다. 설정과 서버·CDN 수정을 함께 맡기려면 테크니컬 SEO 서비스를 참고하세요.