robots.txt AI 봇 (robots.txt and AI crawlers)
사이트의 robots.txt에서 AI 검색·학습 봇(OAI-SearchBot, GPTBot, Claude-SearchBot 등)을 허용하거나 막는 규칙. 막힌 사이트는 그 엔진의 답변 근거가 되기 어렵습니다.
2026.09.27 게시 · 2분 · 글 신재호(인용랩) · markdown
robots.txt는 사이트 루트에 두는 봇 출입 규칙입니다. AI 회사들은 봇을 용도별로 나눠 두었습니다.
| 회사 | 검색용 | 학습용 |
|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot |
| Anthropic | Claude-SearchBot | ClaudeBot |
| Perplexity | PerplexityBot | (학습에 안 쓴다고 밝힘) |
| 구글 | Googlebot | Google-Extended(Gemini 학습·그라운딩 제어) |
출처: OpenAI · Anthropic · Perplexity
네이버·카카오는 AI 봇을 막나요?
네. 인용랩이 2026년 8월 22일 한국 플랫폼 29곳의 robots.txt를 읽었을 때, 네이버 검색·지도·플레이스·블로그·스마트스토어와 카카오맵은 ChatGPT·Claude·Perplexity의 검색 봇을 막고 있었습니다. map.naver.com/robots.txt에서 직접 확인할 수 있습니다. 자세한 표는 실측 노트에 있습니다.
우리 사이트는 어떻게 확인하나요?
사이트 진단이 robots.txt를 그룹 우선순위대로 해석하고, 봇 이름으로 직접 요청해 확인합니다. 홈페이지 제작 업체가 넣어 둔 Disallow: / 한 줄로 전부 막혀 있는 경우가 실제로 있었습니다. 복사해 쓸 설정 예시와 직접 확인하는 명령은 robots.txt 가이드에 있습니다.
자주 묻는 질문
학습 봇만 막고 검색 봇은 허용할 수 있나요?
네. 봇 이름별로 그룹을 나눠 GPTBot·ClaudeBot은 막고 OAI-SearchBot·Claude-SearchBot은 허용할 수 있습니다. 국내에서는 브런치가 이렇게 나눠 두었습니다(2026-08-22 실측).