# robots.txt AI 봇 뜻

> robots.txt로 AI 봇을 막거나 허용하는 법, 검색 봇과 학습 봇의 차이, 네이버·카카오의 차단 실측.

- 주소: https://inyonglab.com/%EC%9A%A9%EC%96%B4%EC%A7%91/robots-ai-bots
- 게시: 2026-09-27
- 발행: 인용랩 (VibeRick)

robots.txt는 사이트 루트에 두는 **봇 출입 규칙**입니다. AI 회사들은 봇을 용도별로 나눠 두었습니다.

| 회사 | 검색용 | 학습용 |
|---|---|---|
| OpenAI | [OAI-SearchBot](https://inyonglab.com/용어집/oai-searchbot) | GPTBot |
| Anthropic | Claude-SearchBot | ClaudeBot |
| Perplexity | PerplexityBot | (학습에 안 쓴다고 밝힘) |
| 구글 | Googlebot | Google-Extended(Gemini 학습·그라운딩 제어) |

출처: [OpenAI](https://developers.openai.com/api/docs/bots) · [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) · [Perplexity](https://docs.perplexity.ai/guides/bots)

## 네이버·카카오는 AI 봇을 막나요?

네. 인용랩이 2026년 8월 22일 한국 플랫폼 29곳의 robots.txt를 읽었을 때, 네이버 검색·지도·플레이스·블로그·스마트스토어와 카카오맵은 ChatGPT·Claude·Perplexity의 검색 봇을 막고 있었습니다. [map.naver.com/robots.txt](https://map.naver.com/robots.txt)에서 직접 확인할 수 있습니다. 자세한 표는 [실측 노트](https://inyonglab.com/실측노트/naver-blocks-ai)에 있습니다.

## 우리 사이트는 어떻게 확인하나요?

[사이트 진단](https://inyonglab.com/diagnose)이 robots.txt를 그룹 우선순위대로 해석하고, 봇 이름으로 직접 요청해 확인합니다. 홈페이지 제작 업체가 넣어 둔 `Disallow: /` 한 줄로 전부 막혀 있는 경우가 실제로 있었습니다. 복사해 쓸 설정 예시와 직접 확인하는 명령은 [robots.txt 가이드](https://inyonglab.com/가이드/robots-txt-ai-crawlers)에 있습니다.

## 자주 묻는 질문

### 학습 봇만 막고 검색 봇은 허용할 수 있나요?

네. 봇 이름별로 그룹을 나눠 GPTBot·ClaudeBot은 막고 OAI-SearchBot·Claude-SearchBot은 허용할 수 있습니다. 국내에서는 브런치가 이렇게 나눠 두었습니다(2026-08-22 실측).