# AI 노출을 한 번 재면 안 되는 이유: 같은 질문, 세 번의 답

> 같은 질문을 AI에 다시 물으면 다른 답이 나옵니다. 같은 추천 목록이 다시 나올 확률은 1% 미만이라는 조사, 같은 구글 안에서도 출처가 거의 겹치지 않는다는 연구, 우리 회사를 직접 잰 캡처로 설명하고, 혼자서 제대로 재는 방법을 적습니다.

- 주소: https://inyonglab.com/%EA%B0%80%EC%9D%B4%EB%93%9C/same-question-three-answers
- 게시: 2026-09-27
- 발행: 인용랩 (VibeRick)

## 30초 요약

- **AI는 같은 질문에 매번 다른 답을 합니다.** 600명이 2,961번 돌린 조사에서 같은 추천 목록이 다시 나올 확률은 1% 미만, 같은 순서는 0.1% 미만이었습니다.
- **같은 회사의 표면끼리도 출처가 거의 겹치지 않습니다.** 구글 검색·AI 개요·Gemini의 출처 겹침은 0.11~0.18이었습니다(1이면 완전히 같음).
- 우리 회사 VibeRick을 잴 때도 **같은 날, 같은 질문에 Gemini가 한 번은 맞게, 한 번은 이름이 비슷한 다른 회사를 설명했습니다.**
- 그래서 한 번 본 결과는 증거가 아닙니다. **엔진마다 3번 이상, 로그인하지 않은 창에서** 묻고, "**3번 중 몇 번**"으로 적습니다.
- 적을 때는 **언급·인용·미측정**을 나눕니다. AI 답변이 뜨지 않은 시도를 0으로 세면 결과가 왜곡됩니다.

## 같은 질문을 하면 같은 답이 나오지 않나요?

나오지 않습니다. AI 답변은 매번 확률적으로 만들어지고, 답을 만들기 전에 가져오는 검색 결과도 매번 달라질 수 있습니다.

규모가 가장 큰 조사는 SparkToro가 추적 도구 회사 Gumshoe와 함께 2025년 11~12월에 한 것입니다. 자원자 600명이 프롬프트 12개를 ChatGPT·Claude·구글 AI에 모두 **2,961번** 돌렸습니다. 같은 브랜드 추천 목록이 다시 나올 확률은 **1% 미만**, 같은 순서로 나올 확률은 **0.1% 미만**이었습니다([SparkToro](https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/)).

이 조사의 결론은 "재도 소용없다"가 아닙니다. **여러 번 돌려서 얻은 노출 비율은 쓸 만한 지표**라는 것입니다. 한 번의 순위는 믿을 수 없지만, 여러 번 중 몇 번 나왔는지는 비교할 수 있다는 뜻입니다. 공동 조사자인 Gumshoe가 추적 도구를 파는 회사라는 점은 조사 본문에 공개돼 있습니다.

## 한 엔진에서 나오면 다른 엔진에서도 나오나요?

그렇게 볼 수 없습니다. 같은 구글 안에서도 그렇습니다.

SIGIR 2026에 실린 Grossman 외의 연구는 실제 사용자 질문 11,500개를 구글 검색, AI 개요, Gemini에 넣고 각각이 단 출처 주소를 비교했습니다. 세 표면 사이의 출처 겹침(자카드 유사도)은 **0.11~0.18**이었습니다([arXiv 2604.27790](https://arxiv.org/abs/2604.27790), [데이터](https://github.com/rag24/AIO)). 0은 하나도 안 겹침, 1은 완전히 같음입니다. 같은 회사가 만든 세 화면이 대부분 다른 출처를 쓴다는 뜻입니다.

한국에서는 차이가 더 큽니다. 네이버 AI 브리핑은 네이버 자체 콘텐츠를 쓰고, ChatGPT는 robots.txt 때문에 네이버 블로그를 읽지 못합니다. 엔진마다 따로 재야 하는 이유입니다.

## 실제로 재 보면 어떻게 달라지나요?

인용랩을 운영하는 VibeRick을 2026년 9월 25일 같은 조건(비로그인 Gemini)에서 "VibeRick(바이브릭)은 어떤 회사인가요?"로 연달아 물었습니다.

![비로그인 Gemini가 VibeRick을 AI 에이전트·AX 컨설팅 스튜디오로 맞게 설명한 화면](https://inyonglab.com/reports/check-it-yourself/gemini-trial-1.jpg "Gemini(비로그인), 2026-09-25, 1회차. 맞게 설명하고 viberick.com을 출처로 붙였습니다.")

![같은 질문에 비로그인 Gemini가 이름이 비슷한 다른 회사를 설명한 화면](https://inyonglab.com/reports/check-it-yourself/gemini-trial-2.jpg "같은 질문, 같은 날, 2회차. 이름이 비슷한 다른 회사를 설명했습니다.")

세 번 중 두 번은 맞게, 한 번은 다른 회사를 설명했습니다. 한 번만 물었다면 "Gemini는 우리를 안다" 또는 "모른다" 중 하나를 결론으로 믿었을 것입니다.

같은 날 엔진을 바꾸면 결과가 또 달랐습니다. 같은 질문에 ChatGPT(웹)와 Gemini API는 3번 모두 맞게 답했고, 구글 AI 개요는 한 번도 맞게 설명하지 못했습니다. 네이버에서는 질문 12개를 3번씩, 36번 물었는데 **9번은 AI 브리핑이 아예 뜨지 않았습니다.** 전체 기록은 [직접 확인하는 법](https://inyonglab.com/실측노트/check-it-yourself)에 있습니다.

## 몇 번 물어야 하나요?

**엔진마다 최소 3번**입니다. 인용랩은 이것을 [반복 측정(n≥3)](https://inyonglab.com/용어집/repeated-measurement)이라 부르고 모든 측정에 씁니다.

솔직히 말하면 3번은 넉넉한 숫자가 아닙니다. 이 분야 연구를 모은 서베이는 같은 뜻의 질문을 3~5가지로 바꿔 쓰고 각각 7~8번 이상 반복하기를 권합니다([arXiv 2607.14035](https://arxiv.org/html/2607.14035v1)). 3번은 한 번의 우연을 결론으로 삼지 않기 위한 **최소선**입니다. 그래서 인용랩은 리포트에 반복 횟수와 조건을 함께 적고, 한 달 사이 변화가 ±10%p 안이면 잡음으로 봅니다.

이 점은 "이렇게 하면 AI에 나온다"는 기법에도 해당합니다. NeurIPS 2025의 C-SEO Bench에서 알려진 기법을 시험한 조합 54개 중 효과가 통계적으로 유의했던 것은 3개뿐이었습니다([arXiv 2506.11097](https://arxiv.org/abs/2506.11097)). 한 번 재고 "고쳤더니 나왔다"고 말하면, 그것이 기법의 효과인지 답이 원래 흔들린 것인지 구분할 수 없습니다.

## 혼자서 제대로 재려면 어떻게 하나요?

1. **로그인하지 않은 새 창**(시크릿 창)을 씁니다. 로그인한 ChatGPT는 메모리를, 구글은 검색 기록을 답에 반영할 수 있습니다.
2. **고객이 쓸 문장 그대로** 묻습니다. 회사 이름을 넣은 질문과 넣지 않은 질문은 [따로 셉니다](https://inyonglab.com/용어집/brand-vs-nonbrand).
3. **같은 문장을 새 대화에서 3번** 묻습니다. 한 글자도 바꾸지 않습니다.
4. **세 가지를 나눠 적습니다.**
   - **언급**: 답변 문장에 내 이름이 나왔는가
   - **인용**: 출처 목록에 내 사이트 주소가 달렸는가
   - **미측정**: AI 답변이 뜨지 않았거나 오류로 재지 못했는가
5. **날짜·시각·조건·캡처를 남깁니다.** 다음 달 같은 조건으로 다시 재야 비교가 됩니다.

기록은 이렇게 남기면 됩니다.

| 날짜 | 엔진 | 질문 | 1회 | 2회 | 3회 | 결과 |
|---|---|---|---|---|---|---|
| 09-25 | Gemini(비로그인) | 우리 회사는 어떤 회사인가요? | 맞음·인용 | 다른 회사 | 맞음 | 3번 중 2번 맞음 |
| 09-25 | 네이버 | 업종 추천 질문 | 브리핑 없음 | 언급 없음 | 언급 없음 | 2번 중 0번, 미측정 1 |

[언급과 인용](https://inyonglab.com/용어집/citation-vs-mention)은 다른 사건입니다. 이름이 나와도 출처는 다른 사이트일 수 있고, 내 글이 출처로 달려도 문장에는 이름이 없을 수 있습니다. [미측정](https://inyonglab.com/용어집/unmeasured)은 분모에서 빼고, 뺐다는 사실을 함께 적습니다.

이 과정을 한 번 해 보려면 [AI에게 물어보기](https://inyonglab.com/check)가 상호·지역·업종으로 네이버 AI 브리핑·ChatGPT·Gemini에 3번씩 물어 답변 원문을 보여 줍니다. AI 봇이 사이트를 읽을 수 있는 상태인지는 [사이트 진단](https://inyonglab.com/diagnose)에서 확인합니다.

## 이 글이 답하려는 질문

- ChatGPT에 같은 질문을 하면 왜 답이 매번 다른가요?
- AI 검색 노출은 몇 번 재야 믿을 수 있나요?
- AI 답변 순위를 추적하는 것이 의미가 있나요?
- 구글 AI 개요에 나오면 Gemini에도 나오나요?
- AI 노출을 직접 측정하는 방법은 무엇인가요?

## 자주 묻는 질문

### AI 답변 속 순위를 추적하는 것은 의미가 있나요?

한 번 잰 순위는 의미가 약합니다. SparkToro 조사에서 같은 목록이 같은 순서로 다시 나올 확률은 0.1% 미만이었습니다. 여러 번 물어 몇 번 나왔는지를 비율로 보는 편이 비교할 수 있는 지표입니다.

### 3번이면 충분한가요?

통계적으로 넉넉하지 않습니다. 연구자들은 질문 표현을 바꿔 가며 더 많이 반복하기를 권합니다. 3번은 한 번의 우연을 결론으로 삼지 않기 위한 최소한이고, 질문 수를 늘리고 매달 반복해야 경향이 보입니다.

### 구글 AI 개요에 나오면 Gemini에도 나오나요?

그렇게 볼 수 없습니다. 연구에서 구글 검색·AI 개요·Gemini가 단 출처의 겹침은 0.11~0.18로 낮았습니다. 엔진마다 따로 재야 합니다.

### AI 답변이 안 뜬 시도는 어떻게 세나요?

0번이 아니라 미측정으로 적고 분모에서 뺍니다. 0으로 세면 실제보다 나쁘게, 빼고도 그 사실을 적지 않으면 실제보다 좋게 보입니다.

## 출처와 측정 조건

- [SparkToro × Gumshoe, AI 추천 불일치 연구](https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/) (2025-11~12, 자원자 600명, 2,961회, 프롬프트 12개)
- [Grossman 외, SIGIR 2026 (arXiv 2604.27790)](https://arxiv.org/abs/2604.27790) · [공개 데이터](https://github.com/rag24/AIO) (실사용자 질문 11,500개, URL 수준 자카드 유사도)
- [C-SEO Bench (arXiv 2506.11097, NeurIPS 2025)](https://arxiv.org/abs/2506.11097) (질문 1,921개, 6개 분야, 기법 9개)
- [생성형 엔진 최적화 비판적 서베이 (arXiv 2607.14035)](https://arxiv.org/html/2607.14035v1): 반복 측정 권고 프로토콜
- 위 연구의 수치는 인용랩 리서치 노트에서 2026-09-26에 원문과 대조했습니다.
- 인용랩 실측(2026-09-25): VibeRick 질문 12개 × 엔진 5개 × 각 3회, 한국 가정용 회선, 새 브라우저 프로필(로그인 없음). 단일 회사·단일 회차의 결과입니다. VibeRick은 인용랩을 운영하는 회사라 판정자가 이해당사자입니다.