인용랩
무료로 확인하기

AI 노출을 한 번 재면 안 되는 이유: 같은 질문, 세 번의 답

2026.09.27 게시 · 9분 · 글 신재호(인용랩) · markdown

30초 요약

  • AI는 같은 질문에 매번 다른 답을 합니다. 600명이 2,961번 돌린 조사에서 같은 추천 목록이 다시 나올 확률은 1% 미만, 같은 순서는 0.1% 미만이었습니다.
  • 같은 회사의 표면끼리도 출처가 거의 겹치지 않습니다. 구글 검색·AI 개요·Gemini의 출처 겹침은 0.11~0.18이었습니다(1이면 완전히 같음).
  • 우리 회사 VibeRick을 잴 때도 같은 날, 같은 질문에 Gemini가 한 번은 맞게, 한 번은 이름이 비슷한 다른 회사를 설명했습니다.
  • 그래서 한 번 본 결과는 증거가 아닙니다. 엔진마다 3번 이상, 로그인하지 않은 창에서 묻고, "3번 중 몇 번"으로 적습니다.
  • 적을 때는 언급·인용·미측정을 나눕니다. AI 답변이 뜨지 않은 시도를 0으로 세면 결과가 왜곡됩니다.

같은 질문을 하면 같은 답이 나오지 않나요?

나오지 않습니다. AI 답변은 매번 확률적으로 만들어지고, 답을 만들기 전에 가져오는 검색 결과도 매번 달라질 수 있습니다.

규모가 가장 큰 조사는 SparkToro가 추적 도구 회사 Gumshoe와 함께 2025년 11~12월에 한 것입니다. 자원자 600명이 프롬프트 12개를 ChatGPT·Claude·구글 AI에 모두 2,961번 돌렸습니다. 같은 브랜드 추천 목록이 다시 나올 확률은 1% 미만, 같은 순서로 나올 확률은 0.1% 미만이었습니다(SparkToro).

이 조사의 결론은 "재도 소용없다"가 아닙니다. 여러 번 돌려서 얻은 노출 비율은 쓸 만한 지표라는 것입니다. 한 번의 순위는 믿을 수 없지만, 여러 번 중 몇 번 나왔는지는 비교할 수 있다는 뜻입니다. 공동 조사자인 Gumshoe가 추적 도구를 파는 회사라는 점은 조사 본문에 공개돼 있습니다.

한 엔진에서 나오면 다른 엔진에서도 나오나요?

그렇게 볼 수 없습니다. 같은 구글 안에서도 그렇습니다.

SIGIR 2026에 실린 Grossman 외의 연구는 실제 사용자 질문 11,500개를 구글 검색, AI 개요, Gemini에 넣고 각각이 단 출처 주소를 비교했습니다. 세 표면 사이의 출처 겹침(자카드 유사도)은 0.11~0.18이었습니다(arXiv 2604.27790, 데이터). 0은 하나도 안 겹침, 1은 완전히 같음입니다. 같은 회사가 만든 세 화면이 대부분 다른 출처를 쓴다는 뜻입니다.

한국에서는 차이가 더 큽니다. 네이버 AI 브리핑은 네이버 자체 콘텐츠를 쓰고, ChatGPT는 robots.txt 때문에 네이버 블로그를 읽지 못합니다. 엔진마다 따로 재야 하는 이유입니다.

실제로 재 보면 어떻게 달라지나요?

인용랩을 운영하는 VibeRick을 2026년 9월 25일 같은 조건(비로그인 Gemini)에서 "VibeRick(바이브릭)은 어떤 회사인가요?"로 연달아 물었습니다.

비로그인 Gemini가 VibeRick을 AI 에이전트·AX 컨설팅 스튜디오로 맞게 설명한 화면
Gemini(비로그인), 2026-09-25, 1회차. 맞게 설명하고 viberick.com을 출처로 붙였습니다.
같은 질문에 비로그인 Gemini가 이름이 비슷한 다른 회사를 설명한 화면
같은 질문, 같은 날, 2회차. 이름이 비슷한 다른 회사를 설명했습니다.

세 번 중 두 번은 맞게, 한 번은 다른 회사를 설명했습니다. 한 번만 물었다면 "Gemini는 우리를 안다" 또는 "모른다" 중 하나를 결론으로 믿었을 것입니다.

같은 날 엔진을 바꾸면 결과가 또 달랐습니다. 같은 질문에 ChatGPT(웹)와 Gemini API는 3번 모두 맞게 답했고, 구글 AI 개요는 한 번도 맞게 설명하지 못했습니다. 네이버에서는 질문 12개를 3번씩, 36번 물었는데 9번은 AI 브리핑이 아예 뜨지 않았습니다. 전체 기록은 직접 확인하는 법에 있습니다.

몇 번 물어야 하나요?

엔진마다 최소 3번입니다. 인용랩은 이것을 반복 측정(n≥3)이라 부르고 모든 측정에 씁니다.

솔직히 말하면 3번은 넉넉한 숫자가 아닙니다. 이 분야 연구를 모은 서베이는 같은 뜻의 질문을 35가지로 바꿔 쓰고 각각 78번 이상 반복하기를 권합니다(arXiv 2607.14035). 3번은 한 번의 우연을 결론으로 삼지 않기 위한 최소선입니다. 그래서 인용랩은 리포트에 반복 횟수와 조건을 함께 적고, 한 달 사이 변화가 ±10%p 안이면 잡음으로 봅니다.

이 점은 "이렇게 하면 AI에 나온다"는 기법에도 해당합니다. NeurIPS 2025의 C-SEO Bench에서 알려진 기법을 시험한 조합 54개 중 효과가 통계적으로 유의했던 것은 3개뿐이었습니다(arXiv 2506.11097). 한 번 재고 "고쳤더니 나왔다"고 말하면, 그것이 기법의 효과인지 답이 원래 흔들린 것인지 구분할 수 없습니다.

혼자서 제대로 재려면 어떻게 하나요?

  1. 로그인하지 않은 새 창(시크릿 창)을 씁니다. 로그인한 ChatGPT는 메모리를, 구글은 검색 기록을 답에 반영할 수 있습니다.
  2. 고객이 쓸 문장 그대로 묻습니다. 회사 이름을 넣은 질문과 넣지 않은 질문은 따로 셉니다.
  3. 같은 문장을 새 대화에서 3번 묻습니다. 한 글자도 바꾸지 않습니다.
  4. 세 가지를 나눠 적습니다.
    • 언급: 답변 문장에 내 이름이 나왔는가
    • 인용: 출처 목록에 내 사이트 주소가 달렸는가
    • 미측정: AI 답변이 뜨지 않았거나 오류로 재지 못했는가
  5. 날짜·시각·조건·캡처를 남깁니다. 다음 달 같은 조건으로 다시 재야 비교가 됩니다.

기록은 이렇게 남기면 됩니다.

날짜엔진질문1회2회3회결과
09-25Gemini(비로그인)우리 회사는 어떤 회사인가요?맞음·인용다른 회사맞음3번 중 2번 맞음
09-25네이버업종 추천 질문브리핑 없음언급 없음언급 없음2번 중 0번, 미측정 1

언급과 인용은 다른 사건입니다. 이름이 나와도 출처는 다른 사이트일 수 있고, 내 글이 출처로 달려도 문장에는 이름이 없을 수 있습니다. 미측정은 분모에서 빼고, 뺐다는 사실을 함께 적습니다.

이 과정을 한 번 해 보려면 AI에게 물어보기가 상호·지역·업종으로 네이버 AI 브리핑·ChatGPT·Gemini에 3번씩 물어 답변 원문을 보여 줍니다. AI 봇이 사이트를 읽을 수 있는 상태인지는 사이트 진단에서 확인합니다.

이 글이 답하려는 질문

  • ChatGPT에 같은 질문을 하면 왜 답이 매번 다른가요?
  • AI 검색 노출은 몇 번 재야 믿을 수 있나요?
  • AI 답변 순위를 추적하는 것이 의미가 있나요?
  • 구글 AI 개요에 나오면 Gemini에도 나오나요?
  • AI 노출을 직접 측정하는 방법은 무엇인가요?

자주 묻는 질문

AI 답변 속 순위를 추적하는 것은 의미가 있나요?

한 번 잰 순위는 의미가 약합니다. SparkToro 조사에서 같은 목록이 같은 순서로 다시 나올 확률은 0.1% 미만이었습니다. 여러 번 물어 몇 번 나왔는지를 비율로 보는 편이 비교할 수 있는 지표입니다.

3번이면 충분한가요?

통계적으로 넉넉하지 않습니다. 연구자들은 질문 표현을 바꿔 가며 더 많이 반복하기를 권합니다. 3번은 한 번의 우연을 결론으로 삼지 않기 위한 최소한이고, 질문 수를 늘리고 매달 반복해야 경향이 보입니다.

구글 AI 개요에 나오면 Gemini에도 나오나요?

그렇게 볼 수 없습니다. 연구에서 구글 검색·AI 개요·Gemini가 단 출처의 겹침은 0.11~0.18로 낮았습니다. 엔진마다 따로 재야 합니다.

AI 답변이 안 뜬 시도는 어떻게 세나요?

0번이 아니라 미측정으로 적고 분모에서 뺍니다. 0으로 세면 실제보다 나쁘게, 빼고도 그 사실을 적지 않으면 실제보다 좋게 보입니다.

출처와 측정 조건

관련 용어