우리가 재는 방법

인용랩은 같은 질문을 엔진마다 최소 3번씩 묻고, 언급과 인용을 따로 셉니다. 재지 못한 것은 0이 아니라 "미측정"으로 적고, 어떤 회선과 방식으로 쟀는지를 결과와 함께 남깁니다. 이 글은 그 방법과, 그 방법으로도 알 수 없는 것을 적습니다.

왜 한 번만 물어보면 안 되나요?

AI 답변은 확률적이어서 같은 질문에도 답이 바뀝니다. 한 번 물어서 "나왔다" 또는 "안 나왔다"라고 하는 것은 측정이 아니라 우연한 관찰입니다. 그래서 질문 하나를 엔진마다 최소 3번(n≥3) 묻고, 결과를 비율로 적습니다.

질문 세트도 충분히 커야 합니다. 우리 자신의 쇼핑몰을 잴 때 처음 질문 한 개만 보고 엔진의 성격을 적었다가, 20개 전체를 집계하면서 결론을 고친 적이 있습니다. n=3은 그 질문 하나에 대한 결론일 뿐입니다.

언급과 인용은 무엇이 다른가요?

• 언급: 답변 문장에 상호가 나온다.
• 인용: 답변의 출처 목록에 내 사이트 주소가 있다.

둘은 자주 갈립니다. 우리 쇼핑몰의 경우 네이버 AI 브리핑은 비교 질문에서 상호를 13% 언급했지만 쇼핑몰을 출처로 인용한 적은 없었습니다. 둘을 합쳐 세면 무엇이 효과였는지 알 수 없습니다.

재지 못한 것은 왜 0%가 아닌가요?

0%는 "인용되지 않았다"는 주장이고, 미측정은 "모른다"는 뜻입니다. 둘을 섞으면 측정 실패가 성과 부진으로 보입니다. 실제로 이런 일이 있었습니다.

• 출처를 달지 않는 표면: 비로그인 Gemini 웹은 지역 질문에 웹 출처 없이 장소 카드만 보여 줬습니다. 인용이라는 개념이 없는 답이므로 인용률 계산에서 뺍니다.
• 바뀐 링크 형식: 구글이 AI 개요의 출처 링크를 실제 주소가 없는 형식으로 바꿨습니다. 그대로 뒀다면 인용률이 조용히 0%로 찍혔을 것입니다. 저장된 화면을 다시 보니 우리 쇼핑몰은 출처 라벨에 들어 있었습니다. 도메인 단위 판정을 복구하기 전까지 이 엔진은 미측정으로 둡니다.
• 자동 차단: 엔진이 우리를 봇으로 보고 보안 문자를 띄우면, 그 회차는 실패로 표시하고 멈춥니다. 차단된 화면을 "인용 없음"으로 세지 않습니다.

엔진마다 재는 방식이 다른가요?

다릅니다. 두 갈래로 나눕니다.

• API 방식: ChatGPT와 Gemini의 공식 API에 검색 기능을 켜고 묻습니다. 검색은 각 회사 서버에서 일어나므로 우리 회선의 위치는 결과에 영향을 주지 않습니다.
• 브라우저 방식: 네이버 AI 브리핑과 구글 AI 개요는 한국 가정용 회선에서 로그인하지 않은 브라우저로 화면을 엽니다. 지역 질문의 답은 측정 지점의 IP에 끌립니다. 서울의 한 지하철역 근처를 물었을 때, Gemini 웹의 지도 중심은 그 역이 아니라 약 2km 남쪽에 잡혔고 그 근처 가게가 답에 올라왔습니다.

두 방식의 결과는 합산하지 않습니다. 같은 이름의 엔진이라도 다른 모델, 다른 화면이기 때문입니다.

측정 조건은 왜 적어 두나요?

조건이 바뀌면 결과도 바뀌기 때문입니다. 구글의 자동 차단 기준이 그 예입니다.

첫 번째 변화는 구글 쪽 기준이 바뀐 것이었습니다. 두 번째는 원인을 추적해 보니 우리 코드가 원인이었습니다. 다른 목적의 수정 때문에 매 질문마다 이력 없는 새 브라우저가 열리고 있었고, 예열된 프로필로 되돌리자 0/3으로 차단이 사라졌습니다. 조건을 기록해 두지 않았다면 두 경우를 구분할 수 없었을 것입니다.

그래서 회차를 시작하기 전에 차단 여부를 먼저 확인하고, 리포트에는 실제로 실행된 방식에서 뽑은 조건을 적습니다.

요약

• 질문마다 엔진별 최소 3회. 질문 세트는 유형별로 나눈다.
• 언급과 인용을 따로 센다.
• 재지 못한 것은 미측정이다. 0%가 아니다.
• API 방식과 브라우저 방식은 합산하지 않는다.
• 측정 조건을 결과와 함께 남긴다. 전월 대비 ±10%p 안의 변화는 잡음으로 본다.

이 방법으로도 알 수 없는 것

한 회차의 수치는 그 시점, 그 질문 세트, 그 조건에서의 관찰입니다. 사이트를 고친 뒤 인용이 늘었는지는 개입 전후 회차를 같은 조건으로 비교해야 말할 수 있고, 그 비교도 인과를 완전히 증명하지는 못합니다. 무료 진단의 콘텐츠 점수는 LLM을 한 번만 부르므로, 같은 날 같은 주소를 두 번 진단했을 때 52점과 82점이 나온 적이 있습니다. 진단 화면에도 이 사실을 적어 둡니다.

출처와 측정 조건

• 쇼핑몰 사례: 인용랩 실측, 2026-09-15, 질문 20개 × n=3 × 엔진 4종, 240회 중 179회 완료. 구글 AI 개요는 미측정.
• 장소 카드와 지도 중심: 인용랩 실측, 2026-08-16, 비로그인 Gemini 웹, 한국 가정용 회선.
• 차단 조건표: 인용랩 실측, 2026-08-16, 2026-08-23(n=3), 2026-09-15(n=6), 원인 확인 재측정(n=3). 모두 맥, 한국 가정용 회선.
• 진단 점수 변동: 인용랩 실측, 2026-09-15, 같은 주소 2회, temperature 0.
• ±10%p는 측정값이 아니라 우리가 정한 해석 기준입니다.

내 사이트의 첫 측정은 inyonglab.com의 무료 진단에서 시작할 수 있습니다.