반복 측정 (n≥3) (Repeated measurement)
같은 질문을 같은 조건으로 엔진마다 3번 이상 묻고 '3번 중 몇 번'으로 적는 방식. AI 답변은 매번 바뀌어서 1번 본 것은 증거가 되지 못합니다.
2026.09.27 게시 · 1분 · 글 신재호(인용랩) · markdown
반복 측정은 같은 질문을 여러 번 묻는 것입니다. 인용랩은 엔진마다 최소 3번(n≥3) 묻습니다.
왜 한 번이면 안 되나요?
AI 답변은 확률적입니다. 같은 질문에 같은 브랜드 목록이 나올 확률이 1% 미만이라는 조사가 있습니다(SparkToro, 2,961회). VibeRick을 잴 때도 같은 날 같은 질문에 Gemini가 1번째는 맞게, 2번째는 다른 회사를 설명했습니다(캡처). 한 번만 쟀다면 둘 중 하나를 결과로 믿었을 것입니다.
결과는 어떻게 적나요?
"나온다/안 나온다"가 아니라 "3번 중 2번"으로 적습니다. 다음 달 같은 조건으로 다시 재면 비교할 수 있습니다. 재지 못한 시도는 미측정으로 따로 적습니다. 연구 자료와 기록 예시는 같은 질문, 세 번의 답에 있습니다.
자주 묻는 질문
3번이면 충분한가요?
통계적으로 넉넉한 숫자는 아닙니다. 한 번의 우연을 결론으로 삼지 않기 위한 최소한입니다. 질문 수를 늘리고 매달 반복하면 경향이 보입니다.