인용랩

반복 측정 (n≥3) (Repeated measurement)

같은 질문을 같은 조건으로 엔진마다 3번 이상 묻고 '3번 중 몇 번'으로 적는 방식. AI 답변은 매번 바뀌어서 1번 본 것은 증거가 되지 못합니다.

2026.09.27 게시 · 1분 · 글 신재호(인용랩) · markdown

반복 측정은 같은 질문을 여러 번 묻는 것입니다. 인용랩은 엔진마다 최소 3번(n≥3) 묻습니다.

왜 한 번이면 안 되나요?

AI 답변은 확률적입니다. 같은 질문에 같은 브랜드 목록이 나올 확률이 1% 미만이라는 조사가 있습니다(SparkToro, 2,961회). VibeRick을 잴 때도 같은 날 같은 질문에 Gemini가 1번째는 맞게, 2번째는 다른 회사를 설명했습니다(캡처). 한 번만 쟀다면 둘 중 하나를 결과로 믿었을 것입니다.

결과는 어떻게 적나요?

"나온다/안 나온다"가 아니라 "3번 중 2번"으로 적습니다. 다음 달 같은 조건으로 다시 재면 비교할 수 있습니다. 재지 못한 시도는 미측정으로 따로 적습니다. 연구 자료와 기록 예시는 같은 질문, 세 번의 답에 있습니다.

자주 묻는 질문

3번이면 충분한가요?

통계적으로 넉넉한 숫자는 아닙니다. 한 번의 우연을 결론으로 삼지 않기 위한 최소한입니다. 질문 수를 늘리고 매달 반복하면 경향이 보입니다.

관련 용어