실험 결과를 매일 확인하면 작은 표본에서 우연히 벌어진 차이가 승리처럼 보일 수 있습니다. 순차 실험 모니터링은 중간 결과를 읽는 규칙과 종료 조건을 미리 정하는 방식입니다.
데모에서는 B의 초반 우세가 다음 날 사라지고, 약속한 종료선에 도달해야 판정이 열립니다. 고정 기간 실험이라면 중간 확인을 이유로 임의 종료하지 않습니다.
계획된 순차 방법과 단순한 반복 확인은 다릅니다. 어떤 통계 절차를 쓰는지, 최소 효과와 가드레일이 무엇인지 실험 기록에 남기세요.
언제 쓰나
실험 중간 결과를 보며 출시 결정을 내리고 싶을 때 종료 규칙을 먼저 정합니다.