A/B 테스트는 방문자를 무작위로 두 집단에 나누고 한 요소만 다르게 보여주는 실험입니다. 관찰한 차이가 실제 변경 때문인지 판단하려면 표본과 불확실성을 같이 봐야 합니다.
데모는 A와 B의 전환율 추정 범위가 표본이 늘며 좁아지는 모습을 보여줍니다. 승자를 고르기 전에는 성공 지표, 최소 검출 효과, 실험 기간을 미리 정하세요.
그래프에서 B 막대가 더 높아 보여도 차이가 우연일 수 있습니다. 실험 중간의 작은 차이만 보고 일찍 종료하지 마세요.
언제 쓰나
버튼 문구·페이지 구성 등 선택의 전환 효과를 검증할 때 사용합니다. 반복 방문자의 배정은 일관되게 유지하세요.