A/B 테스트

A/B testing

두 버전을 무작위 배정해 어떤 변화가 전환에 영향을 주는지 비교합니다.

···
html
<div class="experiment"><div class="sample">SAMPLE <b id="sample">200</b> / GROUP</div><div class="plot"><div class="variant"><span>A · CONTROL</span><div class="bar"><i class="a"></i><em class="aerr"></em></div><b>8.0%</b></div><div class="variant"><span>B · NEW</span><div class="bar"><i class="b"></i><em class="berr"></em></div><b>9.2%</b></div></div><div class="foot">UNCERTAINTY NARROWS AS SAMPLE GROWS</div></div>
css
.experiment{width:min(88%,580px);font:800 clamp(9px,1.7vmin,14px)/1.2 sans-serif}.sample{text-align:right;color:var(--muted);letter-spacing:.08em}.sample b{color:var(--fg)}.plot{display:flex;align-items:end;justify-content:center;gap:clamp(20px,8vw,100px);height:clamp(95px,28vmin,230px);border-bottom:2px solid var(--fg);margin-top:8px}.variant{text-align:center;width:clamp(68px,15vw,130px)}.variant span{display:block;white-space:nowrap;color:var(--muted);margin-bottom:6px}.variant b{display:block;margin-top:6px;font-size:clamp(13px,3vmin,25px)}.bar{position:relative;height:clamp(65px,20vmin,180px);display:flex;align-items:end}.bar i{display:block;width:100%;height:80%;background:var(--fg)}.bar .b{height:92%;background:var(--accent)}.bar em{position:absolute;left:50%;top:10%;width:2px;height:40%;background:var(--accent-3);animation:uncertainty 4s ease-in-out infinite alternate}.bar em::before,.bar em::after{content:'';position:absolute;width:15px;height:2px;background:var(--accent-3);left:-7px}.bar em::before{top:0}.bar em::after{bottom:0}.bar .berr{top:2%}.foot{text-align:center;color:var(--accent);letter-spacing:.08em;margin-top:clamp(8px,2vmin,18px)}@keyframes uncertainty{from{height:48%}to{height:12%}}
js
const sample=document.querySelector('#sample');let n=200;setInterval(()=>{n=n>=3200?200:n*2;sample.textContent=String(n)},1100);

A/B 테스트는 방문자를 무작위로 두 집단에 나누고 한 요소만 다르게 보여주는 실험입니다. 관찰한 차이가 실제 변경 때문인지 판단하려면 표본과 불확실성을 같이 봐야 합니다.

데모는 A와 B의 전환율 추정 범위가 표본이 늘며 좁아지는 모습을 보여줍니다. 승자를 고르기 전에는 성공 지표, 최소 검출 효과, 실험 기간을 미리 정하세요.

그래프에서 B 막대가 더 높아 보여도 차이가 우연일 수 있습니다. 실험 중간의 작은 차이만 보고 일찍 종료하지 마세요.

언제 쓰나

버튼 문구·페이지 구성 등 선택의 전환 효과를 검증할 때 사용합니다. 반복 방문자의 배정은 일관되게 유지하세요.

페이지로 열기 ↗