순차 실험 모니터링

Sequential test monitoring

매일 보는 실험 결과에서 조기 종료의 함정을 드러냅니다.

···
html
<div class="seq"><div class="days">DAY <b id="day">1</b> / 7 <span id="decision">WAIT</span></div><div class="baseline"></div><div class="line a"></div><div class="line b" id="bline"></div><div class="labels">A · CONTROL <span>B · VARIANT</span></div><div class="stop">PLANNED DECISION: DAY 7</div></div>
css
.seq{position:relative;width:min(85%,510px);height:clamp(120px,28vmin,220px);font:800 clamp(10px,max(1.7vmin,1vw),14px)/1 sans-serif}.days{display:flex;gap:5px}.days span{margin-left:auto;color:var(--accent)}.baseline{position:absolute;top:52%;width:100%;height:1px;background:var(--line)}.line{position:absolute;left:0;top:47%;width:100%;height:3px;background:var(--fg)}.line.b{background:var(--accent);transform-origin:left;transition:transform .4s,top .4s}.labels{position:absolute;bottom:24px;left:0;right:0;display:flex;justify-content:space-between}.labels span{color:var(--accent)}.stop{position:absolute;bottom:0;color:var(--muted)}
js
let day=1;const d=document.querySelector('#day'),b=document.querySelector('#bline'),s=document.querySelector('#decision');const levels=[30,34,42,45,46,47,44];function draw(){d.textContent=String(day);b.style.transform='scaleX('+day/7+')';b.style.top=levels[day-1]+'%';s.textContent=day===7?'REVIEW':'WAIT';day=day===7?1:day+1}draw();setInterval(draw,650);

실험 결과를 매일 확인하면 작은 표본에서 우연히 벌어진 차이가 승리처럼 보일 수 있습니다. 순차 실험 모니터링은 중간 결과를 읽는 규칙과 종료 조건을 미리 정하는 방식입니다.

데모에서는 B의 초반 우세가 다음 날 사라지고, 약속한 종료선에 도달해야 판정이 열립니다. 고정 기간 실험이라면 중간 확인을 이유로 임의 종료하지 않습니다.

계획된 순차 방법과 단순한 반복 확인은 다릅니다. 어떤 통계 절차를 쓰는지, 최소 효과와 가드레일이 무엇인지 실험 기록에 남기세요.

언제 쓰나

실험 중간 결과를 보며 출시 결정을 내리고 싶을 때 종료 규칙을 먼저 정합니다.

페이지로 열기 ↗