실험 가드레일 지표

Experiment guardrail metrics

전환이 늘어도 환불이나 오류가 악화되면 출시를 멈춥니다.

···
html
<div class="guard"><div>CONVERSION <strong>+8%</strong><i class="up"></i></div><div>ERROR RATE <strong>+3%</strong><i class="risk"></i></div><div class="verdict">HOLD: GUARDRAIL CROSSED</div></div>
css
.guard{width:min(78%,430px);display:grid;gap:clamp(8px,2vmin,16px);font:800 clamp(10px,max(1.8vmin,1vw),14px)/1.1 sans-serif}.guard>div:not(.verdict){display:grid;grid-template-columns:1fr auto;gap:5px}.guard strong{color:var(--accent)}.guard i{grid-column:1/-1;display:block;height:clamp(10px,2.5vmin,20px);background:var(--line);position:relative}.guard i:after{content:'';display:block;height:100%;background:var(--fg);animation:fillguard 4s infinite}.guard .up:after{width:85%}.guard .risk:after{width:67%;background:var(--accent)}.risk:before{content:'';position:absolute;left:55%;height:140%;top:-20%;width:2px;background:var(--fg);z-index:1}.verdict{background:var(--accent);color:white;text-align:center;padding:7px;animation:warn 4s infinite}@keyframes fillguard{0%,10%{transform:scaleX(0);transform-origin:left}55%,85%{transform:scaleX(1);transform-origin:left}100%{transform:scaleX(0);transform-origin:left}}@keyframes warn{0%,40%{opacity:.25}55%,85%{opacity:1}100%{opacity:.25}}

가드레일 지표는 주요 성공 지표를 올리는 과정에서 해치면 안 되는 품질을 감시합니다. 전환율 상승과 함께 결제 오류나 환불이 늘 수 있어 별도로 봅니다.

데모는 전환 막대가 목표를 넘더라도 오류 게이지가 경계선을 넘자 판정을 보류합니다. 가드레일의 임계값과 관측 기간은 실험 시작 전에 정합니다.

지표가 많으면 우연한 경보도 늘어납니다. 고객 피해와 직접 연결되는 소수의 지표를 고르고, 심각한 오류는 통계적 종료 전이라도 운영 절차에 따라 다룹니다.

언제 쓰나

전환율만으로 실험 승패를 정하기 어려운 결제·가입 변경에 적용합니다.

페이지로 열기 ↗