이 도구에 대하여
A/B 테스트 유의성 계산기는 두 전환율 간 차이가 통계적으로 유의한지 아니면 그저 노이즈인지 알려주는 무료 브라우저 내 도구입니다. 각 변형의 방문자와 전환수를 입력하면 이표본 비율 z-검정을 로컬에서 실행합니다 — 데이터가 브라우저를 벗어나지 않습니다.
전환율은 pA = cA ÷ nA 와 pB = cB ÷ nB 이고, 상대 상승률은 (pB − pA) ÷ pA × 100 입니다. 검정은 두 그룹을 합치고, p = (cA + cB) ÷ (nA + nB), 표준오차 SE = √(p(1−p)(1/nA + 1/nB)) 와 z-점수 z = (pB − pA) ÷ SE 를 계산합니다. 양측 p값은 2 × (1 − Φ(|z|)) 이며, 여기서 Φ는 오차함수 근사(Abramowitz-Stegun 7.1.26)로 구성한 정규 CDF입니다. 신뢰도는 (1 − p값) × 100 입니다.
스플릿 테스트 후 변형 B가 진짜로 A를 이겼는지 판단할 때 사용하세요. 판정 타일은 95% 신뢰도 이상의 결과를 유의로 표시합니다. 유의성이 크거나 지속적인 효과와 같지 않다는 점을 기억하세요 — 항상 상승률과 표본 크기도 함께 따져보세요.
자주 묻는 질문
어떤 검정을 사용하나요?
합동 표준오차를 쓰는 양측 이표본 비율 z-검정으로 — 두 전환율을 비교하는 표준 방법입니다. p값은 오차함수 근사(Abramowitz-Stegun 공식 7.1.26)를 통해 정규분포에서 나오며, 신뢰도는 100%에서 p값을 퍼센트로 뺀 값입니다.
여기서 95% 신뢰도는 무슨 의미인가요?
두 변형이 실제로 동일하게 성과를 냈다면, 이 정도 크거나 더 큰 차이를 우연히 볼 확률이 약 5%에 불과하다는 뜻입니다. 판정은 95% 신뢰도 이상에서 '유의함'으로 표시됩니다. 효과의 크기는 알려주지 않으니 — 그건 상승률을 확인하세요.
왜 잘못된 결과가 나오나요?
전환수가 방문자를 초과할 수 없고, 두 방문자 수 모두 0보다 커야 합니다. 검정에는 어느 정도 분산도 필요합니다: 두 그룹 모두 아무도 전환하지 않았거나 모두 전환했다면 표준오차가 0이 되어 z-점수를 만들 수 없으므로, 도구는 입력을 잘못된 것으로 보고합니다.
유의성만으로 승자를 정하기에 충분한가요?
그 자체만으로는 아닙니다. 아주 작고 중요하지 않은 차이도 표본이 크면 유의할 수 있고, 실제 효과도 표본이 작으면 유의성을 놓칠 수 있습니다. 상대 상승률, 절대 수치, 테스트가 충분히 오래 실행됐는지를 고려하세요. 여기의 모든 계산은 브라우저에서 비공개로 실행됩니다.