このツールについて
A/Bテスト有意差計算ツールは、2つのコンバージョン率の差が統計的に有意か、それとも単なるノイズかを教えてくれる無料のブラウザ内ツールです。各バリアントの訪問者数とコンバージョン数を入力すると、2標本比率のz検定をローカルで実行します。データがブラウザから出ることはありません。
コンバージョン率は pA = cA ÷ nA、pB = cB ÷ nB で、相対的な上昇率は (pB − pA) ÷ pA × 100 です。検定は2群をプールし、p = (cA + cB) ÷ (nA + nB)、標準誤差 SE = √(p(1−p)(1/nA + 1/nB))、z値 z = (pB − pA) ÷ SE を計算します。両側p値は 2 × (1 − Φ(|z|)) で、Φは誤差関数近似（Abramowitz-Stegun 7.1.26）から構築した正規分布のCDFです。信頼度は (1 − p値) × 100 です。
スプリットテストの後に、バリアントBが本当にAを上回ったか判断するのに使えます。判定タイルは95%以上の信頼度で結果を有意と示します。有意性は大きく持続的な効果と同じではないことを忘れないでください。上昇率とサンプルサイズも常に考慮してください。
よくある質問
これはどの検定を使いますか？
プールした標準誤差を用いた両側の2標本比率z検定で、2つのコンバージョン率を比較する標準的な手法です。p値は誤差関数近似（Abramowitz-Stegunの式7.1.26）を介して正規分布から求め、信頼度は100%からp値をパーセントで引いた値です。
ここでの95%信頼度は何を意味しますか？
2つのバリアントが本当に同じ成果だった場合、これほど大きな差またはそれ以上が偶然に見られるのは約5%だけ、という意味です。判定は95%以上の信頼度で「有意」と表示されます。効果の大きさは示しません。それには上昇率を確認してください。
なぜ無効な結果が出るのですか？
コンバージョンは訪問者を超えられず、両方の訪問者数は0より大きい必要があります。検定にはばらつきも必要です。どちらの群でも誰もコンバージョンしなかった、または全員がした場合、標準誤差が0になりz値を作れないため、ツールは入力を無効と報告します。
有意性だけで勝者を決めてよいですか？
それだけではいけません。ごくわずかで重要でない差でも巨大なサンプルなら有意になり得ますし、本当の効果でも小さいサンプルでは有意を逃すことがあります。相対的な上昇率、絶対的な数値、テストが十分な期間実行されたかを考慮してください。ここでの計算はすべてブラウザ内で非公開に動作します。