O tym narzędziu
Kalkulator istotności testu A/B to darmowe narzędzie działające w przeglądarce, które mówi, czy różnica między dwoma współczynnikami konwersji jest istotna statystycznie, czy to tylko szum. Wprowadź liczbę odwiedzających i konwersji każdego wariantu, a narzędzie przeprowadzi test z dla dwóch proporcji lokalnie — żadne dane nie opuszczają przeglądarki.
Współczynniki konwersji to pA = cA ÷ nA oraz pB = cB ÷ nB, a względny wzrost to (pB − pA) ÷ pA × 100. Test łączy obie grupy, p = (cA + cB) ÷ (nA + nB), oblicza błąd standardowy SE = √(p(1−p)(1/nA + 1/nB)) oraz wynik z: z = (pB − pA) ÷ SE. Dwustronna wartość p wynosi 2 × (1 − Φ(|z|)), gdzie Φ to dystrybuanta rozkładu normalnego zbudowana z przybliżenia funkcji błędu (Abramowitz-Stegun 7.1.26); pewność to (1 − wartość p) × 100.
Używaj go po teście dzielonym, aby zdecydować, czy wariant B faktycznie pokonał A. Kafelek werdyktu oznacza wynik jako istotny przy pewności 95% lub wyższej. Pamiętaj, że istotność to nie to samo co duży lub trwały efekt — zawsze rozważaj również wzrost i wielkość próby.
Najczęściej zadawane pytania
Jakiego testu to używa?
Dwustronnego testu z dla dwóch proporcji z łączonym błędem standardowym — standardowej metody porównywania dwóch współczynników konwersji. Wartość p pochodzi z rozkładu normalnego przez przybliżenie funkcji błędu (wzór Abramowitza-Stegun 7.1.26), a pewność to 100% minus wartość p jako procent.
Co oznacza tutaj pewność 95%?
Oznacza to, że gdyby oba warianty naprawdę działały tak samo, różnicę tak dużą lub większą zobaczyłbyś przypadkiem tylko około 5% razy. Werdykt brzmi „Istotny” przy pewności 95% lub wyższej. Nie mówi to o wielkości efektu — sprawdź w tym celu wzrost.
Dlaczego dostaję nieprawidłowy wynik?
Konwersje nie mogą przekraczać liczby odwiedzających, a obie liczby odwiedzających muszą być większe od zera. Test potrzebuje też pewnej wariancji: jeśli w żadnej grupie nikt nie skonwertował lub wszyscy skonwertowali, błąd standardowy wynosi zero i nie można utworzyć wyniku z, więc narzędzie zgłasza dane wejściowe jako nieprawidłowe.
Czy istotność wystarczy, aby ogłosić zwycięzcę?
Nie sama w sobie. Drobna, nieistotna różnica może być istotna przy ogromnej próbie, podczas gdy prawdziwy efekt może nie osiągnąć istotności przy małej. Rozważ względny wzrost, liczby bezwzględne oraz to, czy test trwał wystarczająco długo. Cała matematyka tutaj działa prywatnie w Twojej przeglądarce.
Więcej narzędzi