Über dieses Tool
Der A/B-Test-Signifikanz-Rechner ist ein kostenloses Tool im Browser, das dir sagt, ob der Unterschied zwischen zwei Konversionsraten statistisch signifikant oder nur Rauschen ist. Gib die Besucher und Konversionen jeder Variante ein, und er führt einen Zwei-Proportionen-z-Test lokal aus — keine Daten verlassen deinen Browser.
Die Konversionsraten sind pA = cA ÷ nA und pB = cB ÷ nB, und der relative Uplift ist (pB − pA) ÷ pA × 100. Der Test poolt die beiden Gruppen, p = (cA + cB) ÷ (nA + nB), berechnet den Standardfehler SE = √(p(1−p)(1/nA + 1/nB)) und den z-Wert z = (pB − pA) ÷ SE. Der zweiseitige p-Wert ist 2 × (1 − Φ(|z|)), wobei Φ die Normalverteilungs-CDF ist, die aus einer Fehlerfunktions-Näherung (Abramowitz-Stegun 7.1.26) gebildet wird; die Konfidenz ist (1 − p-Wert) × 100.
Nutze es nach einem Split-Test, um zu entscheiden, ob Variante B A wirklich geschlagen hat. Die Bewertungskachel markiert ein Ergebnis als signifikant bei einer Konfidenz von 95 % oder darüber. Denke daran, dass Signifikanz nicht dasselbe ist wie ein großer oder dauerhafter Effekt — wäge immer auch den Uplift und die Stichprobengröße ab.
Häufig gestellte Fragen
Welchen Test verwendet dies?
Einen zweiseitigen Zwei-Proportionen-z-Test mit einem gepoolten Standardfehler — die Standardmethode zum Vergleich zweier Konversionsraten. Der p-Wert kommt aus der Normalverteilung über eine Fehlerfunktions-Näherung (Abramowitz-Stegun-Formel 7.1.26), und die Konfidenz ist 100 % minus dem p-Wert als Prozentsatz.
Was bedeutet hier 95 % Konfidenz?
Es bedeutet, dass du, wenn die beiden Varianten wirklich gleich performt hätten, einen Unterschied dieser Größe oder größer nur etwa 5 % der Zeit durch Zufall sehen würdest. Die Bewertung liest 'Signifikant' bei 95 % Konfidenz oder darüber. Sie sagt dir nicht die Größe des Effekts — prüfe dafür den Uplift.
Warum erhalte ich ein ungültiges Ergebnis?
Konversionen können die Besucher nicht überschreiten, und beide Besucherzahlen müssen über null liegen. Der Test benötigt außerdem etwas Varianz: Wenn in keiner Gruppe jemand konvertiert hat oder alle, ist der Standardfehler null und es lässt sich kein z-Wert bilden, sodass das Tool die Eingabe als ungültig meldet.
Reicht Signifikanz aus, um einen Gewinner zu bestimmen?
Nicht allein. Ein winziger, unbedeutender Unterschied kann bei einer riesigen Stichprobe signifikant sein, während ein realer Effekt bei einer kleinen Stichprobe die Signifikanz verfehlen kann. Berücksichtige den relativen Uplift, die absoluten Zahlen und ob der Test lange genug lief. Alle Rechnungen hier laufen privat in deinem Browser.
Weitere Tools