Об этом инструменте
Калькулятор значимости A/B-теста — это бесплатный браузерный инструмент, который говорит вам, статистически значима ли разница между двумя коэффициентами конверсии или это просто шум. Введите число посетителей и конверсий каждого варианта, и он проведёт двухвыборочный z-тест долей локально — никакие данные не покидают ваш браузер.
Коэффициенты конверсии — это pA = cA ÷ nA и pB = cB ÷ nB, а относительный прирост — это (pB − pA) ÷ pA × 100. Тест объединяет две группы, p = (cA + cB) ÷ (nA + nB), вычисляет стандартную ошибку SE = √(p(1−p)(1/nA + 1/nB)) и z-оценку z = (pB − pA) ÷ SE. Двусторонний p-value — это 2 × (1 − Φ(|z|)), где Φ — нормальная функция распределения, построенная из аппроксимации функции ошибок (Абрамовиц-Стиган 7.1.26); уверенность — это (1 − p-value) × 100.
Используйте его после сплит-теста, чтобы решить, действительно ли вариант B превзошёл A. Плитка вердикта помечает результат значимым при уверенности 95% или выше. Помните, что значимость — это не то же самое, что большой или устойчивый эффект — всегда взвешивайте прирост и размер выборки тоже.
Часто задаваемые вопросы
Какой тест здесь используется?
Двусторонний двухвыборочный z-тест долей с объединённой стандартной ошибкой — стандартный метод сравнения двух коэффициентов конверсии. P-value берётся из нормального распределения через аппроксимацию функции ошибок (формула Абрамовица-Стигана 7.1.26), а уверенность — это 100% минус p-value в процентах.
Что означает здесь уверенность 95%?
Это значит, что если бы два варианта действительно работали одинаково, вы увидели бы разницу такого размера или больше лишь примерно в 5% случаев по случайности. Вердикт читается «Значимо» при уверенности 95% или выше. Он не говорит о размере эффекта — для этого смотрите прирост.
Почему я получаю неверный результат?
Конверсии не могут превышать число посетителей, и оба числа посетителей должны быть больше нуля. Тесту также нужна некоторая дисперсия: если никто не конвертировался ни в одной группе или все конвертировались, стандартная ошибка равна нулю и z-оценку сформировать нельзя, поэтому инструмент помечает ввод как неверный.
Достаточно ли значимости, чтобы объявить победителя?
Не сама по себе. Крошечная, неважная разница может быть значимой при огромной выборке, тогда как реальный эффект может не достичь значимости при малой. Учитывайте относительный прирост, абсолютные числа и достаточно ли долго шёл тест. Все вычисления здесь выполняются приватно в вашем браузере.
Больше инструментов