เกี่ยวกับเครื่องมือนี้
เครื่องคำนวณนัยสำคัญของการทดสอบ A/B เป็นเครื่องมือฟรีที่ทำงานในเบราว์เซอร์ ซึ่งบอกคุณว่าความแตกต่างระหว่างอัตราการแปลงสองค่ามีนัยสำคัญทางสถิติหรือเป็นเพียงสัญญาณรบกวน ป้อนจำนวนผู้เข้าชมและการแปลงของแต่ละตัวแปร แล้วมันจะรัน z-test สองสัดส่วนในเครื่อง — ไม่มีข้อมูลออกจากเบราว์เซอร์ของคุณ
อัตราการแปลงคือ pA = cA ÷ nA และ pB = cB ÷ nB และการเพิ่มขึ้นสัมพัทธ์คือ (pB − pA) ÷ pA × 100 การทดสอบรวมสองกลุ่มเข้าด้วยกัน p = (cA + cB) ÷ (nA + nB) คำนวณความคลาดเคลื่อนมาตรฐาน SE = √(p(1−p)(1/nA + 1/nB)) และคะแนน z คือ z = (pB − pA) ÷ SE ค่า p-value สองทางคือ 2 × (1 − Φ(|z|)) โดย Φ คือ CDF ปกติที่สร้างจากการประมาณฟังก์ชันความคลาดเคลื่อน (Abramowitz-Stegun 7.1.26) ความเชื่อมั่นคือ (1 − p-value) × 100
ใช้หลังจากการทดสอบแยกเพื่อตัดสินว่าตัวแปร B ชนะ A จริงหรือไม่ ไทล์ผลตัดสินจะระบุว่าผลลัพธ์มีนัยสำคัญที่ความเชื่อมั่น 95% ขึ้นไป จำไว้ว่านัยสำคัญไม่เหมือนกับผลกระทบที่ใหญ่หรือยั่งยืน — ควรพิจารณาการเพิ่มขึ้นและขนาดตัวอย่างเสมอ
คำถามที่พบบ่อย
เครื่องมือนี้ใช้การทดสอบอะไร?
z-test สองสัดส่วนสองทางพร้อมความคลาดเคลื่อนมาตรฐานแบบรวม — วิธีมาตรฐานสำหรับเปรียบเทียบอัตราการแปลงสองค่า ค่า p-value มาจากการแจกแจงปกติผ่านการประมาณฟังก์ชันความคลาดเคลื่อน (สูตร Abramowitz-Stegun 7.1.26) และความเชื่อมั่นคือ 100% ลบด้วย p-value เป็นเปอร์เซ็นต์
ความเชื่อมั่น 95% ที่นี่หมายความว่าอย่างไร?
หมายความว่าหากสองตัวแปรทำงานเหมือนกันจริง คุณจะเห็นความแตกต่างขนาดนี้หรือมากกว่าโดยบังเอิญเพียงประมาณ 5% ของเวลา ผลตัดสินอ่านว่า 'มีนัยสำคัญ' ที่ความเชื่อมั่น 95% ขึ้นไป แต่ไม่บอกขนาดของผลกระทบ — ตรวจการเพิ่มขึ้นสำหรับสิ่งนั้น
ทำไมฉันจึงได้ผลลัพธ์ที่ไม่ถูกต้อง?
การแปลงต้องไม่เกินผู้เข้าชม และจำนวนผู้เข้าชมทั้งสองต้องมากกว่าศูนย์ การทดสอบยังต้องการความแปรปรวนบ้าง: หากไม่มีใครแปลงในกลุ่มใดกลุ่มหนึ่ง หรือทุกคนแปลง ความคลาดเคลื่อนมาตรฐานจะเป็นศูนย์และหาคะแนน z ไม่ได้ เครื่องมือจึงรายงานว่าข้อมูลไม่ถูกต้อง
นัยสำคัญเพียงพอที่จะประกาศผู้ชนะไหม?
ไม่ในตัวมันเอง ความแตกต่างเล็กน้อยที่ไม่สำคัญอาจมีนัยสำคัญด้วยตัวอย่างขนาดใหญ่ ในขณะที่ผลกระทบจริงอาจพลาดนัยสำคัญด้วยตัวอย่างเล็ก พิจารณาการเพิ่มขึ้นสัมพัทธ์ ตัวเลขสัมบูรณ์ และว่าการทดสอบรันนานพอหรือไม่ การคำนวณทั้งหมดที่นี่ทำงานเป็นส่วนตัวในเบราว์เซอร์ของคุณ
เครื่องมือเพิ่มเติม