Zrozumienie podniesienia w testowaniu A/B

1. Co jest podniesione w testach AB?
2. Jak obliczyć windę podczas testu?
3. Co mówi ci poziom pewności testu A B?

Co jest podniesione w testach AB?

Uplift: różnica między wydajnością zmienności a wydajnością zmienności wyjściowej (zwykle grupa kontrolna). Na przykład, jeśli jedna odmiana ma przychód na 5 USD, a kontrola ma przychód na 4 USD, podniesienie wynosi 25%.

Jak obliczyć windę podczas testu?

Podnośnik jest obliczany przez uwzględnienie różnicy między szybkością konwersji obróbki a szybkością konwersji kontrolnej podzielonej przez szybkość konwersji kontrolnej. Rezultatem jest względna różnica procentowa leczenia w porównaniu z kontrolą.

Co mówi ci poziom pewności testu A B?

Zwykle ludzie zgadzają się na α = 5%, więc poziom ufności, który jest obliczany jako 1 α, wynosi 95%. Zatem poziom ufności (1 α) jest prawdopodobieństwem nie uzyskania błędu typu I (α). Jest to odsetek zaufania do wyniku, jeśli test pokazuje, że warianty A i B nie różnią się.