Jaka jest minimalna liczba użytkowników, z którymi powinienem przeprowadzić test AB, aby być skutecznym?

1. Ilu użytkowników potrzebnych do testowania AB?
2. Ile testów AB się udało?
3. Ile osób powinno przetestować produkt?
4. Ile testerów potrzebujesz, aby rozwiązać 85 problemów?

Ilu użytkowników potrzebnych do testowania AB?

Przy od 10 000 do 100 000 odwiedzających miesięcznie, testy AB może być prawdziwym wyzwaniem, ponieważ konieczna jest poprawa współczynnika konwersji wynoszącej co najmniej 9%.

Ile testów AB się udało?

Testy A/B powodują znaczącą zmianę dla organizacji w 1 na 8 przypadków. Czasami, nawet jeśli zdecydujesz się na najlepszą metodologię testowania A/B, wyniki mogą być frustrujące. Dane pokazują, że tylko jeden z ośmiu testów A/B wskazuje na jakikolwiek sukces w kampanii e -mailowej, a reszta rzadko pokazuje jakąkolwiek poprawę.

Ile osób powinno przetestować produkt?

Zasada 5-użytkownika została ogłoszona przez Nielsen (2000) w jego artykule, dlaczego trzeba tylko przetestować z 5 użytkownikami. Na podstawie badań, które przeprowadzili i Landauer, Nielsen argumentował, że liczba problemów z użytecznością stwierdzonych w teście zmniejsza się po piątym użytkowniku.

Ile testerów potrzebujesz, aby rozwiązać 85 problemów?

Jeśli masz 3 użytkowników testowych, złapiesz około 65% problemów. Z 4 użytkownikami złapiesz 75%, a z 5 złapiesz 85%.