Badania UX sklepu internetowego – dlaczego 5 wywiadów wystarczy, by wykryć błędy?

Skąd wzięła się reguła 5 użytkowników w badaniach UX

Reguła pięciu użytkowników nie pochodzi z praktyki agencyjnej, tylko z modelu matematycznego opublikowanego w 1993 roku przez Jakoba Nielsena i Thomasa Landauera [2], a spopularyzowanego siedem lat później przez artykuł Nielsena dla Nielsen Norman Group [1]. To rozróżnienie ma znaczenie, bo model opiera się na założeniach, które w e-commerce bywają spełnione tylko częściowo.

Model Nielsena i Landauera oraz założenie o 31 proc. wykrywalności

Model zakłada, że przeciętny problem z użytecznością zostanie napotkany przez około 31 proc. użytkowników. Przy takiej wartości pięciu uczestników ujawnia około 85 proc. wszystkich problemów w interfejsie [6]. Drugie założenie jest równie ważne: każdy napotkany problem jest problemem wartym naprawy. Jeżeli jedna osoba wpada do dziury w chodniku, nie potrzeba stu kolejnych, żeby uznać, że dziurę należy załatać.

Dlaczego krzywa wykrywalności błędów szybko się wypłaszcza

Pierwszy uczestnik dostarcza najwięcej informacji, bo wszystko, co napotka, jest nowe. Drugi powtarza część obserwacji pierwszego i dokłada niewielką pulę nowych. Przy piątym rozmówcy większość wątków zaczyna się dublować. Potwierdza to praktyka badawcza.

Pięć wywiadów to jest taki standard w badaniach UX-owych, gdzie badamy sobie użyteczność strony internetowej, robimy testy z użytkownikami uzupełnione o badania. Te pięć wywiadów tak naprawdę pozwoli zbudować główne wątki, które wpływają na to, że dany klient zachowuje się w taki, a nie inny sposób.

Maciej Maj, CEO Openfield

Co pokazują dane – 85 proc. problemów, ale z ogromnym rozrzutem

Średnia potwierdza Nielsena, rozrzut go podważa. Laura Faulkner przetestowała aplikację na 60 użytkownikach, a następnie wylosowała z tej puli sto zestawów pięcioosobowych i sprawdziła, ile problemów wykryłby każdy z nich osobno [3]. Wynik średni zgadza się z modelem. Wynik najgorszy pokazuje skalę ryzyka.

Kiedy pięciu użytkowników to zdecydowanie za mało

Ryzyko rośnie wraz ze złożonością serwisu. Jared Spool i Will Schroeder wykazali, że w przypadku rozbudowanych serwisów transakcyjnych pięciu uczestników nie zbliża się do progu 85 proc. [4]. Dla decydenta w e-commerce wniosek jest praktyczny: im więcej równoległych ścieżek w sklepie – kategorie, filtry, warianty produktu, warianty dostawy i płatności – tym większa potrzebna próba. Sklep z jedną linią produktową i jednym typem klienta to inny przypadek niż marketplace z sześcioma kategoriami i klientem hurtowym obok detalicznego.

Warunek kluczowy – pięć wywiadów w jednym segmencie

Reguła pięciu działa wewnątrz jednorodnej grupy użytkowników, a nie w poprzek całej bazy klientów. To najczęstszy błąd popełniany przy planowaniu testów w e-commerce: pięć osób dobranych przypadkowo reprezentuje pięć różnych sposobów korzystania ze sklepu i nie daje powtarzalności żadnego z nich.

Pięć wywiadów w konkretnym jednym segmencie – wtedy to działa. Pięć jako taki pakiet startowy rozmów, żeby zrozumieć.

Maciej Maj, CEO Openfield

Jak segmentować użytkowników sklepu internetowego

• klient nowy kontra klient powracający – inaczej ufają, inaczej szukają informacji
• klient detaliczny kontra zakupowiec B2B – inne kryteria decyzji, inna ścieżka płatności
• urządzenie mobilne kontra desktop – zupełnie inne ograniczenia interfejsu
• ruch z wyszukiwarki kontra ruch z kampanii – różny poziom wiedzy o marce

Dobór próby w badaniu jakościowym rządzi się innymi prawami niż w badaniu ilościowym. Warto zapoznać się z tym, jakie są metody doboru próby badawczej, zanim zapadnie decyzja o liczbie uczestników.

Nasycenie danych, czyli moment, w którym rozmowy przestają wnosić nowe wątki

Metodologia badań jakościowych opisuje to zjawisko jako nasycenie. Greg Guest, Arwen Bunce i Laura Johnson przeanalizowali 60 wywiadów pogłębionych i wykazali, że nasycenie kodów następowało przy dwunastym wywiadzie, przy czym około 80 proc. kodów pojawiło się już w pierwszych sześciu rozmowach [5]. Próg pięciu osób mieści się więc w strefie, w której zdecydowana większość powtarzalnych wątków jest już widoczna, ale niuanse jeszcze nie.

Co pięć wywiadów wykryje w sklepie, a czego nie wykryje

Pięć testów wskaże problemy, ale nie zmierzy ich skali. To rozróżnienie decyduje o tym, czy wyniki badania nadają się do podjęcia decyzji budżetowej, czy tylko do listy poprawek dla zespołu produktowego.

Pięć rozmów, później już te rozmowy raczej nie przynoszą więcej.

Maciej Maj, CEO Openfield

Skala problemu jest przy tym dobrze udokumentowana. Baymard Institute, na podstawie metaanalizy kilkudziesięciu badań, wylicza średni poziom porzuceń koszyka na około 70 proc. i dokumentuje ponad sto przyczyn problemów z użytecznością procesu zakupowego, wskazując na potencjał wzrostu konwersji rzędu 35 proc. przy ich usunięciu [7].

Jak zaprojektować badanie UX sklepu internetowego krok po kroku

Jakość wyników zależy bardziej od projektu badania niż od liczby uczestników. Pięć dobrze zrekrutowanych osób z poprawnym scenariuszem da więcej niż piętnaście przypadkowych.

Cel badawczy i pytania decyzyjne

Badanie zaczyna się od decyzji, która ma zostać podjęta, a nie od pytania “sprawdźmy, co ludzie myślą o naszej stronie”. Przykład dobrze postawionego celu: ustalić, dlaczego użytkownicy mobilni porzucają koszyk na etapie wyboru dostawy.

Screener i rekrutacja

Uczestnikami powinni być realni kupujący w danej kategorii, rekrutowani przez screener weryfikujący zachowania zakupowe z ostatnich miesięcy. Pracownicy firmy, znajomi zespołu i osoby zawodowo związane z e-commerce zniekształcają wynik, bo poruszają się po sklepie sprawniej niż przeciętny klient.

Scenariusz zadaniowy zamiast pytań o opinie

Uczestnik ma wykonać zadanie, nie ocenić projekt. Nielsen ujmuje to w zasadzie, która brzmi prowokacyjnie, a jest czysto metodologiczna [8].

Obserwuj, co ludzie rzeczywiście robią. Nie wierz w to, co mówią, że robią. I zdecydowanie nie wierz w to, co przewidują, że zrobią w przyszłości.

Jakob Nielsen, Nielsen Norman Group

Iteracyjność – trzy rundy po pięć osób zamiast jednej po piętnaście

Największą wartość daje cykl: test, wdrożenie poprawek, ponowny test. Jedno duże badanie na piętnastu osobach wykryje podobną liczbę problemów, ale sprawdzi tylko jedną wersję interfejsu. Trzy iteracje weryfikują też, czy wprowadzone zmiany faktycznie zadziałały. Pogłębienie wątków, które ujawnią testy, umożliwiają indywidualne wywiady pogłębione (IDI).

Kiedy warto zlecić badanie UX na zewnątrz

Zewnętrzny badacz jest potrzebny w dwóch sytuacjach: gdy zespół produktowy jest zbyt blisko własnego rozwiązania, by dostrzec jego bariery, oraz gdy wyniki mają stanowić podstawę decyzji inwestycyjnej. W drugim przypadku znaczenie ma standard prowadzenia fieldworku – sposób rekrutacji, moderacji i dokumentowania sesji. Openfield realizuje badania zgodnie z wymogami Programu Kontroli Jakości Pracy Ankieterów prowadzonego przez Organizację Firm Badania Opinii i Rynku, a przykładem takiego podejścia w praktyce jest badanie MVP produktu fintechowego, w którym prototyp testowano z potencjalnymi użytkownikami przed wdrożeniem.

Szerszy zakres prac nad doświadczeniem klienta, od testów użyteczności po mapowanie ścieżki zakupowej, obejmują badania CX i UX.

Najczęściej zadawane pytania (FAQ)

Ilu użytkowników potrzeba do testów użyteczności sklepu internetowego?

Pięciu na jeden segment klientów pozwala wykryć średnio około 85 proc. problemów z użytecznością. Przy kilku wyraźnie różnych grupach klientów liczbę tę mnoży się przez liczbę segmentów.

Czy pięć wywiadów wystarczy w sklepie B2B?

Zwykle nie w pojedynczej rundzie. W e-commerce B2B w decyzję zaangażowanych jest kilka ról – użytkownik, zakupowiec, osoba akceptująca budżet – a każda z nich stanowi odrębny segment z własną ścieżką.

Czym różni się test użyteczności od audytu heurystycznego?

Audyt heurystyczny wykonuje ekspert, oceniając interfejs względem zasad projektowych. Test użyteczności angażuje realnych użytkowników wykonujących zadania. Audyt jest szybszy i tańszy, test wykrywa problemy, których ekspert nie przewidzi.

Czy testy zdalne są tak samo skuteczne jak stacjonarne?

W przypadku sklepów internetowych zdalne testy moderowane są zwykle równie skuteczne, a dodatkowo badają użytkownika w jego naturalnym środowisku i na jego własnym sprzęcie.

Jak często powtarzać testy użyteczności w e-commerce?

Po każdej istotnej zmianie w ścieżce zakupowej oraz cyklicznie, co dwa do czterech razy w roku, w krótkich iteracjach.

Ile trwa badanie UX sklepu internetowego?

Pojedyncza runda pięciu testów moderowanych wraz z rekrutacją, realizacją i raportem zajmuje zwykle od dwóch do czterech tygodni.

Bibliografia

1. Nielsen J., Why You Only Need to Test with 5 Users, Nielsen Norman Group – nngroup.com
2. Nielsen J., Landauer T. K., A Mathematical Model of the Finding of Usability Problems, Proceedings of ACM INTERCHI’93, s. 206-213
3. Faulkner L., Beyond the five-user assumption: Benefits of increased sample sizes in usability testing, Behavior Research Methods, Instruments, & Computers 35(3), 2003 – link.springer.com
4. Spool J., Schroeder W., Testing Web Sites: Five Users Is Nowhere Near Enough, CHI 2001 Extended Abstracts, s. 285-286
5. Guest G., Bunce A., Johnson L., How Many Interviews Are Enough? An Experiment with Data Saturation and Variability, Field Methods 18(1), 2006 – journals.sagepub.com
6. Budiu R., Why 5 Participants Are Okay in a Qualitative Study, but Not in a Quantitative One, Nielsen Norman Group – nngroup.com
7. Baymard Institute, Cart Abandonment Rate Statistics – baymard.com
8. Nielsen J., First Rule of Usability? Don’t Listen to Users, Nielsen Norman Group – nngroup.com
9. Dobre dane, złe decyzje – dlaczego firmy wyciągają błędne wnioski? | Maciej Maj Openfield, Harbingers Marketing Agency – Youtube