Cała prawda o badaniach z użytkownikami

“Opinia 5 osób nic nam nie da”

Spe­cja­li­ści od uży­tecz­no­ści prze­ko­nu­ją, że testy z użyt­kow­ni­ka­mi są pod­sta­wą w two­rze­niu przy­ja­znych użyt­kow­ni­kom stron i apli­ka­cji. Takie testy nie muszą być bar­dzo kosz­tow­ne i cza­so­chłon­ne – nawet kil­ka osób wystar­czy, żeby uzy­skać zado­wa­la­ją­ce wyni­ki. Sko­ro jed­nak wystar­czy zapy­tać parę osób o opi­nię, prze­cież moż­na pod­py­tać zna­jo­mych lub wysłać ankie­ty. Po co tra­cić czas i pie­nią­dze na bada­nia?

Badania to nie zbieranie opinii

Wysy­ła­nie ankiet, testy zdal­ne czy pro­sze­nie o radę zna­jo­mych to kuszą­ce meto­dy na spraw­dze­nie czy pro­jek­to­wa­na stro­na czy apli­ka­cja jest uży­tecz­na. Są rela­tyw­nie tanie, szyb­kie i rów­no­cze­śnie… mało sku­tecz­ne. Wszyst­kie te meto­dy w mniej­szym lub więk­szym stop­niu znaj­du­ją odpo­wiedź na pyta­nie „jakie są pro­ble­my?”, testy z użyt­kow­ni­ka­mi pozwa­la­ją jed­nak na odpo­wiedź na dużo istot­niej­sze pyta­nie, a mia­no­wi­cie „co jest przy­czy­ną pro­ble­mów?”, któ­re już wprost pro­wa­dzi do odpo­wied­nich zmian w pro­duk­cie. 

W prze­ci­wień­stwie do innych metod, w bada­niach nie cho­dzi o to, aby popro­sić użyt­kow­ni­ków o wska­za­nie z czym mają pro­blem, ponie­waż takie infor­ma­cje były­by nie­peł­ne i czę­ścio­wo prze­kła­ma­ne ze wzglę­du na nie­uświa­do­mio­ne trud­no­ści. Bada­nia użyt­kow­ni­ków pozwa­la­ją na zebra­nie więk­szej ilo­ści istot­nych infor­ma­cji ponie­waż w ich trak­cie mode­ra­tor może kie­ro­wać bada­niem w spo­sób dosto­so­wa­ny do bada­ne­go, rów­no­cze­śnie trzy­ma­jąc się uprzed­nio przy­go­to­wa­ne­go sce­na­riu­sza.

Bada­ni pro­sze­ni są o oma­wia­nie na głos wyko­ny­wa­nych kro­ków, a pro­wa­dzą­cy może w odpo­wied­nich momen­tach prze­ry­wać, żeby omó­wić z nim wystę­pu­ją­ce trud­no­ści. W efek­cie otrzy­mu­je­my infor­ma­cje, o tym jakie ele­men­ty testo­wa­ne­go pro­duk­tu spra­wia­ją trud­ność, oraz infor­ma­cje o tym cze­go dana trud­ność jest wyni­kiem, co pozwa­la na uspraw­nie­nie testo­wa­ne­go pro­duk­tu lub jego pro­to­ty­pu.

Jakość, a nie ilość

Wyda­wać by się mogło, że rze­tel­ne wyni­ki wyma­ga­ją duże­go zaan­ga­żo­wa­nia, jed­nak już w 2000 roku, twór­ca naj­bar­dziej zna­nych w świe­cie uży­tecz­no­ści heu­ry­styk – Jacob Nie­lsen, napi­sał arty­kuł, w któ­rym tłu­ma­czył dla­cze­go testy uży­tecz­no­ści wca­le nie muszą być dro­gie, cza­so­chłon­ne i skom­pli­ko­wa­ne. On i Tom Lan­dau­er prze­pro­wa­dzi­li bada­nie, w któ­rym wyka­za­li, że prze­pro­wa­dze­nie testów na 5 użyt­kow­ni­kach jest wystar­cza­ją­ce dla wykry­cia więk­szo­ści pro­ble­ma­tycz­nych ele­men­tów inter­fej­su. Co się dzie­je, gdy licz­ba teste­rów rośnie?

Źró­dło: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

Nie­lsen zauwa­żył, że prze­pro­wa­dze­nie testów już na jed­nym użyt­kow­ni­ku mia­ło ogrom­ny wpływ na uzy­ska­ne wyni­ki. Podob­nie było z dru­gim, jed­nak w jego przy­pad­ku część wykry­tych pro­ble­mów pokry­wa­ła się z pro­ble­ma­mi użyt­kow­ni­ka z pierw­sze­go testu. Z każ­dym kolej­nym bada­nym, coraz wię­cej pro­ble­mów się powta­rza­ło, a licz­ba nowych mala­ła. Testo­wa­nie szóstej oso­by oka­zało się być nie­opła­cal­ne, ponie­waż środ­ki i czas w nie zain­we­sto­wa­ne były nie­współ­mier­ne do uzy­ska­nych efek­tów. Nie­lsen reko­men­du­je więc, żeby w testach uży­tecz­no­ści bra­ło udział 5 użyt­kow­ników, jed­no­cze­śnie jed­nak wspo­mi­na, że war­to pona­wiać testy po wpro­wa­dze­niu popra­wek do pro­to­ty­pu.

Dlaczego nie testować 1 osoby?

Przed­sta­wio­na powy­żej krzy­wa Nie­lse­na poka­zu­je, że od pierw­sze­go testo­wa­ne­go użyt­kow­ni­ka dowia­du­je­my się wie­le wię­cej niż od kolej­nych. Ist­nie­je więc duża poku­sa, aby na tej jed­nej oso­bie poprze­stać. Czy jest sens spraw­dza­nia kolej­nych osób i anga­żo­wa­nia naszych zaso­bów? Owszem, z dwóch powo­dów:

• Pod­czas bada­nia zale­d­wie jed­nej oso­by, ryzy­ku­je­my, że wyni­ki będą przy­pad­ko­we, a zacho­wa­nia nie­re­pre­zen­ta­tyw­ne. Dopie­ro przy teście na trze­ciej oso­bie jeste­śmy w sta­nie zaob­ser­wo­wać, któ­re zacho­wa­nia z dużym praw­do­po­do­bień­stwem będą powta­rzal­ne, a któ­re uni­kal­ne.
• Ana­li­za kosz­tów i zysków poka­zu­je, że ponie­sio­ny koszt począt­ko­wy zwią­za­ny z przy­go­to­wa­niem i prze­pro­wa­dze­niem bada­nia jest sta­ły. A więc bar­dziej opła­ca się zapro­sić do bada­nia pomię­dzy 3 a 5 osób, niż pono­sić te kosz­ty dla jed­nost­ki.

Badania na „piątkę”

Cel badań uży­tecz­no­ści jest czy­sto prak­tycz­ny – zna­leźć źró­dła pro­ble­mów i ich naj­lep­sze roz­wią­za­nia, dla­te­go też mają one cha­rak­ter jako­ścio­wy i eks­plo­ra­cyj­ny. Ozna­cza to, że sta­ra­my się dzię­ki nim zna­leźć odpo­wie­dzi na pyta­nia w jaki spo­sób dzia­ła­ją użyt­kow­ni­cy i jak ich dzia­ła­nie uspraw­nić, a nie to ilu użyt­kow­ni­ków dzia­ła w dany spo­sób. W takim przy­pad­ku, niska liczeb­ność próby jest opty­mal­na ze wzglę­du na sto­su­nek kosztów do uzy­ska­nych efektów. Wyż­sza nie wno­si zbyt wie­le nowych odkryć i nie jest war­ta poświę­ca­nia jej cza­su. Liczeb­ność prób może jed­nak w dużym stop­niu zale­żeć od ilo­ści i skła­du gru­py doce­lo­wej oraz zło­żo­no­ści pro­duk­tu. Zało­że­nie Nie­lse­na o prze­pro­wa­dza­niu testów na 5 użyt­kow­ni­kach  odno­si się do przy­pad­ku, gdy nale­żą oni do jed­no­li­tej gru­py. Jeśli grup doce­lo­wych jest wię­cej i są one bar­dzo zróż­ni­co­wa­ne (np. rodzi­ce i dzie­ci), testy powin­ny być prze­pro­wa­dza­ne dla każ­dej z tych grup.

Nawet przy prze­pro­wa­dze­niu kil­ku odręb­nych testów, kosz­ty pro­fe­sjo­nal­nych badań UX są sto­sun­ko­wo nie­wiel­kie w porów­na­niu do cało­ści wydat­ków zwią­za­nych z pra­ca­mi dewe­lo­per­skich, mar­ke­tin­go­wy­mi i inny­mi zwią­za­ny­mi z roz­wo­jem ser­wi­su, nato­miast ich efek­ty wyjąt­ko­wo wymier­ne. Brak uży­tecz­no­ści, np. skle­pu inter­ne­to­we­go, kor­po­ra­cyj­nej stro­ny fir­my może skut­ko­wać znie­chę­ce­niem klien­tów do mar­ki i szyb­kim spad­kiem zysków. Bada­nia poma­ga­ją zapo­biec poten­cjal­nym pro­ble­mom, któ­re mogli­by napo­tkać użyt­kow­ni­cy witry­ny. Jeśli nie jesteś spe­cja­li­stą od uży­tecz­no­ści, war­to ten temat oddać w ręce osób z doświad­cze­niem. Zobacz, w jaki spo­sób my może­my Ci pomóc na janmedia.pl.

Źró­dła:

https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
https://www.nngroup.com/articles/card-sorting-how-many-users-to-test/
https://www.nngroup.com/articles/quantitative-studies-how-many-users/
https://www.nngroup.com/articles/how-many-test-users/