Czyli dlaczego testy A/B nie są dla Ciebie 

Mie­rze­nie wpły­wu zmian w desi­gnie w bez­po­śred­nim prze­ło­że­niu na upra­gnio­ną kon­wer­sję jest nie­wąt­pli­wie war­to­ścio­we, łatwo dostęp­ne, nie­dro­gie i sze­ro­ko wyko­rzy­sty­wa­ne, tak­że przez gigan­tów takich jak Ama­zon czy Google. Po co orga­ni­zo­wać bada­nia dla kil­ku osób, sko­ro może­my zebrać dane od tysię­cy nie wsta­jąc od biur­ka?

Co dobrego

W testach A/B two­rzy­my dwie wer­sje wybra­ne­go ele­men­tu stro­ny i wyświe­tla­my je loso­wo moni­to­ru­jąc reak­cje użyt­kow­ni­ków, naj­czę­ściej posłu­gu­jąc się mier­ni­ka­mi ilo­ścio­wy­mi jak np. licz­ba klik­nięć i spraw­dza­my, któ­ry wypa­da lepiej. Testu­je­my na spo­rych gru­pach użyt­kow­ni­ków, wyni­kiem są pro­ste do porów­na­nia war­to­ści pro­cen­to­we. Wymień­my kil­ka zalet:

• testy A/B mie­rzą zacho­wa­nia w natu­ral­nych dla użyt­kow­ni­ków warun­kach;
• może­my wykryć nawet nie­wiel­kie róż­ni­ce z zacho­wa­niem sta­ty­stycz­nej istot­no­ści;
• są tanie – wyma­ga­ją bar­dzo nie­wiel­kie­go zaan­ga­żo­wa­nia, nie wyma­ga­ją dodat­ko­we­go zaple­cza sprzę­to­we­go.

Ma to sens, praw­da? Wie­my dokład­nie np. któ­ry przy­cisk czę­ściej wybie­ra­ją użyt­kow­ni­cy, z jakim nagłów­kiem ten sam arty­kuł jest czy­ta­ny czę­ściej. Mamy na to dowo­dy i wykre­sy.

A więc w czym leży problem?

A/B testy to solid­ne narzę­dzie, kie­dy wyko­rzy­sty­wa­ne jest we wła­ści­wy spo­sób. War­to jed­nak mieć świa­do­mość cze­go testy A/B nie robią lub co robią pozor­nie.

• Dany wariant desi­gnu nie zawsze obra­zu­je kon­cept. Może­my odrzu­cić dane hasło uży­te w opi­sie, ze wzglę­du na niż­sze wskaź­ni­ki, ale nie wie­my że zawa­ży­ła sama for­ma, nie treść. Kon­cept mógł być traf­ny, zesta­wie­nie z jakimś innym ele­men­tem na stro­nie już nie.
• Dany wariant może nie odno­sić się do rze­czy­wi­stych przy­czyn pro­ble­mów. Błęd­ne wnio­ski odno­śnie przy­czy­ny, mogą dopro­wa­dzić do roz­wią­zań nie odno­szą­cych się do źró­dła pro­ble­mu. Na przy­kład, zało­że­nie, że użyt­kow­ni­cy odpa­da­ją na począt­ko­wych kro­kach for­mu­la­rza w wypo­ży­czal­ni aut ze wzglę­du na dużą licz­bę pól, nie pozwa­la na zaob­ser­wo­wa­nie, że dzie­je się tak dla­te­go że wcho­dzą tam tyl­ko po to żeby zoba­czyć peł­ne spek­trum wybo­ru.
• Porów­nu­je­my ze sobą warian­ty któ­re uzna­li­śmy za war­te testo­wa­nia. Dla­te­go testy mogą powie­dzieć nam wię­cej odno­śnie naszych ocze­ki­wań, niż ocze­ki­wań użyt­kow­ni­ków. Z dużym praw­do­po­do­bień­stwem nie wywnio­sku­je­my na ich pod­sta­wie wer­sji C, któ­ra będzie traf­niej odpo­wia­dać na potrze­by.

Spo­ty­ka­my się z podej­ściem, że sta­ty­sty­ki nie kła­mią w prze­ci­wień­stwie do ludzi na bada­niach. Spró­buj prze­pro­wa­dzić test A/B w warian­cie A/A – któ­ra wer­sja A wypa­dła lepiej? ?

Dlaczego testy z użytkownikami to lepszy pomysł

W testach z użyt­kow­ni­ka­mi nie zga­du­je­my, ale obser­wu­je­my, pyta­my i na tej pod­sta­wie wnio­sku­je­my. Moż­li­wość zada­nia pyta­nia, obser­wa­cji reak­cji, mimi­ki, pozwa­la na ziden­ty­fi­ko­wa­nie źró­deł pro­ble­mów, czy dostrze­że­nie ich tam gdzie się nie spo­dzie­wa­li­śmy (mamy tu na myśli zarów­no naszych klien­tów, jak i nas samych, pro­jek­tan­tów).

Jeże­li wolisz pozo­stać w bło­giej nie­wie­dzy, uwa­żasz, że wyjąt­ko­wo traf­nie się domy­ślasz, lub gdy Two­ja stro­na ma słu­żyć głów­nie Tobie same­mu – nie rób testów!

Pamię­taj­my też, że testy A/B dosko­na­le uzu­peł­nia­ją bada­nia jako­ścio­we. Gdy zaan­ga­żo­wa­nie fir­my w roz­wój User Expe­rien­ce wzra­sta do pozio­mu kie­dy regu­lar­nie pro­wa­dzi się bada­nia użyt­kow­ni­ków, testy A/B na pew­no powin­ny rów­nież zago­ścić w zesta­wie wyko­rzy­sty­wa­nych narzę­dzi.

Wię­cej o samych testach z użyt­kow­ni­ka­mi możesz prze­czy­tać na naszej stro­nie:

Case stu­dy Wese­le z kla­są
Testy z użyt­kow­ni­ka­mi
Test czy fokus?

Źró­dła:

https://www.nngroup.com/articles/ab-testing-and-ux-research/
https://www.nngroup.com/articles/putting-ab-testing-in-its-place/