Stosować testy A/B czy testy wielowymiarowe? Na które się zdecydować?

Jed­nym z głównych celów mar­ketingow­ców, badaczy, pro­jek­tan­tów oraz właś­ci­cieli stron inter­ne­towych jest „przeko­nanie” swoich użytkown­ików do wyko­na­nia określonej akcji na stron­ie.

W celu zapro­jek­towa­nia strony, która będzie sprzy­jała wykony­wa­niu pożą­danych akcji, niezbędne jest wprowadze­nie pro­ce­su opty­mal­iza­cji. Pozwala on wyłonić najbardziej efek­ty­wną wer­sję.

Aby tego dokon­ać, z pomocą przy­chodzą nam dwa rodza­je testów:

  • Testy A/B,
  • Testy wielowymi­arowe.

Na początek wyjaśnie­nie czym różnią się oby­d­wa rodza­je testów.

Testy A/B

Testy A/B pole­ga­ją na bada­niu skutecznoś­ci dwóch różnych wer­sji strony (wer­s­ja A oraz wer­s­ja B). Różnią­cym ele­mentem może być:

Tekst zachę­ca­ją­cy do zakupów:

A: „Naj­taniej w sieci”
B: „Najlep­sze ofer­ty”

Sposób przed­staw­ienia najważniejszego call-to-action:

A: zwykły odnośnik tek­stowy
B: przy­cisk

Zmi­ana lay­outu strony:

A: jed­na kolum­na
B: dwie kolum­ny

 

Ruch na badanej stron­ie dzielony jest losowo po 50% na każdą z wer­sji, a następ­nie mier­zona jest skuteczność każdej z nich, czyli poziom osiąg­nię­cia założonego celu. Celem w tym wypad­ku może być wyso­ki współczyn­nik kon­wer­sji rejes­tracji, zapisu do newslet­tera, czy też nis­ki współczyn­nik odrzuceń.

Może­my oczy­wiś­cie testować więcej niż dwie wer­sje. Wów­czas bada­jąc skuteczność wer­sji A, B oraz C, ruch na stron­ie jest odpowied­nio dzielony odpowied­nio na trzy częś­ci.

W takich tes­tach intere­su­je nas ogól­ny wpływ danej wer­sji na poziom osiąg­niętego celu.

 

Test A/B

Testy wielowymiarowe

Testy wielowymi­arowe opier­a­ją się na tej samej zasadzie co testy A/B – sprawdza­my, która badana wer­s­ja strony inter­ne­towej jest bardziej skutecz­na.

Ten rodzaj testów jest jed­nak nieco bardziej skom­p­likowany. Bada­niu pod­dawanych jest więcej niż jeden ele­ment (zmi­en­na) pod­czas jed­nego tes­tu, np.:

  • kolor przy­cisku (zielony, czer­wony) jako jed­na zmi­en­na, oraz
  • wielkość przy­cisku (więk­szy, mniejszy) jako dru­ga zmi­en­na.

Test pole­ga na sprawdze­niu skutecznoś­ci każdej możli­wej kom­bi­nacji (w tym wypad­ku czterech) i zbada­niu która z nich daje najlep­szy efekt.

Test wielowymiarowyPrzykład zas­tosowa­nia

Wyobraźmy sobie stronę z for­mu­la­rzem rejes­tracji. Zna­j­du­ją się na nim dwa ele­men­ty (zmi­enne), które chce­my pod­dać bada­niu:

Kolor przy­cisku (3 wer­sje):

- zielony,
— pomarańc­zowy,
— fio­le­towy.

Tekst nad for­mu­la­rzem zachę­ca­ją­cy do rejes­tracji (2 wer­sje):

- „Dar­mowa rejes­trac­ja”,
— „Zare­jestruj się w 5 sekund”

 

Następ­nie rozdzielany jest ruch na stron­ie równo pomiędzy każdą możli­wą kom­bi­nację (6) tych dwóch zmi­en­nych.

Ten rodzaj testów wyma­ga posi­ada­nia więk­szego ruchu na stron­ie, aby wyni­ki testów moż­na było uznać za znaczące. Wyni­ka to z licz­by możli­wych kom­bi­nacji, jakie otrzy­mu­je­my. Im więcej posi­adamy kom­bi­nacji, tym dłużej zaj­mu­je nam uzyskanie znaczą­cych danych z bada­nia.

Pamię­taj, że mówiąc o znaczą­cym ruchu, nie mam na myśli tylko ruchu na całej wit­rynie, ale przede wszys­tkim na badanej stron­ie. A więc upewnij się, że tes­tu­jesz stronę, która fak­ty­cznie jest częs­to odwiedzana przez użytkown­ików.

Pod­czas uru­chomienia tes­tu wszys­tkie wari­anty są ze sobą porówny­wane oraz wszys­tkie zmi­enne są porówny­wane w kon­tekś­cie ich wys­tępowa­nia z inny­mi zmi­en­ny­mi. W tym wypad­ku znacze­nie ma nie tylko to, która wer­s­ja jest najbardziej korzyst­na, ale również które ele­men­ty strony odgry­wa­ją najwięk­szą rolę w osiąg­nię­ciu zamier­zonego celu. Dzię­ki temu mamy jas­ny obraz, które ele­men­ty są najbardziej odpowiedzialne za określone wyni­ki.

Dla powyższego przykładu może się okazać, że kolor przy­cisku nie ma aż tak dużego znaczenia, nato­mi­ast najwięk­szy wpływ na kon­wer­sję rejes­tracji ma tekst zna­j­du­ją­cy się nad for­mu­la­rzem.

 

Co w takim razie wybrać?

Zan­im rozpoczniesz opty­mal­iza­cję swo­jej strony, zde­cy­duj najpierw, którą metodą chcesz się posłużyć i która będzie dla ciebie lep­sza.

 

Zale­ty testów A/B:

  • proste w pro­jek­towa­niu,
  • dane otrzy­mu­je­my szy­b­ciej niż w przy­pad­ku testów wielowymi­arowych,
  • możli­wość bada­nia więk­szych, cza­sem istot­niejszych zmi­an na stron­ie lub w jej treś­ci,
  • nie wyma­ga­ją posi­ada­nia dużego ruchu na stron­ie.

Zale­ty testów wielowymi­arowych:

  • dostar­cza­ją cen­nych infor­ma­cji, w którą stronę kierować nasze dzi­ała­nia związane z wprowadzaniem zmi­an,
  • wyciąg­nięte wnios­ki z jed­nego tes­tu (w niek­tórych przy­pad­kach) moż­na zas­tosować w kon­tekś­cie innych pod­stron,
  • dostar­cza­ją infor­ma­cji, które zmi­enne (czyli które ele­men­ty na stron­ie) mają najwięk­szy wpływ na zachowa­nia użytkown­ików (zarówno pozy­ty­wny jak i negaty­wny),
  • wyma­gany więk­szy ruch oznacza dokład­niejsze dane statysty­czne.

 

Przykład w podejściu między testem A/B a testem wielowymiarowym

Badamy stronę, na której użytkown­i­cy dokonu­ją zakupu kon­ta Pre­mi­um rozsz­erza­jącego możli­woś­ci ofer­owanej przez nas usłu­gi.

Do obec­nej wer­sji strony tworzymy dodatkowe dwie wer­sje nagłówka (wer­s­ja A – ory­gi­nał, wer­s­ja B, wer­s­ja C).  Sto­su­je­my metodę A/B. Po zakończe­niu tes­tu, okazu­je się, że wygrała nowa wer­s­ja B.

W następ­nym kroku (zastępu­jąc nowy nagłówek wer­sją B), bada­niu zosta­je pod­dany kolor przy­cisku (obec­ny przy­cisk zielony oraz dodatkowo wer­s­ja niebies­ka B i wer­s­ja pomarańc­zowa C). Wyni­ki tes­tu pokazu­ją, że wygrała wer­s­ja A, czyli ory­gi­nal­ny przy­cisk zielony.

Efek­tem naszych dwóch testów jest strona składa­ją­ca się z nowego nagłówka B oraz ze starego zielonego przy­cisku.

Testy A/B nie bada­ją wza­jem­nego odd­zi­ały­wa­nia poszczegól­nych ele­men­tów na stron­ie. A więc nie mieliśmy okazji sprawdz­ić wszys­t­kich kom­bi­nacji ele­men­tów. Możli­we, że najbardziej skuteczną kom­bi­nacją okaza­ła­by się kom­bi­nac­ja: stary nagłówek A + nowy przy­cisk C (lub jakakol­wiek inna).

Ter­az wyobraźmy sobie, że w grę wchodzą jeszcze dodatkowe zmi­enne takie jak tekst na przy­cisku (2 wer­sje), ikona kon­ta pre­mi­um (4 wer­sje) oraz tło (3 wer­sje) W efek­cie daje nam to:

3 x 3 x 2 x 4 x 3 = 216  kom­bi­nacji!

Wów­czas testy wielowymi­arowe pokazu­ją najlep­szą kom­bi­nację lub wyk­lucza­ją te, które nie przynoszą żad­nego pozy­ty­wnego efek­tu.

 

Podsumowując

Zale­ty każdego z testów dają nam wskazów­ki, który test aktu­al­nie będzie nam potrzeb­ny i który dostar­czy nam lep­szych danych. Częs­to przy mniejszych wit­ry­nach w zupełnoś­ci wystar­cza­ją testy A/B, aby dowiedzieć się, na jaką wer­sję użytkown­i­cy reagu­ją lep­iej.

 

Źródło:

http://www.cmswire.com/cms/customer-experience/optimizing-the-web-experience-ab-testing-multivariate-testing-or-both-020835.php

http://blog.hubspot.com/blog/tabid/6307/bid/30556/The-Critical-Difference-Between-A-B-and-Multivariate-Tests.aspx

5 odpowiedzi
  1. Marta Kozłowska
    Marta Kozłowska says:

    Do tej pory korzys­tałam z http://unbounce.com/ (dobre do testowa­nia land­ing page) — możli­wość wyko­rzys­ta­nia JS oraz CSS.
    Po stworze­niu kilku wer­sji, może­my dowol­nie defin­iować jaki % ruchu zostanie przy­dzielony do każdej z nich (np. wer­s­ja A — 50%, B — 25%, C-25%).

    Inne dobre narzędzie to https://www.optimizely.com/ — możli­wość zmi­any lay­outu naszej ist­niejącej strony (również moż­na wyko­rzys­tać JS oraz CSS, ale nie jest to konieczne)

    W obu przy­pad­kach usta­lamy cel, czyli kon­wer­sję czego chce­my badać.

    Oprócz tego w dużym stop­niu korzys­tałam z włas­nego zbu­dowanego przez zespół pro­jek­towy narzędzia.

    Odpowiedz
  2. Itzen.pl
    Itzen.pl says:

    Oso­biś­cie pro­ponu­ję zacząć testowanie od testów A/B — łatwiej zacząć, szy­b­ciej moż­na obser­wować efek­ty — dzię­ki temu nie zniechęcimy się trud­noś­cią w rozpoczę­ciu testowa­nia. Potem stop­niowo moż­na zwięk­szać liczbę kom­bi­nacji i wyjdą nam testy wielowymi­arowe.
    Co do testów w Google Ana­lyt­ics — bard­zo dobrze dzi­ała­ją — ciekawe jest stosowanie metody dynam­icznego przy­dziela­nia ruchu dla testowanych wer­sji w zależnoś­ci od osią­ganych efek­tów — dzię­ki temu strona, która lep­ie kon­wer­tu­je otrzy­mu­je więk­szy ruch czyli szy­b­ciej otrzy­mu­je­my wyni­ki.

    Odpowiedz

Odpowiedz

Want to join the discussion?
Feel free to contribute!

Odpowiedz na „Maksymilian ŚleziakAnuluj pisanie odpowiedzi

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *