Stosować testy A/B czy testy wielowymiarowe? Na które się zdecydować?

Jed­nym z głównych celów mar­ketingow­ców, badaczy, pro­jek­tan­tów oraz właś­ci­cieli stron inter­ne­towych jest „przeko­nanie” swoich użytkown­ików do wyko­na­nia określonej akcji na stron­ie.

W celu zapro­jek­towa­nia strony, która będzie sprzy­jała wykony­wa­niu pożą­danych akcji, niezbędne jest wprowadze­nie pro­ce­su opty­mal­iza­cji. Pozwala on wyłonić najbardziej efek­ty­wną wer­sję.

Aby tego dokon­ać, z pomocą przy­chodzą nam dwa rodza­je testów:

  • Testy A/B,
  • Testy wielowymi­arowe.

Na początek wyjaśnie­nie czym różnią się oby­d­wa rodza­je testów.

Testy A/B

Testy A/B pole­ga­ją na bada­niu skutecznoś­ci dwóch różnych wer­sji strony (wer­s­ja A oraz wer­s­ja B). Różnią­cym ele­mentem może być:

Tekst zachę­ca­ją­cy do zakupów:

A: „Naj­taniej w sieci”
B: „Najlep­sze ofer­ty”

Sposób przed­staw­ienia najważniejszego call-to-action:

A: zwykły odnośnik tek­stowy
B: przy­cisk

Zmi­ana lay­outu strony:

A: jed­na kolum­na
B: dwie kolum­ny

 

Ruch na badanej stron­ie dzielony jest losowo po 50% na każdą z wer­sji, a następ­nie mier­zona jest skuteczność każdej z nich, czyli poziom osiąg­nię­cia założonego celu. Celem w tym wypad­ku może być wyso­ki współczyn­nik kon­wer­sji rejes­tracji, zapisu do newslet­tera, czy też nis­ki współczyn­nik odrzuceń.

Może­my oczy­wiś­cie testować więcej niż dwie wer­sje. Wów­czas bada­jąc skuteczność wer­sji A, B oraz C, ruch na stron­ie jest odpowied­nio dzielony odpowied­nio na trzy częś­ci.

W takich tes­tach intere­su­je nas ogól­ny wpływ danej wer­sji na poziom osiąg­niętego celu.

 

Test A/B

Testy wielowymiarowe

Testy wielowymi­arowe opier­a­ją się na tej samej zasadzie co testy A/B – sprawdza­my, która badana wer­s­ja strony inter­ne­towej jest bardziej skutecz­na.

Ten rodzaj testów jest jed­nak nieco bardziej skom­p­likowany. Bada­niu pod­dawanych jest więcej niż jeden ele­ment (zmi­en­na) pod­czas jed­nego tes­tu, np.:

  • kolor przy­cisku (zielony, czer­wony) jako jed­na zmi­en­na, oraz
  • wielkość przy­cisku (więk­szy, mniejszy) jako dru­ga zmi­en­na.

Test pole­ga na sprawdze­niu skutecznoś­ci każdej możli­wej kom­bi­nacji (w tym wypad­ku czterech) i zbada­niu która z nich daje najlep­szy efekt.

Test wielowymiarowyPrzykład zas­tosowa­nia

Wyobraźmy sobie stronę z for­mu­la­rzem rejes­tracji. Zna­j­du­ją się na nim dwa ele­men­ty (zmi­enne), które chce­my pod­dać bada­niu:

Kolor przy­cisku (3 wer­sje):

- zielony,
— pomarańc­zowy,
— fio­le­towy.

Tekst nad for­mu­la­rzem zachę­ca­ją­cy do rejes­tracji (2 wer­sje):

- „Dar­mowa rejes­trac­ja”,
— „Zare­jestruj się w 5 sekund”

 

Następ­nie rozdzielany jest ruch na stron­ie równo pomiędzy każdą możli­wą kom­bi­nację (6) tych dwóch zmi­en­nych.

Ten rodzaj testów wyma­ga posi­ada­nia więk­szego ruchu na stron­ie, aby wyni­ki testów moż­na było uznać za znaczące. Wyni­ka to z licz­by możli­wych kom­bi­nacji, jakie otrzy­mu­je­my. Im więcej posi­adamy kom­bi­nacji, tym dłużej zaj­mu­je nam uzyskanie znaczą­cych danych z bada­nia.

Pamię­taj, że mówiąc o znaczą­cym ruchu, nie mam na myśli tylko ruchu na całej wit­rynie, ale przede wszys­tkim na badanej stron­ie. A więc upewnij się, że tes­tu­jesz stronę, która fak­ty­cznie jest częs­to odwiedzana przez użytkown­ików.

Pod­czas uru­chomienia tes­tu wszys­tkie wari­anty są ze sobą porówny­wane oraz wszys­tkie zmi­enne są porówny­wane w kon­tekś­cie ich wys­tępowa­nia z inny­mi zmi­en­ny­mi. W tym wypad­ku znacze­nie ma nie tylko to, która wer­s­ja jest najbardziej korzyst­na, ale również które ele­men­ty strony odgry­wa­ją najwięk­szą rolę w osiąg­nię­ciu zamier­zonego celu. Dzię­ki temu mamy jas­ny obraz, które ele­men­ty są najbardziej odpowiedzialne za określone wyni­ki.

Dla powyższego przykładu może się okazać, że kolor przy­cisku nie ma aż tak dużego znaczenia, nato­mi­ast najwięk­szy wpływ na kon­wer­sję rejes­tracji ma tekst zna­j­du­ją­cy się nad for­mu­la­rzem.

 

Co w takim razie wybrać?

Zan­im rozpoczniesz opty­mal­iza­cję swo­jej strony, zde­cy­duj najpierw, którą metodą chcesz się posłużyć i która będzie dla ciebie lep­sza.

 

Zale­ty testów A/B:

  • proste w pro­jek­towa­niu,
  • dane otrzy­mu­je­my szy­b­ciej niż w przy­pad­ku testów wielowymi­arowych,
  • możli­wość bada­nia więk­szych, cza­sem istot­niejszych zmi­an na stron­ie lub w jej treś­ci,
  • nie wyma­ga­ją posi­ada­nia dużego ruchu na stron­ie.

Zale­ty testów wielowymi­arowych:

  • dostar­cza­ją cen­nych infor­ma­cji, w którą stronę kierować nasze dzi­ała­nia związane z wprowadzaniem zmi­an,
  • wyciąg­nięte wnios­ki z jed­nego tes­tu (w niek­tórych przy­pad­kach) moż­na zas­tosować w kon­tekś­cie innych pod­stron,
  • dostar­cza­ją infor­ma­cji, które zmi­enne (czyli które ele­men­ty na stron­ie) mają najwięk­szy wpływ na zachowa­nia użytkown­ików (zarówno pozy­ty­wny jak i negaty­wny),
  • wyma­gany więk­szy ruch oznacza dokład­niejsze dane statysty­czne.

 

Przykład w podejściu między testem A/B a testem wielowymiarowym

Badamy stronę, na której użytkown­i­cy dokonu­ją zakupu kon­ta Pre­mi­um rozsz­erza­jącego możli­woś­ci ofer­owanej przez nas usłu­gi.

Do obec­nej wer­sji strony tworzymy dodatkowe dwie wer­sje nagłówka (wer­s­ja A – ory­gi­nał, wer­s­ja B, wer­s­ja C).  Sto­su­je­my metodę A/B. Po zakończe­niu tes­tu, okazu­je się, że wygrała nowa wer­s­ja B.

W następ­nym kroku (zastępu­jąc nowy nagłówek wer­sją B), bada­niu zosta­je pod­dany kolor przy­cisku (obec­ny przy­cisk zielony oraz dodatkowo wer­s­ja niebies­ka B i wer­s­ja pomarańc­zowa C). Wyni­ki tes­tu pokazu­ją, że wygrała wer­s­ja A, czyli ory­gi­nal­ny przy­cisk zielony.

Efek­tem naszych dwóch testów jest strona składa­ją­ca się z nowego nagłówka B oraz ze starego zielonego przy­cisku.

Testy A/B nie bada­ją wza­jem­nego odd­zi­ały­wa­nia poszczegól­nych ele­men­tów na stron­ie. A więc nie mieliśmy okazji sprawdz­ić wszys­t­kich kom­bi­nacji ele­men­tów. Możli­we, że najbardziej skuteczną kom­bi­nacją okaza­ła­by się kom­bi­nac­ja: stary nagłówek A + nowy przy­cisk C (lub jakakol­wiek inna).

Ter­az wyobraźmy sobie, że w grę wchodzą jeszcze dodatkowe zmi­enne takie jak tekst na przy­cisku (2 wer­sje), ikona kon­ta pre­mi­um (4 wer­sje) oraz tło (3 wer­sje) W efek­cie daje nam to:

3 x 3 x 2 x 4 x 3 = 216  kom­bi­nacji!

Wów­czas testy wielowymi­arowe pokazu­ją najlep­szą kom­bi­nację lub wyk­lucza­ją te, które nie przynoszą żad­nego pozy­ty­wnego efek­tu.

 

Podsumowując

Zale­ty każdego z testów dają nam wskazów­ki, który test aktu­al­nie będzie nam potrzeb­ny i który dostar­czy nam lep­szych danych. Częs­to przy mniejszych wit­ry­nach w zupełnoś­ci wystar­cza­ją testy A/B, aby dowiedzieć się, na jaką wer­sję użytkown­i­cy reagu­ją lep­iej.

 

Źródło:

http://www.cmswire.com/cms/customer-experience/optimizing-the-web-experience-ab-testing-multivariate-testing-or-both-020835.php

http://blog.hubspot.com/blog/tabid/6307/bid/30556/The-Critical-Difference-Between-A-B-and-Multivariate-Tests.aspx

5 odpowiedzi
  1. Marta Kozłowska
    Marta Kozłowska says:

    Do tej pory korzys­tałam z http://unbounce.com/ (dobre do testowa­nia land­ing page) — możli­wość wyko­rzys­ta­nia JS oraz CSS.
    Po stworze­niu kilku wer­sji, może­my dowol­nie defin­iować jaki % ruchu zostanie przy­dzielony do każdej z nich (np. wer­s­ja A — 50%, B — 25%, C-25%).

    Inne dobre narzędzie to https://www.optimizely.com/ — możli­wość zmi­any lay­outu naszej ist­niejącej strony (również moż­na wyko­rzys­tać JS oraz CSS, ale nie jest to konieczne)

    W obu przy­pad­kach usta­lamy cel, czyli kon­wer­sję czego chce­my badać.

    Oprócz tego w dużym stop­niu korzys­tałam z włas­nego zbu­dowanego przez zespół pro­jek­towy narzędzia.

    Odpowiedz
  2. Itzen.pl
    Itzen.pl says:

    Oso­biś­cie pro­ponu­ję zacząć testowanie od testów A/B — łatwiej zacząć, szy­b­ciej moż­na obser­wować efek­ty — dzię­ki temu nie zniechęcimy się trud­noś­cią w rozpoczę­ciu testowa­nia. Potem stop­niowo moż­na zwięk­szać liczbę kom­bi­nacji i wyjdą nam testy wielowymi­arowe.
    Co do testów w Google Ana­lyt­ics — bard­zo dobrze dzi­ała­ją — ciekawe jest stosowanie metody dynam­icznego przy­dziela­nia ruchu dla testowanych wer­sji w zależnoś­ci od osią­ganych efek­tów — dzię­ki temu strona, która lep­ie kon­wer­tu­je otrzy­mu­je więk­szy ruch czyli szy­b­ciej otrzy­mu­je­my wyni­ki.

    Odpowiedz

Odpowiedz

Want to join the discussion?
Feel free to contribute!

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *