Hogyan Priorizáljuk A/B tesztjeinket?

Ebben a cikkben leírjuk, hogy mi az az A/B tesztelés, miért fontos, és mi alapján lehet priorizálni a különböző teszteket. Growth hacking priorizálásról már írtunk korábban általánosan, de most egy kicsit konkrétabban is megnézzük, hogy milyen kérdéseket kell feltennünk, kik és hogyan dönthetnek arról, hogy milyen teszt legyen futtatva, és a többi. Kezdjük az alapoknál..

Mi az az A/B tesztelés?

Az A/B tesztelés az adatelemzők fegyvere, melynek lényege, hogy egy gombot, egy feliratot, egy teljes szöveget, egy képernyő bármilyen elemét vagy akár az egész képernyőt leteszteljük úgy, hogy azt a felhasználók A vagy B verzióban kapják meg. Az A verzióban mondjuk piros a feliratkozás gomb, a B verzióban pedig zöld. Természetesen ez két részre bontja a felhasználókat, ami jellemzően cookie (süti) alapon szegmentál, így az egyik csoportban lévő felhasználók csak az A verziót látják, a másik csoportban lévő felhasználók pedig csak a B verziót.

Tech tip: Ha a felhasználóink más készülékről vagy inkognító ablakból nézik meg ugyanazt a weboldalt vagy alkalmazást – amin a tesztet futtatjuk -, akkor elképzelhető, hogy a másik verziót is látják.

A tesztek lényege általában az, hogy valamiféle konverzió sikerességét vizsgáljuk a két csoport között, de negatív tényezők kiszűrésére (pl.: oldalelhagyás x időn belül) is kíválóan alkalmas lehet. A kísérlet lényege, hogy minden korrelációt kizáróan ok-okozati összefüggéseket tudjunk bebizonyítani.

A korreláció és kazualitás (correlation vs casuality) különbségeiről rengeteg vitaindító tartalom van szerte az interneten, de azért mi is hoztunk példát mindkettőre.

Korreláció: a fagylalt fogyasztás korrelál az erőszakos bűncselekmények elkövetésének számával

ellenben

Kazualitás: melegben ingerlékenyebbek az emberek, ezért nagyobb eséllyel történnek erőszakos bűncselekmények

A korreláció ettől függetlenül nem haszontalan, és nekünk is szükségünk van rá, ugyanis a vállalkozásainkban nem mindig áll rendelkezésre minden adat és információ morzsa, amire szükségünk lenne. Ilyenkor pedig hipotéziseket kell felállítanunk a szakmai tapasztalatunk és megfigyeléseink alapján, amire kíválóan alkalmas a korreláció. A korrelációs hipotéziseinket viszont kazualitással, valódi ok-okozati összefüggésekkel kell tesztelnünk.

KKV-k számára releváns az A/B tesztelés?

Cég mérettől függetlenül használható és releváns. Általános vélekedés ugyan, hogy egy gomb átszínezése csak millió dolláros cégeknél fontos, de számtalan esetben bebizonyosult, hogy egyéni vállalkozók konverziós számain is képesek segíteni ezek az egyébként nüansznyinak tűnő, ámbár sokszor kimondottan fontos változtatások. Lehet, hogy a millió dolláros cégeknél nagyobb a különbség, de egy kisvállalkozónál sem rossz 100.000 forint helyett 150.000 forint bevételt termelni. Mindig azt kell mérlegelnünk, hogy a tesztelésünk eredményének milyen várható hatásfoka lesz. Erről később bővebben.

Mik az A/B tesztelés előfeltételei?

Két dolog szükséges hozzá mindenképpen:

• tesztelni való weboldal vagy alkalmazás
• legalább 5000 fős merítés (pl.: weboldal esetén ez azt jelenti, hogy a teszt időtartamára legalább 5000 egyedi oldallátogatónak kell lennie)

A legalább 5000 fős merítés a statisztikai szignifikancia miatt szükséges, ez zárja ki azt, hogy a tesztünk eredményét random tényezők befolyásolják. Fontos továbbá az is, hogy a tesztünk 2-4 hétnél ne legyen hosszabb, a hét összes napját tartalmazza és véletlenül se Karácsonykor történjen.

Ha az A/B tesztelésből kapott információnak nincs üzleti megtérülése, akkor rossz volt a teszt.

Hogyan tudunk A/B tesztelni?

Vannak ingyenes és fizetős rendszerek, ezek jellemzően a Google Analytics mintájára javascript kódot adnak, amit be kell építenünk a weboldalunk kódjának fejlécébe vagy az alkalmazásunk forráskódjába. Ha ezzel a részével megvagyunk, utána gyakorlatilag mindent tudunk módosítani a felületeinken, amit B verzióként elmenthetünk, majd megvizsgálhatjuk, hogy hogyan teljesít az A verzió ellenében.

Weboldalak és webes alkalmazások esetén:

• Google Optimize (ingyenes)
• Optimizely (fizetős)
• egyéb

Mobil alkalmazások esetén:

• Google Firebase (ingyenes)
• egyéb

E-mail kampányok esetén:

• A legtöbb email szolgáltatónak beépített rendszere van rá

A különböző szolgáltatások különböző lehetőségekkel bírnak, és ugyan most nem megyünk bele mélyebben, mindenképpen írunk majd egy tool bemutatót a későbbiekben. Most, hogy beszéltünk a hogyanról és a miértekről, lépjünk tovább a priorizálásra..

Kérdésekből válaszok

Amikor szeretnénk valamiről adatot szerezni, akkor kérdés-orientáltan kell hozzáállnunk a folyamathoz. Minden egyes kutatásunknak egy konkrét kérdés megválaszolása legyen a célja. Ha ezt a kérdés-orientált hozzáállást követjük, akkor biztosan nem esünk ezekbe a gyakori hibákba:

• Csak azért kutatunk, mert miért ne (nincs valódi üzleti cél, vagy rosszul meghatározott üzleti cél van)
• Időt pazarolunk felesleges vagy irreleváns analitikák elemzésével
• A későbbi tesztjeink számára használhatatlan információt nyerünk ki

5 lépés a kísérleti keretrendszerünk felállításában

1. Milyen kérdésekre szeretnéd vagy kell megtalálnod a válaszokat a vállalkozásoddal, a vásárlóiddal vagy a weboldaladdal kapcsolatban?

A vállalkozások nagyobb része egyszerűen nem ismeri a felhasználóit, vásárlóit. Ha kérdéseket teszel fel ezzel kapcsolatban magadnak és a csapatodnak, akkor nem csak azzal kerülsz képbe, hogy mi az amit nem tudtál, de azt is rendszerezni tudjátok, amit eddig is tudott a csapat. Ezeknek a kérdéseknek a listázása rávilágít azokra a dolgokra, amik a jobb és hatékonyabb kísérletezéshez szükségesek.

Példának okáért Software-as-a-Service (SaaS) cégeknél a leggyakoribb kérdések, amiknek fel kell merülniük:

• Milyen a konverziós arány abban a szegmensben, akik próbafelhasználóból előfizetőkké váltak?
• Mi motiválja a felhasználóinkat a próbaidőszak alatt, hogy végül előfizessenek? Mi akadályozza meg őket a próbaidőszak alatti vásárlásban?
• Milyen emaileket küldünk a felhasználóknak a próbaidőszak alatt? Milyen életciklusa van ezeknek az emaileknek?
• Mik a leggyakoribb kérdések az ügyfélszolgálatnál vagy a live chaten?

20-30 kérdést gond nélkül fel lehet sorolni, ezután jön a priorizálás.

2. Priorizáljuk, hogy melyik kérdések igényelnek választ mielőbb

Azt szeretnénk, ha a kísérleteink adatalapúak és ezért sikeresek lennének, amennyire csak lehet. Ezért először meg kell néznünk, hogy melyik feltett kérdésünknek lesz a legnagyobb várható hatásfoka az üzleti célunkra, így az elsődleges KPI-ra vetítve.

Ezen a ponton mi az ICE score priorizáló módszert javasoljuk. Erről korábban már ITT írtunk. Röviden újra összefoglaljuk:

Az ICE pontozás lényege, hogy a kérdéseket, ötleteket, feladatokat, bármit ésszerűen és logikusan rangsoroljuk. Ez a módszer kellően sikeresen véd meg attól, hogy feleslegesen pazarolj erőforrásokat. A módszer megértését kezdjük az akroníma kibontásával:

[I]mpact, tehát a várható hatásfoka 

[C]onfidence, vagyis magabiztosság, a sikeresség becsült valószínűsége

[E]ase of implementation, avagy mennyi erőforrást (idő, pénz, energia) igényel a megvalósítás

A három tényezőt minden ötletnél egyenként pontozzuk egy tízes skálán. A magas pontszám minden esetben jó, az alacsony pontszám minden esetben rossz. Ha mindhárom paraméter kapott egy értéket, akkor ezeket összeszorozzuk (vagy a három értéket átlagoljuk), ebből születik meg az ICE score, vagyis ICE pont egy adott ötlethez. Ennek a lényege, hogy minél többet érjünk el minél kevesebb befektetéssel.

[I]mpact – várható hatásfok

• 1: semmilyen hatással nincs a célra
• 2-5: minimális hatása van a célra
• 6-8: egyértelmű hatása van a célra
• 9-10: szignifikáns hatása van a célra

Például a kérdésre, hogy „melyik menüpontokat használják a felhasználóink legtöbbször a navigációs menüben?” ugyan jó tudni a választ, ha nem tervezünk kísérletet végezni vele egyhamar – mert az üzleti céljainkat feltehetően nem befolyásolja -, akkor ez csak alacsonyabb prioritást élvez. Másrészről viszont a „mi akadályozza a felhasználóinkat különböző tételek kosárhoz adásában?” kérdés egészen biztosan szükséges információt hordoz magában, ezért magas prioritást élvez. Ha sikerül válaszokat szereznünk ezekre a kérdésekre, abból olyan adatok nyerhetőek ki, amivel már el tudunk kezdeni kísérletezni is. A „muszáj tudni” mindig legyen előtérben a „jó tudni”-hoz képest.

Az önmagában nem elég, hogy becslünk egy várható hatásfokot. Biztosnak kell lennünk abban, hogy sikeres lesz a tesztünk, ezért a sikeresség becsült valószínűségét is mérlegelnünk kell. Itt jön képbe a confidence, vagyis a magabiztosság.

[C]onfidence – magabiztosság, a sikeresség becsült valószínűsége

• 1-3: magas rizikó szint, sok ismeretlen tényező
• 4-7: közepes rizikó szint, rendelkezünk információval több fontos tényezőről, de a kivitelezés részletei még homályosak
• 8-10: alacsony rizikó szint, rengeteg visszajelzéssel és egyéb adattal rendelkezünk a megfelelő kivitelezéshez

Ha túl sok az ismeretlen tényező, akkor nem vagyunk magabiztosak. Minél többet tudunk, annál nagyobb a siker várható valószínűsége.

Ez a két tényező még mindig nem elégséges, hiszen nem tudjuk, hogy ezeknek a kutatásoknak vagy kísérleteknek a kivitelezése mennyi időt és egyáltalán erőforrást venne igénybe. Ezért fontos, hogy a priorizáláskor történő mérlegelésbe vonjuk bele az elvégzendő feladat(ok) nehézségét is. Ez lesz az ease, vagyis a feladat könnyűsége.

[E]ase – kivitelezés egyszerűsége

• 1-2: egy-két hónap
• 3-5: egy-két hét
• 6-7: kevesebb mint egy hét
• 8-10: egy nap vagy kevesebb

Értelemszerűen minél gyorsabban kivitelezhető, annál több pontot adunk rá.

3. Válasszuk ki a megfelelő technikákat és eszközöket

Általánosságban megállapítható, hogy a legtöbb kérdésünkre több-féle web-analitika, email felmérés, usability teszt, hőtérkép is választ adhat. Több úton is megtalálhatjuk a kérdéseinkre a válaszokat. Egy kísérlet több kérdést is megválaszolhat, nekünk is legyen ez a célunk. Az immáron listába rendezett kérdéseinkre próbáljunk meg olyan kísérleteket kitalálni, amik több kérdést is megválaszolnak. Válasszunk olyan mérési eszközt vagy kutatási módszert, ami ehhez segít hozzá. Néha érezhetjük úgy, hogy egy kísérlet nem válaszolta meg a kérdéseket, ilyenkor másik módszert/eszközt kell keresnünk.

4. Mindig adjunk nevet a kísérleteinknek

Triviálisnak tűnhet, de a későbbi beazonosítás miatt fontos, hogy egy rövid, de beszédes neve legyen minden kísérletünknek.

5. Státusz frissítés

Nyomon kell követnünk a kísérleteink státuszát, jelenlegi legaktuálisabb helyzetét a mérési eredmények alapján. Minden kísérletnek van célja, így eleje és vége. Tudjuk, hogy mi van folyamatban, mi az, ami már kifutott, és ha kifutott, akkor milyen eredménnyel.