Marketingový experiment musíme pripraviť na mieru a pracovať s oveľa väčšou intenzitou, aby sme dosiahli želaný výsledok a/alebo získali čo najviac informácií pre budúci marketing.
Po každom zrealizovanom marketingovom experimente diskutujeme v Basta digital o poučeniach (lessons learned) aj o našom prístupe, aby sme si ho ešte viac vyladili pre budúce použitie. Spísali sme výber z toho najužitočnejšieho, čo sme sa naučili. Môže vás inšpirovať začať s marketingovou experimentáciou alebo posunúť ju na vyššiu úroveň.
Experimentácie je stále viac
Pilotný projekt (alebo po anglicky “a pilot”) predstavuje viacero experimentov – pokusov zoradených v čase. Ich podrobnosti meníme vždy na základe dosiahnutých výsledkov.
Marketing samozrejme experimentáciu pozná, ale bez digitálnej distribúcie by bolo veľa experimentov nákladnejších a pomalších. Marketéri realizujú v digitále viac experimentov ako v off-line kanáloch.
Testovanie v reklame je rozšírené prinajmenšom od konca 20. rokov 20. storočia. Jeden z otcov modernej reklamy, Claude C. Hopkins, vtedy popísal mechaniku reklamných experimentov Scientific Advertising.
Po ukončení úspešnej agentúrnej kariéry (kde okrem iného využíval individuálne kódované papierové kupóny na variantné testovanie nadpisov a textov) popísal možnosti jednoduchej a účelnej reklamnej experimentácie. Išlo však o náklady, ktoré si mohli dovoliť iba veľké firmy a vyhodnotenie navrhovaných experimentov si vyžadovalo mesiace.
V digitálnych médiách viete A/B test spustiť a vyhodnotiť doslova v priebehu minút – napríklad zobraziť používateľom dva varianty reklamného vizuálu či textu a odsledovať, aké percento klikne na jednotlivé možnosti.
Čo sa oplatí vyskúšať?
Možnosti na experimentáciu sú nekonečné – obmedzené iba fantáziou a rozpočtom. Potrebujeme maximalizovať pravdepodobnosť, že testované prístupy nám zafungujú. Preto je dôležité stavať a testovať hypotézy, ktoré sa opierajú o skúsenosti.
Pri navrhovaní prístupov sa vždy snažíme oprieť buď o vlastné skúsenosti, alebo o výsledky iných. V niektorých oblastiach nájdeme inšpiráciu v prípadových štúdiách. Užitočná technika je analýza konkurencie – ak vieme nájsť konkurentov s podobným produktom, hľadáme, čo robia oni.
Ak chceme testovať zmeny v nejakom aspekte toho, čo už robíme, musia byť dostatočne výrazné, aby viedli k výsledku. V mnohých debatách a A/B testovaní si ľudia predstavujú test dvoch farebných variantov nejakého tlačidla a podobne. V skutočnosti malé zmeny ukážu efekt iba na veľmi veľkých vzorkách, preto sa oplatí vyskúšať veľkú zmenu, a ak sa ukáže sľubná, ladiť potom detaily.
Pre čitateľa s matematickým backgroundom to pripomína situáciu s hľadaním lokálneho verzus globálneho optima. Lokálna optimalizácia – hľadanie drobných rozdielov – nie je cestou k cieľu, ak začíname na nesprávnom mieste.
Staviame na tom, čo funguje
Ak sa skúšaný prístup osvedčí, chceme byť schopní spoluprácu rýchlo rozširovať. Ideálne je rozmyslieť si vopred cieľový ROAS – rentabilitu nákladov do reklamy.
Na rozdiel od dlhodobých kampaní, pri marketingovom pilote je ROAS (návratnosť mediálnych/reklamných nákladov) dôležitejší údaj ako ROMI (návratnosť celkovej marketingovej investície). Rozdiel medzi týmito dvoma metrikami je v menovateli – Return on Marketing Spend zahŕňa na rozdiel od Return on Advertising Spend v nákladoch prácu agentúry (a súvisiace variabilné náklady klienta).
Náklady na prácu sú pri realizácii marketingového pilotu vyššie ako náklady dlhodobých komunikačných kampaní a sú investíciou s dlhšou návratnosťou.
Ak sa však v niektorej časti kampaní, ktoré skúšame, objaví štatisticky významná príležitosť s ROAS na požadovanej úrovni, mali by sme mať rozpočtovú rezervu, aby sme danú taktiku realizovali v rozsahu jej potenciálu.
Ciele
Marketingový experiment musí mať popri obchodných cieľoch aj cieľ dozvedieť sa niečo nové, využiteľné. Väčšinou ide o hľadanie rentabilného kanálu na napĺňanie niektorých čiastkových cieľov na zákazníckej ceste. Postupne testujeme viacero premenných a snažíme sa o robustné zistenia.
Optimistický scenár pre marketingový experiment je, že nám ukáže niečo, čo bude pre náš produkt fungovať.
Ak marketingový pilot dobre premyslíme, aj náš pesimistický scenár nie je zlý: v najhoršom by mal pilot poskytnúť čo najjednoznačnejšie záporné odpovede – ukázať, že konkrétne posolstvo (message) u ľudí nerezonuje alebo konkrétny komunikačný kanál nie je pre naše ciele prínosný.
Ak na konci 3-mesačného pilotu vieme, že kanál alebo prístup, ktorému sme verili, pre nás nie je použiteľný, môžeme sústrediť svoje prostriedky a čas na hľadanie iných možností.
Dôraz na učenie sa (zistenie, čo funguje, ale aj čo nefunguje) odlišuje marketingové piloty a experimentáciu všeobecne od dvoch ďalších rozšírených prístupov – inkrementálneho a strieľania naslepo.
Inkrementálny prístup môžeme realizovať u prebiehajúcich kampaní, kde ich postupne malými zmenami posúvame dopredu.
Strieľanie naslepo sa nazýva aj “spray and pray” – spŕška striel z automatickej zbrane sprevádzaná modlitbou, aby niektorá trafila nepriateľa. Vyzerá nasledovne: zoberieme ciele a rozpočet rozdelíme na menšie položky na veľa rôznych taktík či do veľa rôznych kanálov bez toho, aby sme vedeli, ako majú tvoriť logický celok.
Dostatočná návštevnosť
Okrem kapacitných obmedzení rozhoduje o rýchlosti aj počet používateľov, ktorých zasahujeme: na spoľahlivé zodpovedanie otázok potrebujeme v marketingových experimentoch aj dostatočnú návštevnosť.
Musíme voliť kanály tak, aby tam bolo dosť ľudí, ktorí kliknú alebo nekliknú, kúpia alebo nekúpia. Ak napríklad realizujeme pilotnú kampaň vo vyhľadávaní Google a cielime zriedkavé hľadania, získanie dát nám môže trvať veľmi dlho.
Ak chceme odhadnúť, čo je “dostatočná návštevnosť”, môžeme použiť niektorú kalkulačku pre A/B testy. Rýchlo uvidíme, že sa nám zídu návštevnosti v tisícoch.
Veľkosť vzorky
Ak chceme robiť spoľahlivé závery, snažíme sa dosiahnuť štatistickú významnosť. Znamená to snahu o kvalitu vzorky, ale aj o jej veľkosť.
Potrebná vzorka závisí od toho, aké veľké rozdiely chceme spoľahlivo hľadať.
Výborne o vzorke nedávno pojednal Ondřej Ilinčev v blogu o tom, koľko vám môže A/B testovanie zarobiť – odkazuje aj na niekoľko kalkulačiek.
Pri niektorých formách A/B testovania je obľúbené aj slepé spoľahnutie sa na výpočet v testovacom nástroji – takýto prístup je v poriadku, ak nejde o veľké nezvratné rozhodnutia. V opačnom prípade potrebujeme človeka so znalosťou štatistických metód.
Pre zjednodušenie vám odporúčam snažiť sa o vzorku v stovkách. Nehovoríme o stovkách návštev, ale o stovkách splnených cieľov, ktoré sa snažíme optimalizovať. Znamená to teda tisíce návštev a pri bežných jednociferných konverzných pomeroch teda pre bežný marketingový experiment potrebujeme aspoň nízke desaťtisíce návštevníkov webu či jeho časti alebo aplikácie.
Zdroje
Rozpočet a ľudské zdroje
Finančné zdroje sú nutná, ale nie postačujúca podmienka pre marketingový experiment. Dôležité sú aj ľudské zdroje a ide o ich kvalitu (ľudí schopných 1. navrhnúť, 2. uskutočniť a 3. vyhodnotiť experimenty) a množstvo – vložený čas.
Marketingový experiment si vyžaduje čas od viacerých ľudí.
V praxi u nás v agentúre musia na marketingovom experimente robiť 3 – 4 kolegovia a kolegyne. Musia si podeliť zodpovednosť za:
- Stratégiu – čo budeme testovať a v akom poradí, priebežné hodnotenie výsledkov
- Exekúciu – nasadzovanie v jednotlivých marketingových kanáloch
- Zber dát – správne nastavenie merania potrebných údajov
- Analýzu dát – vyhodnotenie zozbieraných informácií štatistickými metódami
- Obsah – tvorba textového, vizuálneho a multimediálneho obsahu pre testovanie
- Projektový manažment – komunikácia a koordinácia celého procesu
Náklady, ktoré vynakladáme pri pilotoch na prácu a na médiá, sú navzájom prepojené.
Pri veľmi nízkom rozpočte na médiá je potrebné viac práce – ak chceme ustrážiť, aby sa neminuli rozpočty zbytočne, treba ich veľmi starostlivo sledovať – a to je časovo náročné.
S rastúcim rozpočtom až po určité sumy prácnosť klesá – platí to najmä, pokiaľ hovoríme o rozpočtoch sústredených do malého počtu kanálov (napríklad sa rozhodneme celý pilot uskutočniť len prostredníctvom Facebooku alebo Google Ads).
Pokiaľ ale navyšujeme rozpočet a pridávame ďalšie kanály či naraz testujeme viacero faktorov (spúšťame multivariantné testy či testujeme v A/B testoch naraz viacero premenných), prácnosť zasa narastá.
Najmenšie potrebné rozpočty pre experimentoch na slovenskom trhu sú z našej skúsenosti okolo 5000 € – táto suma už zahŕňa kompletné náklady v približnom pomere 50/50 agentúra/médiá. Ak sa pozeráme na iné trhy, kde sú náklady na komunikáciu s publikom vyššie, a rastú aj náklady na prácu (napríklad je potrebné zahrnúť do tímu špecialistu na menej rozšírený cudzí jazyk), potrebný rozpočet môže byť o 50 – 100 % vyšší.
Ak potrebujeme návštevnosť v desiatkach tisíc a jeden návštevník bežne stojí v desiatkach centov, vidíme, ako využijeme rozpočet v tisícoch eur.
Nižšie rozpočty vedú skôr k prístupom, kde začíname od užších hypotéz, postupne ich testujeme a rozširujeme. Naopak, ak je k dispozícii pomerne vysoký rozpočet, môžeme ísť opačne: na začiatku skúsiť viacero rôznych možností a postupne vylučovať tie menej účinné.
Kapacita klienta
Marketingový pilot je náročný aj na klienta – nedá sa celý delegovať na dodávateľa.
Na začiatku je dôležité zabezpečiť prepojenie a súčinnosť s oddeleniami alebo dodávateľmi mimo marketingu (obchod, ak príde do kontaktu s leadmi – dopytmi získanými počas pilotu, ľudia zodpovední za web pre úpravy webu a nastaveniu webovej analytiky a u väčších firem aj viacero ďalších funkcií – napr. PR, content či právne oddelenie).
Priebežne je vhodné do vyhodnotenia výsledkov a plánovania ďalších krokov pilotu zapojiť viacero ľudí na strane klienta – neraz to pomôže pochopiť pozorované správanie potenciálnych zákazníkov.
Niekedy je vhodné stretnúť sa alebo si zavolať aj raz týždenne – súvisí so s frekvenciou, v akej pilot beží.
Čas
Pilotný projekt v digitálnom marketingu si vyžaduje určitý minimálny čas.
V praktickej rovine väčšinou uvažujeme s aspoň 3 mesiacmi – zjednodušene:
- jeden mesiac na prípravu a vyhodnotenie
- dva mesiace na reálny priebeh reklamných kampaní.
Musíme mať čas na rýchlu iteráciu – opakované pokusy, ktoré upravujeme podľa predchádzajúcich zistení. Limitom môže byť kapacita klientovho marketingového tímu aj projektového tímu na strane agentúry.
A čo vy?
Používate marketingovú experimentáciu? Na akom experimente ste sa naučili najviac? Aký bude váš ďalší?
Chcete sa o marketingovej experimentácii dozvedieť ešte viac? Pozrite si polhodinový rozhovor s autorom článku Andrejom Salnerom pre Ecommerce Bridge.