Datadrivna och faktabaserade tester på Trygg-Hansa - och vikten av att ta jobbet hela vägen

Transkript

1 Datadrivna och faktabaserade tester på Trygg-Hansa - och vikten av att ta jobbet hela vägen Emanuel Trollmåne Digital Sales Manager Trygg-Hansa emanuel.trollmane@trygghansa.se

2 Trygg-Hansa är del i engelsk börsnoterad koncern Del av engelska RSA Group som spänner över Skandinavien, UK, Irland och Kanada. Börsnoterade i London Ca 19,5 mdr SEK omsättning i Skandinavien. Varav ca 10,5 mdr i Sverige Jämn fördelning mellan konsument- och företagsförsäkring Skandinavien utgör ca 25% av koncernens omsättning medarbetare i Danmark, Sverige och Norge

3 Vad gör vi digitalt 25% av all försäljning online Försäljning Hälften mobilt Över hälften av alla skadeanmälningar sker online Skadehantering Självservice Hälften av alla servicekontakter sker på Mina Sidor

4 Testprinciper Case A Barnförsäkring produktsida Exemplet när kedjan bröts Case B Vuxenförsäkring välj belopp När hela vägen höll Case C Androidmysteriet Datadriven testning även för buggrättning

5

6 Varför är det viktigt att hålla koll på konverteringen Bakom varje lead döljer sig en riktig människa Behov Bakom varje drop-off finns en miss, där våra ambitioner inte mötte kundens mål Förväntningar Önskemål Bakom varje konvertering finns ett lyckokast att bygga vidare på

7 Motivation vs. Friktion Vad gör vi som motiverar kunden att vilja klättra upp till toppen av berget Är detta ett bra val? Kommer jag att bli nöjd? Vet dom vad dom sysslar med? Är det ett bra pris? Har jag kommit rätt? Vad gör vi för att göra resan ner så friktionsfri som möjligt Är detta lätt? Måste jag tänka? Går det att göra? Blir det rätt?

8 Kvantitativ och kvalitativ analys måste samverka Analysunderlag Intervju Enkät Kundservice Utmaningar Litet urval / anekdotiska insikter De som är mest kritiska eller har specialbehov får bestämma Resultat Vi riskerar att lösa fel problem Konverteringshinken kommer fortsätta läcka lika mycket Trygg-Hansa strävar därför mot att basera all taktisk digital affärsutveckling på samspel mellan kvantitativ och kvalitativ datadriven analys där A/B-testet blir den slutliga verifieringspunkten

9 Trygg-Hansas metodik med kvantitativ analys som central punkt Kvantitativ analys Knowledge sharing Fokusområden för vidare studier Resultatanalys Kvalitativ research A/B-test Hypotes / Lösning

10 Metodiken ställer också krav på vår disciplin och är utformad baserad på tidigare lärdomar Alla test byggs för att visa resultat Vi har inte råd att göra slarviga test. Bara en av alla våra funnels har tillräcklig volym för att kunna köra test med månadsfrekvens och nå 90% signifikans. Alla test byggs så pass stora att de ska ge snabbt resultat, men tillräckligt små att vi fortfarande kan tolka resultatet. 3-6 justeringar per test har visat sig fungera bra test/år är den volym vi klarar att hålla Alla test dokumenteras och lärdomar delas på företaget All rationale, hypotes, skisser, samt resultatanalys dokumenteras standardiserat i verktyg och cirkuleras internt för alla A/B-test Ger vital information till övergripande affärsutvecklingsprocessen Testidéer loggas, betygsätts och prioriteras på förutbestämda parametrar Testningen är en viktig kugge även vid processmässiga ändringar Testning används även vid produktförändringar och vid till exempel rättning av särskilda buggar. Då mest för att i efterhand kunna klargöra exakta affärsmässiga förlusten som buggen orsakat oss.

11 Testprinciper Case A Barnförsäkring produktsida Exemplet när kedjan bröts Case B Vuxenförsäkring välj belopp När hela vägen höll Case C Androidmysteriet Datadriven testning även för buggrättning

12 Case A Barnförsäkring produktsida Exemplet när kedjan bröts Barnförsäkring är Trygg-Hansas profilprodukt sedan årtionden tillbaka Senaste åren har konkurrensen ökat och för att behålla försprånget genomfördes en konverteringsutvärdering under början av 2016, som ett led i ett större produktutvecklingsprogram. Studien genomfördes med Conversionista som partner Studien spände över hela säljfunneln. Case A berör den tidiga delen av konverteringsresan där produktsidan spelar en viktig roll. Framförallt som landningssida för sök.

13 Trygg-Hansas mest komplicerade funnel på grund av omfattande hälsoprövning Men är samtidigt den i särklass viktigaste Har man köpt barnförsäkring så förblir man ofta trogen så länge försäkringen gäller. Normalt 25 år. Varje konvertering genererar många års kundrelation

14 Konverteringsgrad: 10%

15 Det stora problemet ligger i de tre första sidorna 62%

16 Konverteringsgraden för de som landar på produktsidan var låg. Produktsidan drev inte ensam konvertering Antingen är produktsidan inte bra för att sälja produkten. Eller är den utformad så att den passar metodiska personer som vill vara välinformerade bäst, och som därför klickar runt på hela sajten.

17 Produktsidan var till och med negativ Det här är svårt att snacka bort. Tyder på att vi har ett problem

18 Potentiella problemområden 1 Huvudmålgruppen för produkten är nyblivna föräldrar. Men barnet på bilden är inte nyfött 80% av besökarna ser bilden, men huvudrubriken ger inget emotionellt anslag, t.ex. Sveriges populäraste barnförsäkring 96% missar barnens försäkringsexpert Bara 3% klickar på första CTA

19 Potentiella problemområden 2 Genom att köra en exit survey i Hotjar fick vi fram ytterligare data Om du besökte oss för att teckna en barnförsäking, var det något som hindrade dig? Tema 1 Det går inte att köpa Tema 2 Jag har inget att försäkra Vi har inte fått personnummer Jag har inget barn än

20 Potentiella problemområden 3 Wall of text med godbitar i copy som inte sticker ut Skyddar ditt barn i vått och torrt Ger ditt barn trygghet dygnet runt Ekonomisk ersättning om ditt barn behöver dig extra mycket osv

21 Studien visade att två första sidorna hade problem med både motivation och friktion Motivation Friktion Prduktsidan Steg 1 Om dig och ditt barn 74% Dropoff 49% Dropoff

22 Resultatet ett flertal förändringar Första bilden visar en betydligt mer nyfödd Fast på bekostnad av rubrik. Det har sedermera ändrats CTA nu Pris & Teckna Är du gravid? För de som inte har barn riktigt än Wall of text reducerad. Fold out för de som vill läsa mer. Nyckelbudskap som ögat kan fästa vid En trygg början Välj Sveriges populäraste barnförsäkring Ge ditt barn trygghet dygnet runt Samla dina försäkringar och få rabatt

23 Men vi ser inget bra resultat Innan 62% Efter 87% Samtidigt: Har trafiken vi leder till sidan ökat med 39% Gjorde vi fel analys? har den nya trafiken sämre grundkonvertering?

24 Att veta är alltid bättre än att gissa När man ställs inför dåliga siffror och till synes bra idéer att åtgärda dem kommer lätt övermodet att förändra direkt. Men håll igen. Hellre lite längre ledtid och att i efterhand kunna veta vad man fick för resultat än att rusa fram med förändringar man tror är bra. Utan den sista komponenten i analyscirkeln A/B-testet. Får vi aldrig chansen att lära oss om vi hade rätt. I det här fallet hade Trygg-Hansa för bråttom att visa resultat och kan ha skapat skador på konverteringsflödet istället för att förbättra.

25 Case B Vuxenförsäkring välj belopp När det höll hela vägen Vuxenförsäkring är mycket lik barnförsäkring i process och upplägg på funneln. För att optimera införandet av studien valde vi därför att implementera förändringar på vuxenförsäkrings sida för att välja belopp parallellt med att produktsidan för barn ändrades. Allting baserades på insikter från barnförsäkrings-studien. Det var ett led i att kunna jobba med learnings i parallella funnels, där insikterna sen skulle bli transfererbara till sina produktsyskon. Tack och lov genomfördes förändringarna på vuxenförsäkring som ett A/B-test.

26 Fokus för testet var steget mellan belopp och hälsodeklarationen -71% Motsvarande på vuxenförsäkring

27 Problemområden Baserat på ett antal recordings och kompletterande användarstudie (Insikter från barnförsäkring) Lång skrämmande text. Det här kommer att ta tid och bli jobbigt Fast de flesta läste den aldrig Knappen uppfattas som ett felmeddelande Ska jag svara Ja eller Nej frågan kräver full uppmärksamhet. Alternativet Nej ger återvändsgränd. Svårt att träffa knapparna i mobil Vissa diagnoser kr Otydligt produktinnehåll Bäst jag kollar vad som ingår i vissa diagnoser

28 vid närmare eftertanke jag hoppar nog över det

29 Prisjämförelse krävde anteckningsblock Bra då har jag koll på kr Hur var det nu igen med kr?

30 Resultatet genomfördes på vuxen eftersom vi hade fullt upp att ändra på produktsidan för barn utan A/B-test Flytande pris-banner Ditt pris: 285 kr/månad Läskig ingress borta Tätare koppling mellan val och resultat och pris Fold-out på allt innehåll för de som vill veta mer. Större klickytor för alla med korv-fingrar Kunden kan inte längre få felmeddelanden över huvud taget

31 Kunderna älskade det Välja belopp till slutligt avslut +12% ökad konvertering totalt +27% i mobila devices Även om testet tog 1 månad att bygga och 2 månader för att nå statistisk signifikans så har vi igen det när vi i efterhand har ett garanterat resultat att bygga vidare på i vår affärsutveckling.

32 Case C Androidmysteriet Datadriven testning även för buggrättning

33 Det stora tappet är i början av funneln. De som är uthålliga nog att komma till slutet är hängivna och vi ser hela 96-97% konvertering på de sista stegen...

34 6% motsvarande drop-off på mobil är inte så illa. Men när vi bröt ner datat ytterligare märkte vi en skrämmande anomali

35 Sidorna såg likadana ut

36 På inspelningar såg vi många kunder som frenetiskt tryckte på teckna-knappen utan att någonting hände. Vi såg också att e-postadressen fylldes i automatiskt.

37 Vi jagade rätt på en verklig telefon Eftersom sidan dessutom inte satte fokus på felmeddelanden var det få kunder som ens upptäckte felmeddelandet och fick en sportslig chans att rätta adressen

38 Resultatet A/B-test genomfördes där ett av flödena automatiskt raderade mellanslag vid validering av e-postadress. +1,5 miljoner SEK/år

39 Lärdomar Med ett datadrivet arbetssätt blir det lockande att låta sidor med bra konvertering vara. Check-outsidan hade 96% konvertering och hade i normala fall inte blivit föremål för djupare analys. Bryt ner data även för delar av konverteringsfunneln som fungerar bra om än översiktligt. Mobil vs. Desktop är alltid en bra idé och vi hittar många buggar den vägen. Även vid synbart inga problem, ta fram recordings och upplev vad kunden upplever. I caset kunde vi validera problemet först när vi med hjälp av inspelningar tog fram en verklig telefon och såg vad som hände.

40 Tack! Emanuel Trollmåne