Multivariat testning och A / B-test förenklad: Hur man testar tekniker för optimering av webbsidor

multivariate testing

Introduktion:

Det finns många webbplatser och applikationer som vi ofta använder. Medan vi använder dem, lägger vi förmodligen inte mycket uppmärksamhet åt hur webbplatsen blev den nuvarande versionen - å andra sidan, om något inte verkar rätt kommer vi förmodligen aldrig att besöka webbplatsen / appen igen.

Frågan är - Vad krävs för att få 'det' rätt?

Vad du kommer att lära dig:

• Multivariat testning och A / B-testning
• Vad är multivariat testning?
• Typer av MVT-testning:
• Hur man gör multivariata tester
• Fel som bör undvikas
• Gör och inte
• Fördelar och nackdelar
• A / B-testning
• För- och nackdelar med A / B-tester:
• A / B-test vs Multivariat Test vs Split-test
• Multivariat testning
• A / B / Split / Multivariate Testverktyg
• Rekommenderad läsning

Multivariat testning och A / B-testning

”It” är oftast funktionaliteten - som vi har stenfasta QA-processer för att testa och utvärdera. Men 'det' också består av design, en kombination av element, placering av innehåll på en sida, ibland till och med färg, orientering etc. som spelar en framträdande roll i övergripande acceptans av produkten av slutanvändaren.

En gren av testning som kan hjälpa mycket på detta område är Multivariat testning och A / B-testning .

I dagens artikel kommer vi att diskutera Multivariat (MVT) -testning och A / B-testning typer i detalj.

Båda dessa är inriktade på webbsidoptimering och förbättrad omvandlingsfrekvens (den hastighet med vilken besökare blir kunder eller återkommande besökare - i sin tur, affärer) för en webbplats.

Vad är multivariat testning?

Låt oss börja med en Exempel .

Om en viss webbplats arbetar med att designa / omdesigna / bestämma effektiviteten för en sida som ska ha en bild och motsvarande text - Efter noggrann övervägande och övervägande om företaget kortlistar följande två bilder och två meningar - kan de möjliga kombinationerna av dem vara enligt följande:

1) Bild 1

2) Bild 2

3) Rubrik / mening 1: “Målet måste vara noll olyckor”

4) Rubrik / mening 2: “Vårt mål: ingen olycka”

Kombinationer:

I exemplet ovan har vi testat variationer i kombinationerna av fälten för att se vilken som passar bra. Enkelt uttryckt, precis där finns det flera variationer.

Mer tekniskt och specifikt används nedanstående formel för att bestämma nr. av möjliga kombinationer som krävs för att testa de olika kombinationerna och det vill säga:

(# Variationer på Element A) X (# Variationer på Element B) ... .. = (Totalt # Variationer)

I exemplet ovan finns det två varianter för rubriken samt två varianter för bilden.

Således enligt formeln finns totalt 4 kombinationer av variationerna som ska testas samtidigt för att hitta den bästa variationskombinationen.

• Huvudsyftet med att utföra multivariata tester är att mäta och bestämma effektiviteten för varje variationskombination i det slutliga systemet.
• Efter att ha slutfört variationskombinationerna inleds testning för att bestämma den mest framgångsrika designen när tillräckligt med trafik har mottagits av webbplatsen.
• De resultat som erhålls med varje variationskombination jämförs med de andra för att ta reda på vilken design som är bäst lämpad för att nå det slutgiltiga målet (i de flesta fall är det Försäljning ).
• Denna statistik ger en tydlig bild av om den särskilda förändringen har varit till hjälp eller inte.
• Dessutom kan en positiv eller negativ inverkan på användarens interaktion analyseras

Hela denna process med kontinuerlig multivariat testning, förbättrad design baserat på erhållna resultat och uppnå affärsmål på grund av detta ( Exempel: längre engagemangstid för en användare på en viss sida) anropas Optimering av målsida - vars mål är att få fler användare och hålla dem engagerade på en viss sida.

Denna process omfattar till stor del testning med flera variationer, insamling av statistik och ändringar baserat på erhållna värden / resultat.

Inte bara begränsat till webbplatser, men multivariat testning krävs också för mobilappar. Webbplatser och mobilappar består av kombinationer av variabla element och därför görs den multivariata testningen för att ta reda på vilken kombination av variationer som fungerar bäst.

Detta spelar en avgörande roll i internetmarknadsföringsstrategin.

Typer av MVT-testning:

Baserat på distributionen av trafik till flera olika versioner finns det flera olika typer av multivariata tester som kan utföras:

a) Fullständig fakturatestning:

Det är den mest föredragna formen av MVT-testning där varje möjlig kombination av elementvariationer testas lika genom att omdirigera webbplatstrafik till den tills en vinnare hittas. Alla möjliga kombinationer ges lika sannolikhet. Det bästa med den här metoden är att det inte finns några antaganden och den är baserad på hårda siffror / statistik vilket gör den mycket pålitlig och mest rekommenderad.

Den enda förlusten är trafiken. Med ökningen av antalet olika kombinationer krävs mycket webbtrafik för att analysera data och avgöra vinnaren.

b) Fraktionerad eller partiell faktoriell testning:

hur man öppnar en xml-fil i krom

Som namnet indikerar exponeras endast en bråkdel av alla versionskombinationer för webbplatstrafik. Statiska matematiska beräkningar och analys görs för resten av kombinationerna för att hitta den bästa omvandlingsfrekvensen.

Taguchi-metoden är den mest populära metoden för fraktionerad multivariat testning av fakturor. Denna metod ger ett mindre korrekt resultat eftersom endast ett urval av variationerna testas och inte alla. Även om den här metoden tar kortare tid att analysera vinnaren kan resultatet aldrig betraktas som exakt som det kan vara vid Full Factorial-testning.

c) Adaptiv multivariat testning:

Detta är ett nytt tillvägagångssätt för multivariata tester. I det här fallet analyseras besökarnas svar i realtid på webbsidan för att bestämma den bästa versionskombinationen.

d) Diskret val:

Denna metod avslöjar interaktionseffekterna, säg hur människor skapar avvägning utifrån ett köpbeslut. Det är en komplex teknik som systematiskt varierar attributen eller innehållselementen.

e) Optimal design:

Denna metod inkluderar iterationer och testvåg. Förutom att testa det maximala antalet kreativa variationer på kortast möjliga tid, tillåter det också marknadsförare att överväga relationer, interaktioner och begränsningar över innehållselement på en webbplats eller app. Detta hjälper till att hitta den optimala lösningen.

Låt oss gå vidare till en viktig fråga: Kan webbmarknadsföring optimeras genom multivariat testning?

Svaret är ett rungande ”ja”.

Med hjälp av multivariata tester kan vi tydligt avgöra vad som ska implementeras och vad som ska undvikas. Allt är fokuserat på besökarens upplevelse.

Följande aspekter beaktas när multivariata tester ska utföras:

# 1. Förutsättningen för multivariat testning är att: Definiera marknadsföringsmål eller undersök mål för webbplatsen. Nedan följer några exempel:

• Få maximala intäkter / vinster genom reklam, försäljning av produkter, betala för klick.
• Skapa varumärkesmedvetenhet i kundkretsen
• Spara utgifter, t.ex.: vägleda användare till självbetjäning genom vanliga frågor istället för online, i personlig service.

#två. Endast de sakerna bör testas som verkligen riktar sig mot organisationens marknadsföringsmål.

# 3. Välj bara de element som korrekt kommer att mäta marknadsföringsmålen.

Exempel kan vara:

• För att tjäna mer pengar bör sidorna som innehåller alternativ som 'Köp nu' / 'betalning' / flöden för att slutföra en registrering eller registrera sig fokuseras på.
• För att skapa medvetenhet för besökare och marknadsföring kan 'skicka till en vän' / 'hänvisa en vän' / 'dela' osv. Vara till nytta
• För besparingar kan fokus vara på element som vanliga frågor, hjälp, kontakt, samtal, 'Lägg i kundvagn' -klick som leder till tacksidor etc.

Hur man gör multivariata tester

1. Identifiera ett problem

Det första steget är att identifiera problemet. Detta ger dig förbättringsområdet för din webbplats eller app. Till exempel kan problemet vara ungefär varför webbplatsbesökarna inte klickar på nedladdningsknappen.

2. Formulera hypotes

Gör en hypotes för att förbättra webbsidan. Till exempel kan hypotesen vara att kunder inte klickar på nedladdningsknappen eftersom dess synlighet inte är tilltalande. Så genom att göra det tilltalande skulle det finnas fler nedladdningar.

3. Skapa variationer

Välj faktorer och skapa variationer. Antag att de två faktorerna är rubriken 'Ladda ner' och 'PDF-producent' -länken. Som ett exempel har vi nedan 12 variationer:

4. Bestäm din provstorlek

Ta reda på hur många besökare som krävs på varje sida, hur länge du behöver för att köra testet, hur många variationer du har och den statistiska signifikansen.

5. Testa dina verktyg

Testa allt (huvudsakligen fungerar din webbsida / app bra) innan du börjar köra testet så att ingenting skadar dina testresultat.

6. Börja köra trafik

Börja driva trafiken till dina variationer.

bästa spelutvecklare att arbeta för

7. Analysera dina resultat

Efter att ha utfört testet under lång tid får du resultaten att analysera. Ett exempel visas nedan:

De som har 95% eller mer konfidensnivå är statistiskt signifikanta resultat.

8. Lär dig av dina resultat

Detta är det sista och viktiga steget. Från det multivariata testet lär du dig om dina webbsidor / app och dess besökare. Du kan använda detta lärande för framtida tester.

Ett försiktighetsord - Var uppmärksam på följande när du utför multivariata tester:

Fel som bör undvikas

1. Felaktigt val av varianter . För t.ex. antar att vi ändrar teckensnittsstorlek, färg och stil för rubriktexten samtidigt under en version av variationskombinationen. Det blir då svårt att analysera utifrån de mottagna uppgifterna om vilken variation i rubriken (antingen teckenstorlek, färg eller stil) som fick besökaren att svara annorlunda.
2. För kort intervall för en multivariat testkörning . Att avsluta testkörningen tidigt och välja ett litet antal data för att analysera vinnaren kan leda till ogiltig statistik.
3. För långt intervall för en multivariat testkörning. Att köra testet för länge för att analysera marginaldata leder också till mycket slöseri med tid
4. Fel förståelse för nyckelindikatorer. Fokusera, analysera och spåra den variabla kombinationen av de indikatorer som är obetydliga eller inte relaterade till slutmålet
5. Bara några få nyckeltal identifieras medan många andra inte spåras
6. Att bestämma vilken typ av besökares trafik till en webbsida. Detta kan vara mycket riskabelt och problematiskt eftersom inte alla besökare är desamma.
7. Analyserar inte resultaten och göra rätt ändringar på webbplatsen.

Gör det och inte

Från listan ovan, en sammanfattning av gör och inte kan vara:

Inte:

Försök inte att inkludera många variabler i testet. Ju mer antal variabler som ska testas; ju större blir kombinationerna, vilket i sin tur innebär att mer trafik krävs för att samla in betydande statistik.

Gör:

1. Förhandsgranska alla versionskombinationer innan du startar testkörning eftersom vissa av dem kan vara oförenliga eller ologiska. Till exempel är en av de variabla kombinationerna att rubriken säger '50% rabatt på prenumerationen' och avknappen säger 'Gratis prenumeration'. Sådana bör tas bort.

2. Bestäm effekterna av kombinationsversioner på omvandlingsfrekvensen. Att bara inkludera de kombinationer som har högre inverkan på omvandlingsfrekvensen är en bra idé.

3. Uppskatta webbtrafiken för att samla in betydande statistiska data. Innan du startar testkörningen är det bättre att ha en tydlig uppfattning om webbtrafiken. Om en webbsida endast har 100-200 besökare per dag, bör vi bara överväga några variabler för att utföra det multivariata testet.

Fördelar och nackdelar

Hittills har vi sett vad som är multivariata tester, hur det görs, fel, faktorer, gör och inte etc. Låt oss nu titta på några Fördelar och Nackdelar av det:

Fördelar:

1. Bättre insikt och förståelse för effekterna av variabler eller element på omvandlingsfrekvensen Mer trafik leder till mer statistiska data vilket i sin tur leder till bättre analys och beslutsfattande när det gäller den bästa variabla kombinationen för att nå det slutgiltiga målet.
2. När det gäller design och layoutförändringar är multivariata tester flexibla.

Nackdelar:

1. Multivariata testkörningar tar längre tid att slutföra.
2. Det krävs mycket webbtrafik för att få betydande statistik.
3. Mer komplicerat att ställa in testkörningar.
4. Kräver fler antal variabla kombinationsversioner för testkörning.

A / B-testning

Att vara en kort lista över alla saker Multivariant-testning, det finns inget slut på de olika tester som kan göras för att utföra webbsidoptimering och en annan populär metod som är tillgänglig är A / B-testning .

Vad är A / B-testning?

( bild källa)

A / B-test kallas också ibland Delad testning . Delad testning är dock annorlunda. Vi kommer att se skillnaden mellan dem i den senare delen av denna handledning.

I A / B-testning testas två versioner av samma webbsida med lika mycket webbtrafik. Den version som får maximalt antal konverteringar är den ultimata vinnaren. Den nya versionen ökar definitivt konverteringsfrekvensen.

A / B Split Testing Exempel:

Låt oss förstå arbetet med A / B-testning med ett litet exempel :

Ovanstående bild är av en webbsida för säkerhetsmedvetenhet.

Den här bilden består av en grå knapp som säger ” Ta ett frågesport och vinn spännande priser ”. Denna ursprungliga webbsida betraktas som” En version ”. Nu är B-versionen utformad med en variation i färgen på knappen från grå till röd.

Detta visas i bilden nedan:

Live-webbtrafik vidarekopplas till båda versionerna. Efter att tillräckligt många besökare har tagit testet och med mottagna statistiska data kan det enkelt avgöras vilken version som har en högre effekt på omvandlingsfrekvensen.

Här i exemplet ovan, en knapp som säger “ Ta ett frågesport och vinn spännande priser ”I röd färg lockade fler besökare att trycka på knappen och ta en frågesport än den äldre grå knappen.

Därmed uppnåddes webbsidans slutmål att öka mer intäkter.

Fördelar och Nackdelar av A / B-tester:

Fördelar:

1. Enkel och enkel metod för att ställa in experiment för optimering av webbsidor.
2. Tillförlitliga och exakta resultat kan enkelt bestämmas även med liten webbtrafik.
3. Tester kan utföras mycket snabbt och statistiska data kan analyseras för att nå det slutgiltiga målet.
4. Inte mycket beroende av någon form av teknik.
5. Mer lämpade för ändringar i layout, innehåll, design på vilken webbsida som helst.

Nackdelar:

1. Endast ett fåtal eller säg ett begränsat antal ändringar kan göras på en webbsida åt gången.
2. Det är inte möjligt att bestämma effekterna av olika variabler som finns på en webbsida på varandra.

Jämförelsetabell:

A / B-test vs Multivariat Test vs Split-test

A / B-test, multivariat testning och delad testning är de tre huvudtyperna av UX (User experience) varianttestning. Låt oss se hur de skiljer sig från varandra.

Nedanstående två bilder ger dig en mycket bra illustrativ jämförelse mellan A / B-testning och multivariat-testning.

Multivariat testning

Delad testning:

Vi har en annan variant här som kallas split URL-testning, vilket är mycket mer komplicerat än A / B-testning och involverar ändringar på serversidan , där vi har två olika webbsidor som testas mot varandra. Denna typ av test fungerar bra för målsidor i fall där designteamet måste bestämma vilken som ska fungera bättre.

A / B / Split / Multivariate Testverktyg

Det finns många verktyg tillgängliga på marknaden för dessa tre typer av UX-test. Jag skulle nämna några bästa här som du kan utforska. De är Google Optimize, Optimizely, VMO, Qubit, Maxymiser och AB Tasty.

Slutsats :

Båda metoderna, A / B och Multivariate-test ökar omvandlingsfrekvensen, förbättrar prestanda och optimerar webbsidor och appar. Båda är användbara på sitt eget sätt och kommer med sina unika brister och utmaningar - det är upp till oss att identifiera och analysera vilken metod som bäst passar kravet.

Vi, testare, är främst involverade i att testa de ändringar som gjorts för att genomföra multivariata eller A / B-tester. När dessa ändringar har gjorts och testats kan de köras i produktionsmiljön av marknadsförings- eller affärsteamet för att samla in resultaten.

Så det är väldigt viktigt att testare testar dessa förändringar mycket noggrant, annars skulle de slutliga resultaten vara felaktiga, vilket skulle leda till enorma affärsförluster eftersom det här oftast är direkt relaterat till affärsintäkter.

Rekommenderad läsning

• Bästa verktyg för testning av programvara 2021 (QA Test Automation Tools)
• Testing Primer eBook Download
• Statisk testning och dynamisk testning - Skillnaden mellan dessa två viktiga testtekniker
• Lasttestning med HP LoadRunner-handledning
• Skillnad mellan Desktop, Client Server Testing och Web Testing
• Vad är gammatestning? Det sista testetappen
• Vad är Compliance Testing (Conformance testing)?
• Programvarutestning QA-assistentjobb