Optimizely Intelligence Cloud: Hvordan bruke statistikkmotor til A/B -test smartere og raskere

Optimistisk statistikk for motor- og A/B -teststrategier

Hvis du ønsker å kjøre et eksperimentasjonsprogram for å hjelpe bedriften din med å teste og lære, er det sannsynlig at du bruker det Optimizely Intelligence Cloud - eller du har i det minste sett på det. Optimizely er et av de mest kraftfulle verktøyene i spillet, men som alle slike verktøy kan du bruke det feil hvis du ikke forstår hvordan det fungerer. 

Hva gjør Optimizely så kraftig? Kjernen i funksjonssettet ligger den mest informerte og intuitive statistikkmotoren i et tredjepartsverktøy, slik at du kan fokusere mer på å få viktige tester live-uten å måtte bekymre deg for at du feiltolker resultatene. 

Omtrent som en tradisjonell blindstudie i medisin, A / B-testing vil tilfeldig vise annerledes behandlinger av nettstedet ditt til forskjellige brukere for deretter å sammenligne hver behandlingseffekt. 

Statistikk hjelper oss deretter med å konkludere med hvor effektiv behandlingen kan være på lang sikt. 

De fleste A/B -testverktøy er avhengige av en av to typer statistisk slutning: Frequentist eller Bayesian statistikk. Hver skole har forskjellige fordeler og ulemper - Frekvensstatistikk krever at en prøvestørrelse er løst i forkant av et eksperiment, og Bayesiansk statistikk bryr seg hovedsakelig om å ta gode retningsbeslutninger i stedet for å spesifisere et enkelt tall for effekt, for å nevne to eksempler. Optimizelys supermakt er at det er det eneste verktøyet på markedet i dag som tar en beste av begge verdener nærme seg.

Sluttresultatet? Optimizely lar brukerne kjøre eksperimenter raskere, mer pålitelig og mer intuitivt.

For å dra full nytte av det, er det imidlertid viktig å forstå hva som skjer bak kulissene. Her er 5 innsikt og strategier som får deg til å bruke Optimizelys evner som en proff.

Strategi #1: Forstå at ikke alle beregninger er skapt like

I de fleste testverktøy er et vanlig oversett problem at jo flere beregninger du legger til og sporer som en del av testen din, desto mer sannsynlig er det at du ser noen feil konklusjoner på grunn av tilfeldig sjanse (i statistikk kalles dette "flere testproblemer ”). For å holde resultatene pålitelige, bruker Optimizely en rekke kontroller og korreksjoner for å holde oddsen for at det skjer så lavt som mulig. 

Disse kontrollene og korreksjonene har to konsekvenser når du skal sette opp tester i Optimizely. Først måling du angir som din Primær metrikk vil nå statistisk signifikans raskest, alle andre ting konstant. For det andre, jo flere beregninger du legger til i et eksperiment, desto lengre tid vil dine senere beregninger ta for å nå statistisk signifikans.

Når du planlegger et eksperiment, sørg for at du vet hvilken beregning som vil være ditt sanne nord i din beslutningsprosess, gjør den til din primære beregning. Hold deretter resten av beregningslisten slank ved å fjerne alt som er for overflødig eller tangentielt.

Strategi #2: Bygg dine egne egendefinerte attributter

Optimizely er flink til å gi deg flere interessante og nyttige måter å segmentere eksperimentresultatene på. For eksempel kan du undersøke om visse behandlinger fungerer bedre på datamaskiner enn mobiler, eller observere forskjeller på tvers av trafikkilder. Etter hvert som eksperimentprogrammet ditt modnes, vil du raskt ønske deg nye segmenter-disse kan være spesifikke for ditt brukstilfelle, for eksempel segmenter for engangskjøp kontra abonnementskjøp, eller like generelt som "nye kontra tilbakevendende besøkende" (som, ærlig talt, vi kan fortsatt ikke finne ut hvorfor det ikke er levert ut av esken).

Den gode nyheten er at via Optimizelys Project Javascript -felt kan ingeniører som er kjent med Optimizely bygge et antall interessante tilpassede attributter som besøkende kan tilordnes og segmenteres etter. På Cro Metrics har vi bygget en rekke aksjemoduler (som “nye kontra tilbakevendende besøkende”) som vi installerer for alle våre kunder via deres Project Javascript. Å utnytte denne evnen er en sentral differensier mellom modne lag som har de riktige tekniske ressursene for å hjelpe dem med å utføre, og team som sliter med å realisere eksperimentets fulle potensial.

Strategi #3: Utforsk Optimizely's Stats Accelerator

En ofte overhypet testverktøyfunksjon er muligheten til å bruke "flerarmede banditter", en type maskinlæringsalgoritme som dynamisk endrer hvor trafikken din blir allokert i løpet av et eksperiment, for å sende så mange besøkende til de "vinnende" variasjon som mulig. Problemet med flerarmede banditter er at resultatene deres ikke er pålitelige indikatorer på langsiktig ytelse, så brukstilfellet for denne typen eksperimenter er begrenset til tidssensitive saker som salgskampanjer.

Optimalt har imidlertid en annen type bandittalgoritme tilgjengelig for brukere på høyere planer - Stats Accelerator (nå kjent som "Accelerate Learnings" -alternativet inne i Bandits). I dette oppsettet, i stedet for å prøve å dynamisk tildele trafikk til den varianten som gir best resultater, fordeler Optimizely dynamisk trafikk til de variasjonene som mest sannsynlig vil oppnå statistisk signifikans raskest. På denne måten kan du lære raskere og beholde replikerbarheten til tradisjonelle A/B -testresultater.

Strategi #4: Legg til emoji i dine metriske navn

Ved første øyekast høres nok denne ideen malplassert ut, til og med gal. Et sentralt aspekt ved å sørge for at du leser de riktige eksperimentresultatene, starter imidlertid med å sørge for at publikummet ditt kan forstå spørsmålet. 

Noen ganger til tross for vår beste innsats, kan metriske navn bli forvirrende (vent - avfyres denne metrikken når bestillingen blir akseptert, eller når brukeren treffer takkesiden?), Eller et eksperiment har så mange beregninger som ruller opp og ned i resultatene side fører til total kognitiv overbelastning.

Hvis du legger til emojis i beregningsnavnene dine (mål, grønne hakemerker, selv den store pengesekken kan fungere) kan det resultere i langt mer skannbare sider. 

Stol på oss - å lese opp resultatene vil føles mye lettere.

Strategi #5: Vurder ditt statistiske signifikansnivå på nytt

Resultatene anses som avgjørende i forbindelse med et Optimizely -eksperiment når de har nådd Statistisk signifikant. Statistisk signifikans er et tøft matematisk begrep, men i hovedsak er det sannsynligheten for at observasjonene dine er et resultat av en reell forskjell mellom to populasjoner, og ikke bare tilfeldige tilfeldigheter. 

Optimizelys rapporterte statistiske signifikansnivåer er "alltid gyldige" takket være et matematisk konsept som kalles sekvensiell testing - dette gjør dem faktisk langt mer pålitelige enn de for andre testverktøy, som er utsatt for alle slags "titte" problemer hvis du leser dem for tidlig.

Det er verdt å vurdere hvilket nivå av statistisk signifikans du anser som viktig for testprogrammet ditt. Selv om 95% er konvensjonen i det vitenskapelige samfunnet, tester vi endringer på nettstedet, ikke vaksiner. Et annet vanlig valg i eksperimentelle verden: 90%. Men er du villig til å godta litt mer usikkerhet for å kjøre eksperimenter raskere og teste flere ideer? Kan du bruke 85% eller til og med 80% statistisk signifikans? Å være bevisst om din risiko-belønningsbalanse kan betale eksponentielt utbytte over tid, så tenk nøye gjennom dette.

Les mer om Optimizely Intelligence Cloud

Disse fem raske prinsippene og innsiktene vil være utrolig nyttig å huske på når du bruker Optimizely. Som med alle andre verktøy betyr det at du har god forståelse for alle tilpasningene bak kulissene, slik at du kan sørge for at du bruker verktøyet effektivt og effektivt. Med disse forståelsene kan du få de pålitelige resultatene du leter etter når du trenger dem. 

Hva tror du?

Dette nettstedet bruker Akismet for å redusere spam. Lær hvordan kommentaren din behandles.