Bruk av forholdstall for bedre innsikt i eksperimentering

Når du gjennomfører eksperimenter, er valg av riktig måleindikator sannsynligvis en av de viktigste faktorene for hvor vellykket eksperimentet ditt blir. Måleparametere er kompasset som veileder teamene mot innsikt som kan brukes til å ta bedre forretningsbeslutninger gjennom eksperimenteringsprogrammet. Hvor presis denne veiledningen er, avhenger av relevansen og nøyaktigheten til de valgte måleparameterne.

Forholdstallsmålinger utvider målefunksjonene dine ved at du kan kombinere aggregeringer av to ulike hendelser i én og samme måling. Denne fleksibiliteten betyr at du kan konstruere måleparametere i eksperimenteringsplattformen som er direkte i tråd med KPI-ene virksomheten din allerede sporer i andre systemer.

Mens enkle beregninger er basert på én enkelt hendelse, gir forholdstallsmålinger deg muligheten til å lage mer komplekse målinger som bedre gjenspeiler de faktiske forretningsmålingene dine, slik at du kan ta beslutninger basert på de samme KPI-ene som driver den overordnede forretningsstrategien.

Merk: Forholdstallsmålinger er tilgjengelige i produktene Web Experimentation (WX), Feature Experimentation (FX) og Optimizely Analytics.

Bildekilde: Optimizely

Hvordan skiller forholdstallsmålinger seg fra enkle målinger?

Enkle beregninger er enklere å analysere og tolke, så start alltid med en meningsfull enkel beregning. Vår anbefaling er å bruke enkle beregninger når de fanger opp det du måler på en god måte, ettersom de gir tydeligere og mer pålitelige datapunkter.

Forholdstallsmålinger gir imidlertid verdifull fleksibilitet når du må tilpasse eksperimentene dine til etablerte KPI-er for virksomheten. Mange organisasjoner bruker allerede forholdstallsbaserte beregninger i den daglige driften, for eksempel"inntekt per økt", "kjøp per konto" eller"gjennomsnittlig ordreverdi". Med forholdstallsmålinger kan du bruke de samme målene i eksperimenteringsprogrammet ditt.

Når du bruker forholdstall, bør du følge disse retningslinjene for å få en nøyaktig tolkning:

1. Inkluder alltid komponentberegningene: Legg til telleren og nevneren som separate, enkle beregninger i samme eksperiment. Dette gir viktig kontekst for å tolke endringer i forholdstall.
2. Se opp for villedende signaler: Et forholdstall kan bli bedre på grunn av en nedgang i nevneren, mens telleren forblir uendret. For eksempel kan "inntekt per besøk" øke bare fordi antall besøk har gått ned, ikke fordi inntektene har økt.
3. Analyser i kontekst: Bruk analyseoversikten til å se det større bildet. Se på hvordan både telleren og nevneren oppfører seg for å forstå hva som driver endringene i forholdstallet ditt.

Her er et innblikk i Optimizely-resultater med en forholdstallsmåling.

Bildekilde: Optimizely

Når kan du bruke forholdstallsmålinger til A/B-testing og eksperimentering?

Forholdstall er spesielt nyttige når du ønsker å tilpasse beregningen med en annen nevner enn det som vanligvis brukes i enkle beregninger.

I stedet for å spore inntekter per bruker (en enkel beregning), kan det for eksempel være lurt å tilordne inntektene til klikk som legges til i handlekurven. Denne forholdstallsmålemetoden "inntekt per klikk i handlekurven" gjør det mulig å måle hvor effektive handlekurvtilleggene dine er når det gjelder å generere inntekter.

Du kan også spore gjennomsnittlig visningstid per konto. I stedet for per bruker, noe som hjelper abonnementsbaserte strømmetjenester med å forstå engasjement på husstandsnivå.

Andre eksempler:

• Optimalisering av e-handelsprodukter: I stedet for å måle inntekt per bruker, kan du måle inntekt per klikk i handlekurven (inntekt / klikk i handlekurven). Dette forholdstallet hjelper deg å forstå om forbedringene av produktsidene dine fører til kjøp med høyere verdi når brukerne engasjerer seg, selv om klikkfrekvensen forblir stabil.
• B2B SaaS-plattform: For bedriftsprogramvare med flere brukere per selskap bør du spore funksjonsadopsjon per konto(total funksjonsbruk / antall kontoer) i stedet for per bruker. Dette hjelper deg med å forstå organisatoriske adopsjonsmønstre i stedet for individuell bruk.
• Innholdsstrategi for strømmetjenester: I stedet for å måle seertid per bruker, bør du måle total seertid per husholdningskonto (totalt antall minutter sett / antall kontoer). Dette forholdstallet gir innsikt i innholdsengasjementet på abonnementsnivå, noe som har direkte innvirkning på oppbevaring.

Alt i alt gir forholdstallsmålinger deg mulighet til å konstruere målinger som er bedre tilpasset hvordan virksomheten din evaluerer resultater, og som bygger bro mellom eksperimentdata og de etablerte KPI-ene dine.

Opprette traktlignende beregninger

Når sammenhengen og rekkefølgen på hendelsene er viktig...

Fordi Optimizely beregner forholdstall på enhetsnivå, er det også mulig å bruke dem når du analyserer sammenhengen mellom to sekvensielle hendelser.

Du kan for eksempel lage en forholdstallsmåling som måler prosentandelen av brukere som sender inn et skjema (tellerhendelse) etter å ha klikket på et reklamebanner (nevnerhendelse). Dette skaper noe som ligner på en "traktmåling" ved å ha tellende hendelser i både telleren og nevneren.

Denne tilnærmingen hjelper deg med å vurdere konverteringseffektiviteten ved spesifikke berøringspunkter - for eksempel hvor effektivt kampanjeelementene dine driver frem ønskede handlinger. Du får innsikt i det betingede forholdet mellom disse sammenhengende hendelsene, noe en enkel beregning (for eksempel totalt antall skjemainnleveringer) ikke ville avslørt.

Det er imidlertid viktig å huske at selv om denne anvendelsen er nyttig i spesifikke scenarier, er den sekundær i forhold til hovedformålet med forholdstallsmålinger: å skape fleksible målinger som er i tråd med virksomhetens etablerte KPI-er.

For å oppsummere...

Forholdstallsmålinger gir verdifull fleksibilitet i eksperimenteringsprogrammet ditt ved at du kan konstruere målinger som er direkte i tråd med KPI-ene virksomheten din allerede bruker. Denne tilpasningen bygger bro over gapet mellom eksperimentdata og de måleparameterne interessentene dine bryr seg mest om.

Husk disse hovedprinsippene når du jobber med forholdstall:

• Velg måltall som er i tråd med virksomhetens etablerte mål og KPI-er
• Undersøk alltid komponentberegningene (teller og nevner) for å få en fullstendig kontekst
• Bruk de statistiske funksjonene til plattformer som Optimizely for å sikre pålitelige resultater

De mest vellykkede eksperimenteringsprogrammene velger strategisk mellom enkle og forholdstallsmålinger. Enkle beregninger gir tydelige og pålitelige data om enkelthendelser, mens forholdstallsmålinger gir fleksibilitet til å samsvare med organisasjonens etablerte KPI-er.

Ved å velge riktig type måling får du en målemetode som kobler eksperimentresultatene dine direkte til beregninger som driver forretningsbeslutninger.