Kan det betale sig at lave sine egne brugertest?

Topgrafik, pynt

Hvad koster det at brugerteste en webshop? Kan det betale sig at lave arbejdet selv og hvad er der af fordele og ulemper ved det? Det er nogle af de spørgsmål dette indlæg søger at besvare.

Lad mig bare være ærlig. Jeg sælger et billigt brugertest-produkt. Og lige nu kører jeg kampagne, hvor man får endnu mere for pengene. Så er det ude af posen.

Som sælger af noget, der reelt set er Danmarks billigste brugertest og samtidigt er et fuldt professionelt produkt, har jeg overvejet hvilke argumenter der kunne være for ikke at købe produktet (trods alt). Og for at komme argumenterne i møde når jeg canvas-sælger produktet, så har især et argument interesseret mig: “Jeg kan lave det billigere selv”.

Men kan du lave det billigere selv?
Og hvis du kan: Hvorfor så betale for det?

Det kan man naturligvis. Hvis man arbejder gratis, kan ingen konkurrere med prisen. Hvis ens arbejdstid ikke er bedre brugt, så kan alt lade sig gøre. Men lad os nu alligevel afprøve argumentet lidt mere seriøst.

For overhovedet at udfordre “gør-det-selv”, så taler vi her om den billigste type af brugertest. Dem kalder vi typisk for de umodererede, for fjerntest eller for asynkrone test. Det er brugertest, hvor brugeren indgår i testen, sidder for sig selv og løser testopgaver, uden at nogen ser med over skulderen eller blander sig. Det er den billigeste form for test, netop fordi, at det der koster, er den person der ellers skulle betales for at sidde der: Testlederen eller konsulenten eller hvem det nu kunne være.

I Danmark er der to virksomheder (så vidt jeg ved) der udbyder umodererede brugertest. Usertribe og så min egen virksomhed Optuner. Usertribe er holdt op (!) med at skrive prisen på umodererede test på deres hjemmeside, mens Optuners faste pris på 5 umodererede brugertest og en rapport er 9.750 plus moms lige nu. (det var pr. august 2016). Produkterne er relativt ens, i hvert fald hvis du spørger mig.

Divider

Så kan du lave en brugertest-rapport som disse, billigere end 9.750? Det er spørgsmålet – jo, fordi det må antages, at hvis ikke, så ville du naturligvis blot købe den hos de professionelle!?

Ok, så hvad er din timepris? Lad os bare lege at den er 275,- i timen. Det synes du ikke lyder af meget, men det giver en månedsløn på ca 45.000 inkl. ferie og pension (Bruttotimetallet er 1.926 på et år). Det er nok fint til de fleste.

Lad os se hvad det kræver af timer at lave en brugertest (jeg indrømmer, at jeg ikke kender resultatet af denne beregning, her mens jeg skriver dette):

Først skal der skrives testopgaver. Forudsat, at du ikke skal læse op på hvordan man laver gode, relevante testopgaver, så tager det typisk et par timer, inkl. at kigge lidt på websitet, skrive og rette nogle gange. 2*275,- er 550.

Så skal der rekrutteres testdeltagere. Vi antager, at du ikke skal rekruttere meget specifikke typer. Normalt vil et bureau tage mellem 1.000 og 1.500 pr. person for at rekruttere specifikke brugere. Brugere der så også er screenet, så man er sikker på at de passer i målgruppen. Umodererede test bruger oftest personer der kan segmenteres på alder, region, køn og til dels uddannelse/job. Usertribe og Optuner har deres egne “paneler” af brugere de trækker på. Mange af dem er for øvrigt de samme mennesker.

De personer kan du også selv finde, på facebook eller i din omgangskreds. Men det tager nogle timer at kontakte dem, skrive til dem og et par mails frem og tilbage. Lad os være konservative og sige, at det tager dig 3 timer at indfange 5 testdeltagere. 3*275 er 825.

Så er der nogle praktiske ting. Du skal sende testopgaverne og testdeltagerne skal optage det de siger og det der sker på skærmen. En brugertest er som oftest minimum 30 minutter lang og det kan være svært at finde gratis software der tillader at optage så længe. Men vi kan sige at du er flink og låner dine venner en licens på et tool. Skal vi sige at inkl. at finde det tool, købe det, installere det og afprøve det – samt at sende det til testerne og forklare dem hvordan de skal bruge det osv. At det tager 3 timer? 825 igen.

Nu modtager du så de 5 brugertest-videoer fra dine 5 venner. Hos Optuner og Usertribe er der nu en konsulent (eller hvad vi nu kalder det) der ser testen igennem, skriver udsagn fra brugerne ned, klipper skærmbilleder ud til rapporten og noterer hvor og hvad problemerne er. Du kan jo vælge at være ligeglad med en professionel rapport. Og denne del af opgaven er også klart den mest tidskrævende. Hvis vi antager at du så kun skal se hver optagelse igennem 1 gang, så tager det dig sikkert omkring 3 timer. Altså 825 igen. Men skal du fx dele resultaterne med andre eller på anden måde lave en tilsvarende rapport, så skal du forvente at bruge omkring 14 timer på videoer og rapporter – og det er endda den mere øvede tid. Første gang tager det længere. Så hvis “gøre det billigere selv” samtidigt er “gøre det ligeså godt”, så koster det dig minimum 14*275 = 3.850.

Måske skal dine venner også have et honorar? Usertribe giver et gavekort på 100,- og hos Optuner flotter vi os med et på 200,-
Så vi siger, at du giver dine venner 5*150 = 750.

Nu er din egen “optimeringsrapport” klar. Hvad har den kostet dig?

Ifølge ovenstående har det kostet: 550 + 825 + 825 + 3.850 + 750.

Det giver = 6.800,-
Altså næsten 3.000 billigere end Optuners den billigste.

Så ja, du kan gøre det billigere selv.

Har jeg lige hevet tæppet væk under min egen forretning?

Nej. Trods alt ikke. Her er hvorfor:

  1. Du kan gøre det billigere, jeg tror ikke du kan gøre det bedre (no offence).
    Med det forbehold at du er ikke usability-ekspert, men så skal er det en anden snak…
  2. De tider jeg har skrevet ovenfor er de “øvede tider”, så du kommer til at bruge langt flere timer. Sorry.
  3. Vi forudsætter, at du og dine venner har styr på det tekniske, men faktisk er det en relativt stor opgave at sikre både optagelse og kvalitet af brugertest-videoer. For ikke at tale om videoer der indeholder fejl og skal laves om osv.
  4. Vi forudsætter igen, at du ved hvad du gør, men at lave brugertest er en kompetence som så meget andet. Fra at skrive gode testopgaver til at foretage analysen og at udvælge problemstillinger. Det er et specialiseret og kreativt arbejde, der let sluger meget tid.
  5. Og endeligt. Hvad koster din tid egentligt. Hvis du bruger den på noget du er god til, hvad er det så værd at få andre til at løse opgaven?
  6. Hvis du skulle have en freelancer til det, ville vedkommende bede om 500,- eller mere pr time for at lave arbejdet (må vi håbe). Ifølge regnestykket ovenfor ville projektet så koste 11.750,-

Du kan gøre det billigere selv. Som at reparere din bil eller lægge nyt tag på dit hus…

Så hvorfor vælger nogle at købe en færdig rapport, fremfor at gøre det selv. Fordi det handler om hvad din tid er værd, hvad du vil bruge den på – og så handler det om al den ekstra værdi det giver at få erfarne og professionelle personer på opgaven. Personer du efterfølgende kan diskutere problemer på websitet med, som kan hjælpe dig med at prioritere problemerne korrekt og guide dig mod en god løsning.

Og det mener mange er mere værd, end de par tusinde du potentielt kan spare. Det mener jeg også, men jeg er jo også totalt inhabil og forudindtaget.

Bog omslag grafikSå hvis du alligevel laver dine brugertest selv – hvilket jeg faktisk synes du skal gøre, for alle skal da lære at lave brugertest mindst en gang i livet – så vil jeg anbefale, at du læser Steve Krugs “Rocket Surgery Made Easy“, som er en super jordnær, enkel og sympatisk måde at lave brugertest. Ja du kan da også læse min usabilitybog, men Krug’s er nu engang bedre til formålet…

Men jeg håber du fandt det interessant at se lidt ned i motorrummet, på trods at min slet skjulte reklame og de vægelsindede konklusioner.
God arbejdslyst,

Ole G.

Giver Best Practice mening?

Hvad er “best” og hvad er “practice”. Hvad skal vi bruge det til? Skal vi kopiere eller lade os inspirere – eller gå helt andre veje? Og hvad sker der når vi tager 300 design af indkøbskurven og sammenligner dem. Er resultatet “bedste praksis”? Læs med på en rejse ned i det udtryk.

I konverteringsverdenen tales der en del om “best practice” – eller bedste praksis. Jeg har læst nogle sige, at der ikke findes bedste praksis, at man altid skal teste sig frem til, hvad der virker bedst på sit eget site.

Men det synes jeg er noget sludder. Jeg er fan af bedste praksis. Jeg synes det er vildt interessant. Især for webshops. Så jeg dyrker bedste praksis.

Lad mig dele hvordan. Jeg starter lidt bagfra. Først det der med praksis. Ifølge Den Danske Ordbog er det noget med skik og brug: “fremgangsmåde (som er almindelig anvendt); sædvane”. Jeg vil udbygge det lidt, så at det for mig betyder: Sådan som de fleste andre vælger at gøre det. Og så er der det med den BEDSTE praksis. For selvom mange webshops fx placerer indkøbskurven det samme sted, så kan man godt tale om, hvem der gør det bedre end andre.

Så bedste praksis er altså både noget subjektiv (bedst) og noget kvantitativt (mest). Så langt så godt. Hvis man skal udtale sig om bedste praksis (og det er der i virkeligheden vildt mange der, gør uden at vi ved noget om hvad der ligger bag udmeldingerne), så kræver det vel, at man subjektivt og kvantitativt kan sige noget om kvaliteten af det man taler om.

Så hvordan bruger jeg bedste praksis. Lad mig give nogle eksempler.

Jeg laver mange evalueringer af webshops, både igennem brugertest og igennem egentlige ekspertvurderinger. Det med ekspert hænger faktisk sammen med bedste praksis, for det er netop fordi at jeg har arbejdet så meget med design, usability, optimering – og fordi jeg har set 100-vis af brugertest – og fordi jeg selv designer brugergrænseflader – og fordi jeg følger med i hvad der sker online – at jeg mener at vide hvad der er bedste praksis og dermed tillader at kalde mig ekspert.

Det betyder ikke at jeg VED hvad der fungerer bedre eller konverterer bedre. Jeg ved blot, hvad man plejer at gøre i en given situation og hvordan det for eksempel kan designes på en god måde.

Eller ved og ved. Jeg arbejder på at vide det 🙂

For jeg bliver konstant spurgt hvordan fx en produktside skal se ud. Svaret er jo, at sådan en side ikke blot har 1 udseende og at den består af en række elementer, MEN at disse elementer kan vælges, designes og sammensættes efter bedste praksis. Og hvordan det gøres, det er værdifuldt for mine kunder af få at vide. Så hvor ved jeg det fra?

I Optuner har vi sat en venlig sjæl til at tage skærmbilleder af 300 danske webshops. Ja, det lyder som en kedelig opgave (Tak, Olivia), men til gengæld har det givet os et kæmpe katalog af sider. Og da alle webshops langt hen ad vejen indeholder de samme sider (hvilket nok i sig selv er en form for bedste praksis) – så har vi altså 300 forsider, 300 kategorisider, 300 produktsider, 300 læg i kurv situationer, 300 vis kurv, 300 tjek-ud flow. Ja, det var vist nogenlunde det…

Skærmbillede af produktsider
Et udsnit af de mange produktsider i Optuner’s webshop-projekt

Desværre ved jeg ikke hvilke af disse mange designs der konverterer bedst. Jeg ved til dels hvilke webshops der er størst/mest kendt/vinder priser, men det siger jo ikke noget om hvor gode de er. Og jeg har modsat andre i branchen ikke brugertestet de 20 største udenlandske sites for at kåre et “vinderdesign”. Men der kunne sikkert komme en interessant bog ud af de 1000-vis at skærmdumps.

Til gengæld er dette store katalog interessant at dykke ned i, for at finde inspiration til en given problemstilling. Så lad os lige tage et dyk for at undersøge nogle ting og vise hvordan vi bruger kataloget.

Forestil dig en webshop, hvor kurven er placeret i øverste venstre hjørne eller måske midt i venstrekolonnen under filtrene. De fleste vil sige: Det er ikke best practice, kurven skal da sidde øverst i højre hjørne. Fair nok. Det er jeg enig i, men hvorfor er det vi siger sådan og har vi belæg for den udtalelse? De fleste vil sige: Jamen, dér sidder kurven jo på alle andre webshops og i hvert fald på alle de store webshops. Ja, det er rigtigt, men hvis vi forestiller os at skulle genbruge det argument på alle typer elementer på websitet, så lyder det lidt hult og desuden er mine kunder gladest hvis jeg kan “dokumentere” mine udsagn. Så here goes:

Her er 8 tilfælde kurve fra kataloget (ja, du slipper for at se alle 300):

Bare ved at kigge på de 8 eksempler kan vi sige: Ja, de fleste har kurven liggende i øverste højre hjørne (nemlig dem alle). Men i relation til designet af kurven på et helt 9. website kan vi også udfordre:

  • Skal der være et ikon med en indkøbsvogn, sækkevogn, kurv eller hvad?
  • Skal det fremgå om der er varer i kurven og hvordan mange? Skal der specifikt stå når den er tom?
  • Skal det samlede beløb fremgå?
  • Skal kurven ligge over eller under menuen?
  • Hvor meget skal kurven fylde?
  • Skal der være høj kontrast i farvevalget?
  • Skal det ligge alene eller sammen med fx login og kontakt-link?
  • Skal det hedde “kurv”, Indkøbsvogn”, “Din indkøbskurv” eller noget helt 4?

For bare at nævne nogle spørgsmål. Det vi gør i Optuner er, at vi noterer os hvilke elementer der indgår og så prøver at kvalificere om de skal med eller ej. Vi diskuterer hvad vi mener det er, en kurv skal kunne. Hvad er dens opgave, hvad skal den kommunikere?

Så kigger vi på de webshops der følger samme designmønster og lader os inspirere af hvad de har gjort. Selvom man let kunne kopiere 1:1, så er det sjældent relevant.

Men vi kan i hvertfald sige til føromtalte kunde: Nej, kurven skal ikke ligge i venstre side. Det er der ingen andre (af de mest kendte webshops) der gør.

For mig er bedste praksis at forstå sit felt, så man kan foreslå og kvalificere designløsninger til alle givne udfordringer og behov. Så jeg kopierer, lader mig inspirere, prøver at generalisere, udfordrer og undersøger. Best practice er rygraden i mit arbejde med at designe, kvalificere og evaluere webshops.

Hvad tænker du? Hvad er bedste praksis for dig? Skal vi være varsomme eller skal omfavne det? Skal vi gøre som de andre eller designe vores helt eget? Del dine erfaringer med os andre her på bloggen.

Basér altid dine split-test på analyse og testhypotese (opfølgning)

Onsdag den 3. juni skrev jeg et blogindlæg på Amino, hvor jeg har fået lov at være “ekspertblogger” om konverteringsoptimering.

Det medførte en del kritik, både af mig og de synspunkter jeg gav udtryk for på bloggen. Til dels i kommentar-sporet på Amino, men i særdeleshed i en gruppe på Facebook kaldet “E-købmænd nørder – den hårde kerne;)”.

Det kan jeg som sådan godt forstå og derfor har jeg valgt at skrive dette indlæg for at forklare mig bedre og for at gå i dialog med de, der stadig synes jeg har trådt nogen over tæerne.

Det der generede flere, var to ting. Det første var, at flere læste det jeg skrev, som en kritik af Simon Elkjær og hans nye udgivelse Optimeringsbogen,  som ifølge bogens website indeholder “59 konkrete idéer til split-test”.

Fordi mit blogindlæg fraråder at man betaler for split-test idéer, blev det læst som at jeg bad læserne om ikke at købe bogen.

Den anden del af kritikken af mig,  gik på hvorvidt jeg har en pointe omkring at man ikke behøver betale for split-test ideer. Mit argument går på at disse findes i rigelige mængder online og at man derfor blot kan Google emnet.

Det er især den anden del der er vigtig for mig. Det skal jeg forklare i flere detaljer om lidt.

Men først vil jeg gerne slå et par ting fast:

– Jeg respekterer Simon Elkjærs produktion og markedsføring af hans optimeringsbog. Jeg har ikke læst bogen, men jeg ved hvor stort et arbejde det kan være at skrive den slags og jeg respekterer at Simon Elkjær er meget vidende og succesfuld indenfor e-handel. Min kritik går derfor slet ikke indholdet af Simon Elkjærs bog, ej heller på hans person eller det han fagligt står for.

– Jeg er blevet kritiseret for at falde en anden iværksætter i ryggen og nedgøre hans arbejde og projekt. Det mener jeg igen ikke er tilfældet, og hvis Simon Elkjær oplever det sådan, så vil jeg gerne undskylde det her og nu.

Det jeg kritiserer, og som jeg fagligt står ved er et problem ved hele præmissen for Simon Elkjærs bog, er ikke, at han tager penge for den. Det er heller ikke at han ønsker at hjælpe virksomeder med at split-teste eller optimere deres website. Det er jo det jeg selv ønsker at stå for, så det kan jeg kun bifalde. Min kritik går på at sælge ideen om, at andre virksomheder kan løfte deres konverteringsrate ved at igangsætte det, der for disse virksomheder må betegnes som tilfældige split-test. Lad mig uddybe det om lidt.

Jeg beklager at jeg i mit blogindlæg fokuserer (for) meget på forholdet omkring at betale for split-test idéer. For det egentligt problem er ikke direkte at betale for split-test idéer, det gør mine kunder sådan set også (efter jeg har lavet forarbejdet), det egentlige problem er at præsentere split-test idéer som noget der frit kan overføres fra et website til et andet og at det er en god idé at tage disse eksempler på split-test – uanset hvor de kommer fra og uanset hvilken succes de har haft andre steder – og sætte dem igang på sit eget site.

Det er min kritik af optimeringsbogen, uanset hvem der har skrevet den og uanset hvad der står i den.

Så lad mig gå i detaljer omkring hvorfor jeg mener det.

Problemet er at split-test er meget kontekst-afhængigt. Det der virker på et website, virker ikke på alle andre websites. Det er jo hele begrundelsen for at teste, ellers kunne vi jo bare kopiere fra Amazon eller de danske helte. Hvorfor split-teste fx anbefalinger eller farver eller e-handelsmærket, hvis det giver succes på andre sites? Jo netop fordi det kan være at vores eget website ikke har fordel af disse ændringer. Implementerer vi dem blindt, så kan vi ødelægge vores konverteringsrate.

Det samme med split-test. Vi kan ikke bare køre generiske split-test, fordi vi så potentielt gøre mere skade end gavn.

Det klassiske eksempel er testen grøn versus rød knap. Mange test har vist grønne knapper klare sig bedre. Men betyder det at vi skal køre grøn på alle vores websites? – Nej, ikke nødvendigvis. Det betyder heller ikke at det er relevant at køre split-test på lige netop grøn/rød.

 

At implementere split-test idéer man henter gratis på nettet (eller køber) er altså i sig selv ikke et godt råd til webshop-ejere.

Det der skal til, for at afvikle meningsfulde og effektive split-test er, at testen baseres på en kvalificeret hypotese, som er skabt på baggrund af analyse af brugere, trafik, design, osv. Det er den type forarbejde, der fx kan lære en, at en knap bør testes i en anden farve, fordi den eksisterende knap (fx en grøn) ikke har høj nok kontrast i forhold til det omkringliggende design, eller at dens placering ligger udenfor brugerens fokus – eller hvad det nu er. Det er ingen kunst at foreslå at teste en knap, en overskrift, et element, et billede, en placering osv. Kunsten er at forstå hvorfor det element skal testes, hvad der ligger til grund for design-variationen, hvad variationen betyder for dialogen/interaktionen med brugeren og hvilken effekt variationen forventes at have. Det er hypotesens indhold. Den analyse kan ikke overtages fra andres webshops, den skal foretages på dit eget website, med dine kunder, med dine produkter, med dit design osv.

Jeg mener naturligvis at ovenstående er vigtigt, fordi jeg er konsulent og lever af at lave det arbejde. Men jeg lægger også faglig stolthed i ikke at teste hvad-som-helst, samt hjælpe andre med at få succes med deres split-test. Jeg søger at opbygge og formidle en metodisk tilgang. Derfor følte jeg mig forpligtet til at udfordre omtalte bogs præmis.

Du behøver ikke tage mit ord for det jeg skriver her, derfor vil jeg også gerne henvise til andre der har gjort sig tilsvarende overvejelser:

Se fx ConversionXL, der her i punkt #4 advarer mod situationer hvor “Test are not based on hypothesis”.

Michael Aagaard har også i sit seneste oplæg (video), inddraget samme problemstilling i sin personlige fortælling om sin udvikling som konsulent, se også hans egen blog (se punkt 10).

Det er naturligvis ikke kun konsulenterne forundt at lave den type forarbejde. Det kan du sagtens selv. Analyse og hypotese er værktøjer der er velbeskrevne og veldokumenterede out there. Se fx denne Hypothesis Creator fra Conversionista.

Er du en af dem der tidligere har deltaget i diskussionen, så hører jeg meget gerne fra dig. Jeg ønsker at der er rene linjer og håber at jeg har bidraget positivt til dialog med ovenstående indlæg.