For og imod brugertest til optimering af webshops

Kan det overhovedet betale sig at brugerteste en webshop? Kan man ikke bare finde problemerne selv?  Får man ikke bare gentaget ting man ved i forvejen? Er 5 brugertest overhovedet repræsentative? Det og flere spørgsmål, vil jeg besvare i dette indlæg.

Fordi vi hos Optuner for tiden markedsfører brugertest til webshops, er jeg ofte i dialog med virksomheder om fordele og ulemper ved brugertest.

Og da argumenterne for eller imod at bruge lige under 10.000 på 5 brugertest af en webshop ofte går igen, har jeg valgt at svare på seneste mail fra en potentiel kunde på denne blog, så alle kan få glæde af både mine og webshoppens overvejelser.

Kunden skriver:

“Pt. har jeg masser af punkter som jeg godt selv ved burde- og kan forbedres, så før de er på plads er der vist ingen grund til at køre ekstern brugertest på sitet.”

Mit svar: Det er jo helt normalt at man som webshop ejer har en million ting man gerne selv vil arbejde med + en million man ved man burde arbejde med. Men faktisk er pointen ved at lave nogen form for analyse (kvalitativ eller kvantitativ) netop, at det hjælper til at fokusere på de ting der hæmmer salg. Analyse hjælper til at prioritere, sådan at man undgår for meget mavefornemmelse og egne ideer om hvad der virker. Og 10.000 er for øvrigt hurtigt brugt på at rode med noget, der ikke har nogen effekt.

Det er klart, at også brugertest skal ske på det rette tidspunkt ift. til andre aktiviteter, men desværre bliver det argument ofte en “hvilepude”, der gør at man aldrig får inddraget brugerne. Det problem kender vi fra alle IT-projekter, hvorfor tror du det går så galt for rejsekortet, tinglysning, SKAT eller Rigspolitiet? Fordi de skubber den faktiske test af systemet med brugerne, indtil det er alt alt for sent.

Al IT og web-udvikling er kompleks. Vi kan ikke overskue alle designvalgs konsekvens og hvordan de påvirker hinanden. Kun ved at se på en faktisk bruger der løser et faktisk behov, kan vi forstå effektivitet og hvor manglen på samme ødelægger potentielle salg.

Kunden fortsætter:

“Og så har jeg det lidt ambivalent med brugertest, i min optik skal man passe meget på hvad nogle ganske få personer har af kommentarer, de er jo nødvendigvis ikke repræsentative og begynder man at ændre på baggrund af deres vurderinger, risikerer man at lave noget om som faktisk fungerede for flertallet.”

Mit svar: Det er en valid kritik. Der er jo som sådan ikke noget i vejen for at teste med fx 20 personer i stedet for 5. De fleste vil bare ikke betale for det.
Man skal så afgjort være forsigtig med at gøre udsagn i brugertest til sandhed og foretage ændringer baseret på få udsagn. Når det så er sagt, så er der andre forhold man skal være opmærksomme på, som gør at brugertest alligevel er interessant.

Mængden af test har aldrig været tilgangen i kvalitative test som brugertest. Fordi der er mulighed for at gå langt mere i dybden, end fx analytics data eller et spørgeskema, er der en udbredt praksis med at klare sig med færre test. Men færre test kræver til gengæld så også bedre rekruttering, sådan at de test man foretager er så “ægte” som muligt. På den måde vil man bedre kunne stole på de indsigter man får. Brugertest giver unik indsigt, som man ikke kan få fra andre metoder. For det andet bør brugertest ikke stå alene, men indgå i den samlede analyse, sådan at den kan faktisk bruges til at identificere, prioritere og udpege områder der skal arbejdes med. Nogle gange er det åbenlyse problemer som skal fikses med det samme, andre gange er der områder som driller brugerne og som man kan dykke længere ned i på andre måder.

I disse tider er det meget populært at sige, at man altid skal teste de ændringer man foretager, så man undgår at implementere noget der ikke virker. Brugertest kvalificerer potentialer, som man så kan redesigne og split-teste (hvis det så overhovedet er muligt). Chancen for at implementere noget der ikke giver mere salg er vel så i sagens natur endnu større hvis man ikke brugertester? Hvis vi ikke laver analysen inden vi split-tester, så er vi jo tilbage til mavefornemmelse, “plejer” osv. Hele ideen med brugertesten er jo netop at fokusere på emner der trods giver faktiske mennesker problemer på websitet.

Så det er i min optik ikke enten-eller, men både-og, når det gælder brugertest. Hvis man mener det alvorligt.

Divider

Kunden fortsætter:

“Og ofte ved udviklerne/kundeservicemedarbejdere jo godt de punkter der bliver fundet, kundecenteret hos fx Whiteaway ved da godt, at deres filterfunktion ikke er den bedste og at deres rabatkupon funktion ikke virker, det kræver bare, at man som leder sørger for at spørge i sin kundeservice og så formidler det videre til sin udviklingsafdeling.”

Mit svar: Udviklere og kundeservicemedarbejdere er ofte forbavsende langt væk fra brugerne, fordi de ikke arbejder med interaktionsdesign, men med udvikling eller kundeservice. Og ingen af dem har som opgave at berige deres kollegaer med indsigter eller med at indsamle indsigt om brugeradfærd. Vi kender allesammen at være “fedtet ind” i vores eget projekt, som vi har kigget på og diskuteret dag ind og dag ud. Friske øjne fra relevante brugere er bare værdifuldt.

Du er ikke din bruger. Du vil ikke det din bruger vil. Du kan kun tilnærmelsesvist sætte dig i din brugers sted. Du kender alle detaljerne, det gør din bruger ikke. Din bruger skal af med penge, det skal du ikke. Du er ikke din bruger.

Jeg mener også det er en bekvem tilsnigelse at sige, at “ofte kender udviklerne godt de punkter der bliver fundet” – det er mere korrekt at sige at de “genkender” de områder der bliver fundet, men det er også altid let at se problemet, når man først får det peget ud. Og hvis man som omtalte WhiteAway har mange filtre, så er tror jeg faktisk det er de færreste udvikler der konkret kan svare – ikke hvad der teknisk ville være bedre – hvor det i de valgte filtre at brugerne opnår problemer. Det er vel selvsamme udviklere der har slået de filtre til i første omgang.

Det er forlængst bevist at de bedste til at analysere brugeradfærd er professionelle udannet til opgaven. Så det er heller ikke ligemeget hvem man sætter til at vurdere hvad brugerne har svært eller let ved.

Det er rigtigt at det kan betale sig at sikre at erfaringer fra kundeservice bliver samlet op, prioriteret og formidlet til udviklerne (det sker ikke af sig selv og det er ikke bare at spørge). Men der er også mange ting som kundeservice-medarbejdere aldrig hører om. Kunderne ringer ikke op og brokker sig over interfacet, det er kun i nogle situationer at hjemmesidens funktionalitet bliver inddraget og det er ikke altid sådan at en kundeservice medarbejder får spurgt ind til det. Det er simpelthen ikke opgaven. Jeg har interviewet mange kundeservice-medarbejdere i mine år som konsulent og selvom det kan være interessant, så slår det aldrig at lave en brugertest. Brugertest giver altid interessante indsigter.

Se et eksempel fra en brugertest:

Det var mine 7 cents, kommenter herunder og giv din mening til kende:
Hvad kan brugertest, hvad kan det ikke. Hvorfor vælger du det til eller fra?


Nåja – og så annoncen kunden reagerede på:

brugere_52_twitter_stor

ConversionSummit 2016 i Frankfurt – erfaringer og tanker

Jeg har været til ConversionSummit i Frankfurt. Her får du mine overvejelser fra en dag i selskab med supernavne som Avinash Kaushik, Brian Massey, Craig Sullivan, Nathalie Nahai, André Morys, Poul Rouke, Simo Ahava og mange flere.

Først en kort optakt. Jeg har været til ConversionSummit 5 gange. Jeg havde selv fornøjelsen af at være taler der i 2012, med mit oplæg “Motivational Index” (den findes faktisk også som video). Arrangøren er Web Arts, med André Morys ved roret, som flere måske har oplevet ved vores helt egen ConversionBoost i København.

Jeg skriver ikke om alle oplæggene og da slet ikke de tysksprogrede, men vil dele de 4-5 steder der gjorde størst indtryk på mig. Jeg tror på du også kan få noget ud af at læse om dem.

Det kommer lidt i en tilfældig rækkefølge, men hvis du absolut vil læse det vigtigste først, så start nedefra 🙂

Web Arts ramme model for vækst, som en form for ramme for dagen:

CS_summit

Den første taler på dagen var Craig Sullivan. Efter tabet af sin hustru til kræften, har der, rent fagligt og helt naturligt, været lidt stille fra (en tydeligt tyndere) Craig, som jo eller er kendt som en lind strøm af tweets, gode råd, stærke udsagn og masser af delinger af erfaringer.

Men her var han tilbage i vanlig vandslurkende storform. Hvorfor han også startede med at proklamere (som han altid har gjort), at der er alt for meget crap design i verden og at grunden er:cs_craig_2

Ja, så er scenen sat. Herefter fulgte en række eksempler på hvor det at drive forretning, i den fysiske verden, kan vise os hvor åndssvage vi er i den digitale. Eksemplet jeg husker bedst var billedet på butiksvinduet, som løbende udskiftes, om ikke andet for at tilpasses sæsoner. Ser vi fx en butik med juleudstilling hele året, så bliver vi mistænkelige, mens mange åbenbart ikke har et problem med at have samme forside på websitet i årevis. Dumt, hvis man spørger Craig.

Omend sammenligningen er god, så synes jeg aldrig hans kobling blev så stærk og eksempler har var der ikke nok af. For meget tilløb og for lidt spurt. Så kunne jeg bedre lide Conversionista John Ekmans oplæg om tilsvarende emne i “What e-trailer kan learn from retailers” for nogle år tilbage.

Da temaet var vækst og organisatorisk modenhed, så havde Craig også nogle pointer omkring hvordan ledelsen ikke skal blande sig i automone projektgruppers optimering, hvilket set ift til resten af dagens oplæg blev lidt en modsætning, da flere efterfølgende talte meget om c-level involvement. Jeg tror forskellen er, at Craig mener på det praktiske/taktiske niveau, men de andre talte om det strategiske.

Tilbage står et oplæg der mest gentager, at vi skal indsamle og udnytte data til at bygge hypoteser og kvalificere design. At vi skal gøre vores forarbejde ordentligt og at vi skal huske på at mange (i ledelseslaget åbenbart) endnu ikke har fattet hverken hvad det handler om eller hvilken potentiel effekt det har – ja og at vi naturligvis skal lade være med at bygge lortewebsites fuldt af fejl.

Jeg synes jeg havde hørt det meste af det før.

Til gengæld havde jeg en god snak med Craig efterfølgende, hvor han viste mig nogle supercool ting han er i gang med at producere, inkl. noget dashboard-agtigt analytics tool, hvor man direkte kan importere sine data fra GA og identificere problempunkter. Mere om det en anden gang, når Craig som lovet selv har blogget lidt om det.

Vil du mere Craig Sullivan, så er det hans twitterfeed man skal følge.

cs_Craig

Så vil jeg gerne nævne Chris Out. Han er et nyt navn for mig. Han er tydeligt Hollandsk og har åbenlyst sat sig for at erobre scener over den ganske verden. Han oplæg var relativt rodet, måske fordi han gerne vil gabe over både konverteringsoptimering og growth hacking, sådan at han i samme oplæg vil være strategisk/organisatorisk og praktisk/metodisk. Det fungerede ikke for mig. Sidstnævne del ville have været fin, omend en gentagelse af den sædvanlige CRO-lingo.

Med sin trimmede frisure, lidt påtaget høje energi-niveau og “humor”, mindede han mig lidt om sådan nogle telefonsælger-kurser og han beskrev da også hans egen udvikling i den stil. Det var noget med at læse 3 bøger om dagen og skabe sin egen T-shape personlighed. Hvis man bliver ved med at fortælle andre at man er en succes, så bliver man det sikkert også. Ja selv hans navn vil jeg gætte på er en markedsegnet konstruktion. Det blev lidt skingert og overivrigt for mig. Men jeg er jo også bare en gammel prut her…

Men et slide fik alligevel min opmærksomhed, når jeg som altid godt kan lide proces, modeller og metodik:

cs_chris_out

Efterfølgende (over cocktails) fik han fortalt at hans erklærede mål er 50 oplæg om året og at han var oppe på 28. Han havde også taget personlig undervisning i impro-stand-up, så han kan være sjov på en scene (seriously?).

Det er nok kun et spørgsmål om tid før vi ser han til alverdens optimerings-events. Hvem ved, måske skal han en tur til ConversionBoost? (vi kan lige give ham et par år til at blive rigtig god og komme lidt ned på jorden).

Tag ikke mit ord for det, der er masser af “growth” i hans tweets.

En overgang til næste taler her, er oplevelsen af hvor mange i vores konverteringsbranche der primært fortæller ting som andre mennesker har beskrevet tidligere. Altså som når vi hører om fx Kahnemans system 1 og system 2. Den næste taler bevæger sig rigtigt meget i det univers. Hun hedder Nathalie Nahai.

cs_nahai

Nathalie har været på ConversionSummit tidligere. Dengang synes jeg heller ikke helt at hendes oplæg kunne bidrage med det store – særligt ikke hvis man allerede selv har læst Cialdini, Ariely, Kahneman og alle de andre koryfæer indenfor adfærdsdesign, nudging og behavioral Economics. Så er det primært gentagelser. Kunsten i mine øjne er at forstå disse psykologiske principper og udnytte dem til enten at kunne identificere problemer eller til at foreslå løsninger. Det gør Nathalie kun meget lidt og oftest med andres eksempler. Så det bliver lidt hult.

Samtidigt har hun holdt denne type oplæg i nu 3-4 år og faktisk oplevede jeg oplægget her i Frankfurt som uengageret. Det ligesom bare liret af uden den store passion. Og her taler vi altså en dame der tager 25k for at optræde.

Nej, så skal man hellere bruge sin energi på at lytte til nogle af hendes podcasts. Der får man mere af hendes energi og dejlige engelske charme.

Vi tager en kvinde mere: Joahnna Lord. Hende kendte jeg ikke i forvejen. Hun talte om at vækste virksomheder. Noget hun gjorde i et ret højt tempo – altså både vækst og tale. Det havde været en hjælp at kende hendes track-record i forvejen, der der var en del henvisninger til succes hun har haft i tidligere tech-startups.

Jeg nævner hende her, fordi hun måske kan være interessant for de der er meget fokuseret på vækst, på at være bedst og på skabe et team og en organisation der er 100% fokuseret på vækst.

cs_joanna

Personligt løb det mig koldt ned af ryggen. Der var totalt fokus på at være den bedste, på kun at arbejde med de bedste, på ikke at spilde sit liv på andet en vækst, på at hvad folk skal kunne før de er gode nok til hendes (virksomhedens) ambitioner. Det var virksomhed over mennesket. Så derfor kom oplægget heller ikke til at betyde noget for mig, andet end nogle helt andre tanker om livskvalitet, work/life balance og ting i den stil.

Jeg sludrede lidt med Karl Gilis om det efterfølgende, han mente at det var noget meget amerikansk, hvor man er lidt mindre interesseret i alle de andre ting arbejde handler om og hvor arbejdskraft mere er en vare. Jeg tænkte bare: Godt jeg ikke arbejder for hende. Men jeg var nok også blevet fyret for at være musikalsk eller noget i den retning.

Så var det Brian Massey’s tur på scenen. Og her kom vi helt tilbage til det praktiske design og testarbejde. Dejlig konkret for mig.

Jeg har oplevet ham på Conversionsummit før. Han har en stil med altid at bære en laboratoriekittel, fordi han er “the conversion scientist”. Jeg kan for øvrigt anbefale hans lille bog. En ægte konverteringsbog med masser af how-to metode.

Her har vi en ægte “southener” fra Texas. Han taler og ligner næsten Jeff Brigdes i The Big Lebowski. Især nu hvor der kommet mere skæg og mere stor mave på Mr. Massey.

Godt solidt oplæg om mobil optimering. Hans primære pointe er, at vi slet ikke er klar til den mobile revolution der venter lige om hjørnet. Nej, ikke bare den der med at 1/3 af din trafik er på mobilen, men den med at der ligesom i en ketchup-flaske er et stort SPLAT på vej, hvor det er mobil der overgår desktop, hvort næste generation er til mobil og andre platforme end dem vi kender – ja og så naturligvis hvor uforberedt langt de fleste virksomheder er på det.

Det er jo nemt at finde masser af eksempler på dårligt mobildesign (det ved jeg selv fra mine egne mange test af mobile webshops), men Brian kan lidt mere med at vise fede eksempler på spændende løsninger. Løsninger de også har testet og fået gode resultater med. Det vil jeg blogge om senere, for det er virkeligt guf synes jeg.

cs_Massey

Herover bare hans gennemgang af mobil-egnede elementer man kan arbejde med i header og footer. Han havde også en række gode ideer til hvordan man kan udnytte “stickyness” bedre end i dag – men igen, hold øje med bloggen, så dukker det op der.

Ja eller find Brian Massey og hans blog.

Så er der to talere tilbage. Begge nogle jeg havde forventet mig meget af, nemlig Simo Ahava og (drumroll please) Avinash Kaushik. Lad mig bare snuppe Simo først.

Det hører med, at jeg i flere år har tænkt på om Simo skulle med på ConversionBoost. Hans blogindlæg er af virkelig høj kvalitet og absolut værd at læse og følge. En del af hans materiale om Google Tag Manager, findes stort set ikke bedre andre steder, så vidt jeg forstår det.

cs_simo

Som det første vil jeg sige, at Simo dog ikke fremstod som en specialt god taler. Hverken hans indhold eller hans fremtoning var særligt interessant. Jeg tog ikke en eneste note. Så her har vi efter min mening en person der er klart bedst i skrift (der er han til gengæld også virkelig god).

Helt naturligt taler Simo for at vækst i en organisation  – og her taler vi om denne selvforståede konverterings-optimerings-vækst – skal skabes på baggrund af – du gætter det aldrig…  korrekt tracking af analytics data. Jep, den er god nok. Vi konsulenter foreslår pudsigt nok altid vores egen medicin. (Speaking of which, så har Paul Rouke, som også var taler, lavet en hel bog med CRO-konsulenter der meler deres egen kage – mere om den en anden gang også).

Men da jeg har hørt den analytics-sang 100 gange og selv synger den overfor kunder i tide og utide, så fulgte jeg ikke rigtigt med. Faktum er det, at mange organisationer stadig ikke har ordentligt styr på deres analytics-data og hvis man vil skabe en data-drevet optimerings-strategi, så er det nok et godt sted at starte.

Så lad mig i stedet komme til dagens højdepunkt: Avinash Kaushik. Her har vi jo at gøre med en regulær kendis. Avinash’ blog er kendt af alle der bare har det mindste ønske om at forstå web analytics, ligesom han har skrevet et par tykke lærebøger om Google Analytics. Han er “Google Evangelist” og det ikke uden grund. Han er simpelthen en man lytter til og en som hele tiden er med til at tegne trends og udfordringer.

Nå ja, bare for ligesom at slå tonen an. Den slags forventninger sætter sit præg. Den gode Avi havde fået en hel time sidst på dagen, lige før solskin og cocktail udenfor. Det er da også en slags udfordring.

Han er den type taler, der indtager scenen. Han står helt ude på kanten, bruger hele scenens bredde og han er ikke bange for at råbe og på andre måder arbejde med dynamikken undervejs.

cs_avi1

Kort fortalt præsenterede Avinash en model. Et slags rammeværk vil jeg kalde det. Omdrejningpunkt for ham er begrebet “intent”. Hvad er brugerens hensigt, spørger han. Det er de data han er interesseret i. Han deler hensigten op i See, Think, Do og Care. Ja, det svært ikke at lave en kobling til fx AIDA modellen, men Avinash fastholder, at det ikke er det samme, primært fordi han argumenter for, at der ikke er tale om et forløb. Faktisk gør han kraftigt op med tankegangen om en tragt, hvor det ene trin følger efter det andet. Han mener den tænkning er forældet.
En af pointerne er, at brugeren kan træde ind på et af disse 4 niveauer fuldstændig uafhængigt.  Alt efter hvad man tilbyder, hvor man tilbyder og til hvem, så er de forskellige hensigter interessante. Jeg skal ikke påstå at jeg på den time forstod det i detaljer, men som han blev ved med at udbygge den idé, synes jeg den gav rigtigt god mening.

Han gav eksempler på hvordan forskellige medier er gode til at håndtere de forskellige begreber, sådan at Facebook fx er godt til See, mens Youtube er god til See og Think. På samme måde mener han at PPC er godt til Think og DO, til dels Care.

Med den model gav han en række eksempler på mismatch i forholdet mellem brugen af marketing-kampagner på forskellige sociale platforme og disse begreber. Det sjoveste eksempel var youtube kampagner for store banker med millioner af likes, men med 30-40 views på hver video – eller facebook grupper med ligeså mange likes og ugentlige historier med kun 12 likes. Om han har ret kan vi jo ikke sådan lige vide, men pointen om at, noget var helt galt med udnyttelsen af de medier, var tydelig. Særligt da han viste eksempler fra websites som har forstået det. Jeg mener det var Nissan’s website, der ifølge ham, ramte den lige på sømmet.

Det er klart en model og en tænkemåde der bliver værd at følge fremover.

For mig blev den store åbenbaring måden han koblede brugerens hensigt på marketing og konvertering. For det bekræfter jo mig i, at vi ikke kan blive kloge nok på at forstå hvad det er vores brugere går rundt og ønsker sig. At Avinash så mest er interesseret i den kvantitative del af den opgave, det er så forståeligt nok (man er vel ikke Google evangelist for ingenting). Han argumenterer dermed også for, at vi skal se på hvordan vi måler den “intent”, i stedet for at være så fokuseret på hvorvidt disse aktiviteter leder til et salg i første omgang.

cs_avihug

(Et ømt øjeblik under spørgsmål. André Morys og Avinash Kaushik)

I den efterfølgende cocktail-inducerede snak, jeg havde med kollegaer i branchen, var der lidt blandede meninger. Craig Sullivan mente, at vi nu ikke helt endnu skal smide tragt-metaforen ud med badevandet. At der stadig er masser af problem-identifikation i at opstille tragter for forskellige flows og se på hvor der er problemer. Og på det operationelle niveau er jeg helt enig.

Der var også en der mente, at det var samme gamle vin på nye flasker. Og uden at jeg helt kunne argumentere for det modsatte, så vil jeg alligevel fastholde, at hans samlede model er et interessant værktøj til at stille spørgsmål med, til at udfordre det eksisterende.

Avinash reddede i hvertfald min dag. Jeg synes han var milevidt bedre end nogle af de andre talere. Hans indhold er originalt og lugter ikke af at være baseret på andre arbejde. Hans niveau er højt og hans pointer tydelige og åbenlyse. Materialet sætter nye tanker i gang og udfordrer måden jeg allerede arbejder, samtidigt med at det giver mig gode argumenter for de ting, jeg også selv vil med mine egne kunder.

Tak Avi, du er en stjerne. Og så var jeg heldig at falde i snak med ham efterfølgende – måske genkendte han mig fra speakers dinner i 2012 – så der fik jeg og John Ekman lejlighed til at høre lidt flere af hans tanker, inden han blev kapret til selfies og andre fan-aktiviteter.

Så var der ellers de der omtalte cocktails under den var sol, med DJ Craig Sullivan ved roret.

cs_djcraig

Tak til Web-Arts for en interessant og underholdende Conversionsummit. Vi ses til næste år.

/Ole

Kan det betale sig at lave sine egne brugertest?

Topgrafik, pynt

Hvad koster det at brugerteste en webshop? Kan det betale sig at lave arbejdet selv og hvad er der af fordele og ulemper ved det? Det er nogle af de spørgsmål dette indlæg søger at besvare.

Lad mig bare være ærlig. Jeg sælger et billigt brugertest-produkt. Og lige nu kører jeg kampagne, hvor man får endnu mere for pengene. Så er det ude af posen.

Som sælger af noget, der reelt set er Danmarks billigste brugertest og samtidigt er et fuldt professionelt produkt, har jeg overvejet hvilke argumenter der kunne være for ikke at købe produktet (trods alt). Og for at komme argumenterne i møde når jeg canvas-sælger produktet, så har især et argument interesseret mig: “Jeg kan lave det billigere selv”.

Men kan du lave det billigere selv?
Og hvis du kan: Hvorfor så betale for det?

Det kan man naturligvis. Hvis man arbejder gratis, kan ingen konkurrere med prisen. Hvis ens arbejdstid ikke er bedre brugt, så kan alt lade sig gøre. Men lad os nu alligevel afprøve argumentet lidt mere seriøst.

For overhovedet at udfordre “gør-det-selv”, så taler vi her om den billigste type af brugertest. Dem kalder vi typisk for de umodererede, for fjerntest eller for asynkrone test. Det er brugertest, hvor brugeren indgår i testen, sidder for sig selv og løser testopgaver, uden at nogen ser med over skulderen eller blander sig. Det er den billigeste form for test, netop fordi, at det der koster, er den person der ellers skulle betales for at sidde der: Testlederen eller konsulenten eller hvem det nu kunne være.

I Danmark er der to virksomheder (så vidt jeg ved) der udbyder umodererede brugertest. Usertribe og så min egen virksomhed Optuner. Usertribe er holdt op (!) med at skrive prisen på umodererede test på deres hjemmeside, mens Optuners faste pris på 5 umodererede brugertest og en rapport er 9.750 plus moms lige nu. Produkterne er relativt ens, i hvert fald hvis du spørger mig.

Divider

Så kan du lave en brugertest-rapport som disse, billigere end 9.750? Det er spørgsmålet – jo, fordi det må antages, at hvis ikke, så ville du naturligvis blot købe den hos de professionelle!?

Ok, så hvad er din timepris? Lad os bare lege at den er 275,- i timen. Det synes du ikke lyder af meget, men det giver en månedsløn på ca 45.000 inkl. ferie og pension (Bruttotimetallet er 1.926 på et år). Det er nok fint til de fleste.

Lad os se hvad det kræver af timer at lave en brugertest (jeg indrømmer, at jeg ikke kender resultatet af denne beregning, her mens jeg skriver dette):

Først skal der skrives testopgaver. Forudsat, at du ikke skal læse op på hvordan man laver gode, relevante testopgaver, så tager det typisk et par timer, inkl. at kigge lidt på websitet, skrive og rette nogle gange. 2*275,- er 550.

Så skal der rekrutteres testdeltagere. Vi antager, at du ikke skal rekruttere meget specifikke typer. Normalt vil et bureau tage mellem 1.000 og 1.500 pr. person for at rekruttere specifikke brugere. Brugere der så også er screenet, så man er sikker på at de passer i målgruppen. Umodererede test bruger oftest personer der kan segmenteres på alder, region, køn og til dels uddannelse/job. Usertribe og Optuner har deres egne “paneler” af brugere de trækker på. Mange af dem er for øvrigt de samme mennesker.

De personer kan du også selv finde, på facebook eller i din omgangskreds. Men det tager nogle timer at kontakte dem, skrive til dem og et par mails frem og tilbage. Lad os være konservative og sige, at det tager dig 3 timer at indfange 5 testdeltagere. 3*275 er 825.

Så er der nogle praktiske ting. Du skal sende testopgaverne og testdeltagerne skal optage det de siger og det der sker på skærmen. En brugertest er som oftest minimum 30 minutter lang og det kan være svært at finde gratis software der tillader at optage så længe. Men vi kan sige at du er flink og låner dine venner en licens på et tool. Skal vi sige at inkl. at finde det tool, købe det, installere det og afprøve det – samt at sende det til testerne og forklare dem hvordan de skal bruge det osv. At det tager 3 timer? 825 igen.

Nu modtager du så de 5 brugertest-videoer fra dine 5 venner. Hos Optuner og Usertribe er der nu en konsulent (eller hvad vi nu kalder det) der ser testen igennem, skriver udsagn fra brugerne ned, klipper skærmbilleder ud til rapporten og noterer hvor og hvad problemerne er. Du kan jo vælge at være ligeglad med en professionel rapport. Og denne del af opgaven er også klart den mest tidskrævende. Hvis vi antager at du så kun skal se hver optagelse igennem 1 gang, så tager det dig sikkert omkring 3 timer. Altså 825 igen. Men skal du fx dele resultaterne med andre eller på anden måde lave en tilsvarende rapport, så skal du forvente at bruge omkring 14 timer på videoer og rapporter – og det er endda den mere øvede tid. Første gang tager det længere. Så hvis “gøre det billigere selv” samtidigt er “gøre det ligeså godt”, så koster det dig minimum 14*275 = 3.850.

Måske skal dine venner også have et honorar? Usertribe giver et gavekort på 100,- og hos Optuner flotter vi os med et på 200,-
Så vi siger, at du giver dine venner 5*150 = 750.

Nu er din egen “optimeringsrapport” klar. Hvad har den kostet dig?

Ifølge ovenstående har det kostet: 550 + 825 + 825 + 3.850 + 750.

Det giver = 6.800,-
Altså næsten 3.000 billigere end Optuners den billigste.

Så ja, du kan gøre det billigere selv.

Har jeg lige hevet tæppet væk under min egen forretning?

Nej. Trods alt ikke. Her er hvorfor:

  1. Du kan gøre det billigere, jeg tror ikke du kan gøre det bedre (no offence).
    Med det forbehold at du er ikke usability-ekspert, men så skal er det en anden snak…
  2. De tider jeg har skrevet ovenfor er de “øvede tider”, så du kommer til at bruge langt flere timer. Sorry.
  3. Vi forudsætter, at du og dine venner har styr på det tekniske, men faktisk er det en relativt stor opgave at sikre både optagelse og kvalitet af brugertest-videoer. For ikke at tale om videoer der indeholder fejl og skal laves om osv.
  4. Vi forudsætter igen, at du ved hvad du gør, men at lave brugertest er en kompetence som så meget andet. Fra at skrive gode testopgaver til at foretage analysen og at udvælge problemstillinger. Det er et specialiseret og kreativt arbejde, der let sluger meget tid.
  5. Og endeligt. Hvad koster din tid egentligt. Hvis du bruger den på noget du er god til, hvad er det så værd at få andre til at løse opgaven?
  6. Hvis du skulle have en freelancer til det, ville vedkommende bede om 500,- eller mere pr time for at lave arbejdet (må vi håbe). Ifølge regnestykket ovenfor ville projektet så koste 11.750,-

Du kan gøre det billigere selv. Som at reparere din bil eller lægge nyt tag på dit hus…

Så hvorfor vælger nogle at købe en færdig rapport, fremfor at gøre det selv. Fordi det handler om hvad din tid er værd, hvad du vil bruge den på – og så handler det om al den ekstra værdi det giver at få erfarne og professionelle personer på opgaven. Personer du efterfølgende kan diskutere problemer på websitet med, som kan hjælpe dig med at prioritere problemerne korrekt og guide dig mod en god løsning.

Og det mener mange er mere værd, end de par tusinde du potentielt kan spare. Det mener jeg også, men jeg er jo også totalt inhabil og forudindtaget.

Bog omslag grafikSå hvis du alligevel laver dine brugertest selv – hvilket jeg faktisk synes du skal gøre, for alle skal da lære at lave brugertest mindst en gang i livet – så vil jeg anbefale, at du læser Steve Krugs “Rocket Surgery Made Easy“, som er en super jordnær, enkel og sympatisk måde at lave brugertest. Ja du kan da også læse min usabilitybog, men Krug’s er nu engang bedre til formålet…

Men jeg håber du fandt det interessant at se lidt ned i motorrummet, på trods at min slet skjulte reklame og de vægelsindede konklusioner.
God arbejdslyst,

Ole G.