Är din data värd något? - Om vikten av metodologisk stringens i ux research

För det mesta bra - ibland uselt 

Allt eftersom UX-research seglat upp som en egen disciplin upplever jag också en ökad spridning i kvaliteten på de studier som genomförs. Många gör det väldigt bra, många gör det mycket bättre än jag. Men det händer också att jag  stöter på studier och underlag som får mig att häpna. Ibland är bortfallet  bland svarande så högt att chansen att dra en korrekt slutsats är högre om du singlar slant. Och ibland dras statistiska slutsatser om hundratusentals användare utifrån kvantitativ data baserat på ett tiotal respondenter. 

För att de kvantitativa insikter ux-research levererar ska vara tillförlitliga och värdefulla, måste arbetet förankras i vetenskapliga metoder. Det är inte bara en fråga om att undvika felaktiga slutsatser - det handlar också om att bevara trovärdigheten för yrkesområdet ux-research.

Metodiken utgör grunden för pålitliga insikter

Det är nog vanskligt att hävda att all UX-research bedrivs enligt strikt vetenskapliga metoder. Och det är lite synd. För tillämpningen av metodologiska principer är just det som ger oss möjlighet att skapa verkligt användbara och hållbara designlösningar. Olika discipliner och teoretiska ramverk skiljer sig åt gällande forskningsmetodik. Och min bild är att det sällan råder konsensus kring metoder, i alla fall inom beteende- och samhällsorienterade discipliner. Ett antal fundamentala begrepp borde ändå råda relativ samstämmighet kring. Här är några aspekter som de flesta noga anser viktiga för att säkerställa robusta resultat i de flesta typer av seriös research:

Spegla din population

Att välja rätt deltagare är avgörande för att säkerställa att resultaten är representativa för den bredare användargruppen. Ett otillräckligt eller icke-representativt urval kan leda till slutsatser som inte är tillämpbara på den tänkta målgruppen.

Undvik snedvridning

Bias kan uppstå när omedvetna fördomar eller systematiska fel påverkar resultaten av en studie. Att vara medveten om och kontrollera för bias är centralt för att säkerställa att dina resultat inte blir missvisande.

Säkerställ stabilitet

Reliabilitet innebär att en studie ger konsekventa resultat vid upprepade mätningar under samma förhållanden. Om en studie saknar reliabilitet, kan vi inte vara säkra på att resultaten är tillförlitliga. 

Mät det du avser mäta

Validitet handlar om att säkerställa att dina metoder verkligen mäter det de är avsedda att mäta. Utan validitet blir insikterna från din research tveksamma, oavsett hur noggrant arbetet är utfört i övrigt.

Sätt resultaten i rätt kontext

Ekologisk validitet är avgörande för att säkerställa att resultaten från en studie är tillämpbara i verkliga användarscenarier. Om en studie utförs i en artificiell miljö, kan resultaten visa sig vara irrelevanta när de appliceras i en användares vardag.

Tänk stort

Generaliserbarhet avser hur väl resultaten från en studie kan överföras till en bredare användargrupp eller andra situationer. Det är en viktig faktor att beakta om resultaten ska vara användbara utanför den specifika kontext där studien genomfördes.

Bygg trovärdighet

Reproducerbarhet innebär att andra ska kunna upprepa din studie och få samma resultat. Detta är en hörnsten för att bygga trovärdighet och säkerställa att dina insikter står på stadig grund.

Testa antaganden

En hypotes är en förutsägelse som kan testas empiriskt. Hypotesprövning är processen att systematiskt testar om hypotesen håller, vilket är grundläggande för att förstå om antaganden är korrekta.

Gör det abstrakta konkret

Operationalisering handlar om att omvandla abstrakta begrepp till mätbara variabler. Det är nödvändigt för att kunna undersöka komplexa fenomen på ett empiriskt sätt.

Jämför på rätt sätt

En kontrollgrupp används för att jämföra effekten av en viss manipulation mot en grupp som inte har exponerats för denna. Detta är viktigt för att kunna avgöra om förändringar i den experimentella gruppen verkligen beror på den undersökta faktorn.

Håll koll på annat som påverkar 

Störande variabler kan snedvrida resultaten av en studie om de inte kontrolleras. Genom att identifiera och hantera dessa faktorer säkerställs att slutsatserna är korrekta.

Förstå resultatens statistik

Statistisk signifikans är ett sätt att avgöra om resultaten i en studie sannolikt beror på en verklig effekt snarare än på slumpen. Detta är centralt för att veta om en hypotes kan accepteras eller bör förkastas. 

Mät resultatens vikt

Effektstorlek mäter styrkan i sambandet mellan två variabler och kompletterar den statistiska signifikansen genom att visa hur betydelsefullt ett resultat är.

Vilka konsekvenser har slarvig metodik? 

Att ignorera eller kompromissa med metodik i kvantitativ UX-research kan få allvarliga konsekvenser. När vi inte tar dessa principer på allvar riskerar vi att våra slutsatser inte speglar verkligheten, vilket kan leda till designbeslut som är ineffektiva eller till och med skadliga för användarupplevelsen. Detta kan i sin tur leda till att förtroendet för UX-research och UX-design minskar, både inom organisationer och bland användare. 

Hur undviker vi slarvig ux-research?

Många ux-researchers gör det rätt, och gör det bra. Genom att inspireras och lära oss av de som redan gör sin research utifrån välgrundade metodologiska principer kan vi säkerställa att våra insikter är både pålitliga och användbara. Några viktiga steg i det arbetet:

Investera i förberedelser - planera noggrant

En välplanerad studie kräver tid. Vilka frågor ska studien besvara? Hur ska studien designas för att undvika bias?  Jja, även det är design.) Hur kan ett representativt urval säkerställas? Och mycket mer. Här är det nog läge att plocka fram en whiteboard och tänka tillsammans med andra i teamet.

Var systematisk och transparent - analysera med noggrannhet

Även analys av data kräver tid. Det behöver ske med noggrannhet för att se till att alla antaganden, val och beslut är väl underbyggda. Här är det viktigt att dokumentera analysprocessen och förmedla det på ett sätt att andra kan förstå grunderna för de slutsatser som studien ger, och eventuellt ifrågasätta dem.. En väldokumenterad process gör det också möjligt att upprepa studien.

Och kanske viktigast av allt, alla studier blir inte lyckade. Ibland skiter det sig helt enkelt. Här är det viktig att vara ärlig och transparent. Går det inte att dra slutsatser eller dra underbyggda slutsatser från den där studien - gör det inte. Gör hellre om studien, än att förmedla  tveksamma eller felaktiga resultat.

Dra nytta av tvärvetenskap - lär av andra

Det finns många metoder inom discipliner som till exempel psykologi, sociologi och antropologi att inspireras av. Genom att applicera etablerade vetenskapliga principer på UX-research kan vi höja kvaliteten på våra resultat och säkerställa att de står sig över tid.

Data är på allvar

Vetenskaplig metodik är inte en börda, utan en tillgång som ger oss verktyg att skapa bättre och mer tillförlitliga insikter. Genom att investera tid och omsorg i våra metoder kan vi säkerställa att vårt arbete inte bara är användarcentrerat, utan också vilar på solid vetenskaplig grund.  Detta är sannolikt nödvändigt för att upprätthålla förtroendet för UX-research och för att fortsätta utveckla vårt yrkesområde.

Genom att höja standarden för vår metodik skapar vi inte bara bättre användarupplevelser – vi bygger också en starkare framtid för UX-research som en trovärdig och värdefull disciplin.

Och alla som tar del av insamlad data har inte alltid tid eller förmåga att förhålla sig kritiskt till de resultat som presenteras. Så snart ett resultat eller en slutsats  blir en graf eller ett diagram i en presentation blir det en sanning hos många, alldeles oavsett kvaliteten på den bakomliggande studien. Därför är det så viktigt att ux-research sker enligt etablerad metodik och ger pålitliga insikter. Hellre ingen ux-research än slarvig ux-research skulle jag våga påstå. jag gissar hellre och går på magkänsla, än agerar på antaganden som saknar grund.

Men kvalitativ research då?

Ja, det är en skillnad i tillvägagångssätt och typer av insikter som samlas in med kvalitativ research. Men även kvalitativ research måste baseras på trovärdiga metoder. Den här texten fokuserar dock på de kvantitativa aspekterna av ux-research.