Validitet och reliabilitet

Kvantitativa och kvalitativa forskningsmetoder använder olika datainsamlingstekniker för att få fram sina resultat. För alla datainsamlingstekniker vill man försöka få en uppfattning om hur väl de mäter det man vill mäta. Man använder då begreppen validitet och reliabilitet för att beskriva hur bra vår datainsamling/test har fungerat. God validitet och reliabilitet är en förutsättning för att våra resultat skall kunna generaliseras till att gälla även andra än de som är undersökta.

Validitet och reliabilitet är begrepp som i sina ursprungliga definitioner är framtagna för studier med kvantitativ ansats men senare har börjat tillämpas även på studier med kvalitativ ansats. Den här glidningen är delvis olycklig eftersom det är bättre att använda andra begrepp inom kvalitativ forskning. Eftersom begreppen validitet och reliabilitet ändå naglat sig fast inom det vetenskapliga paradigmet används de mer eller mindre lyckat även inom forskning med kvalitativ ansats. Den här webbsidan vill beskriva alla dessa olika användningar av begreppen validitet och reliabilitet samt även beskriva alternativa, delvis synonyma, begrepp som används inom kvalitativ forskning.

Det finns vissa skillnader (men också likheter) i hur begreppen validitet och reliabilitet används inom forskning med kvantitativ respektive kvalitativ ansats. I en studie med kvantitativ ansats har man i regel före datainsamlingen påbörjas valt en datainsamlingsmetod med känd och acceptabel validiteten och reliabiliteten för det syfte man vill nå. I en studie med kvalitativ ansats arbetar man kontinuerligt med validiteten och reliabiliteten under hela projektet. I en studie med kvantitativ ansats hänför sig begreppen validitet och reliabilitet framför allt till datainsamlingen, att rätt sorts data är insamlade på ett tillförlitligt sätt. I en studie med kvalitativ ansats berör begreppen validitet och reliabilitet såväl datainsamling som den efterföljande analysen av insamlade data.

Validitet och reliabilitet

Validitet avser att jag mäter det som är relevant i sammanhanget medan reliabilitet avser att jag mäter på ett tillförlitligt sätt. Man bör alltid sträva efter hög validitet och reliabilitet.

Validitet handlar om att använda rätt sak vid rätt tillfälle. För att enkelt förstå begreppet validitet kan vi jämföra med exempelvis kreditkort eller busskort. De är giltiga i vissa situationer men inte i andra. Man kan använda busskortet på en buss men inte i en taxi. Ibland finns det t.o.m. ett datum då giltigheten upphör. Inom forskning handlar validitet om att kunna ange i vilken situation och för vilken population resultaten är giltiga.

Reliabilitet handlar om pålitlighet. Kan jag lita på en reparatör som lagar min bil? Vad kan hända om bilreparatören inte är pålitlig? Vilka beslut kan fattas om de baseras på mätningar som man inte kan lita på?

Antag att jag vill mäta graden av övervikt hos människor. Att då mäta fotstorlek hos varje individ gör mig sannolikt inte klokare. Det hjälper inte att hävda att jag gjorde mina mätningar mycket noggrant. Hög reliabilitet är alltså ingen garanti för att vi får hög validitet. Antag att vi istället hade mätt längd och vikt för att räkna ut body mass index (BMI). Då mäter vi något som är mer relevant i sammanhanget än skostorlek. Antag vidare att vi gör vår mätning genom att hastigt titta på individen och sedan skatta längd och vikt. Vår mätning görs då med låg tillförlitlighet (låg reliabilitet). Även om vi då mätte rätt sak så blev den så dåligt mätt att vi inte fick ett bra mått på övervikt. Låg reliabilitet medför alltså alltid låg validitet. Följande två regler är bra att komma ihåg:

• Hög reliabilitet garanterar inte hög validitet.
• Hög validitet förutsätter hög reliabilitet.

Kvantitativ (empirisk-atomistisk) ansats

Validitet inom forskning med kvantitativ ansats

Vill vi mäta kroppsvikt är det inte så svårt att veta när det vi mäter ger ett mått på det vi vill mäta. Om vi istället vill mäta trivsel, intelligens, kunskaper, uppfattningar eller upplevelser blir det svårare. Begreppet validitet används lite olika beroende på om studien har kvantitativ eller kvalitativ ansats. Nedan beskrivs de vanligaste begreppen för validitet som används i studier med kvantitativ inriktning (några kommentarer om kvalitativa studier finns inom parantes).

1. Först måste vi bestämma om vår datainsamlingsteknik ger oss information om det fenomen som intresserar oss. Jämför med exemplet om övervikt och fotstorlek. Enklast sker denna bedömning av “innehållsvaliditeten” (=face validity) genom att be några utomstående, väl insatta i problematiken, att uttala sig. Detta görs med fördel i kvantitativa studier (kan även göras i kvalitativa studier).
2. För det andra bör vi om möjligt säkerställa den samtidiga validiteten (=korrespondensvaliditet =kriterievaliditet =criterion validity), det vill säga att det resultat vi får fram stämmer överens med resultatet från undersökningar gjorda av andra eller samtidiga mätningar med en annan metod/teknik. I studier med kvantitativ inriktning använder man ofta mått som kappa, sensitivitet, specificitet, likelihood ratio och prediktiva värden. (Inom studier med kvalitativ inriktning är det inte möjligt att bestämma den samtidiga validiteten).
3. För det tredje vill vi se om relaterade begrepp stämmer överens med våra mätningar. Detta kallas “construct validity”. Antag att vi undersöker förekomsten av blodbrist hos kvinnor. Samtidigt som vi tar vårt blodprov får de besvara en enkät där de bland annat får ange sin upplevda grad av energi. Om vi såg att individer med lågt blodvärde angav upplevelse av hög energi och tvärtom talar det för att, antingen så fungerar inte vår apparat för att mäta blodvärde, eller, så mäter inte vår fråga upplevelsen av energi. (Construct validity är sällan tillämpbart i studier med kvalitativ inriktning).
4. För det fjärde kan vi tala om kommunikativ validitet. Forskarens förmåga att kommunicera sin vandring under forskningsprocessen påverkar kunskapens giltighet. Kommunikativ validitet innebär i en kvantitativ studie att ha en fyllig metodbeskrivning och bortfallsanalys. (Detta finns även i kvalitativa studier, se nedan).
5. För det femte kan man tala om en pragmatisk validitet. Är den kunskap man kommer fram till användbar? Utan användbarhet är kunskapen begränsad. Detta är en känslig punkt som kan misstolkas som att grundforskning är fel. Så är det inte. Även inom grundforskning är det dock angeläget att kunskapen förr eller senare på något sätt blir användbar. Det är alltså viktigt att man i redovisningen av ett projekt försöker peka på betydelsen av de resultat som har kommit fram.

Reliabilitet inom forskning med kvantitativ ansats

Med reliabilitet menar vi att den kunskap som kommer fram är framtagen på ett tillförlitligt sätt, att det inte finns okontrollerade tillfälliga fel som grumlar kunskapsutvecklingen. Inom kvantitativ forskning är reliabilitet lika med reproducerbarhet, något som ofta kan skattas och ges ett siffermått. För att utreda hur väl mätningen i en kvantitativ studie kan reproduceras kan man diskutera reliabiliteten från tre olika synvinklar:

1. Är mätningen fri från bias av personen som mäter? Detta kallas inter-rater reliability (=inter-rater agreement) och kan testas genom att låta flera personer mäta och sedan jämföra hur de olika personernas mätningar stämmer överens.
2. Påverkas mätningen av tiden. Om samma person gör flera mätningar, hur väl stämmer de överens? Detta kallas test-retest reliability.
3. Finns det en samstämmighet i utfallet mellan olika delar i en enkät som tar upp samma fenomen? Detta kallas internal consistency reliability och kan skattas med Chronbach’s alpha.

Inter-rater reliability, test-retest reliability och internal consistency reliability är begrepp som bara används i studier med kvantitativ inriktning. (Information om reliabilitet i kvalitativa studier ses nedan.)

Kvalitativ (empirisk-holistisk) ansats

Validitet och reliabilitet måste värderas på ett delvis annorlunda sätt i studier med kvalitativ inriktning jämfört med studier med kvantitativ inriktning. Inom kvalitativ forskning kan man inte skatta tillförlitligheten med siffror.

Validitet och reliabilitet i studier med kvalitativ inriktning handlar om att kunna beskriva att man har samlat in och bearbetat data på ett systematiskt och hederligt sätt. I den slutliga rapporten beskriver man även förutsättningarna inför projektet och hur resultaten under processen har vuxit fram. Man använder andra, delvis överlappande, begrepp.

Nedan följer ett försök att ge en översikt över dessa begrepp. Översikten gör inte anspråk på att vara det enda sättet att presentera hur begreppen förhåller sig till varandra. Inte heller gör översikten anspråk på att vara fullständig.

Inre (intern) validitet [=trovärdighet=credibility]

Kommunikativ validitet

Forskarens förmåga att kommunicera hur forskningsprocessen påverkar kunskapens giltighet. Den kommunikativa validiteten består av:

• Beskrivning av förförståelse: Författaren beskriver sin egen förförståelse (förförståelse=fördomar). Vilken bakgrund, utbildning och egna erfarenheter författaren har.
• Beskrivning av datainsamling: Hur datainsamlingen gjorts måste beskrivas i detalj. Om datainsamlingen har gjorts över en längre tid kan det ibland öka trovärdigheten eftersom erfarenheter från den första delen av datainsamlingen hunnit förbättra datainsamlingen mot slutet.
• Beskrivning av urval: Hur deltagarna valts ut måste beskrivas detaljerat.
• Beskrivning av analysprocessen: En detaljerad beskrivning av vad som hänt under analysprocessen. Hur gjorde man och vilka beslut togs. Vad visar sig direkt i materialet och vad är tolkningar?

Deltagarkontroll

Om informanterna (de som lämnar information, exempelvis personer som blir intervjuade) själva kan rätta felaktiga uppfattningar och missförstånd kan det ibland vara positivt. Om detta görs redan under en intervju kallas det dialogisk validering (=klarifiering =clarification). Ett annat alternativ är att den som intervjuats får läsa en utskrift av hela intervjun för att korrigera missuppfattningar och göra förtydliganden.

Triangulering

Innebär att man ser på problemet ur flera synvinklar. Exempelvis kan man intervjua personer med olika relation till problemet (källtriangulering) . Olika forskare med olika yrkesperspektiv kan delta i datainsamling (observatörstriangulering) . Under analysfasen kan man analysera materialet med olika paradigm (teoritriangulering) . Exempel på det sistnämnda kan vara att först analysera materialet utifrån ett systemteoretiskt perspektiv och sedan att analysera samma material från ett livsvärldsperspektiv .

Yttre (extern) validitet [=överförbarhet/tillämpning=transferability]

Förenklat kan man säga att i en studie med kvantitativ ansats är det forskaren/författaren som definierar generaliserbarheten. Läsaren kan sedan avgöra om de håller med författaren eller ej. I en kvalitativ studie definierar inte forskaren/författaren generaliserbarheten utan presenterar vägen och de fynd som gjordes vid slutet av vägen. Läsaren avgör sedan generaliserbarheten.

Möjligheten för tillämpning är beroende på om fynden erbjuder en innebörd som överskrider sin egen horisont . När man bedömer hur resultaten kan tillämpas frågar man sig vad av resultaten kan tillämpas? …för vem/vilka är resultaten tillämpbara? …under vilka förutsättningar går resultaten att tillämpa?

Reliabilitet [=pålitlighet/rimlighet=dependability]

Är mätinstrumenten pålitliga? I studier med kvalitativ ansats används både teknisk utrustning och människor som “instrument”. Båda måste fullgöra sin uppgift på ett pålitligt sätt. Reliabilitet består av:

Kvaliteten på teknisk utrustning

Nästan alltid används någon teknisk utrustning för att spela in ett samtal. Beroende på kvaliteten på den tekniska utrustningen och val av mikrofon får man varierande ljudkvalitet. Data blir sämre om man har svårt att höra vad som faktiskt sägs på inspelningen. Här kan det vara stor skillnad mellan mikrofon inbyggd i utrustningen eller en separat yttre mikrofon?

Kvaliteten på forskaren

• Beskrivning av förförståelse: (Se ovan).
• Forskarens förmåga att göra bra observationer/intervjuer: Detta är en viktig aspekt som är både svår att mäta och att beskriva.
• Forskarens förmåga till följsamhet mot data: Har erfarenheter från början av datainsamlingen påverkat resten av datainsamlingen på ett bra eller dåligt sätt? detta är delvis beroende av vilken kvalitativ metod forskaren använder. I en del av dem (exempelvis Grounded theory) vill man att datainsamlingen skall påverkas av data som samlas in och analyseras i början. I andra metoder vill man helst att data analyseras först efter alla data är insamlade.
• Kvaliteten på forskarens handledning: I den mån forskaren inte själv är disputerad behövs en eller flera handledare. Vem/vilka är dessa handledare och vilket renommé har de?

Objektivitet

Detta är till stor del samma som den interna validiteten beskriven ovan. Med detta menas forskarens förmåga att vara neutral och inte färga data med sin egen förförståelse. I vissa typer av projekt kan man undersöka objektiviteten genom att välja ut utskrift av några intervjuer och låta olika forskare bedöma dessa utskrifter. Man jämför sedan vad de kom fram till.

Referenser