Forskningsmetodik: Infobrev

Utges av avdelningen för allmänmedicin vid Samhällsmedicinska institutionen Sahlgrenska akademien, Göteborgs Universitet.

Tanken är att detta infobrev skall komma ut ungefär en gång i kvartalet. Föregående infobrev skickades ut 2002-03-03.

Innehåll i detta brev:
1) SIGNIFIKANSANSANALYS / HYPOTESPRÖVNING
3) KURSER I REFERENSHANTERING
4) KURSER I FORSKNINGSMETODIK
5) OM WEBBPLATSEN
6) OM INFOBREVET

Forskning med kvantitativ ansats bygger ofta på ett antagande. En sorts antaganden handlar om effekt av en behandling, exempelvis att C-vitamin har en blodtryckssänkande effekt. C-vitamin antas då sänka blodtrycket mer i en patientgrupp än vad placebo skulle göra i en annan patientgrupp. Låt oss anta att vi har gett C-vitamin till en grupp patienter och placebo (sockerpiller) till en annan grupp. Förändringen i blodtryck under 6 månader skiljer sig åt mellan grupperna. Vad kan denna skillnad i ändrad blodtrycksnivå bero på?

Skillnader mellan grupper beror på:
Verklig skillnad	Systematiskt fel	Tillfälliga (slumpmässiga) variationer
*Det är detta som är intressant.*	*Det som lurar oss att hitta sanningar som inte finns. Måste minimeras så gott det går.*	*Kan uppskattas med exempelvis konfidensintervall och prövas med signifikansanalys.*
Exempel: Medicin A är faktiskt bättre än medicin B	Exempel: Den ena gruppen har mätts på en annan vårdcentral där blodtrycksmanschetten gick sönder under försöksperioden. Efteråt konstaterades att den trasiga manschetten sannolikt visat konstant för låga värden under en längre tid. Detta kallas systematiskt mätfel.	Exempel: Människor varierar normalt i blodtryck. Dels så att varje människas blodtryck varierar och dels har olika människor olika blodtryck. Oftast är skillnaden mellan människor (mellanindividuell variation) större än variationen hos en och samma människa (inomindividuell variation). Dessutom kan en och samma blodtrycksmanschett ge lite varierande resultat (slumpmässigt mätfel).

(På en annan sida om felkällor finns mer information om systematiska och slumpmässiga fel).

Det vi vill veta är om skillnaden mellan gruppernas medelvärden beror på att det finns en verklig skillnad eller om det enbart kan förklaras med slumpen. Metodiken som räknar fram detta har olika namn:

Signifikansanalys är en matematisk metod för att se om enbart slumpen kan förklara skillnaden mellan grupperna. Huvudtanken när man gör detta är:

I signifikansanalysen jämför vi den tillfälliga variationen inom grupperna i vårt stickprov med skillnaden mellan gruppernas medelvärden och på så sätt drar vi slutsatser om huruvida det finns en verklig skillnad eller ej.

Nollhypotes och alternativ hypotes
I signifikansanalys formulerar man en nollhypotes (kallas H₀) som säger att den effekt vi letar efter är noll. Man ställer nollhypotesen mot en alternativ hypotes (kallas H₁) som innebär att den effekt vi letar efter inte är noll. Denna alternativa hypotes kan vara (men behöver inte vara) samma som vårt antagande som var orsaken till att man startade forskningsprojektet. Vi räknar sedan ut sannolikheten för att få de observerade mätvärdena om nollhypotesen vore sann. Denna sannolikhet kallas p-värde (sannolikhet heter på engelska probability). Med p-värdet som grund bestämmer vi sedan om vi skall förkasta nollhypotesen eller behålla den. Att förkasta nollhypotesen innebär att anse att en alternativ hypotes är mest trolig. Nästan undantagslöst är den alternativa hypotesen den som var vårt utgångsantagande, exempelvis att C-vitamin sänker blodtrycket. (Rent teoretiskt skulle det kunna vara en annan okänd hypotes men det behöver vi inte diskutera mer här)

Signifikansnivå och signifikansanalys
Ett lågt p-värde säger att det är osannolikt att vi skulle få de observerade mätvärdena om den effekt vi letar efter vore noll. Ett lågt p-värde talar för att nollhypotesen kan förkastas och den alternativa hypotesen kan då anses vara mest trolig. Hur lågt måste p-värdet vara för att vi skall anse att vår alternativa hypotes är mest trolig? Det finns ingen given gräns utan detta får bestämmas från fall till fall och kallas för signifikansnivå. Signifikansnivån kallas även för alfa (a). Att testa om sannolikheten för att få de observerade värdena (vårt p-värde) ligger över eller under den bestämda signifikansnivån kallas för signifikansanalys. Om vårt p-värde ligger under signifikansnivån kan vi förkasta nollhypotesen och anse den alternativa hypotesen vara mest trolig. Om vårt framräknade p-värde ligger över signifikansnivån kan nollhypotesen inte förkastas och resultatet motsäger då inte nollhypotesen. Vi kan då inte uttala oss om hur trolig den alternativa hypotesen är som förklaring.
Genom tradition har signifikansnivån 0,05 blivit vanligast. När p<0,05 innebär det att risken för att man gör fel när man påstår att C-vitamin har en blodtryckssänkande effekt är <5%. Om p<0,05 anses det då att det föreligger en statistiskt signifikant effekt. Det är viktigt att hålla i minnet att gränsen 0,05 är inte svartvit. Skillnaden mellan p=0,06 eller p=0,04 är inte stor.
Sammanfattningsvis kan sägas att signifikansnivån är en fast gräns som bestäms i förväg innan signifikansanalysen görs. Signifikansnivån räknas inte fram utan bestäms på grundval av vilken säkerhetsmarginal man vill ha mot att göra ett typ I-fel (se nedan). P-värdet däremot är ett framräknat värde som beror på våra data.

Typ I och typ II fel
Vid signifikansanalysen finns det två typer av misstag som kan begås. Antag att vi genomför en studie där vi mäter blodtryckssänkande effekt med två behandlingsgrupper där den ena gruppen fick C-vitamin och den andra gruppen fick sockerpiller. Signifikansanalysen skulle kunna visa att C-vitamin sänker blodtrycket mer än sockerpiller (p<0,05) trots att det inte är så i verkligheten. Att signifikansanalysen ger ett falskt positivt resultat trots att nollhypotesen egentligen är sann kallas för typ I-fel. Sannolikheten för att göra ett typ I-fel kallas alfa (a). Man bestämmer alltid i förväg hur stor risk för typ I-fel man är beredd att ta, detta kallas signifikansnivå (se stycket ovan). Av tradition brukar man sätta signifikansnivån till 0,05 (=5%).
Alternativt kan man tänka sig att C-vitamin faktiskt sänker blodtrycket mer än sockerpiller men i vår studie blir p>0,05. Vi kan alltså inte förkasta nollhypotesen trots att den i verkligheten är falsk, vår studie ger ett falskt negativt resultat. Detta kallas typ II-fel. Sannolikheten för att göra ett typ II-fel kallas beta (b). Storleken på beta bestäms dels av storleken på den effekt vi undersöker och dels av stickprovets storlek. Storleken på beta kan beräknas för olika värden på den alternativa hypotesen.

Vilka slutsatser kan dras?
Om p>0,05 föreligger inte tillräckligt med bevis för att förkasta nollhypotesen. Det låter då som att vi kan anta att nollhypotesen är den riktiga. Detta är fel! Principen i signifikansanalysen är att vi kan förkasta nollhypotesen (om p-värdet är lågt) men vi kan aldrig säga att nollhypotesen är sann. Signifikansanalysen kan aldrig konstatera att en viss behandling saknar effekt. Den kan bara konstatera att vi inte har lyckats visa att behandlingen har effekt.

Den korrekta definitionen är att P-värdet är sannolikheten för att få det observerade utfallet givet att nollhypotesen är riktig.

Förenklat kan man säga att p-värdet är ett mått på graden av osäkerhet i vår alternativa hypotes. Om p=0,02 är det 2% chans att vår alternativa hypotes är felaktig (utifrån de data vi har observerat).

Exempelvis innebär p=0,02 i en jämförande studie mellan två behandlingar mot högt blodtryck att det är 2% chans att vi har fel när vi påstår att behandling A är bättre än behandling B.

Signifikansanalysen kan inte direkt säga att effekt/skillnad inte föreligger. Däremot kan man säga att om signifikansanalysen inte visar effekt / skillnad och styrkan i undersökningen samtidigt är hög så talar detta för att det verkligen inte finns någon effekt / skillnad.

Styrka - power
Ibland talar man om den statistiska styrkan av en analys i en studie, d.v.s. dess förmåga att upptäcka en effekt av specificerad storlek. Styrkan av en studie är ett mått på sannolikheten att vår studie skall påvisa en effekt (få p<0,05) när en effekt verkligen föreligger. Det är önskvärt att i förväg bestämma eller skatta styrkan av analysen innan man genomför den. Om styrkan antas understiga 80% (helst skall den vara >95%) bör man byta projektdesign eller öka det planerade stickprovets storlek. Styrkan av en studie är relaterat till risken att göra ett typ II-fel och definieras som 1-b , eller 100´ (1-b )%.

Olika sätt att redovisa resultatet av en signifikansanalys
Det traditionella sättet att göra en signifikansanalys är att konstatera att den alternativa hypotesen är trolig om p-värdet understiger vår i förväg bestämda signifikansnivå (som oftast är 0,05). Som nämndes ovan är ju skillnaden mellan p=0,06 eller p=0,04 inte stor och av detta skäl har man börjat att redovisa de exakta p-värdena istället för att bara säga om skillnaden är statistiskt signifikant eller ej. Man får då en uppfattning inte bara om effekten / skillnaden anses signifikant utan också storleken / tyngden av effekten / skillnaden. En vidareutveckling av detta resonemang har lett till att man ibland kompletterar signifikansanalysen med att redovisa konfidensintervall för de viktigaste variablerna.

Multipla jämförelser
Om vi gör en enstaka signifikansanalys är risken att göra ett typ I-fel upp till 5%. Om vi gör 10 analyser är risken att vi gör ett typ I-fel i någon av analyserna betydligt högre. Denna riskökning måste man ta hänsyn till då man gör multipla jämförelser. Det vanligaste sättet att korrigera för multipla jämförelser är med Bonferroni´s metod (Formel 1).

Bonferroni´s metod är enkel och användbar vid ett fåtal jämförelser, högst fem. Den innebär att man multiplicerar p-värdet från varje jämförelse (P) med antalet jämförelser (k). Man får då nya högre p-värden (P') som är de man redovisar. Det är uppenbart att om man gör flera tiotal analyser blir korrigeringarna så kraftiga att det blir nästan omöjligt att påvisa en verklig effekt som finns. Styrkan i studien blir så låg att det blir meningslöst att genomföra studien. Vid fler än fem samtidiga jämförelser bör man korrigera med en annan metod än Bonferroni, eller allra helst undvika att i en och samma tabell göra mer än fem jämförelser. Man har diskuterat när det är lämpligt att ta hänsyn till multipla jämförelser. Gäller det alla jämförelser som görs i en tabell? ...i en artikel? ...i en tidskrift? ...i en avhandling? ...alla jämförelser en individ har gjort i sitt liv? Om det sistnämnda vore rätt är det farligt att konsultera en äldre erfaren statistiker som skulle behöva göra kraftiga korrigeringar för alla analyser han gjort i sitt liv. Då skulle det vara bäst att leta efter unga oerfarna statistiker som inte behöver göra lika kraftiga korrigeringar. Detta är ju uppenbart orimligt! Det anses rimligt att ta hänsyn till den ökade risken för ett typ I-fel när analyser diskuteras i ett sammanhang. Med det menar man oftast analyser som görs i en och samma tabell.

Mer information om signifikansanalys hittar du på vår sida om "Översikt över signifikansanalys" (Menyval: Forskningsmetodik-Kvantitativa metoder-Statistiska metoder-Analytisk statistik-Signifikansanalys-Introduktion och översikt)

Kursen i referenshantering är en endagskurs som innebär föreläsning, diskussion och att kursdeltagarna sedan får prova olika praktiska övningsuppgifter. Deltagarna hämtar referenser från internet, importerar dem i referenshanteringsprogrammet och skriver sedan en liten test-artikel med referenslista. Eftersom alla sitter vid en egen dator är antalet platser begränsat till 10. Under kursen använder vi den senaste versionen av GetARef (version 5). Avgiften för kursen i referenshantering är 1.500:-. Nästa kurstillfälle är inte bokat men gör gärna en intresseanmälan redan nu via e-post till kurser@infovoice.se.

Påbyggnadskurserna i kvantitativa respektive kvalitativa forskningsmetoder med planerad start i september ställs in p.g.a. för få anmälningar.

Kurserna i forskningsmetodik innebär 8 schemalagda träffar, oftast kl. 15.45-18.45. Resterande tid är självstudier och arbete med egen projektplan. Information om kurserna med detaljerade scheman, kursplaner, kursavgifter, anmälningsblanketter, vägbeskrivningar, kurslitteratur och annan information finns ute på vår webbplats. Låter detta intressant? Informera gärna kollegor om kurserna.

Alla sidor visas inte i menyn upptill eftersom den då skulle bli för lång. Dessa sidor når du via länkar från andra sidor. För att underlätta har vi lagt upp en kraftfull sökmotor för att söka information på webbplatsen. Sökfunktionen nås genom att i menyn klicka på "Sök". Du har väl provat den!

Besök vår webbplats! Tipsa gärna andra du känner om vår webbplats!

Denna webbsida är författad av
Doc. Ronny Gunnarsson
Distriktsläkare/Familjeläkare

Typ I- och typ II- fel
		"Facit"
		H₀ är falsk	H₀ är sann
Vårt beslut	H₀ förkastas	Rätt	Typ I-fel
	H₀ förkastas ej	Typ II-fel	Rätt