Översikt över signifikansanalys
Denna sida är uppdaterad 2003-01-02

Förkunskaper för denna webbsida
För att förstå denna webbsida bör du ha läst sidan om variabler och sidan om att välja statistisk metod.

Principiella resonemang bakom signifikansanalys
Forskning med kvantitativ ansats bygger ofta på ett antagande. En sorts antaganden handlar om skillnad mellan grupper. Ofta handlar det om utvärdering av behandlingseffekter, exempelvis att C-vitamin har en blodtryckssänkande effekt. C-vitamin antas då sänka blodtrycket mer i en patientgrupp än vad placebo skulle göra i en annan patientgrupp. Låt oss anta att vi har gett C-vitamin till en grupp patienter och placebo (sockerpiller) till en annan grupp. Förändringen i blodtryck under 6 månader skiljer sig åt mellan grupperna. Vad kan denna skillnad i ändrad blodtrycksnivå bero på?

(På en annan sida om felkällor finns mer information om systematiska och slumpmässiga fel).

Det vi vill veta är om skillnaden mellan gruppernas medelvärden beror på att det finns en verklig skillnad eller om det enbart kan förklaras med slumpen. Metodiken som räknar fram detta har olika namn:

• Signifikansanalys
• Signifikansprövning
• Signifikanstest
• Hypotesprövning

Signifikansanalys är en matematisk metod för att se om enbart slumpen kan förklara skillnaden mellan grupperna. Huvudtanken när man gör detta är:

Testfunktion
I princip alla statistiska test för signifikansanalys använder en testfunktion som resulterar i ett tal. Talet jämförs sedan i en tabell med hur det brukar vara i en viss fördelning, och detta omvandlas till ett p-värde. De vanligaste testfunktionerna är:

Oftast ser testfunktionen ut enligt följande:

Eftersom det är vanligt att det hypotetiska värdet är noll blir testfunktionen ofta det observerade värdet dividerat med värdets medelfel. (Det finns speciella situationer när testfunktionen inte är som beskrivet ovan.)

Nollhypotes och alternativ hypotes
I signifikansanalys formulerar man en nollhypotes (kallas H₀) som säger att den effekt vi letar efter är noll. Man ställer nollhypotesen mot en alternativ hypotes (kallas H₁) som innebär att den effekt vi letar efter inte är noll. Denna alternativa hypotes kan vara (men behöver inte vara) samma som vårt antagande som var orsaken till att man startade forskningsprojektet. Vi räknar sedan ut sannolikheten för att få de observerade mätvärdena om nollhypotesen vore sann. Denna sannolikhet kallas p-värde (sannolikhet heter på engelska probability). Med p-värdet som grund bestämmer vi sedan om vi skall förkasta nollhypotesen eller behålla den. Att förkasta nollhypotesen innebär att anse att en alternativ hypotes är mest trolig. Nästan undantagslöst är den alternativa hypotesen den som var vårt utgångsantagande, exempelvis att C-vitamin sänker blodtrycket. (Rent teoretiskt skulle det kunna vara en annan okänd hypotes men det behöver vi inte diskutera mer här) 

Signifikansnivå och signifikansanalys
Ett lågt p-värde säger att det är osannolikt att vi skulle få de observerade mätvärdena om den effekt vi letar efter vore noll. Ett lågt p-värde talar för att nollhypotesen kan förkastas och den alternativa hypotesen kan då anses vara mest trolig. Hur lågt måste p-värdet vara för att vi skall anse att vår alternativa hypotes är mest trolig? Det finns ingen given gräns utan detta får bestämmas från fall till fall och kallas för signifikansnivå. Signifikansnivån kallas även för alfa (a). Att testa om sannolikheten för att få de observerade värdena (vårt p-värde) ligger över eller under den bestämda signifikansnivån kallas för signifikansanalys. Om vårt p-värde ligger under signifikansnivån kan vi förkasta nollhypotesen och anse den alternativa hypotesen vara mest trolig. Om vårt framräknade p-värde ligger över signifikansnivån kan nollhypotesen inte förkastas och resultatet motsäger då inte nollhypotesen. Vi kan då inte uttala oss om hur trolig den alternativa hypotesen är som förklaring.
    Genom tradition har signifikansnivån 0,05 blivit vanligast. När p<0,05 innebär det att risken för att man gör fel när man påstår att C-vitamin har en blodtryckssänkande effekt är <5%. Om p<0,05 anses det då att det föreligger en statistiskt signifikant effekt. Det är viktigt att hålla i minnet att gränsen 0,05 är inte svartvit. Skillnaden mellan p=0,06 eller p=0,04 är inte stor.
    Sammanfattningsvis kan sägas att signifikansnivån är en fast gräns som bestäms i förväg innan signifikansanalysen görs. Signifikansnivån räknas inte fram utan bestäms på grundval av vilken säkerhetsmarginal man vill ha mot att göra ett typ I-fel (se nedan). P-värdet däremot är ett framräknat värde som beror på våra data.

Typ I och typ II fel
Vid signifikansanalysen finns det två typer av misstag som kan begås. Antag att vi genomför en studie där vi mäter blodtryckssänkande effekt med två behandlingsgrupper där den ena gruppen fick C-vitamin och den andra gruppen fick sockerpiller. Signifikansanalysen skulle kunna visa att C-vitamin sänker blodtrycket mer än sockerpiller (p<0,05) trots att det inte är så i verkligheten. Att signifikansanalysen ger ett falskt positivt resultat trots att nollhypotesen egentligen är sann kallas för typ I-fel. Sannolikheten för att göra ett typ I-fel kallas alfa (a). Man bestämmer alltid i förväg hur stor risk för typ I-fel man är beredd att ta, detta kallas signifikansnivå (se stycket ovan). Av tradition brukar man sätta signifikansnivån till 0,05 (=5%).
    Alternativt kan man tänka sig att C-vitamin faktiskt sänker blodtrycket mer än sockerpiller men i vår studie blir p>0,05. Vi kan alltså inte förkasta nollhypotesen trots att den i verkligheten är falsk, vår studie ger ett falskt negativt resultat. Detta kallas typ II-fel. Sannolikheten för att göra ett typ II-fel kallas beta (b). Storleken på beta bestäms dels av storleken på den effekt vi undersöker och dels av stickprovets storlek. Storleken på beta kan beräknas för olika värden på den alternativa hypotesen.

Vilka slutsatser kan dras?
Om p>0,05 föreligger inte tillräckligt med bevis för att förkasta nollhypotesen. Det låter då som att vi kan anta att nollhypotesen är den riktiga. Detta är fel! Principen i signifikansanalysen är att vi kan förkasta nollhypotesen (om p-värdet är lågt) men vi kan aldrig säga att nollhypotesen är sann. Signifikansanalysen kan aldrig konstatera att en viss behandling saknar effekt. Den kan bara konstatera att vi inte har lyckats visa att behandlingen har effekt.

Signifikansanalysen kan inte direkt säga att effekt/skillnad inte föreligger. Däremot kan man säga att om signifikansanalysen inte visar effekt / skillnad och styrkan i undersökningen samtidigt är hög så talar detta för att det verkligen inte finns någon effekt / skillnad.

Styrka - power
Ibland talar man om den statistiska styrkan av en analys i en studie, d.v.s. dess förmåga att upptäcka en effekt av specificerad storlek. Styrkan av en studie är ett mått på sannolikheten att vår studie skall påvisa en effekt (få p<0,05) när en effekt verkligen föreligger. Det är önskvärt att i förväg bestämma eller skatta styrkan av analysen innan man genomför den. Om styrkan antas understiga 80% (helst skall den vara >95%) bör man byta projektdesign eller öka det planerade stickprovets storlek. Styrkan av en studie är relaterat till risken att göra ett typ II-fel och definieras som 1-b , eller 100´ (1-b )%.

Olika sätt att redovisa resultatet av en signifikansanalys
Det traditionella sättet att göra en signifikansanalys är att konstatera att den alternativa hypotesen är trolig om p-värdet understiger vår i förväg bestämda signifikansnivå (som oftast är 0,05). Som nämndes ovan är ju skillnaden mellan p=0,06 eller p=0,04 inte stor och av detta skäl har man börjat att redovisa de exakta p-värdena istället för att bara säga om skillnaden är statistiskt signifikant eller ej. Man får då en uppfattning inte bara om effekten / skillnaden anses signifikant utan också storleken / tyngden av effekten / skillnaden. En vidareutveckling av detta resonemang har lett till att man ibland kompletterar signifikansanalysen med att redovisa konfidensintervall för de viktigaste variablerna.

Multipla jämförelser
Om vi gör en enstaka signifikansanalys är risken att göra ett typ I-fel upp till 5%. Om vi gör 10 analyser är risken att vi gör ett typ I-fel i någon av analyserna betydligt högre. Denna riskökning måste man ta hänsyn till då man gör multipla jämförelser. Det vanligaste sättet att korrigera för multipla jämförelser är med Bonferroni´s metod (Formel 1).

 Formel 1 - Bonferroni´s metod

Bonferroni´s metod är enkel och användbar vid ett fåtal jämförelser, högst fem. Den innebär att man multiplicerar p-värdet från varje jämförelse (P) med antalet jämförelser (k). Man får då nya högre p-värden (P') som är de man redovisar. Det är uppenbart att om man gör flera tiotal analyser blir korrigeringarna så kraftiga att det blir nästan omöjligt att påvisa en verklig effekt som finns. Styrkan i studien blir så låg att det blir meningslöst att genomföra studien. Vid fler än fem samtidiga jämförelser bör man korrigera med en annan metod än Bonferroni, eller allra helst undvika att i en och samma tabell göra mer än fem jämförelser. Man har diskuterat när det är lämpligt att ta hänsyn till multipla jämförelser. Gäller det alla jämförelser som görs i en tabell? ...i en artikel? ...i en tidskrift? ...i en avhandling? ...alla jämförelser en individ har gjort i sitt liv? Om det sistnämnda vore rätt är det farligt att konsultera en äldre erfaren statistiker som skulle behöva göra kraftiga korrigeringar för alla analyser han gjort i sitt liv. Då skulle det vara bäst att leta efter unga oerfarna statistiker som inte behöver göra lika kraftiga korrigeringar. Detta är ju uppenbart orimligt! Det anses rimligt att ta hänsyn till den ökade risken för ett typ I-fel när analyser diskuteras i ett sammanhang. Med det menar man oftast analyser som görs i en och samma tabell.

Enfaktor- eller flerfaktorförsök
Vid signifikansanalys används normalt en variabel för att gruppindela individerna. Denna variabel kan anta ett eller flera värden. Om variabeln bara kan anta ett värde har vi en undersökning med en grupp utan kontrollgrupp. Om variabeln kan anta två värden har vi två grupper. Kan variabeln anta flera värden har vi flera grupper. Denna variabel som styr indelningen i grupper kallar vi en faktor. Om en enda variabel styr indelningen i grupper har vi ett enfaktorförsök. Om flera variabler styr gruppindelningen har vi ett flerfaktorförsök. Detta kan demonstreras med två exempel.
  I exempel A tänker vi oss att jämföra effekterna av två blodtrycksmediciner. Patienterna indelas i tre grupper där de får antingen medicin X, medicin Y eller Placebo (=P). En variabel skulle då för varje individ ange vilken medicin de fick, X, Y eller P. Detta medför att det blir totalt tre grupper (Tabell 1).

  I exempel B kan vi tänka oss att vi dessutom i samma undersökning skulle vilja undersöka effekten av regelbunden konditionsträning alternativt ingen regelbunden träning. Vi skulle då få göra en annan variabel som anger om individen fick träning (t) eller ingen träning (it). I exempel B gruppindelas individerna enligt två variabler (Tabell 2).

Nu uppstår möjligheten av att medicinfaktorn och motionsfaktorn interagerar. En viss medicin kanske försvårar eller underlättar motion. Alternativt kan man tänka sig att motion potentierar effekten av en av medicinerna men inte effekten av den andra. Detta kallas samspelseffekter. Man får alltså inte analysera effekten av medicineringsfaktorn oberoende av motionsfaktorn eftersom man då missar eventuella samspelseffekter.
  De flesta studier som analyserar resultaten med signifikansanalys är enfaktorförsök. Statistiken är då ofta ganska enkel. Flerfaktorförsök är genast mer komplicerade. Om man planerar en studie med flerfaktordesign bör man konsultera någon statistiskt kunnig person.

Att välja metod vid signifikansanalys

Nedan följer ett enkelt flödesschema som hjälper dig att välja en passande statistisk metod vid signifikansanalys. Du hittar även länkar till mer information om enskilda metoder. Detta flödesschema gör inte anspråk på att vara fullständigt men innehåller ändå tillräckligt mycket alternativ för att man skall klara sig i de flesta situationer.

Du letar dig bäst fram i översikten genom att i tur och ordning ställa dig följande frågor:

1. Är detta ett enfaktor eller flerfaktorförsök? (De allra flesta studier där man gör en signifikansanalys är enfaktorförsök). Om det är enfaktorförsök kan du strunta i avdelning B nedan.
2. Är det en grupp som skall jämföras mot ett fixt värde (en fix andel eller ett fixt värde, exempelvis 0), eller är det två grupper som skall jämföras med varandra, eller är det mer än två grupper som samtidigt skall jämföras? (Jämförelse mot fixa andelar/värden kan användas i pilotprojekt där man vill jämföra ett funnet värde med ett förväntad värde i samma material. Ej samma bevisvärde som en randomiserad studie med två eller flera grupper.)
3. Om det är två eller fler grupper som skall jämföras med varandra är de matchade eller omatchade?
4. Vilken typ av variabel är iblandad i jämförelsen? Mäts den med nominalskala, ordinalskala eller intervall / kvotskala?
5. Om variabeln mäts med nominalskala är den dikotom (kan bara anta två värden) eller kan variabeln anta mer än två värden?

Denna webbsida är författad av
Doc. Ronny Gunnarsson
Distriktsläkare/Familjeläkare

Läs om regler för ansvar och copyright som gäller för denna webbsida.