Är effekten bättre, sämre eller likvärdig?

När forskare mäter effekten av en åtgärd hos ett urval försöksdeltagare får de fram ett skattat genomsnitt. Ett konfidensintervall runt denna skattning anger det intervall inom vilket den faktiska effekten bedöms ligga – med viss angiven säkerhet, vanligen 95 procent. Intervallets bredd ger en bild av hur exakt skattningen är. När konfidensintervallet är brett så är det mindre säkert vilket medelvärdet är än när intervallet är smalt.

I en metaanalys brukar man titta på om konfidensintervallet (som brukar markeras med en vågrät linje i diagrammet där resultaten presenteras) runt den skattade effekten (fylld kvadrat) inbegriper ”ingen effekt” eller ”ingen skillnad” (lodrät linje). När ett konfidensintervall innefattar den lodräta linjen så kan den faktiska effekten mycket väl vara obefintlig eller negativ.

Även blygsamma effekter kan ha betydelse. Forskarna bör därför i förväg ange gränsen för hur liten en förbättring respektive försämring kan vara som minst utan att anses försumbar. I diagrammet ovan illustreras gränsvärden för betydelsefull effekt med +, som anger hur liten en positiv effekt minst måste vara, och – som anger motsvarande gräns för en negativ effekt av åtgärden. Det grå fältet (R) representerar effektstorlekar som är så små att de har bedömts sakna betydelse.

I diagrammet representerar bokstäverna A–D tänkbara utfall i olika analyser. I fall A har effekten visats vara gynnsam, eftersom konfidensintervallet ligger klart till höger om det grå fältet. B illustrerar att effekten är minst lika bra som det alternativ forskarna jämfört med, åtminstone inte sämre – konfidensintervallet ligger fortfarande till höger om –. Fall C illustrerar att alternativen har visats vara likvärdiga, eftersom hela konfidensintervallet ligger inom den grå zonen. Likvärdighet har däremot inte visats i D, där konfidensintervallet sträcker sig utanför den grå zonen. I fallet D är resultatet oklart. RL