Varför spretar forskningsresultaten?

Tillståndet har avgränsats olika

Studier av ett och samma hälsoproblem eller tillstånd kan ha avgränsat detta på olika sätt. Forskarna kan till exempel ha använt olika diagnoskriterier eller bedömningsinstrument för att rekrytera försöksdeltagare. Varierande gränser, tröskelvärden och mätmetoder är vanligt, exempelvis i studier av benskörhet, urininkontinens och graviditetsdiabetes.

Det är olika grupper som har studerats

Skillnader i effekt och behandlingsresultat kan bero på grundläggande egenskaper hos försöksdeltagarna, utöver det tillstånd som studien gäller. Därför ska den undersökta populationen i en studie alltid beskrivas tydligt av forskarna. Vilka egenskaper som måste beskrivas beror förstås på ämnet, men i studier av hälsa kan det till exempel vara ålder, kön, vikt, längd, tidigare sjukdomar och allmänna hälsotillstånd. Annat som kan ha betydelse för hälsoutfall är exempelvis levnadsvanor och socioekonomiska faktorer.

Sammanhangen skiljer sig åt

Omständigheter som plats, situation, tidpunkt och omhändertagande i stort kan påverka effekterna av många insatser. Vilket stöd och vilka hinder som finns i vård- eller omsorgsmiljön och i personernas vardagsmiljö kan avgöra hur bra eller dåligt en åtgärd fungerar vid ett visst tillstånd hos en viss kategori av patienter eller brukare. Därför är det viktigt att forskarna även undersöker och noterar kända modifierande faktorer och försöker beskriva sammanhanget så noggrant som möjligt.

Insatserna är trots allt inte desamma

Även om olika studier anger att de har undersökt samma behandlingsmetod, är det inte säkert att metoden faktiskt är densamma. Till exempel kan två studier av akupunktur vid artros i knäleden skilja sig i fråga om var nålarna placerats, hur många ställen som stimulerats, hur intensiv behandlingen varit och hur länge den pågått. Sättet att skräddarsy behandlingen till individen kan också variera och beskrivs inte alltid tydligt.

Mätmetoderna är olika

Effekten av en insats på hälsa och funktion kan undersökas på olika sätt. Om forskarna till exempel har valt att undersöka effekten på livskvalitet, kan denna mätas med olika skalor och resultaten kan bli olika. Återfall i en sjukdom, grad av smärta och återgång i arbete är andra exempel på utfall som kan mätas på olika sätt. Förväntningar hos dem som genomför mätningen kan också inverka.

Resultaten har analyserats på skilda sätt

Hur forskare väljer att statistiskt analysera en fråga kan påverka resultatet. Ibland är flera vägar möjliga, och vilken variant som har valts kan bero på syftet med analysen och de antaganden som forskarna gör. I en studie ombads 29 forskargrupper att analysera samma forskningsfråga och samma data. Frågan hade utformats så att det skulle finnas många valmöjligheter. Bara ett fåtal forskarlag kom fram till samma resultat.

Olämpliga forskningsrutiner har använts

Det finns många sätt att missbruka forskningsmetodik – med eller utan avsikt. Exempelvis är det olämpligt att fiska efter resultat på måfå genom att mäta så många effekter eller samband i en och samma studie att statistiskt säkerställda resultat uppstår rent slumpmässigt. Det är inte heller lämpligt att ensidigt fokusera på resultat som stöder studiens hypotes och ignorera resultat som säger emot, eller att ändra eller efterkonstruera studiens hypotes när resultaten är kända. [RL]

Schematisk bild av ett så kallat skogsdiagram (eng. forest plot). I det här exemplet avser varje punkt den genomsnittliga effekten (punktestimatet) på ett utfall enligt en enskild randomiserad studie. Den horisontella linjen visar konfidensintervallet. Deltagarna i varje studie utgör ett slags stickprov på den population som forskarna är intresserade av. Grafik: Björn Lundkvist

Lästips

• Silberzahn R, et al. Many analysts, one data set: Making transparent how variations in analytic choices affect results. Adv Methods Pract Psychol Sci 2018;1:337-356.
• Evans I, et al. Bättre behandling. Vilka vetenskapliga bevis behövs i vården? Stockholm: SBU, 2015.
• Levi R. Vettigare vård. Evidens och kritiskt tänkande i vården. Lund: Studentlitteratur, 2014.