
Modul 3 av 4. Kritisk granskning av påståenden om forskning och forskningsresultat
Inledning
När nya forskningsresultat presenteras eller när nya och ibland oprövade metoder föreslås, kan både forskningsresultat och argument låta övertygande. Hur går det att avgöra vilka påståenden som stämmer?
Forskning är viktig för att få kunskap om en mängd olika saker, till exempel för att:
- Säkrare kunna veta vilka effekter olika insatser har.
- Förstå hur olika personer upplever olika situationer och insatser.
- Kunna förstå nya fenomen i samhället.
- Kunna veta hur tillförlitliga olika bedömningsinstrument är.
Innehållet i den här modulen fokuserar på kritisk granskning av forskning om insatser och metoders effekter. Du kommer även få ta del av vad som kännetecknar forskning som undersöker hur insatser och metoder upplevs. Om du har gått igenom materialet i modul 1 kommer du känna igen delar av detta material. Du kommer även att introduceras för nya begrepp och sätt att tänka kritiskt kring påståenden om forskning och forskningsresultat. Om du vill kan du navigera till specifika avsnitt med hjälp av menyn till vänster.
Påståenden om forskning
Ett vanligt sätt att komma i kontakt med forskningsresultat är genom påståenden om vad forskning har kommit fram till. Till exempel genom att en kollega berättar om ett forskningsresultat hen har hört talas om under fikarasten eller att du läser om dem i en tidning eller på internet. Då kan det ibland låta så här:
- ”Forskaren: Har aldrig sett något liknande”
- ”Maria blev fri från sitt problem – på bara några veckor”
- ”Så enkelt blir du kvitt din…”
- ”Kliniskt bevisad effekt!”
Sådana här påståenden om forskning, när det nästan låter för bra för att vara sant, är nödvändiga att reflektera kritiskt kring. Ingen insats, metod eller behandling är effektiv och säker för alla. Även om en metod fungerat för en person, eller om en expert rekommenderar metoden, så säger det ingenting om metodens faktiska effekt.
Det går sällan att uttala sig tvärsäkert utifrån enskilda forskningsstudier. Forskning kan innehålla brister och risker för snedvridna resultat. Ett vetenskapligt förhållningssätt innebär bland annat att vara mer kritisk till den här typen av påståenden om forskningsresultat.
Kritiska frågor för informerade val av insatser och metoder
För att kunna göra informerade val av insatser och metoder är det värdefullt att reflektera kring om de uttalanden som påstås bygga på forskning faktiskt är trovärdiga. Det är också bra att kunna bedöma om forskningen i sig är tillförlitlig och användbar.
Vilka kritiska frågor kan vara användbara att ställa sig? Det kan du läsa mer om i kommande delar.
Att tänka kritiskt kring påståenden om insatser och metoders effekt
Vetenskaplig kunskap bidrar till insikter om hur väl insatser och metoder fungerar. Det är dock inte alltid vetenskaplig kunskap som ligger bakom olika påståenden om insatser och metoders effekter. I de fall påståenden hänvisar till forskning behöver du fundera på vilken typ av forskning det handlar om och hur forskningen har gått till. När du tar del av forskningsresultat är det bra att fundera på om premisserna för undersökningen är rimliga.
När du tar del av forskning och forskningsresultat om insatsers effekt finns det frågor som kan vara hjälpsamma för att avgöra om påståendena är relevanta och tillförlitliga. I det här materialet kommer följande frågor att belysas:
| Relevans | Jämförelser och jämförbara grupper | Insats och utfall | Beskrivning av insatsers effekt | Resultatredovisningar och sammanlagda resultat |
|---|---|---|---|---|
| Är den vetenskapliga kunskapen relevant för det sammanhang du arbetar i? | Hur många deltagare var med i studien? Finns det någon kontrollgrupp? Var deltagarna tillräckligt lika från början? Saknas det deltagare? Har indirekta jämförelser gjorts? |
Var insatsen som skulle studerades verkligen den insats som studerades? Hur är utfallet mätt? Vad har mätts och vad skulle egentligen mätas? |
Hur beskrivs insatsernas effekt? Vad innebär statistisk signifikans? Vad betyder ”ingen" skillnad? Vad är ett konfidensintervall? Rapporteras genomsnittliga skillnader? Redovisas resultat för subgrupper? |
Är bara vissa resultat rapporterade? Är det en studie eller flera sammanlagda? Är sammanställningen systematisk? |
Relevans
Är den vetenskapliga kunskapen relevant för det sammanhang du arbetar i?
Individers behov och sociala problem kan se olika ut i olika länder och på olika orter. Skillnaderna kan framkomma även i forskning. Till exempel kan olika välfärdssystem medföra att olika fenomen studeras och sociala problem eller behov kan skilja sig åt mellan olika kommuner och stadsdelar. Den vetenskapliga kunskapen behöver därför vara relevant i det sammanhang där den ska användas.
För att avgöra om forskningen är relevant är det nödvändigt att förstå vad det faktiska problemet egentligen är. Det är även nödvändigt att avgöra om insatsen förväntas förebygga eller lösa ett socialt problem. Om det till exempel handlar om att förändra situationen för en större grupp personer, exempelvis förebygga eller minska förekomsten av bostadslöshet, så behöver alla inblandade aktörer vara överens om hur problemet ska lösas och vilka insatser som är aktuella på de olika nivåerna, individ-, grupp och samhällsnivå. Kanske har ni olika bild av vilken forskning som är relevant?
Både systematiska översikter och enskilda studier (primärstudier) har avgränsningar som gör att innehållet kan vara mer eller mindre likt det sammanhang och de förutsättningar som gäller för den problematik som din verksamhet arbetar med, till exempel det studerade målgruppen, problematiken, insatsen, utfallet eller sammanhanget:
Den studerade målgruppen
Fundera över vilka deltagare som har inkluderats i studien. Aspekter som till exempel ålder, kön och ekonomiska förutsättningar behöver kanske vara tillräckligt likt den målgrupp du är intresserad av för att resultaten ska vara relevanta.
Problematiken
Fundera över om problematiken som insatsen i studien riktar sig mot är tillräckligt lik den problematik du behöver kunskap om. Typen av problem, till exempel beroendeproblematik, familjekonflikter eller ekonomisk utsatthet, kan variera liksom svårighetsgraden. Är till exempel en studie om socialt stöd för vuxna med autism relevant för unga vuxna med intellektuell funktionsnedsättning?
Insatsen
Fundera över om insatsen i studien är relevant i det sammanhang där du arbetar. Ibland är insatsen någon du väl känner till och som finns tillgänglig utifrån verksamhetens förutsättningar. Ibland har du inte tillgång till den specifika insatsen men kanske till en snarlik insats. Det behöver inte vara exakt samma insats som utvärderats, men likheten måste omfatta de centrala komponenter som antas skapa effekten. Om skillnaderna bedöms som obetydliga kan forskningen ändå vara relevant – men detta kräver en systematisk och transparent bedömning av överförbarhet
Utfall
Studier om insatsers effekter fokuserar på olika utfall. Det kan vara allt från höjd livskvalitet, återgång till arbete, drogfrihet eller ökad självständighet. Du behöver ta ställning till om utfallet som studien rapporterar är relevant för dig. Är upplevd nöjdhet ett relevant utfall om du i huvudsak är intresserad av ökad självständighet?
Sammanhanget
En annan aspekt att ta ställning till är hur lika förhållandena i studien är till det sammanhang du befinner dig i. Fundera över om det finns stora skillnader mellan din verksamhet och det land, område eller den tidsperiod då studien är gjord. Är det relevant att titta på studier om effekter av kommunala arbetsmarknadsinsatser från 1990-talet eller har de samhälleliga förutsättningarna ändrats? Är intervjustudier gjorda med vuxna personer med fokus på deras upplevelse av beroendevården, i ett annat land med ett annorlunda narkotika- och kriminalpolitiskt system, överförbara till svenska förhållanden?
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Få forskningsresultat är absoluta sanningar som gäller i alla sammanhang och över all tid. Nya forskningsrön kan omkullkasta sedan länge etablerade sanningar. Det är du som kan ditt sammanhang och kan avgöra hur relevant studien är för just dig och om resultaten är överförbara till de förhållande som råder där du arbetar.
Jämförelser och jämförbara grupper
Hur många deltagare var med i studien?
Tillförlitligheten till ett resultat är beroende av hur många deltagare som var med i studien. I studier med få deltagare är risken större att resultaten inte går att generalisera till andra personer. Studier med få deltagare är till exempel känsliga för naturlig variation eller slumpmässiga fynd. Detta går att jämföra med att slå två tärningar. Om du slår tärningarna hundra gånger och noterar värdena för dem som poäng, så bör resultatet bli ungefär detsamma för båda tärningarna. Men om du bara får slå varje tärning tre gånger kan det slumpa sig så de visar olika resultat. Den ena tärningen kanske ger mer poäng än den andra.
Det går inte att säga generellt hur många deltagare som ska ingå för att en studie ska vara tillförlitlig. Hur många deltagare som behövs beror på hur stor effekt insatsen har och hur små skillnader som ska upptäckas. För att små effekter och små skillnader ska kunna upptäckas krävs större grupper. När förebyggande insatser studeras är det nödvändigt att avgöra hur vanligt problemet som ska förebyggas är.
Finns det någon kontrollgrupp?
För att bättre kunna avgöra om det var själva insatsen som orsakade en förändring, räcker det inte att endast mäta hur det var för studiedeltagarna innan och efter insatsen gavs. Ett mått innan och efter insatsen ger endast information om att en förändring har skett, men det går inte säkert att veta om det var insatsen eller något annat som orsakade förändringen. Ett sätt att kunna uttala sig om att det är insatsen som är orsaken till förändringen är genom att jämföra studiegruppen som får insatsen med en kontrollgrupp som exempelvis får en annan insats. Samma utfall mäts sedan för de båda grupperna för att kunna jämföra resultaten.
Kontrollgrupper kan se olika ut. I vissa studier får kontrollgruppen en annan insats, sedvanlig insats eller ingen insats alls. Vad som jämförs är bland annat beroende av vad som är etiskt genomförbart.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Randomiserade kontrollerade studier
Det finns olika typer av studier (studiedesign). Vissa studietyper är mer tillförlitliga när det handlar om att uttala sig om orsakssamband och möjligheten att generalisera till andra personer än de som var med i studien.
I en randomiserad kontrollerad studie (RCT) fördelas deltagare slumpmässigt till de grupper som ska jämföras. En RCT brukar anses vara den bästa studietypen för att hitta orsakssamband. Men små och dåligt genomförda RCT:er kan vara mindre tillförlitliga än stora och välgjorda icke-randomiserade studier med kontrollgrupp.
Resultaten från välgjorda RCT:er går inte heller alltid att tillämpa. Vilken typ av studie som är "bäst" beror på vilken fråga som ska besvaras. RCT:er ger ofta säkrare resultat när det gäller att jämföra nyttan av olika behandlingsmetoder, eftersom risken för systematiska fel är mindre än i andra typer av studier. Däremot är inte RCT:er bäst för att besvara frågor om biverkningar, upplevelser, förekomst av ett fenomen, prognos eller riskfaktorer.
Var deltagarna tillräckligt lika från början?
När olika grupper jämförs med varandra behöver det säkerställas att den effekt som observeras faktiskt beror på insatsen. Effekten ska inte förklaras av andra skillnader mellan grupperna, exempelvis ålder, problematikens svårighetsgrad eller orsaken till ett problem. Det kan finnas faktorer som har betydelse för hur effektiv en insats verkar vara, och för att minska risken för att dessa faktorer inverkar på resultatet, behöver grupperna som jämförs vara så lika som möjligt innan insatsen ges.
Det bästa sättet att säkerställa att grupperna är lika, och därmed lämpliga att jämföra, är att låta slumpen bestämma vilken grupp studiedeltagarna hamnar i. Den slumpmässiga fördelningen fungerar framför allt bra i stora studier. Om studierna har få deltagare kan slumpen göra att det blir skillnader mellan grupperna även om deltagarna fördelats slumpmässigt. I vissa fall kan det då vara lämpligt att ta hänsyn till detta i analysen av resultatet. När du läser en studie kan du fundera över om det verkar finnas skillnader mellan grupperna och om författarna beskriver att de hanterat det på ett lämpligt sätt.
Saknas det deltagare?
Det är inte ovanligt att studiedeltagare lämnar studien i förtid. Då går det inte att mäta effekter för alla inkluderade deltagare. Det brukar kallas bortfall och då finns det flera saker att vara observant på.
Om det saknas information från många deltagare ska du vara varsam i din tolkning av resultatet. När effekten av en insats undersöks görs det vanligtvis en mätning av utfallet både före och efter insatsen. Och helst finns det, som beskrivits tidigare, någon form av kontrollgrupp.
Anledningen till att det inte går att följa upp hur det har gått för vissa av deltagarna kan vara relaterat till utfallet. Studiedeltagarna kanske till exempel har blivit bättre och inte tyckt att de behöver insatsen längre och därför hoppat av studien. Eller så har de blivit sämre och inte orkar eller lämnar studien på grund av sin försämring. Båda alternativen kommer sannolikt att påverka bedömningen av insatsens effekt.
Om bortfallet skiljer sig mycket åt mellan de olika grupperna finns det en risk att det är något med insatsen (eller frånvaron av den) som gör att deltagare hoppade av.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Har indirekta jämförelser gjorts?
Ofta finns det flera alternativa insatser för ett problem. Men det är inte alltid som alla insatser har jämförts med varandra. Då kan det vara lockande att göra så kallade indirekta jämförelser. Meningen med indirekta jämförelser är att få en uppfattning om en insats är bättre än en annan, även om de inte jämförts mot varandra i någon forskningsstudie. Tänk dig att en studie jämför insats A med sedvanlig insats och en annan studie jämför insats B med sedvanlig insats. Går det att uttala sig om effekten av insats A jämfört med effekten av insats B, utifrån hur de förhöll sig till sedvanlig insats? Nej, det kan finnas skillnader mellan studierna som måste tas hänsyn till. Till exempel kanske deltagarna eller sammanhanget i studierna var väldigt olika.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Insats och utfall
Var insatsen som skulle studeras verkligen den insats som studerades?
Tanken med en kontrollgrupp är att jämföra en insats med en annan insats, alternativt ingen insats. Men det är lättare sagt än gjort. Under studiens gång kan det ske avvikelser från insatsen som inverkar på studiens resultat. Det kan till exempel handla om att studiedeltagare tar del av andra insatser samtidigt.
Ett annat potentiellt problem är att den person som ger insatsen ger extra hjälp utöver insatsen, eller att deltagare i en grupp påverkas av grupptillhörigheten i sig. Till exempel att studiedeltagare starkt tror på den insats de får och därför upplever en effekt.
Det bästa sättet att säkerställa att grupperna behandlas lika är om ingen, varken deltagarna eller de som ger insatserna, vet vilken insats som ges. Det brukar kallas för att studien är ”blind” eller ”maskerad”. I forskning på läkemedel går detta att lösa med till exempel placebo-läkemedel men det kan vara svårt, om inte omöjligt, att göra så i studier om psykosociala insatser.
Hur är utfallet mätt?
Även bedömare i studier kan ”blindas” eller ”maskeras”. Det innebär att de som mäter utfallet och tar ställning till om deltagarna förbättrats inte vet vilka deltagare som fått vilken insats. "Blindning" eller "maskering" används för att inte bedömarens tankar, åsikter eller föreställningar om interventionen ska påverka dennes bedömning.
Tänk dig att två olika föräldraskapsprogram jämförs. Bedömarna tror starkt på det ena föräldraskapsprogrammet och vet vilka deltagare som fått vilken insats. Det finns då en ökad risk att bedömarna upplever eller tolkar större förbättringar hos deltagarna som fått ta del av det ena programmet jämfört med det andra programmet.
Vad har mätts och vad skulle egentligen mätas?
En utmaning med hur utfall har mätts har att göra med själva måttet. Vissa saker är enklare att mäta, till exempel antal dödsfall eller andel med försörjningsstöd. Andra saker, så som livskvalitet, tilltro till föräldraförmåga, ensamhet eller relationer till anhöriga är lite svårare. Då gäller det att de mätmetoder som använts, det vill säga olika bedömningsinstrument, har utvärderats och testats så att de mäter det som ska mätas och ingenting annat. Då går det att känna sig lite mer säker på att resultatet faktiskt speglar det vi är intresserade av.
Andra utmaningar med självskattade mått är att det kan vara svårt att komma ihåg hur något varit under en längre tidsperiod, till exempel om ett formulär frågar om hur något varit under den senaste månaden. Om det är känsliga frågor kan det också vara så att personen drar sig för att svara sanningsenligt och svarar mer som hen tänker eller tror att gemene man ”borde” svara.
I studier om skadligt bruk och beroende är det till exempel vanligt att alkoholanvändning mäts genom att personen själv får skatta hur mycket hen druckit under en viss period och om några problematiska situationer uppstått i samband med alkohol under det senaste året. Det finns då en risk att personen inte minns, påverkas av hur det varit den senaste tiden eller underskattar sitt användande på grund av den känslighet och stigma som kan omge området. Det innebär att självskattningen inom det här området kan vara värdefull men förenad med viss osäkerhet.
Beskrivning av insatsers effekt
Hur beskrivs insatsernas effekt?
I kvantitativ forskning kan effekten av en insats beskrivas med siffror. Till exempel att 50 personer av 100 förbättrades i kontrollgruppen och endast 15 av 100 i interventionsgruppen. Ofta används även ord för att beskriva effekter. Det kanske står att den ena effekten är stor och den andra liten. Ord kan vara lättare att förstå än siffror och tal, men de kan också betyda olika saker för olika personer.
Ord kan också användas för att vara medvetet missvisande och dölja eller förstärka resultaten. Till exempel kan författare lyfta fram en effekt som stor och betydande, trots att det inte ser ut så när siffrorna granskas.
Övningsfrågor
Här kan du ta ställning till mer eller mindre tydlig resultatvisning. Frågorna är påhittade för att illustrera en poäng och är inte representativa för den forskning som finns. För att kunna se svaren behöver du ha besvarat samtliga frågor.
Vad innebär statistisk signifikans?
När insatser jämförs med varandra rapporteras ofta om resultatet är statistiskt signifikant (ofta definierat som ett p-värde <0,05) eller inte. Om ett resultat är statistiskt signifikant kan det tolkas som att det är mer troligt att resultatet inte beror på slumpen, och att det kan finnas en skillnad mellan grupperna som jämförs. Men, bara för att en effekt är statistiskt signifikant betyder det inte att den är viktig eller relevant. Effekten kanske till exempel är så liten att den inte spelar någon egentlig roll i verkligheten.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Vad betyder ”ingen skillnad”?
Omvänt är det lätt att tänka att ”inte statistiskt signifikant” betyder ”ingen skillnad” eller ”ingen effekt finns”. Det går dock inte att vara säker på att det inte finns en meningsfull skillnad mellan grupperna, eller om en insats är bättre eller sämre (eller till och med lika bra) som en annan insats bara för att ett resultat inte är statistiskt signifikant. Gränsen för vad som är statistiskt signifikant eller inte hänger nämligen ihop med antalet deltagare. Med många deltagare kan en mindre skillnad bli statistiskt signifikant. Med få deltagare behöver generellt skillnaden vara större för att gränsen för statistisk signifikans ska uppnås.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Resultatet ”inte statistiskt signifikant” ska inte blandas ihop med ”ingen skillnad”. För att testa att det inte är någon skillnad mellan två insatser så behöver just den specifika frågan ställas och studien behöver planera hur många studiedeltagare som ska ingå utifrån det.
Detsamma gäller även vid sammanlagd forskning. Brist på vetenskaplig kunskap betyder inte att en insats är ”dålig”. Det betyder bara att det inte finns stöd för effekterna i de studier som har genomförts hittills. Kanske har insatsen inte prövats i en studie, eller så finns det för få studier eller studier med få deltagare. En insats kan fortfarande vara viktig för praktiken, även om det ännu inte finns vetenskapligt stöd. Särskilt om det saknas forskning eller om insatsen är svår att utvärdera.
Övningsfrågor
Här kan du ta ställning till statistisk signifikans. Frågorna är påhittade för att illustrera en poäng och är inte representativa för den forskning som finns. För att kunna se svaren behöver du ha besvarat samtliga frågor.
Vad är ett konfidensintervall?
I stället för att bara ange statistisk signifikans, ”ja” eller ”nej”, kan studier redovisa ett konfidensintervall. Konfidensintervallet är ett osäkerhetsintervall för en statistisk skattning (till exempel ett medelvärde) och anger ett spann runt en effekt där det sanna värdet troligen ligger. Det kan göra det lättare att förstå osäkerheten kring resultatet.
Med ett smalt konfidensintervall går det att få en tydligare uppfattning om storleken på effekten. Om konfidensintervallet till exempel var mellan 25–35 så går det att mer precist säga var den troliga effekten ligger än om konfidensintervallet var 10–50 (mycket större felmarginal). Konfidensintervallet ger mer information än att bara titta på om resultatet är statistiskt signifikant eller inte.
Rapporteras genomsnittliga skillnader?
Många studier rapporterar genomsnittliga skillnader, det vill säga hur en grupp deltagare i genomsnitt skattar ett utfall efter en insats. Det betyder sannolikt att det fanns deltagare som blev mycket bättre och deltagare som inte blev bättre alls, eller kanske till och med sämre. Den genomsnittliga effekten är inte exakt den effekt som går att förvänta sig om en individ får insatsen.
Övningsfråga
Här kan du ta ställning till vad som kan påverka insatsers effekt. Frågan är påhittad för att illustrera en poäng och är inte representativa för den forskning som finns.
Redovisas resultat för subgrupper
Ibland redovisas effekten separat för vissa deltagare, så kallade subgrupper. Grupperna kan till exempel delas in baserat på ålder eller kön. Uppdelningen kan vara relevant. Tänk om insatsen fungerar för kvinnor men inte för män? Men subgruppsanalyser är inte alltid planerade på förhand och de kan vara bristfälligt rapporterade. Det finns en risk att eventuella skillnader som framkommer beror på slumpen och inte på sanna skillnader mellan grupperna.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
En subgruppsanalys kan alltså inte fastställa vad skillnader mellan grupper beror på. Samtidigt kan subgruppsanalyser ge ledtrådar som kan vara värda att undersöka vidare i nya studier. I exemplet ovan kanske vidare forskning leder till upptäckter kring just pojkars utveckling. Subgruppsanalyser i sig behöver alltså inte vara problematiska. Särskilt inte om en studie på förhand har rapporterat att de tänker titta på olika subgrupper och har sett till att ha tillräckligt många deltagare för att kunna göra det. Men det viktiga är att inte lita på en enskild studies subgruppsanalys, särskilt om den inte var planerad på förhand.
Resultatredovisningar och sammanlagda resultat
Är bara vissa resultat rapporterade?
Ibland publiceras främst resultat som är statistiskt signifikanta eller går i önskad riktning. Detta kallas selektiv rapportering. På liknande sätt är det ett problem att vissa studier, som inte finner stöd för en insats eller metod, inte publiceras alls och därför inte går att hitta. När sammanvägningar av resultat görs, även om de är systematiska, finns det därför en risk att resultatet snedvrids och interventionen verkar bättre än vad den verkligen är.
Underrapportering av resultat är ett stort problem för forskarvärlden. För att motverka risken för selektiv rapportering blir det allt vanligare att forskarna för-registrerar och publicerar sin studie med ett så kallat studieprotokoll. I protokollet beskrivs vad som ska göras och vilka utfall som kommer att mätas. På så sätt kan studier hittas även om de inte publiceras och det går att kontrollera att utfallen rapporteras på ett rättvist sätt. När du läser systematiska sammanvägningar kan du fundera på om författarna har tänkt på risken för selektiv rapportering.
Är det en studie eller flera sammanlagda?
Även om en enskild studie visar ett resultat så kan du inte utgå från att den ensam visar hela bilden. Studier som undersöker samma eller liknande saker kan ge olika resultat. Det är också vanligt att studier på insatser är ganska små (få studiedeltagare), och därför ger flera studier på samma insats ett större underlag. Tillsammans ger de därmed en bättre möjlighet att få ett resultat som går att lita på.
En annan anledning till att ha fler studier än en är för att se om studiens resultat håller i andra sammanhang. Det kan till exempel vara att en oberoende person gör samma undersökning, att studien görs om med lite andra studiedeltagare eller att en liknande studie görs i ett annat land. Då går det att säkrare veta om resultaten fungerar även för andra än de som varit med i studien.
För att få en samlad bild över forskningsläget kan en systematisk översikt vara till god hjälp. Här behöver du skilja på primärstudier, det vill säga enskilda studier, och översikter där flera primärstudier ingår. I en systematisk översikt inkluderas alla relevanta primärstudier inom ett område. Primärstudierna värderas och sammanställs sedan i ett resultat som talar om hur det samlade vetenskapliga stödet för exempelvis en metods effekt ser ut eller hur en insats upplevs. Generellt kan du lita mer på resultatet i en systematisk översikt än på resultatet i enskilda primärstudier.
Det finns flera anledningar till att studier visar olika resultat. I exemplet hydroxiklorokin vid svår covid-19 visade en systematisk översikt att studiedesignen i de ingående primärstudierna primärhade betydelse. Studier som inte var randomiserade, det vill säga där deltagarna inte slumpats till att få det aktiva läkemedlet, redovisade oftare att de som fått hydroxiklorokin hade överlevt i större utsträckning än de som inte fått läkemedlet vid svår covid-19 sjukdom. Dessa studier hade också en större variation i sina resultat, det vill säga att vissa studier redovisade mycket stora effekter medan andra visade inga eller negativa effekter på överlevnaden. I en icke-randomiserad studie finns en risk att det är andra faktorer som påverkar resultatet än just det som studeras, i detta fall läkemedlet. Exempel på faktorer som skulle ha kunnat påverka är ålder, om yngre personer, som i sig hade en större möjlighet att överleva svår covid-19, oftare fick läkemedlet skulle det kunna vara denna effekt som visade sig, och inte en effekt av läkemedlet.
En annan anledning till att studier kan ge olika resultat är hur väl metodologiskt utförda studierna är. I en annan systematisk översikt analyserades just detta för läkemedlet Ivermectin vid svår covid-19. När alla primärstudier som gjorts slogs samman visade resultatet att Ivermectin ökade chansen för överlevnad vid svår covid -19 och att detta resultat var statistiskt signifikant. Men när studiernas resultat granskades utifrån hur de metodologiskt genomförts, så visades andra resultat. För en av de tolv inkluderade studierna fanns misstanke om att forskningsfusk kunde ha förekommit. När den studien togs bort från analysen så fanns inte längre någon statistisk säkerställd effekt på överlevnad. Ju bättre studierna metodologiskt bedömdes vara, desto säkrare blev också resultatet att läkemedlet inte hade en effekt.
Detta är exempel på varför sammanställning av forskning är viktig, men även exempel på varför den forskning som utförs behöver granskas kritiskt.
Är sammanställningen systematisk?
Sammanställd forskning ger mer tillförlitlig kunskap än enskilda studier. Du behöver vara uppmärksam på om sammanfattningar av resultat har genomförts på ett systematiskt sätt. Ofta finns det mer än en studie som har undersökt en insats. Studierna kan ha olika resultat vilket till exempel kan bero på att vissa studier inte gjort rättvisa jämförelser eller haft för få studiedeltagare.
När resultaten från olika studier sammanfattas osystematiskt kan det leda till att effekten över- eller underskattas. Till exempel kan en osystematisk översikt välja att lyfta fram positiva resultat, så att insatsen verkar mer hjälpsam än vad den faktiskt är.
En systematisk sammanvägning skyddar mot detta genom att det på förhand är bestämt kriterier för vilken typ av studier som ska tas med och inte (oberoende av vilken effekt som studierna visar).
Vad är viktigt att tänka kritiskt kring när upplevelser, erfarenheter, åsikter eller beteenden är beskrivna
Tidigare i den här modulen har du läst om vad du behöver tänka på och ta ställning till när du läser en forskningsstudie där insatsers och metoders effekter redovisas. Men alla studier redovisar inte effekter av en insats utan kan i stället beskriva upplevelser, erfarenheter och åsikter av till exempel att ha fått en insats eller beteenden av interaktioner mellan människor. Information (data) kan till exempel samlas in via intervjuer, dokument (exempelvis journalanteckningar, bloggar och böcker) eller observationer av interaktioner mellan personer.
Även när upplevelser, erfarenheter, åsikter eller beteenden beskrivs behöver du förhålla dig kritisk till hur studien är upplagd. Aspekter att tänka på och förhålla sig kritiskt till skiljer sig från effektstudier. För att resultatet ska vara trovärdigt finns det några saker som du behöver vara uppmärksam på när du läser forskningsresultaten.
Hur många studiedeltagare är det?
I forskningsstudier som använder kvalitativ metod är det huvudsakliga fokuset att beskriva personers upplevelser, åsikter eller erfarenheter av någonting (till exempel en insats), eller olika mänskliga beteenden. I sådana studier är antalet studiedeltagare inte alltid avgörande för att ett tillförlitligt resultat ska kunna uppnås. Här är det i stället viktigt att så många personers upplevelser som möjligt hämtas in genom till exempel intervju till dess att resultatet blir “mättat”, det vill säga att ingen ny kunskap, perspektiv eller viktiga nyanser framkommer. Det kan vara svårt att på förhand veta hur många studiedeltagare som behövs för att mättnad ska uppnås. Ofta görs en uppskattning av antalet personer baserat på tidigare genomförda studier vilket ska finnas beskrivet i forskningsartikelns metod.
Finns det någon kontrollgrupp?
I studier med kvalitativ metod är inte avsikten att jämföra mellan grupper, till exempel om intervjuer med personer om hur de upplever att få en insats genomförts. Av den anledningen utgörs studiedeltagarna enbart av de personer som till exempel har fått en stödinsats, det vill säga det finns ingen kontrollgrupp. Forskning med kvalitativ metod ska ge en djupare förståelse för ett visst fenomen. Alla resultat som framkommer beskrivs, till exempel både positiva och negativa erfarenheter, men det görs ingen jämförelse mellan hur olika personer har upplevt att delta i till exempel en stödinsats.
Har studiedeltagarna relevanta erfarenheter?
När du läser en vetenskaplig artikel där forskarna undersökt upplevelser av att till exempel delta i en stödinsats för att komma ut ur ett skadligt substansbruk kan nödvändiga frågor att ställa sig vara:
- Har studiedeltagarna relevanta erfarenheter för att besvara studiens syfte?
- Har studiedeltagarna fått den stödinsats som de ska berätta om sina upplevelser av?
Om studiedeltagarna saknar egen erfarenhet av att få en viss insats, kan de heller inte berätta om upplevelser av att ha fått insatsen. Det kan bara ske om studiedeltagarna själva har upplevelser, åsikter eller erfarenheter av den insats som undersöks.
Förutsatt att syftet med studien är att undersöka studiedeltagarnas upplevelser, åsikter eller erfarenheter av till exempel en stödinsats så spelar det ingen roll om de är män eller kvinnor. Det kan till och med vara positivt med en blandad studiepopulation då en mångfald av upplevelser, åsikter eller erfarenheter kan fångas. Skulle syftet med studien i stället vara att undersöka hur just kvinnor upplever att få stödinsatsen så måste studiedeltagarna utgöras av enbart kvinnor. Det är därför viktigt att studiepopulationen svarar mot studiens syfte.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
Hur redovisas resultatet?
Utifrån den analys som gjorts av till exempel genomförda intervjuer så redovisas resultatet i beskrivande text. Texten ska fånga och beskriva det som studiedeltagarna berättat under intervjuerna och det är vanligt att texten stödjs av citat tagna från intervjuerna. Att citat finns med hjälper dig som läsare att avgöra om resultatet som forskarna beskriver stämmer överens med det studiedeltagarna berättat. För att resultatet inte ska bli färgat av forskarnas egna åsikter så bör analysen genomförts av minst två av varandra oberoende forskare. De ska ha genomfört analysen var för sig och sedan jämfört sina analyser med varandra för att se om de överensstämmer eller skiljer sig åt. Skulle det vara så att deras analyser skiljer sig åt så ska forskarna ha diskuterat sina meningsskiljaktigheter till dess att samstämmighet avseende analysen uppstått.
Hur är det med generalisering av resultatet?
Kvalitativ forskning avser inte att generalisera utan att ge en fördjupad kunskap om ett visst fenomen. Det är i stället upp till dig som läsare att avgöra om resultatet som beskrivs kan överföras och appliceras i ditt eget sammanhang. En noggrann beskrivning av både studiedeltagarnas karaktäristika (till exempel ålder, kön) och det sammanhang som insatsen givits i ska finnas beskrivet för att du ska kunna bilda dig en uppfattning om resultatet går att överföra till det sammanhang där du arbetar.
Reflektionsfråga med fiktivt exempel
Läs frågan, fundera och klicka sedan på plusset så får du svaret. Exemplet som ges är påhittat för att illustrera en poäng och är inte representativt för den forskning som finns.
En studie eller flera sammanlagda?
För att få en samlad bild över forskningsläget kan en systematisk översikt med kvalitativ evidenssyntes vara en god hjälp. Här behöver du, precis som vid en systematisk översikt som redovisar effektstudier, skilja mellan primärstudier (enskilda studier) och översikter där flera primärstudier ingår. I en systematisk översikt med kvalitativ evidenssyntes samlas alla relevanta primärstudier som beskriver erfarenheter, åsikter och upplevelser inom ett område in. Studierna värderas och sammanställs sedan i ett resultat som talar om hur det samlade vetenskapliga stödet ser ut för exempelvis upplevelser av en specifik insats. Generellt kan du lita mer på resultatet i en systematisk översikt än på resultatet i enskilda primärstudier.
Väga fördelar mot nackdelar
Det är nödvändigt att fråga sig om de möjliga fördelarna av en insats överstiger nackdelarna. Är insatsen mer hjälpsam än skadlig? Uppväger fördelarna de kostnader som insatsen medför? Det här beror på storleken av de positiva och negativa effekterna och hänger också ihop med problemets svårighetsgrad. Är det ett väldigt allvarligt och långvarigt problem kanske det finns en större villighet att riskera negativa effekter eller höga kostnader jämfört med om det är ett mindre omfattande problem.
Det spelar också roll hur viktiga utfallen är. Ett läkemedel som till exempel minskar depressiva symtom (positiv effekt) kan också ha biverkningar (negativ effekt). Vissa kanske tycker att de potentiellt positiva effekterna väger upp biverkningarna medan andra kan tycka annorlunda och välja att avstå läkemedel.
Att väga för- och nackdelar påverkas också av hur säker det går att vara på effekten och biverkningarna. Om du inte är säker på att en insats kommer att ha positiva effekter eller fördelar minskar sannolikt viljan att använda den.
Ett ytterligare ställningstagande att ta hänsyn till om en insats ska införas eller inte är hur insatsen upplevs. Även om fördelarna med insatsen överväger nackdelarna behöver även hur insatsen upplevs tas med i den sammanvägda bedömningen. Valet av insats är i vissa fall baserat på etiska ställningstaganden. Inom vård och omsorg vilar arbetet på grundläggande värderingar om att insatser ska göra gott och inte skada, sträva efter en rättvis och behovsanpassad fördelning av resurser och respektera individens självbestämmande och integritet. Det här innebär att insatsen kanske inte bör ges om den till exempel medför upplevelse av psykiskt obehag, även om alla andra parametrar är uppfyllda.
Sammanfattning
Vetenskaplig kunskap bidrar till viktiga insikter om hur väl insatser och metoder fungerar. Kunskapen behövs för att:
- Säkrare kunna veta vilken effekt olika insatser har.
- Förstå hur olika personer upplever olika situationer och insatser.
- Kunna förstå nya fenomen i samhället.
- Kunna veta hur säkra olika bedömningsinstrument är.
I den här modulen har du fått med dig kritiska frågor du kan ställa dig när du tar del av påståenden om forskning och om forskningsresultat. Frågorna kan vara hjälpsamma för att bättre kunna urskilja hur väl underbyggda påståendena om insatsers effekt är. Du har även fått ta del av frågor som kan vara relevanta för att kritiskt förhålla dig till kvalitativ forskning. Läs gärna innehållet i de andra modulerna om du vill veta mer om hur forskning går till och hur systematiska översikter kan vara relevanta för ditt arbete.
Att ta med sig från denna modul är:
- Var skeptisk till uttalanden om forskning som uttalar sig tvärsäkert, hänvisar till experter eller till enskilda fall som berättar att en insats fungerat för dem.
- Fundera över om forskningsresultaten är relevanta för ditt arbete. Är till exempel deltagarna, insatsen, utfallet och sammanhanget tillräckligt likt det du är intresserad av?
- Hur många deltagare var med i studien? Fanns det någon kontrollgrupp? Dessa frågor hjälper till att avgöra om det är insatsen som är orsak till förändringen och hur stor insatsens effekt kan förväntas vara.
- I kvalitativa studier är inte antalet deltagare avgörande, forskaren strävar istället efter att mättnad uppnås, det vill säga att information (data) samlas in tills inga nya perspektiv framkommer. Urvalet ska vara relevant för studiens syfte.
- Om en eller flera insatser jämförs, fundera om det var slumpmässigt vem som fick vilken insats. Fundera också på om deltagarna i de olika grupperna var lika varandra innan insatsen började. Är grupperna jämförbara? Var grupperna av deltagare tillräckligt lika från början och har de fått jämförbara insatser?
- Hur har utfallen mätts? Har de mätts på samma sätt i båda grupperna? Finns det risk att de som skattat utfallet blivit påverkade av att de vetat om vilken grupp som deltagarna tillhör?
- Hur beskrivs insatsernas effekt? Används ord eller siffror för att beskriva effekten? Titta inte bara på statistisk signifikans utan försök avgöra om en eventuell effekt verkar meningsfull eller inte.
- Kvalitativ metod syftar till att ge en djupare förståelse för upplevelser, erfarenheter och åsikter. Den används för att beskriva fenomen, inte för att jämföra grupper och inte för att uttala sig om effekter.
- ”En studie är ingen studie”. Det är sällan vi kan vara säkra på ett resultat efter bara en studie. En systematisk sammanvägning av flera studier har oftast ett högre bevisvärde.
- Kvalitativ forskning avser inte att generalisera utan att ge kontextbunden kunskap. Det är du som läsare som avgör om resultaten är överförbara till andra sammanhang.
- Om det är en sammanställning av flera studier, är den systematiskt genomförd? Även översikter kan vara otillförlitliga. Välgjorda systematiska översikter ger de mest tillförlitliga resultaten.
Till modul 4
I nästa modul får du möjlighet att reflektera kring vetenskaplig kunskap och dess relevans och tillförlitlighet i praktiken.
Referenser
Webbaserat material
Alvarez V. Ökad dödlighet av klorokin och hydroxyklorokin vid covid-19. Life Science Sweden; May 25 2020. [updated Jan 27 2021]. Available from: https://www.lifesciencesweden.se/article/view/720446/
okad_dodlighet_av_klorokin_och_hydroxyklorokin_vid_covid19
Fiolet T, Guihur A, Rebeaud ME, Peiffer-Smadja N, Mahamat-Saleh Y. Effect of hydroxychloroquine with or without azithromycin on the mortality of coronavirus disease 2019 (COVID-19) patients: a systematic review and meta-analysis. Clin Microbiol Infect. 2021;27(1):19-27. Available from: https://doi.org/10.1016/j.cmi.2020.08.022
Hill A, Mirchandani M, Pilkington V. Ivermectin for COVID-19: Addressing Potential Bias and Medical Fraud Open Forum Infect Dis. 2022;9(2):ofab645. Available from: https://doi.org/10.1093/ofid/ofab645
Kerpner J. Ny studie: Malariamedicin kan hjälpa mot covid-19. Aftonbladet; Apr 3 2020. Available from: https://www.aftonbladet.se/nyheter/a/b5vmKe/ny-studie-malariamedicin-kan-hjalpa-mot-covid-19
Oxman AD, Chalmers I, Dahlgren A, the Informed Health Choices Group. Key Concepts for assessing claims about treatment effects and making well-informed treatment choices (Version 2022). IHC Working Paper. 2022. Available from: https://doi.org/10.5281/zenodo.6611932
SBU. Med rätt upplägg skulle studierna besvara frågorna. Vetenskap & Praxis; Nov 2016. Available from: https://www.sbu.se/sv/publikationer/nya-vetenskap-och-praxis/med-ratt-upplagg-skulle-studierna-besvara-fragorna/
SBU. Otillräckliga argument för "lovande" men oprövade metoder. Vetenslap & Praxis; Apr 2019. Available from: https://www.sbu.se/sv/publikationer/nya-vetenskap-och-praxis/otillrackliga-argument-for-lovande-men-oprovade-metoder/
SBU. Tio skäl att tänka kritiskt om insatser som påstås effektiva. Vetenskap & Praxis; Nov 2016. Available from: https://www.sbu.se/sv/publikationer/nya-vetenskap-och-praxis/tio-skal-att-tanka-kritiskt-om-insatser-som-pastas-effektiva/
SBU. Vanliga fällor och fel när forskning citeras. Vetenskap & Praxis; Apr 2018. Available from: https://www.sbu.se/sv/publikationer/nya-vetenskap-och-praxis/vanliga-fallor-och-fel-nar-forskning-citeras/
SBU. Vinklad tolkning snedvrider fynden. Vetenskap & Praxis; Jun 2016. Available from: https://www.sbu.se/sv/publikationer/nya-vetenskap-och-praxis/vinklad-tolkning-snedvrider-fynden/
Studie: Malariamedicin varken farligt eller effektivt mot covid-19. Dagens industri; Jun 4 2020. Available from: https://www.di.se/live/studie-malariamedicin-varken-farligt-eller-effektivt-mot-coronavirus/
Sällberg A. Bakslaget: Malariamedicin hjälper inte mot covid-19. Expressen; Jun 6 2020. [updated Jun 16 2021]. Available from: https://www.expressen.se/nyheter/coronaviruset/bakslaget-malariamedicin-hjalper-inte-mot-covid-19-/
That's a Claim! Social Welfare. Available from: https://thatsaclaim.org/social-welfare/
Ordförklaringar och förkortningar
- Bias
- Ett systematiskt fel (snedvridning) i en vetenskaplig studies upplägg eller genomförande som påverkar resultaten och inte beror på slumpfaktorer.
- Blindning
- Åtgärd för att studiedeltagarna och de som utför, observerar eller analyserar en studie ska vara ovetande om vilken insats deltagarna fått. Blindning hindrar att det uppkommer snedvridning av resultatet vid en studies genomförande.
- Confounder
- Förväxlingsfaktor som man måste ta hänsyn till eftersom den riskerar att snedvrida resultatet vid analys av det undersökta orsakssambandet.
- Effektstorlek
- Ett sätt att mäta styrkan i ett samband mellan variabler eller styrkan i skillnaden mellan grupper.
- Evidens
- Forskningsresultat som är systematiskt sökta, relevans- och kvalitetsgranskade och sammanvägda eller på annat sätt sammanställda.
- Exklusionskriterium
- På förhand fastställt villkor som avgränsar urval av deltagare i en studie eller urval av primärstudier för en systematisk översikt.
- GRADE
- GRADE står för Grading of Recommendations Assessment, Development and Evaluation. Modell för värdering av tillförlitligheten av resultat i systematiska översikter och andra forskningssammanställningar.
- HTA
- HTA står för Health Technology Assessment. Utvärdering av hälso- och sjukvårdens metoder. En tvärvetenskaplig process som använder specifika utvärderingsmetoder för att bedöma kunskapsläget rörande en åtgärd. Syftet är att ta fram ett beslutsunderlag som främjar likvärdig och effektiv hälso- och sjukvård av hög kvalitet.
- Inklusionskriterium
- På förhand fastställt villkor som ska vara uppfyllt för deltagande i en studie, eller för att en primärstudie kan tas med i en systematisk översikt.
- Intervention
- Åtgärd i syfte att åstadkomma en förändring. Ofta avses en behandlande eller stödjande insats.
- Konfidensintervall
- Osäkerhetsintervall för en statistisk skattning (till exempel ett medelvärde).
- Kontrollgrupp
- Jämförelsegrupp som inte får den insats som studeras.
- Kostnadseffektivitetsanalys
- Hälsoekonomisk analysmetod där skillnaderna i kostnader och effekter jämförs mellan två eller fler insatser.
- MD
- MD står för Mean Difference. Svenska: medelvärdesskillnad. Skillnaden mellan två gruppers medelvärden.
- Metaanalys
- Statistisk metod för att sammanväga resultat från flera undersökningar.
- Observationsstudie
- I en observationsstudie studeras deltagarna utan påverkan från de som utför studien.
- PICO
- PICO står för Population, Intervention, Control, Outcome. Svenska: population, insats, jämförelse / kontroll, utfall. Strukturerat format för frågeställningar som gäller effekten av en insats. En strukturerad frågeställning underlättar sökningar i databaser och bedömning av vilka studier som är relevanta.
- Population
- Den grupp som studeras i ett forskningsprojekt, till exempel alla med ett visst tillstånd eller problem, eller alla som bor i en viss geografisk region.
- Primärstudie
- Undersökning där forskare samlar in och analyserar nya data.
- QALY
- QALY står för Quality-Adjusted Life Year. Svenska: kvalitetsjusterat levnadsår. Hälsoekonomiskt utfallsmått som väger samman livslängd och hälsorelaterad livskvalitet.
- Randomisering
- Slumpmässig fördelning av deltagare till grupperna i en kontrollerad eller jämförande studie.
- RCT
- RCT står för Randomised Controlled Trial. Svenska: randomiserad kontrollerad studie. Vetenskaplig studie där deltagarna slumpmässigt delas in olika grupper. En grupp får en viss insats, en annan grupp får inte insatsen.
- SMD
- SMD står för Standardised Mean Difference. Svenska: standardiserad medelvärdesskillnad. Ett standardiserat mått som gör det möjligt att visa skillnaden mellan två gruppers medelvärden även när studier använder olika skalor.
- Studie med kvalitativ forskningsmetodik
- Vetenskaplig studie som syftar till att skapa förståelse av företeelser så som upplevelser, erfarenheter eller attityder, och som bygger på information från till exempel intervjuer, observationer eller textanalys.
- Studie med kvantitativ forskningsmetodik
- Vetenskaplig studie som bygger på kvantitativa data (mätvärden som uttrycks i siffror) och där analysen ofta utförs med statistiska metoder.
- SWiM
- SWiM står för Synthesis Without Meta-analysis. Svenska: syntes utan metaanalys. Sätt att väga samman resultat från flera studier utan att använda metaanalys.
- Systematisk översikt
- Sammanställning av resultat från vetenskapliga undersökningar som med systematiska och tydligt beskrivna metoder har identifierats, valts ut och bedömts kritiskt och som avser en specifikt formulerad forskningsfråga.
- Utfall
- Alla tänkbara resultat från en studie. Det kan vara resultat av en förebyggande, stödjande eller behandlande insats, eller resultat av en exponering.
- Vetenskaplig kunskapslucka
- En vetenskaplig kunskapslucka innebär att det inte går att bedöma vilken effekt en metod eller insats har.