Visar forskningen en vinklad bild?

Skilj spekulationer från resultat!

Att redovisa forskningsresultat är en sak, att tolka dem en annan. Forskningsrapporter brukar innehålla både fynd och tolkningar, och det gäller att hålla isär dem.

Exempelvis brukar vetenskapliga artiklar avslutas med ett avsnitt där forskarna diskuterar sina fynd. Inte sällan överdrivs här betydelsen av de egna rönen och av fortsatt forskning. Författarnas personliga förhoppningar om att resultaten ska leda till bättre sjukvård kan också vara högt uppskruvade.

Kritiker har påpekat att rapporteringen gärna vinklas för att gagna olika särintressen bakom studierna, till exempel forskningsfinansiärernas intressen. Det gäller bland annat i läkemedelsstudier. Oddsen för att en studie ska rekommendera en experimentell behandling har visats vara fem gånger högre om den som bekostar undersökningen också har ett vinstintresse.

Kritiska läsare bör främst koncentrera sig på avsnitten ”Metod” och ”Resultat” och fästa mindre vikt vid avsnittet ”Diskussion”.

Sök alternativa tolkningar!

Litteraturgranskningen i systematiska översikter sker enligt förutbestämda kriterier och vanligen av minst två oberoende bedömare. Det minskar risken för ensidiga tolkningar.

Genom att systematiskt söka och sammanställa all tillgänglig forskning i en viss fråga – och inte enbart lita till fynden i en enstaka studie från en enskild forskargrupp – kan bedömarna överväga alternativa förklaringar till en viss slutsats.

En liknande ansats gör vissa medicinska tidskrifter som har specialiserat sig på att låta sakkunniga personer granska, kommentera och sammanfatta andra forskares resultat.

Exempel på sådana tidskrifter är ACP Journal Club, Evidence-Based Medicine och Evidence-Based Mental Health. Här görs särskilda ansträngningar för att särintressen inte ska påverka tolkningen av forskningsresultaten.

Granska även kontrollgruppen!

Behandlingsstudier, till exempel kliniska läkemedelsprövningar, brukar rikta intresset mot förbättringen hos de patienter som fick behandlingen. Men när resultatet ska tolkas är det givetvis lika viktigt hur det har gått för kontrollgruppen, som inte behandlades. Den grundläggande frågan om behandling som påstås vara bra för patienten är alltid: ”Jämfört med vad?”

Studier som lottar försökspersonerna till behandling och kontrollgrupp bygger sina slutsatser på en eventuell skillnad mellan grupperna. Många sådana studier läggs därför upp på ett sådant sätt att skillnaden mellan behandlings- och kontrollgruppen ska bli så stor och tydlig som möjligt.

Exempelvis är det vanligt att forskarna väljer att jämföra ett nytt läkemedel med placebo och inte med bästa befintliga behandlingsalternativ, som ofta är den kliniskt viktigaste jämförelsen. Både vårdpersonal och patienter vill ju veta hur bra den nya behandlingen är jämfört med det bästa befintliga alternativet, och inte jämfört med ett farmakologiskt overksamt piller.

Ett annat sätt att förstora skillnaden mellan grupperna är att visserligen ge kontrollgruppen det bästa tänkbara behandlingsalternativet men då inte i optimal dos eller i bästa beredningsform.

Flera systematiska översikter har visat att industrifinansierade studier ofta visar större behandlingseffekt än studier som bekostas av finansiärer utan vinstintressen. En tänkbar förklaring är just valet av behandling för kontrollgruppen.

Se upp med samlade effektmått!

För att underlätta den statistiska bearbetningen skapar forskare ibland samlade effektmått. Sådana mått kan innefatta helt skilda aspekter av försökspersonernas hälsa och behöver inte vara allmänt vedertagna. En studie kan till exempel redovisa att hos 65 procent av de behandlade patienterna blev ”hjärthälsan” bättre genom antingen minskad dödlighet, minskad risk för hjärtinfarkt eller förbättrade laboratorievärden.

Men när man klumpar ihop tre så olika aspekter, av så olika betydelse för patientens hälsa, blir det sammanvägda resultatet svårtolkat. Dödlighet och hjärtinfarkt spelar givetvis stor roll, men hur laboratorievärdena ser ut kanske saknar betydelse.

Dessutom blir det samlade måttet missvisande när en eller flera av komponenterna är klart vanligare än de övriga. I exemplet är kanske förbättrade labbvärden det klart vanligaste resultatet bland patienterna. Men detta drar upp det samlade resultatet ”hjärthälsa” på ett vilseledande sätt.

Skilj statistisk signifikans från klinisk!

Riktigt stora studier, som innefattar många försökspersoner, kan påvisa även blygsamma skillnader mellan behandlingsgrupp och kontrollgrupp. Även små skillnader påvisas med tillräcklig statistisk säkerhet. Men att en skillnad är statistiskt signifikant innebär inte att den är kliniskt signifikant, alltså att den spelar någon roll för patienten.

Ge akt på undergrupperna!

Om forskarna i efterhand har skapat ett stort antal undergrupper i studier, finns det anledning att dra öronen åt sig. Det finns många sätt att indela materialet i undergrupper. Ju fler sådana subgruppsanalyser, desto större är risken för slumpmässigt uppkomna, men statistiskt signifikanta resultat.

En tumregel är att vara återhållsam med att analysera undergrupper och att inte dra för stora växlar på resultaten. [RL]

Lästips

Montori VM, et al. Users’ guide to detecting misleading claims in clinical research reports. Brit Med J 2004;329:1093-6.

Melander H. Selektiv rapportering –större problem än selektiv publice-ring? Läkartidningen 2005;102:224-5. 

Originalversionen av denna artikel publicerades i Vetenskap & praxis nr 1/2005.