Artiklen her er ikke gratis, men du kan læse eller lytte, fordi Nene La Beet er medlem af Zetland og har delt den med dig.

Mød forskeren, der trak tæppet væk under videnskaben. Hans påstand: De fleste forskningsresultater holder ikke

  • 5. september 2019
  • 18 min.
VIDENSKABSDETEKTIVNår John Ioannidis undersøger et nyt forskningsområde, “skælver forskerne af frygt”. Foto: Redux, Ritzau Scanpix

Derfor skal du læse denne artikel

Overraskende meget forskning er lavet på et mangelfuldt grundlag. Det gælder på tværs af videnskabelige felter, siger en af verdens mest indflydelsesrige forskere, John Ioannidis, der har gjort det til sit livsværk at gennemtrawle tidligere studier som en slags videnskabsdetektiv. Konsekvenserne er store. For hvis vi træffer vores beslutninger – som samfund og som individer – ud fra forkert forskning, ender vi med at træffe forkerte beslutninger, advarer han. Men der er lys forude.

Nu er det bevist, lød overskriften. Alkohol er en direkte årsag til kræft. For hvert glas øl stiger risikoen, viser ny forskning. Nej, drik tre glas øl om dagen, så holder du dig sund, skrev et andet nyhedsmedie – igen med henvisning til ny forskning. Drik øl, og undgå kræft, valgte en tredje avis at konkludere ud fra – ja, du gættede det – ny forskning.

Vi kender det efterhånden godt: bombardementet af nye undersøgelser, der stritter i vidt forskellige retninger. Den ene uge skal vi spise kartofler, den næste uge er det dybt skadeligt. Det er forvirrende. Og hvad værre er: Det er også ofte forkert. Forskningen bag mange af tidens kostråd holder simpelthen ikke vand. Men det bliver endnu værre. Den mangelfulde forskning begrænser sig ikke til ernæring. Den findes i høj grad også i økonomi, hjerneforskning, medicin, psykologi og mange andre grene af videnskaben. Og det har enorme konsekvenser for os alle sammen.

Sådan lyder konklusionen fra et bredt og voksede felt af forskere, der har gjort det til deres opgave at undersøge kvaliteten af det bjerg af undersøgelser, der er vokset højere og højere gennem årene. Midt i gruppen af forskningsdetektiver står 54-årige John Ioannidis fra Stanford Universitet. Han er læge og professor i metavidenskab – eller videnskaben om videnskab – og er blevet kaldt en af de mest indflydelsesrige nulevende forskere på kloden.

Jeg synes, det her er alvorligt,” siger John Ioannidis, da vi taler over telefonen. Vi træffer masser af beslutninger ud fra videnskab. Hvis den videnskab ikke holder, kan vi ende med at træffe nogle virkelig forkerte beslutninger.”

Og det er ikke småting, de beslutninger handler om. Hvordan skal staten håndtere en finanskrise? Hvad er den bedste måde at lære børn nye ting? Hvilken mad kan give mig kræft? Belaster kaffe, slik eller oksekød klimaet mest? Et væld af videnskabelige undersøgelser har svar på de spørgsmål. Men hvis de svar ikke holder, træffer vi så de rigtige valg?

I disse år er der gang i en bevægelse i videnskaben. Forskning, vi troede på, bliver udfordret eller endda forkastet. Det sker i fuld åbenhed – og det har betydning for os alle sammen. Og midt i bevægelsen står John Ioannidis.

Lad os begynde tilbage i 2005. Dengang ramte et jordskælv den videnskabelige verden. Eller sagt på en anden måde: John Ioannidis offentliggjorde en akademisk artikel. Det kan bevises,” skrev Ioannidis, at de fleste påståede forskningsresultater er usande.” Altså: Hovedparten af videnskabelige resultater bygger på så mangelfuldt et grundlag, at vi ikke kan regne med, at de passer.

Ioannidis fokuserede her på sundhedsforskning og byggede sin konklusion på et sindrigt matematisk/statistisk bevis. Artiklen er i dag med 2,8 millioner views den mest læste nogensinde fra tidsskriftet PLOS Medicine – og blandt de mest populære i forskningslitteraturen generelt. Og ja, den provokerede folk. Og der kom også kritik af dele af artiklen. Men: Generelt var reaktionen overraskende … lydhør. Nok fordi en del forskere allerede var bevidste om faldgruberne.

I en anden artikel kiggede Ioannidis på de 49 mest citerede sundhedsvidenskabelige artikler i en årrække. Selv her var der mange konklusioner, der ikke holdt. Det handlede om alt fra aspirin mod for højt blodtryk til hormonbehandling af kvinder.

Samtidig begyndte andre forskere også at tjekke tidligere forskning. De nåede frem til resultater, der mindede om Ioannidis’. I forskning er det helt grundlæggende, at når et eksperiment gentages, bør det give samme resultatet. Men når videnskabsdetektiverne nu gentog mange berømte eksperimenter, var resultaterne pludselig nogle helt andre end tidligere. Noget hang ikke sammen.

Og John Ioannidis? Han begyndte at kaste sig over den ene videnskab efter den anden. Og det var nogle rimelig opsigtsvækkende ting, han fandt frem til. For nylig rettede han blikket mod økonomien.

FØLG PENGENEStærkt problematisk, siger John Ioannidis om Aarhus Universitets rapport om klimabelastning fra slik, kaffe og oksekød, der var finansieret af landbrugsindustrien. Foto: Lars Kruse, AU Foto

Økonomi spiller en helt afgørende rolle i debatten. Hvilke politiske beslutninger giver bedst mening økonomisk? Skal skatten sættes op/ned? Er det en god eller dårlig idé at indføre mindsteløn? Det er oplagt, at den slags beslutninger hviler på økonomisk forskning. Så Ioannidis granskede 159 metaundersøgelser – altså en slags paraply-undersøgelser – der rummede 6.700 empiriske studier i økonomi.

Resultatet var øjenåbnende. En stor del af den økonomiske forskning byggede på mangelfuldt grundlag. Det statistiske grundlag var ofte simpelthen ikke stærkt nok. De færreste studier var designet godt nok til, at de reelt kunne observere den effekt, de ville undersøge. Et eksempel: En undersøgelse kunne søge svar på, hvad en højere mindsteløn betyder. Ville flere blive fyret, hvis man hævede mindstelønnen? Men de fleste undersøgelser var bygget op, så de ikke med nogen reel sikkerhed kunne sige, om den hypotese så holdt vand eller ej. De kunne ikke konkludere, om A reelt førte til B – om flere fyringer hang sammen med højere mindsteløn.

Det er vildt. Og det bliver vildere. For blandt de undersøgelser, der var struktureret godt nok til at finde svar på det, de undersøgte, var resultaterne ofte overdrevet. Der var simpelthen smurt for tykt på, bevidst eller ubevidst. Ioannidis taler om det signal eller den effekt, forskeren opfanger. Hvor meget kan vi regne med effekten – at A faktisk hænger sammen med B; for eksempel at højere mindsteløn hænger sammen med flere fyringer? I forskningen var effekten typisk forstærket til det dobbelte, altså gjort 100 procent stærkere, end den reelt var. I en del tilfælde var effekten gjort fire gange stærkere end i virkeligheden.

For at opsummere: De fleste undersøgelser var ikke lavet godt nok til at finde et troværdigt svar på det, de undersøgte. Og de, der var lavet godt nok, havde tendens til at puste den effekt, de opdagede, op til det dobbelte – altså 100 procent større end virkeligheden. Mindst.

Det giver os en ret upålidelig videnskab at basere vores beslutninger på,” siger Ioannidis.

Han peger på, at når vi taler om vigtige økonomiske forandringer, handler det ofte om små forskydninger. Det er vigtigt, om væksten er på 1 procent eller 2 procent. Vi diskuterer heftigt, hvad det betyder, hvis vi hæver eller sænker skatten en lille smule.

Tænk på, at mange økonomiske beslutninger, folk bekymrer sig om, handler om forandringer på 1 eller 2 procent. Men nogle studier rammer forbi med 100 procent. Så støjen er langt større end de forandringer, folk går inderligt op i hver dag.”

Vi ved måske nok, at økonomien ikke giver absolutte svar på samme måde, som dele af naturvidenskaben kan gøre det – det er svært at undersøge årsag-virkning i et helt samfund. Men den økonomiske forskning står alligevel centralt i den offentlige debat. Vi ved også, at enkelte økonomiske undersøgelser alene trods alt sjældent danner grundlag for, hvad politikerne gør. Men de spiller en rolle. Hvad skal en regering bruge penge på? Hvordan skal skatten være? Hvor skal lønningerne ligge? Hvordan håndterer man en krise? Har vi en krise?

Hvis du træffer beslutninger ud fra videnskab, der er 100 procent – eller nogle gange 400 procent – skudt ved siden af, så er det sandsynligt, at du træffer nogle meget forkerte beslutninger,” siger han.

Ioannidis’ resultater er selvsagt blevet udfordret af nogle økonomer. Nogle siger, at hans krav til statistisk styrke er for voldsomme. Andre økonomer taler om, at problemerne i økonomi er markant mindre end i andre samfundsvidenskaber, som psykologi, fordi man bruger mere solide metoder. Men der er også økonomer, der siger ting i stil med Ioannidis. Tag Paul Romer, nobelprisvinder i økonomi og tidligere cheføkonom i Verdensbanken. Han taler om mathiness inden for økonomien – brugen af kompliceret matematik for at sløre mangelfulde eller politisk farvede resultater. Ioannidis selv siger, at der bliver gjort masser af fremskridt for at gøre den økonomiske videnskab stærkere. Og økonomi er langtfra den værste videnskab; den er blot et eksempel blandt mange, mange andre felter med lignende problemer. Tag bare ernæringsforskningen, vi nævnte i begyndelsen.

Ioannidis har også gennemtrawlet forskning i, hvad vi må og ikke må spise eller drikke. Og det står værre til end i økonomien, siger han. Ernæring er nemlig uendelig kompleks. Det er virkelig svært at undersøge, om to kartofler eller en øl hver dag fører til en særlig sundhedseffekt – kræft/ikke kræft.

Man forsøger at håndtere en ekstremt kompliceret form for påvirkning, nemlig mad, som rummer hundredtusinder af næringsstoffer og billioner af billioner af mulige kombinationer,” siger han.

Kigger man nærmere på undersøgelser af forskellige madvarer, kosttilskud og spisemønstre, viser de fleste stort set ingen reel effekt. Gentager man tidligere forskning som nye eksperimenter, giver de typisk ikke de samme resultater. Langt hovedparten af de ernæringsundersøgelser, nyhedsmedierne flyder over med, burde ignoreres, siger Ioannidis.

Vi bliver bombarderet med tonsvis af historier hver dag, der enten er ikke-informative, forkerte eller nonsens – eller en kombination af de tre. Vi bruger enorme ressourcer – både fysisk, mentalt og økonomisk – på at forsøge at navigere gennem det data-rod. Det er et gigantisk spild. Og værre endnu: Hvis vi fokuserer vores energi og ressourcer på ting, der er ligegyldige eller endda skadelige, så mister vi muligheden for at fokusere på andre ting, der rent faktisk virkelig giver mening,” siger han.

Vi har, som samfund og som individer, en begrænset mental båndbredde. Der er grænser for, hvor mange ting vi kan få gjort. Når vi fokuserer på en angivelig magisk madvare – en kartoffel/øl hver dag får dig til at leve længere! – som så reelt ikke har nogen effekt, får vi ikke kastet alle kræfter ind der, hvor vi faktisk ved, det gør en forskel. Fedme, for eksempel. Og så bliver folk bare mere overvægtige, mens vi har spildt en masse penge og tid på ting, der ikke virker.

Som John Ioannidis siger: Vi forurener vores samfund og nyheder og liv med støj, og det svækker vores evne til at tage hånd om det, der virkelig betyder noget.”

MMMMHHHHvordan påvirker det vores sundhed, når vi spiser is? Ioannidis er stærkt kritisk over for ernæringsforskningen. Foto: Bax Lindhardt, Ritzau Scanpix

John Ioannidis er nærmest født til det arbejde, han laver nu. Han voksede op i Grækenland og USA. Han drømte om at blive astronaut, Zorro eller forsker (det var begge hans forældre, det sidste altså). Allerede som barn var han lidt af et matematikgeni. Verden blev forstået gennem tal. Som otteårig lavede han en liste over, hvem han elskede mest, rangeret efter point. Med decimaler, selvfølgelig. Listen blev opdateret hver uge, alt efter hvor sød hans mor, onkel eller bedstemor nu var mod ham. Han forsøgte at kvantificere alt, har han sagt, selv kærlighed. Men han begyndte også at skrive digte. Ioannidis har udgivet syv bøger i Grækenland. Han var elektrisk af nysgerrighed, fuld af ildhu.

Det er han stadig. John Ioannidis arbejder hele tiden. Han har været involveret i op mod 1.000 videnskabelige artikler. Han har rangeret blandt de ti mest citerede forskere i verden. Han taler blidt og sagte, men han er også den frygtede videnskabsdetektiv. En kompromisløs følsom maniker”, lyder en beskrivelse. Han har et sort overskæg.

At sige, at Ioannidis’ arbejde er blevet omfavnet, ville være en underdrivelse,” har Atlantic skrevet.

Der har, som nævnt, også været kritik af hans arbejde. Men modtagelsen har faktisk mest været positiv. Som lederen af Oxford Universitets center for medicinsk statistik har formuleret det: Selv om du ikke er enig i alle Ioannidis’ beregninger og analyser, er det svært at argumentere for, at hans grundlæggende idéer ikke er korrekte.

En undersøgelse i tidsskriftet Nature viste, at debatten i den grad bliver taget alvorligt. Over halvdelen af 1.500 forskerne mente, at problemerne med at gentage videnskabelige undersøgelser udgør en alvorlig videnskabelig krise. Mere end 70 procent af forskerne havde forsøgt at gentage et tidligere eksperiment uden at få samme resultat.

Man taler om replikationskrisen. Altså at mange videnskaber i disse år oplever, at selv prominente eksperimenter ikke kan gentages med samme resultat – kaldet replikation. Inden for psykologien opdagede psykolog Brian Nosek, leder af Center for Open Science i Virginia, i det største studie af sin art, at kun 36 ud af 100 videnskabelige studier gav samme resultat, når de blev gentaget. Lignende resultater har vist sig inden flere andre videnskaber. Det er blandt andet det opbrud, Ioannidis er en del af.

Det er nyt, at hele forskningsfelter nu bliver betvivlet eller udfordret. Det er også nyt, at det sker så offentligt. Tidligere var det ofte sådan, at det ikke var særlig prestigefyldt eller interessant blot at genbesøge gammel forskning. Forskere fik point for at åbne nye horisonter, finde nye indsigter. Det giver på en måde mening, men det betød også, at bjerget af gammel forskning, som mange af de nye undersøgelser stod oven på, blot voksede sig større og større. De seneste år er en del især yngre forskere begyndt at dykke dybt i den eksisterende forskning. Ioannidis leder i dag et center på Stanford med netop det formål. Lignende steder skyder op rundt om i verden. Nogle taler om en revolution i forskningen eller i hvert fald en forvandling indefra.

“Han besluttede at lave en kølig vurdering af alle de katastrofer, der havde ramt ham. At forsøge en livslang evaluering. En fornuftig og afbalanceret, præcis optælling af ulykker. Først hans fødsel, en stor katastrofe, en enorm sorg.”

Uddrag af et af Ioannidis’ digte (min oversættelse)

Så hvad er det, der skaber problemerne i forskningen? En lang række ting ifølge Ioannidis. Noget er ret statistisk kompliceret, men lad os udkrystallisere nogle af faldgruberne. Én ting handler om bias – det vil sige en forskers (bevidste eller ubevidste) tilbøjelighed til at gå efter bestemte typer resultater. En bias kan handle om, at man gerne vil vise en sammenhæng. Det er mere interessant at vise, at A faktisk førte til B, end at bruge tre års forskning på at konkludere: Vi fandt ingen effekt. De videnskabelige tidsskrifter (og nyhedsmedierne) elsker også den slags undersøgelser – se, øl giver kræft/gør dig sundere! – mens undersøgelser, der viser, at man ikke rigtig kunne se nogen forbindelse mellem øl og kræft, får lov at stå gemte i hjørnet. Incitamenterne – penge, anerkendelse og publicering i vigtige tidsskrifter – trækker forskerne mod det nye og overraskende. Og noget tyder på, at jagten på positive resultater er tiltaget: En undersøgelse af 4.600 artikler på forskellige videnskabelige felter har vist, at andelen af studier, der ikke fandt en sammenhæng mellem det undersøgte, faldt fra 30 procent til 14 procent mellem 1990 og 2007.

I Ioannidis’ artikel fra 2005 – den om, at de fleste forskningsresultater nok er forkerte – skrev han også, at bias spillede sammen med typisk mangelfulde forskningsteknikker og tendensen til at fokusere på spændende, opsigtsvækkende teorier snarere end meget forudsigelige teorier. Groft sagt: Hvis du er fascineret af et overraskende resultat, og du har lidt manøvrerum til at lave undersøgelsen og samle og behandle data, så kan du med god sandsynlighed få forkerte teorier til at se rigtige ud. Konklusionen i Ioannidis’ artikel er siden i vidt omfang blevet bakket op af andre undersøgelser inden for medicin. 80 procent af såkaldt ikke-randomiserede studier (den klart mest almindelige form for studier) viser sig at være forkerte. Selv 25 procent af randomiserede forsøg (hvor metoden er mere solid) har vist sig at ramme skævt.

Meget handler som nævnt om statistik og matematik. Hvor stærk er en undersøgelse statistisk set? Her sætter Ioannidis en højere grænse for, hvad man bør kræve, end visse andre forskere. Han peger på, at især små studier – med begrænset data – kan give falskt positive eller falskt negative resultater. Det vil sige, at noget ser ud til at slå ud – man ser et signal i data – men reelt set er signalet der slet ikke, eller det er pustet op, som vi så i økonomiforskningen. Så ser det ud, som om der er en sammenhæng mellem øl og kræft, men det er ikke et pålideligt resultat, blandt andet på grund af studiets størrelse og design. Da jeg talte med Ioannidis, pegede han i høj grad på de små undersøgelser, men også store, meget datatunge undersøgelser kan have deres svagheder.

En aktuel sag herhjemme om slik og oksekød illustrerer en anden af Ioannidis’ pointer. For nylig meddelte forskere fra Aarhus Universitet, at slik, alkohol og kaffe er mere belastende for klimaet end oksekød. Rapporten var betalt, påvirket og delvist skrevet af landbrugsindustrien. Det blev afsløret og udløste en større skandale – institutlederen fra universitetet har netop trukket sig. Men historien er langt større, påpeger John Ioannidis. Meget forskning er finansieret af erhvervslivet. Det kan være okay, men det kan også være stærkt problematisk. Nogle steder giver problemerne sig selv. Tobaksindustrien finansierer til tider mere forskning i rygning, end der laves uafhængig forskning.

Det er fuldstændig latterligt, at vi tillader en industri, vi ved dræber millioner hvert år, at smide sine studier ind i mixet af forskningslitteratur. Jeg forstår ikke, vi kan tolerere det.”

Men mindre grelle eksempler kan også være problematiske – især hvis der ikke er fuldstændig åbenhed og gennemsigtighed. Når industrien aktivt søger at påvirke forskning eller endda hele afsnit i forskningen som i det danske tilfælde, bliver resultaterne ikke bare typiske forkerte, forskningens troværdighed bliver også truet: Det er stærkt problematisk,” siger han om Aarhus-rapporten.

“Hvis jeg lavede en undersøgelse, og resultaterne viste, at der faktisk ikke var meget bias i forskningen, ville jeg så være villig til at offentliggøre den? … Det ville skabe en reel psykologisk konflikt for mig.”

Ioannidis i The Atlantic om sin egen bias.

Nu kan det lyde, som om John Ioannidis hader videnskab. Intet kunne være mere forkert. Han elsker videnskab. Trods forskningens fejl og bias burde vi træffe flere, ikke færre, beslutninger på grundlag af videnskab. For forskning er, selv med alle sine ujævnheder, langt bedre end alternativerne – at overlade banen til politikerne, religionen, sportsklubber, ekspertpaneler. Som han siger: Videnskaben er det bedste, vi har, når vi skal finde ud af, hvad vi skal gøre med vores liv. Og lige nu har vi desperat brug for videnskaben.”

I disse år er videnskaben under angreb udefra. Nogle politikere taler direkte imod solid forskning (Donald Trump og klimaforandringerne er et eksempel). Der skæres ned på universiteter. En kritik af smagsdommere, eksperter og forskere har floreret, både blandt politikere og i befolkningen. Store subkulturer vender forskningen ryggen, for eksempel når det gælder vacciner. Den etablerede forskning er under pres.

Der er uden tvivl fjendtlighed,” siger John Ioannidis. Han nævner politikeres tøven over at handle ud fra troværdig videnskab om klimaforandringer. Forskningen kæmper på flere fronter, der har konsekvenser for menneskehedens fremtid.”

Så er det særlig smart – i det fjendtlige landskab – også at stille spørgsmål ved forskningen indefra, som John Ioannidis gør?

Ja, lyder hans svar. Hvis videnskaben ikke tør tale åbent om sine fejl, er den ikke bedre end sine fjender. Troværdighed kommer kun gennem åbenhed. Fremskridt kommer kun, hvis man tør indse sine fejl og forbedre sig.

Det bedste svar på kritik udefra er hele tiden at rette op på problemer hos sig selv, hele tiden at gøre det bedre, hele tiden at opnå mere pålidelige videnskabelige indsigter,” siger han – og tilføjer:

Politikere vil komme og gå, men videnskaben vil forblive. Håber jeg.”

John Ioannidis mener – trods presset på forskning udefra og indefra – at der er grund til optimisme. Ja, forskningen skal forbedre sig. Men det er den også i gang med på mange fronter. Metoder bliver løbende forbedret. Forskere laver i stigende grad benspænd for sig selv, som gør det sværere at lade bias spille ind. Gamle undersøgelser bliver forkastet – det er også et fremskridt. Og ja, der er et stykke vej endnu. Massive internationale strukturer for, hvad forskere bliver tilskyndet til, og hvordan forskning bliver finansieret, tager lang tid at rykke ved.

Det er vigtigt at forstå, siger han, at der findes meget få absolutte sandheder, også i forskningen. Det er værd at huske, når du læser en ny undersøgelse om kartofler eller øl eller mindsteløn eller kræft. Men det er også værd at huske det princip inden for forskningen: Ultimative sandheder holder ofte op med at være ultimative eller sande på et tidspunkt. Det bedste, man kan stræbe efter, er hele tiden at gøre det lidt bedre, siger han.

Jeg ser mange forskere, der virkelig går op i deres forskning. De prøver ikke at lave forkerte resultater. De er ikke drevet af en jagt efter penge. De forsker, fordi det giver mening i deres liv – og måske endda for resten af verden. Nu er det op til dem, til os, at bekæmpe de problemer, vi møder i videnskaben, så godt vi kan,” siger han.

Jeg tror på, vi er på rette vej.”

KARTOFLEREfter artiklen her var færdig, sendte en læser (som i øvrigt forsker i kvantefysik på universitetet MIT) denne tegning. Da han havde læst, fik han ideen til at illustrere en af måderne, for lidt data kan give forkerte konklusioner. Det tænkte eksempel viser, hvordan et lille udsnit af data (den lilla boks), kan give et forvrænget indtryk af virkeligheden, apropos Ioannidis' kritik af de små studier med for svagt statistisk grundlag. Morten Kjærgaard

Nå, så kom det akavede øjeblik

Det er nu, vi bare siger det direkte: Bliv medlem, hvis du sætter pris på viden og nuancer.

Bliv medlem