Har du tillid til videnskabelige artikler? Det burde du måske ikke have.
Det betyder selvfølgelig ikke, at du så burde få din viden fra Ude og hjemme eller whatever. Men du burde alligevel være nogenlunde skeptisk. Her er hvorfor:
— Mange universiteter vægter det højt, om man kan publicere flittigt og ofte i et tidsskrift med høj indflydelse på andre tidsskrifter, den såkaldte Journal Impact Factor, JIF. Nature og Science er eksempler på tidsskrifter med høj JIF. Jo mere og jo oftere, du publicerer i tidsskrifter med høj JIF, jo bedre.
Men undersøgelser har vist, at der er *negativ* sammenhæng mellem et tidsskrifts JIF og de prøvestørrelser og den statistiske rigueur, der anvendes i de artikler, der optages i det. Ligeledes har undersøgelser vist, at der er en *positiv* sammenhæng mellem artikler, der optages i tidsskrifter med høj JIF og objektive fejl og tilbagekaldelser af artikler fra disse tidsskrifter (grundet fejl, mangler og/eller svindel i disse artikler). Dette hænger sandsynligvis igen sammen med, at publikation i tidsskrifter med høj JIF er så afgørende for en forskers karriere.
— Mange tror, at peer-review/fagfællebedømmelse er garantien for objektivitet i videnskabelige artikler. Men undersøgelser har vist, at de såkaldte reviewers, der skal bedømme det enkelte paper, sjældent er enige med hinanden om, hvorvidt et givent paper kan trykkes. Det har fået kritikere til at sætte spørgsmålstegn ved, om fagfællebedømmelses-processen i virkeligheden handler mere om, hvilke reviewers, et paper havner mellem hænderne på, end om, hvad der egentlig står i det pågældende paper. Andre igen har foreslået, at fagfællebedømmelses-processen næsten ingen korrektiv værdi har, hvad angår kvalitetskontrol.
— Mange af de resultater, der publiceres i videnskabelige artikler, har vist sig ikke at kunne reproduceres af andre forskere. Hvor meget? I psykologi er det blot 36% af resultaterne, der kan reproduceres. (Det berømte Stanford Prison Experiment har for nylig vist sig at være fup.) Indenfor kræftforskning er det kun 21-11% af resultaterne, der holder. Omvendt viser det sig, at filosoffer, der bedriver psykologiforskning, publicerer resultater, der kan reproduceres ca. 78% af gangene. Det vender vi tilbage til.
Hvorfor står det så sløjt til med den videnskabelige litteratur? Der er mange årsager. Én er, som vi har set, at peer-review-processen ikke er den garranti for objektivitet, mange tror. En anden er, som den amerikanske forretningsmand og medgrundlægger af PayPal, Peter Thiel, har været inde på, at succesfulde forskere i dag skal bruge anseelige mængder tid på at sælge deres forskning til bureaukrater, og på at pumpe hastigt producerede papers ud i tidsskrifter med høj JIF. Mange af nutidens succesfulde forskere er i den ulykkelige situation, at de skal være 33% politiker, 33% brugtvognsforhandler og kun 33% forsker.
Der er meget, der tyder på, at tingene bevæger sig i den rigtige retning. Men systemet er stadig indrettet sådan, at man kan gøre en karriere ud af, at massere data og publicere hurtige-men-overfladiske resultater ofte, snarere end færre, mere skelsættende opdagelser, der har været længere undervejs. Og i modsætning til hvad lægfolk tror er det for visse tidsskrifter stadig ikke et krav at forskerne, der publicerer deri, gør deres data frit tilgængelige. Det er der, den forsker, der gamer systemet, kan minde om en brugtvognsforhandler.
Så er der det med at være politiker. Meningerne er delte her, men flere har fået den mistanke, at systemet favoriserer folk, der er associeret med de rette institutioner og som (på trods af den nominelle anonymitet) genkender hinanden og honorerer hinandens sociale kapital i publikationssystemet. Ikke alene skal man altså kunne sælge sin forskning til bureaukrater for at få bevillinger, man skal også kunne pleje omgang med de rette mennesker i og omkring tidsskriftsmiljøet. Hvis kritikerne har ret, kan man altså ikke blot sende et paper ind og lade resultaterne tale for sig selv.
Måske er dét også en af årsagerne til, at kun 21-11% af de publicerede resulater indenfor cancerforskning kan repliceres. Og måske er det også en af årsagerne til, at ikke-psykologers psykologiforskning er over dobbelt så holdbar som uddannede psykologers (78 vs. 36%). Det er selvfølgelig en ting, der er svær at måle, men det er måske ikke tilfældigt, at meget af den mindst reproducerbare forskning bedrives af faggrupper, der har en meget klar insider/outsider-distinktion og typisk anser andre som ude af stand til at bidrage til deres forskningsområder, blot fordi de ikke hører til gruppen.
***
* Problemer med det videnskabelige system: https://osf.io/zyr4g/
* Stanford-eksperimentet var fup: https://bit.ly/2HK7npe
* Filosoffers psykologiforskning er robust: https://bit.ly/2LunwSs
* Thiels take på videnskab: https://youtu.be/UfOi6AvF890
* Peer-review og social kapital: https://bit.ly/2JEbynP
* Modstand mod at dele data: https://go.nature.com/2O3wqYQ
* The Case against Education: https://bit.ly/2mQm8i5