Het wetenschapsbedrijf: firma list en bedrog?

In Nederland heeft de affaire met de Tilburgse hoogleraar Stapel veel onrust veroorzaakt. De ernst van deze affaire en bijbehorende imago-schade is serieus tot universiteitsbesturen doorgedrongen en de risico’s worden onderkend. Het besef dat er bestuurlijke maatregelen nodig zijn is er ook, maar het blijkt moeilijk om in de vrije cultuur van universiteiten op de juiste manier in te grijpen. Ook in andere delen van de wereld borrelt het. Als vers geschonken champagne, maar zonder het feestelijk gevoel. The Economist sloeg onlangs alarm met een artikel over wat er mis is in de wetenschap en een editorial getiteld ‘How science goes wrong’. De veelzeggende toevoeging was ‘scientific research has changed the world but now it has to change itself’. Sinds de 17^e eeuw is de kern van de moderne wetenschap ‘trust, but verify’, maar wat gebeurt er volgens de Economist?

modern scientists are doing too much trusting and not enough verifying – to the detriment of the whole of science, and of humanity

Dat klinkt niet onbekend voor kritische volgers van het klimaatonderzoek. Problemen vanaf de basis tot en met het gebruik van wetenschap in beleid en politiek zijn op vele blogs te vinden. The Economist beschrijft de problemen op het basisniveau van de wetenschap, het fundament van onze maatschappelijke kennis:

Too many of the findings that fill the academic ether are the result of shoddy experiments or poor analysis. A rule of thumb among venture capitalists is that half of published results cannot be replicated. Even that may be optimistic. Last year researchers at one biotech firm Amgen found they could reproduce just six of 53 ‘landmark’ studies in cancer research

Het farmaceutisch bedrijf Bayer kon in een andere studie slechts een kwart van de resultaten van 67 artikelen over vergelijkbare onderwerpen reproduceren. Slecht onderzoek is verspillen van overheidsgeld en volgens The Economist is het veel en lijkt het toe te nemen. Een belangrijke reden is de enorme druk om te publiceren, ‘publish or perish’. En om te publiceren moet je opvallen.

Alarmisme wordt ook in de wetenschap beloond met publikatie
In de praktijk is onderzoek doen gewoon hard werken. Het merendeel van de experimenten levert negatieve resultaten op, terwijl wetenschappelijke tijdschriften vooral in positieve resultaten geïnteresseerd zijn. De oplettende lezer zal ook hier een vergelijking met de mainstream-journalistiek zien die nóg meer dan wetenschappelijke tijdschriften belust zijn op spectaculaire resultaten. Dat de aarde maar heel weinig opwarmt en er geen reden tot paniek is, is veeeeel minder interessant dan de alarmistische versie die we kennen uit de krant. Het puur verzinnen van gegevens die in je theorie passen zoals bij Stapel is een grote stap, maar ‘de waarheid een handje helpen’ is verleidelijk. En maar een kleine stap om tòch die publikatie te scoren waarop je gehoopt had.

Peer-review zelfreiniging van de wetenschap is allesbehalve sluitend
zo heeft dit onderzoek overtuigend aangetoond:

John Bohannon, a biologist at Harvard, recently submitted a pseudonymous paper on the effects of a chemical derived from lichen on cancer cells to 304 journals describing themselves as using peer review. An unusual move; but it was an unusual paper, concocted wholesale and stuffed with clangers in study design, analysis and interpretation of results. Receiving this dog’s dinner from a fictitious researcher at a made up university, 157 of the journals accepted it for publication

Een slim opgetuigd onzin-artikel werd door meer dan de helft van de peer-review tijdschriften geaccepteerd! Steeds minder wetenschappers hebben tijd voor een grondige review en bovendien helpt het je niet bij je carriere of bij het vergaren van onderzoeksgeld. Kritisch doorlezen is al een belasting, maar narekenen of referenties napluizen vergt nòg meer. Ook de steeds verdergaande specialisatie helpt niet mee. In de kleine kring van experts zijn de ‘peers’ vaak vriendjes òf concurrenten, geen goed uitgangspunt voor objectieve review.

Een belangrijke reden voor de problemen is volgens The Economist ook het simpele feit dat er (te) veel wetenschappers zijn. Na de Tweede Wereldoorlog waren er enkele honderdduizenden wetenschappers, maar tegenwoordig 6-7 miljoen. De concurrentie is groot, voor elke PhD baan zijn er 6 gegadigden.

Van wetenschap naar beleid is een nòg delicater stap
Op climategate is ‘de wetenschap’ al vaak kritisch tegen het licht gehouden, veelal gericht op het niveau dat volgt op het wetenschappelijk proces zelf. Het toepassen van wetenschap in het beleid leidt geregeld tot misbruik, zoals cherry-picking van resultaten. Of refereren naar een artikel dat helemaal niet heeft bewezen wat er geclaimed wordt maar dat niemand meer nakijkt. Of aannames die als vastgestelde resultaten gepresenteerd worden, zie bijvoorbeeld Rypke’s blogs over de ecologische voetafdruk.

Zelf werk ik ook met universiteiten in diverse projecten en ken gelukkig vooral goede voorbeelden. Daarom ga ik er vanuit dat de slechte voorbeelden meer uitzondering dan regel zijn. Maar het probleem voor universiteitsbesturen is dat een enkele rotte appel de algehele geloofwaardighed van het wetenschapsbedrijf gemakkelijk kan aantasten. Dat vraagt tijdige maatregelen die voorkomen dat problemen zich op Stapelen. De hier beschreven problemen treden op aan de basis van het wetenschappelijk bedrijf, het deel wat de rest van de maatschappij bijna niet ziet. De opschoning zal daarom vooral van de wetenschappelijke gemeenschap zelf moeten komen, en dit lijkt men steeds meer te beseffen. Van het onderzoek van Bohannon met het nepartikel is inmiddels een wikipedia pagina en er zijn diverse acties gaande in de universitaire wereld. Maar de halfslachtige reakties op aktivistische wetenschappers en de ruimte die sommigen van hun universiteit krijgen om ver buiten hun vakgebied in de media hun professoraat te ge/misbruiken tonen dat de keuze tussen correcte wetenschap en het binnenhalen van projectgeld een worsteling is. Toch is de keuze niet vrijblijvend voor universiteiten wiens ‘privileged status is founded on the capacity to be right most of the time and to correct its mistakes when it gets things wrong’.

Er zijn grote maatschappelijke consequenties verbonden aan onderzoek, technologie en de gevolgtrekkingen. Kijk naar de kosten van het energie-akkoord in Nederland dat gebaseerd is op ‘shoddy science and poor analysis’. Stricte zelf-correctie zal pijnlijk zijn maar er is geen andere weg, of zijn we hier nou helemaal Stapel geworden ?