Wetenschap en “Advocacy research” als appels en peer (review)

Onder het blogbericht van Theo Wolters Wetenschap houdt op waar het IPCC begint vestigde ik de aandacht op de bijeenkomst van het Instituut voor Milieuwetenschappen van de VU op 12 oktober. In het vooruitzicht wordt gesteld dat vragen die aan de orde komen, zijn:

• wat leren we van het klimaatdebat?
• wat is het vertrouwen van de samenleving in de wetenschap?
• hoe speelt de klimaatwetenschap een rol in het politieke beleid?

Het onderwerp is in feite echter de door het IPCC gestimuleerde ‘advocacy research’ en in het verlengde daarvan wellicht ook hoe in ons land daarop door wetenschappers en media is ingespeeld.
Het verbaasde mij dat Dijkgraaf (KNAW) en Hajer (PBL) aan deze IVM-VU bijeenkomst medewerking verlenen want het onderwerp ‘twijfel aan de kwaliteit van het klimaatonderzoek’ staat niet op de agenda. Ik voorzie dat bij deze gelegenheid menige deelnemer, onder het mom het vertrouwen van de samenleving in de wetenschap te kunnen herstellen, ‘advocacy research’ dreigt te willen legitimeren. Daar heb ik moeite mee.

In het onderstaande een tamelijk principiële beschouwing over het wezen van ‘advocacy research’ en haar positie in het wetenschappelijke veld.

De multifunctionaliteit van de natuurwetenschappen
Toen de westerse natuurwetenschapbeoefening nog jong was, vormde nieuwsgierigheid naar het wezen der dingen voor vele onderzoekers de belangrijkste drijfveer. Ze maakten zich niet zo druk om praktische toepassingen. Het is ook nog niet zolang geleden dat in NWO kring toegepast onderzoek een vies woord was (deze droeg destijds de naam van organisatie voor Zuiver Wetenschappelijke Onderzoek). Maar gedurende de afgelopen decennia raakten fundamenteel, ontwikkelings- en toegepast onderzoek meer en meer verweven. Daar was op zich niets tegen, want uit veronderstelde commerciële toepassingen bij de grote bedrijfslaboratoria volgden ook interessante vraagstellingen voor fundamenteel onderzoek. In het medisch onderzoek zijn toepassing en fundamenteel altijd nauw op elkaar afgestemd geweest.

Maar een oud ideaal in de westerse wetenschapsbeoefening bleef toch wel voortleven. Dat is de vrijheid van onderzoek, niet belemmerd door vooroordelen van de financiers of door religieuze overtuigingen. De achtergrond daarvan is dat waarheidsvinding bij wetenschappers voorop dient te staan. En daar achter ligt een belangrijk beginsel in onze westerse wetenschapsbeoefening, dat is de Socratische twijfel: zijn de dingen werkelijk zo, zoals zij op het eerste gezicht lijken? Wie deze vraag uit het oog verliest, diskwalificeert zich als objectieve onderzoeker.
‘Advocacy research’, onderzoek vanuit maatschappelijke roeping.

Omstreeks 1970 ontstond een beweging om het onderzoek buiten de commerciële sector ook meer dienstbaar te maken aan de samenleving door directere financiering van projecten door overheidsinstanties die zich als ‘klant’ gingen opstellen van de te leveren resultaten. Het leidde in een verscheidenheid van disciplines tot een bedreiging van de vrijheid van onderzoek (zie A.J.F. Köbben & H. Tromp. “De onwelkome boodschap; of hoe de vrijheid van wetenschap bedreigd wordt”,  Mets, Amsterdam, 1999). Men sprak van politisering van de wetenschap. Een bijkomend belangrijk verschijnsel was dat ook een bepaalde groepering van wetenschappelijke onderzoekers politiek, beleidsmatig, stelling begon te nemen en indringend verkondigde welke maatregelen in de samenleving dienden te worden genomen. De beweging werd bijzonder sterk in de milieusector onder wetenschappers die verontrust waren over vervuiling van lucht, water en bodems die door menselijk handelen wordt veroorzaakt. Deze stem vanuit de wetenschap was op zich aanvankelijk een nuttige ontwikkeling en leidde tot maatregelen om mogelijke vergiftiging van onze leefomgeving te voorkomen. Maar de directe koppeling van de financiering van onderzoek door beleidsmakers met politiek gemotiveerde wetenschappelijke onderzoekers leidde tot de ontwikkeling van een machtspositie van laatstgenoemden. Hierdoor werden meer genuanceerde opvattingen in het wetenschappelijk circuit over mogelijke milieubedreigingen onderdrukt. In de filosofie van de sociale wetenschappen spreekt men in het Engels nu van ‘advocacy research’, onderzoek gebaseerd op een maatschappelijke doctrine. Men ziet daar een bedreiging in voor de omvang van onderzoek dat de waarheidsvinding voorop stelt. En men ziet een tegenstelling groeien tussen ‘advocacy research’ en ‘true research’, die waardevrij wil blijven.

Advocacy research houdt ook in dat de machtshebbers in een bepaalde tak van onderzoek een specifieke visie luidkeels verkondigen in het publieke domein. Zij beroepen zich daarbij op de consensus die er onder hen als ‘experts’ op het gebied zou bestaan op grond van samenvattingen van de stand van de wetenschap, reviews, evaluatiestudies (assessment reports).

De publieke voorlichting
In het verlengde van het opstellen van zogenaamde gezaghebbende evaluatiestudies ligt de publieksvoorlichting. De ontwikkeling die de wetenschapsvoorlichting heeft doorgemaakt sinds de oprichting van de vereniging van wetenschapsjournalisten werd in een eerder SPIL artikel 2006 (2)  uiteengezet. Uitgangspunt voor intensivering van de wetenschapsvoorlichting was ten tijde van de maatschappelijke ‘revolutie’ anno 1968 de democratiseringstendens. Het was niet alleen meer aan de wetenschappers om prioriteiten in het onderzoek te stellen, gezien de uit de resultaten mogelijk voortvloeiende maatschappelijke gevolgen, maar aan de samenleving als geheel. Daarvoor moest het grote publiek dus worden voorgelicht en in begrijpelijke taal duidelijk worden gemaakt wat zich in het wetenschappelijke circuit aan het ontwikkelen was. Het publiek diende achtergrondkennis te verwerven om op verantwoorde wijze te kunnen meepraten bij het maken van keuzen. In dat stadium werd er nog niet naar gestreefd om het grote publiek een ‘expert’-opinie van wetenschappers op te dringen. Dat zou juist in strijd zijn met de gedachte van democratisering. Objectieve voorlichting over alle ins en outs was het devies. De daarna opkomende advocacy research heeft dit ideaal van objectieve voorlichting vertroebeld. Regenteske verkondiging van eigen wijsheden uit een bepaalde groepering wetenschappers kreeg de overhand.

Box A

De strijd om de wetenschap in de sociobiologie

Ullica Segerstrale, “Defenders of the Truth: The battle for Science in the Sociobiology“, Oxford University Press 2000

Het boek van Segerstrale behandelt de spanning tussen de wetenschappelijke waarheid en de maatschappelijke instelling. Maar het gaat in wezen om de spanning tussen aangehangen paradigma’s en de ideologie, waarnaar men heden ten dage refereert als ‘politieke correctheid’. De conclusie is dat macht een belangrijke rol speelt bij de vraag wie de winnaar is in een wetenschappelijk debat. Er worden veel voorbeelden gegeven van onwenselijke wetenschappelijke praktijken (in de sociobiologie) zoals heksenjacht, gebrek aan kritische wetenschappelijke instelling, onwenselijke interrupties bij voordrachten, halve waarheden die door experts worden verkondigd, opzettelijke misinterpretaties, misleidend taalgebruik, smaad, vrees voor feiten, en het onderdrukken van waarheidsvinding.

De basis voor de ‘advocacy research’ van het IPCC: de peer reviewed artikelen
Voordat de door het IPCC verkondigde wijsheden worden behandeld, eerst het volgende: de in box A beschreven verschijnselen in de sociobiologie zijn ook alle herkenbaar in het zogenaamde klimaatdebat. Dat is verontrustend. De AGW-verkondigers in dit debat kan men zien als de Climate Advocacy Researchers (CAR). Hun opponenten kan men zien als de verdedigers van de waardevrije wetenschap. Een prominent aspect van het klimaatdebat is, dat de CAR wordt getrokken door lieden die menen dat de bewijsvoering voor AGW is gegarandeerd door waarnemingen en interpretaties in peer-reviewed artikelen in wetenschappelijke tijdschriften. De ‘vrije’ wetenschap hecht ook aan peer-review als kwaliteitswaarborg maar ziet de functie anders.

Peer-review wil zeggen dat een manuscript door ‘gelijken’ op wetenschappelijk niveau (de “peers’’) kritisch worden bekeken, voordat een tijdschriftredactie tot publicatie overgaat. Het gaat hier in de eerste plaats om de kwaliteit van de methodologie die is toegepast om data (feiten) te verzamelen. De auteurs trekken daaruit conclusies, die de peers niet noodzakelijk hoeven te onderschrijven. Deze conclusies blijven de verantwoordelijkheid van de auteurs en worden in het merendeel van de tijdschriften onder het hoofdje ‘discussie’ ondergebracht. Een “peer” gaat in principe te ver als deze het manuscript afkeurt indien de auteursconclusies niet met de zijne, of de gangbare, overeenkomen. Dit verschijnsel doet zich in alle wetenschappen voor tenzij de tijdschriftredacties ingrijpen. Om die reden heerst er momenteel in het algemeen onvrede hoe het peer-review systeem wordt gebruikt. Aangezien in onderzoeksgebieden van enige omvang meerdere tijdschriften verschijnen heeft de auteur met een afgewezen manuscript echter de mogelijkheid om het stuk in een ander tijdschrift gepubliceerd te krijgen. Indien alle tijdschriftredacties zich voor dezelfde CAR laten spannen met hun keuze voor reviewers dan ontstaat de kartelachtige machtsstructuur die specifiek is voor advocacy research. Nogal wat opponenten van de AGW hebben deze machtsuitoefening ervaren  met afwijzing van artikelen zonder behoorlijke argumentatie of betwisting van de gepresenteerde data.

Wetenschappelijke literatuur met betrekking tot grensverleggend onderzoek veroudert snel.  Zie  J.P.A.Leannodis “Why most Published Research findings are false”, PloS Medicine, August ,2005. Vol 2. Issue 8,  696-701

In de vrije wetenschap krijgen de conclusies in een bepaald artikel pas betekenis als de resultaten onafhankelijk door anderen worden gereproduceerd. Reproductie is een essentiële voorwaarde om blijvende waarde aan een wetenschappelijk artikel te hechten.  In de vrije wetenschap is het voorts gebruikelijk dat indien niet alle primaire data worden vermeld, deze gegevens vrijelijk ter beschikking worden gesteld voor verificatie. In de CAR is dit bij herhaling geweigerd.

Samenvattend: het eenzijdig gebruik van peer-reviewed artikelen als bewijs bij evaluatiestudies is een oneigenlijk gebruik van wetenschappelijke literatuur. Met de opvallende wijze waarop de CAR een breder publiek, en de politiek, heeft doen geloven dat dit de goede wetenschappelijke praktijk is, werd een beeld geschapen dat ver van de vrije wetenschapsbeoefening af staat. En daarmee is in de samenleving het idee ontstaan dat CAR een verantwoorde en onaantastbare vorm van wetenschapsbeoefening is.

Verontrustend en teleurstellend is dat men van binnenuit het IPCC-circuit het gedrag van een paar dominante personen niet heeft gecorrigeerd. Ik hoop dat aan Nederlandse universiteiten nog steeds studenten worden opgeleid in de geest van ‘geloof niet zondermeer alles wat de meester (hoogleraar) je probeert aan te praten’. En dat hen wordt aangeleerd dat gevestigde wetenschap maar betrekkelijk is en dit de aanmoediging bij uitstek is tot het zelf doen van onderzoek.

In het voorgaande heb ik aangegeven dat onder druk van de CAR deze stelregel niet werd aangehouden, met name niet bij hen die evaluatiestudies verrichten. Het betreft studies die als ‘gezaghebbend’ aan de overheid worden aangeboden. Op nationaal niveau gaat het om mensen die zich als ‘expert-klimatologen’ opwerpen, maar die zelf geen onderzoekervaring op het gebied van het broeikaseffect hebben opgedaan.  Ze hebben zich beperkt tot het verwerken van de door het  IPCC verzamelde visies.  Objectieve, professionele evaluatie- studies, die voor publieksvoorlichting zijn bestemd, dienen op eigen interpretaties van primaire data van de uitvoerders van de evaluatie te zijn gebaseerd, die daarna daarvoor ook zelf de verantwoordelijkheid nemen.

Deze bijdrage is ontleend aan een artikel in SPIL 2010 (1/2) pag 7 – 12 “De staat van het klimaatonderzoek 2010; de kwaliteit van de evaluatie nader bekeken”  Een voorpublicatie is te vinden op www.platteland-in-perspectief.nl onder actueel document.