Afbeelding: Studiousguy.
Een gastbijdrage van Ed Zuiderwijk.
Een van de fixaties van klimaatalarmisten is het ‘peer-review’. Als een artikel in een tijdschrift staat met ‘peer-review’ dan moet het wel waar zijn. Als het stuk daarentegen gepubliceerd is zonder die vermeende gouden toets dan kan je het het beste negeren, ongeacht wat er in staat. De arrogante naïviteit van die houding wordt duidelijk als je dan vraagt hoe zo iemand het werk beoordeelt van een Archimedes of Euclides, of bijvoorbeeld Newton. Ah! Maar dat was lang geleden en in klimaatonderzoek doen we het nu gewoon beter.
De plaag die ‘peer-review’ heet is nog niet zo oud. Toen Albert Einstein zijn stukje over ‘Elektrodynamik bewegter Korper’ naar Annalen der Physik stuurde was er niet zoiets. Het stuk werd beoordeeld door de redacteuren zelf die deskundig genoeg waren om het op waarde to kunnen schatten. Bij het tijdschrift Nature, toen het nog een reputatie had in de dagen van John Maddox, werden nog artikelen geplaatst zonder door een review process te zijn gegaan. Dat ging wel eens mis – de Beneviste affaire – maar meestal was er geen wolk aan de lucht.
Echter Maddox, zelf een wetenschapper, voerde een achterhoedegevecht en zijn deskundigheid en die van zijn collega’s bij andere publicaties is geleidelijk vervangen door beoordeling door een gezichtsloze groep ‘reviewers’, terwijl de redacteuren managers zijn geworden.
Is dat ‘peer-review’ dan echt zoveel beter dan wat er aan vooraf ging? Ik betwijfel dat, gebaseerd op persoonlijke ervaring, ten sterkste. Het hele idee van kwaliteitscontrole door vakgenoten staat of valt met twee voorwaarden: Zijn de reviewers deskundig? En zijn de reviewers te goeder trouw, om die oude term maar eens te gebruiken? De praktijk heeft mij geleerd dat het antwoord op die vragen is: meestal wel, maar nog te vaak niet. Ter illustratie een greep uit wat ik zoal zelf ben tegenkomen.
——|||——
Zijn de reviewers deskundig?
Bij het 25-jarig bestaan in 1975 van de toenmalige stichting Zuiver Wetenschappelijk Onderzoek, de voorloper van het NWO, werd in een jubileum nummer een interview met de directeur generaal gepubliceerd. Daarin – in het kader van: hoe succesvol was ZWO over de afgelopen kwart eeuw? – de vraag of ze wel eens een miskleun hadden gemaakt. Dat was inderdaad wel eens gebeurd. Een paar jaar eerder werd ZWO gepresenteerd met een voorstel om een laboratorium voor moleculaire biologie op te zetten. Het was afkomstig van een jonge totaal onbekende aspirant promovendus die onderzoek wilde doen aan eiwitten. Het voorstel werd afgewezen.
Achteraf bleek dat de ideeën die de aanvrager aandroeg in zijn argumentatie helemaal zo gek niet waren. Als dat lab er wel was gekomen dan was Nederland een van de voorlopers geworden op het gebied van wat nu ‘protein synthesis’ heet. Waarom werd het voorstel afgewezen?
Het werd beoordeeld door geleerde professoren in een vakgebied – geneeskunde! – waarvan men dacht dat het het dichtste lag bij het onderwerp. De hoogleraren vonden het maar niets. Dat wil (volgens mij) zeggen ze snapten er niets van maar konden zichzelf er niet toe brengen dat te erkennen en de opdracht terug te sturen met de boodschap: wij weten niets over dit onderwerp, vraag een tweede opinie. Van de aanvrager is nooit meer gehoord voor zover ik weet.
Een geval uit mijn tijd bij het (nu niet meer bestaande) Royal Greenwich Observatory. Ik krijg een verzoek eens naar een artikel te kijken dat gestuurd was naar een gerenommeerd Engels tijdschrift voor alles astronomisch. De redacteur zegt: ik denk dat de statistiek niet klopt. Dat is een onderwerp waarvan ik wel het een en ander weet. En inderdaad de statistische analyse rammelde aan alle kanten met als resultaat een P waarde die minstens een factor duizend te klein was; daarmee kun je alles ‘bewijzen’, hoe bizar ook. Er was ook een tweede opinie die zei:
‘I’d go as far as calling this a crackpot paper’.
Ik was dus niet alleen. Ongeveer een jaar later zie ik tot mijn verbazing en ergernis precies hetzelfde artikel, onveranderd, gepubliceerd in een ‘peer-reviewed’ Amerikaans tijdschrift. De kennis van statistiek van de reviewer daar liet blijkbaar nogal wat te wensen over.
Leukje: ik haalde mijn oude aantekeningen uit de bureaulade met de berekeningen van hoe het wel moest en had daarmee zelf, onverwacht, een nieuwe publicatie. Zoals mijn grootmoeder zei: je weet nooit hoe een koe een haas vangt.
Dan was er de episode waarin tweemaal Nobel laureate Linus Pauling jarenlang de loopbaan frusteerde van Dan Shechtman omdat Linus vond dat Dan het niet bij het rechte eind kon hebben. Met zo iemand tegen, dan wordt publiceren behoorlijk moeilijk. Hoe ver Pauling er naast zat blijkt uit het feit dat Shechtman in 2011 zelf de chemie Nobel kreeg voor zijn werk aan quasi-crystallen; meer daarover bij link 1 aan het einde.
En er is dit probleempje. Stel je hebt een geniaal idee voor een onderzoeksproject of een briljant stuk geschreven over iets waar niemand anders aan had gedacht. Wie zijn je ‘peers’? Die heb je niet want per definitie ben jijzelf de enige met verstand van zaken; ‘peer-review’ is dan vragen aan de leerling om het werk van de meester te beoordelen. Bij de huidige praktijk had Einstein weinig kans gehad. Niet omdat er geen wetenschappers zouden zijn die zijn werk konden begrijpen, die waren er wel, zij het niet veel, maar omdat het lang niet zeker is dat de redactie die ook weet te vinden.
Zijn de reviewers deskundig? Je kan het treffen.
——|||——
Zijn de reviewers te goeder trouw?
Hoe belangrijk de ethiek van de reviewers is wordt duidelijk in het licht van het enorme potentieel voor belangenverstrengeling. Dat geldt voor publicaties, projecten en eigenlijk alles waarbij je werk door vakgenoten beoordeeld wordt. Hier een paar voorbeelden.
Stel, je werkt aan een ‘hot topic’ en de publicatie waaraan je zo hard hebt gewerkt wordt voor review gestuurd naar een collega in hetzelfde onderzoeksgebied, in jouw geval iets astronomisch. Die collega echter werkt niet alleen in hetzelfde veld maar zelfs aan dezelfde hemelse objecten. Jouw publicatie komt als een schok want je loopt hem of haar voor de voeten. Het is dan een sterke geest die desondanks een eerlijk commentaar bijtijds terug stuurt naar de redactie.
Indertijd vroeg mijn naïve zelf zich af waarom die review toch zolang bij de reviewer bleef hangen. Stel, jouw team van onderzoekers dient een voorstel in voor een omvangrijk project bij NWO, een project dat een stevige deuk in het budget zou maken. Het review wordt gedaan door collega’s, die, omdat het over een flinke geldbuidel gaat, hoog in de hiërarchie zullen zitten. Dat zijn dus juist die onderzoekers die hoogstwaarschijnlijk met hun eigen projecten naar NWO gaan en zich dus zullen realiseren dat als jouw project goedgekeurd wordt er minder deeg is voor hun eigen baksels. Zou de verleiding om extra hard te zoeken naar redenen waarom jouw project afgewezen moet worden, zou die niet te groot kunnen zijn, al was het alleen maar onbewust?
Als je als astronoom een waarnemingsvoorstel indiende bij een observatorium dan werd dat voorstel beoordeeld door stafleden op uitvoerbaarheid – bijvoorbeeld: is de vereiste signaal-ruis verhouding haalbaar met het gevraagde instrument – voordat het gegradeerd werd op basis van o.a. het wetenschappelijke doel en in de molen ging voor de uiteindelijke selectie: in mijn tijd werd telescooptijd overvraagd met een factor 3 tot 4. Een collega vertelde me van zijn ervaringen. Hij had een waarnemingsproject ingediend voor een ‘survey’ van rondweg 200 zorgvuldig uitgekozen objecten. Het voorstel kwam er niet door. Ongeveer een jaar later komt hij wel aan de bak en bladert door de waarnemings logboeken. Daarin vindt hij een flink aantal metingen gedaan door een staflid van objecten die hem toch wel erg bekend voorkwamen. Het was dan ook een heel interessant voorstel. Enzovoorts.
Het moge duidelijk zijn dat ‘peer-review’ door de unscrupuleuzen misbruikt kan worden, en wordt, om de competitie te hinderen, hun financiering te beïnvloeden of zelfs hun ideeën te stelen. De vaak genoemde voordelen van bijvoorbeeld het uitfilteren van duidelijke blunders en verbetering van presentatie zijn net zo lang als ze breed zijn. Voor mij persoonlijk is de jury nog steeds uit en ik word alleen maar meer pessimistisch. Het historische voorbeeld van Lysenko’s controle over wat wel en niet gepubliceerd kon worden had een waarschuwing moeten zijn. Maar we zien diezelfde controle en inteelt bij het huidige klimaat onderzoek, waar ‘peer-review’ is ontaard in ‘peer-approved’, een doctrine die met alle mogelijke middelen wordt afgedwongen door ‘gatekeepers’ die de procedure controleren. Alles wat niet in het plaatje past komt niet aan de bak; niet-populaire onderzoeks resultaten worden resoluut terzijde geschoven.
——|||——
Bij publiceren is het de taak van de redactie om de ethische aspecten goed in de gaten te houden. Hoe dat niet werkt als het over klimaat gaat wordt op brute wijze onthuld in een stuk van de hand van Mike Jonas (links 2 en 3); het is verplichte leesstof voor eenieder die nog een greintje vertrouwen heeft in wat daar zo rond gaat. Mike had een artikel geschreven over temperatuurmetingen in de zuidelijke oceanen, gebaseerd op publiek toegankelijke data. Dit is wat hij zelf zegt over wat er gebeurde:
“I freely admit that I thought the chances of the paper being published were low – not because it wasn’t good enough (I was confident that it was) but because it demonstrated a failure of the IPCC and the climate models. What I didn’t expect was that (a) the process would take nearly a year, (b) the journal would handle it so dishonestly, and (c) the editor would end up stating explicitly that he wouldn’t publish a paper that was critical of the climate models”.
De redacteur (editor) komt er niet zo best uit naar voren, maar misschien moeten we niet te hard oordelen gezien de druk die achter de schermen op hem wordt uitgeoefend. Kijk bijvoorbeeld eens naar een reviewer’s commentaar op een artikel van mijn hand over de eerste pogingen (in de jaren 60 en 70) om het effect van CO2 absorptie te berekenen met wat toen heette een spectraal gemiddelde opaciteit (‘banded approach’):
“This is a clear desk-reject without review. I can tell from the abstract that the study is fundamentally flawed, because climate models calculate the greenhouse effect using spectrally resolved equations, not a spectral-mean opacity model.”
“So I decline the review for the same reason I would decline to review a paper claiming the Earth is flat. Publishing this paper would seriously damage your journal’s reputation.”
Eerst wordt ons verteld dat de reviewer het stuk niet heeft gelezen maar dat hij duidelijk niets van de conclusie wil weten; de reden die daarvoor gegeven wordt is totaal niet relevant, en niet eens waar. Dan is er een poging tot ‘ad hominum’ om een ‘platte aarde’ mentaliteit toe te schrijven aan deze astrofysicus, die alleen maar resulteerde in een onbedaarlijke lachbui; echter, je weet wel meteen dat je met een arrogante onbenul te maken hebt.
Maar kijk eens naar die laatste zin. Die gaat eigenlijk niet meer over het artikel an sich maar over de redacteur zelf: want wat slecht is voor jouw tijdschrift is ook niet best voor jouw baan. Het is een verkapt dreigement. En als je door de Climategate e-mails heb gelezen waarin open en bloot de machinaties te zien zijn om die-en-die het publiceren te verhinderen en hier en daar een redacteur weggewerkt te krijgen, dan weet je precies wat er op de achtergrond speelt.
Het verstikkende effect van ‘gatekeepers’ in de biologische literatuur gedurende de drie decennia onder de duim van Lysenko in de Soviet Unie onder Stalin werd door de bioloog Zhores Medvedev zo beschreven (zie link 4):
The control of biological literature by supporters of Michurinist [Lysenko’s mentor] biology was so tight that for years there was scarcely a single article in the Soviet press openly critical of Lysenkoism. It was impossible to publish genetics articles as such during that period, and they had to appear in periodicals devoted to chemistry, physics, or mathematics.
Als je (toen in de USSR) over nieuwe ontwikkelingen in de genetica wilde lezen, dan moest je niet in de biologische literatuur zijn. Tegenwoordig, als je over nieuwe ontwikkelingen op het gebied van het klimaat wil leren, of als je origineel onderzoek wil publiceren dat niet conformeert aan de sprookjes van het IPCC, dan moet je niet bij de klimaat literatuur zijn, dan kun je het beste tijdschriften met ‘climate’ in de naam vermijden. En zelfs dan valt het niet mee.
***
Ed Zuiderwijk.
Referenties
1. https://www.thejc.com/lifestyle/features/the-nobel-winner-who-was-told-he-was-a-disgrace-1.30335
2. https://wattsupwiththat.com/2019/04/10/the-curious-case-of-the-southern-ocean-and-the-peer-reviewed-journal/
3. https://joannenova.com.au/2018/12/far-southern-ocean-cools-kiss-goodbye-to-polar-amplication-around-antarctica/
4. https://wattsupwiththat.com/2021/05/23/climate-change-alarmism-as-a-class-war/
***
‘Als jij mijn artikeltjes gunstig peer-reviewed, dan zal ik jouw artikeltjes gunstig peer-reviewen.’
Want, lezer, het is nog steeds belangrijk om dat zgn. kwaliteitsstempeltje op je stukje te hebben.
Iets beters is er nog niet, dus iedereen bedient er zich gaarne van.
In 1980 ongeveer wilde de vleesindustrie van zoveel rotzooi af dat ze de ene worst na de andere begonnen te verzinnen. De fricadellenindustrie kon het aanbod niet verwerken in z’n eentje.
Een slimmerik maakte aan het einde van zijn worsten een touwtje vast met een medaille eraan.
‘Medaille d’Or’ stond erop met de vermelding dat de worst een prestigieuze prijs had gewonnen.
Niemand wist dat de fabriek zelf de prijs had verzonnen en aan zichzelf had uitgekeerd.
De mensen vonden het prachtig en de bekroonde worst vloog over de toonbank.
In no time had elke zichzelf respecterende worstenmaker een medaille ontwikkeld, het barstte ervan.
Nog geen dronken stamgast nam een hap van een worst waaraan geen medaille bungelde.
Tegenwoordig haast elke regering zich een instituut van waarheid te benoemen. De officiële fact-checkers rollen over elkaar heen en zetten hun waarheidsstempel op allerhande uitingen, als ze maar overeenkomen met de voorgeschreven werkelijkheid van hun broodheer.
Welnu, ik constateer dat de worstenmakers en de wetenschappers hen voorgingen.
Een mooie metafoor en een geheel nieuwe kijk op: het zal me worst wezen. Ik denk dat ik de term ‘prize-winning sausage’ zal gaan gebruiken bij het karakteriseren van rapporten en adviezen van de IPCC.
@Ed Zuiderwijk 18 jun 2022 om 10:15 Wat een geweldig artikel! Chapeau.
“Prix d’OrGasmeCarbonique”?
Wow, wat weer een prima artikel, Zuiderwijk. Peer review wordt inderdaad misbruikt om ideologisch ongewenste onderzoeksresultaten en hun publicaties omtrent mens-CO2-klimaat-correlatie te traineren en te blokkeren.
Peer review is slechts het topje van de ijsberg in de Nederlandse publicaties en media als het om blokkeren van kritiek gaat op stikstof- / energiebeleid en op ineffectief en zinloos beleid om ‘klimaatverandering’ geheel stop te kunnen zetten in 2030~2050~2100. Nederlandse TV-komieken zoals VanderLaan & Wo schijnen dergelijke peer review methode toe te passen in hun ‘Even tot hier’ visie op CO2 en Stikstof “crises’ in Nederland.
Het is helaas al enige decennia een feit, dat de ideologisch ‘groene en linkse’ poortwachters in de ‘woke’ journaille in Nederland gewapend staan met de botte bijl om kritiek op de wetenschappelijke methode door het IPCC, hun doemmodellen en kritiek op het dwalend energie-klimaatbeleid als gevolg, via onzinnige en effectloze politieke klimaatbesluiten in Parijs, EU en NL, te weren.
https://www.researchgate.net/post/How_can_we_rebuild_trust_in_the_Peer_Review_process_Should_we_advocate_criminal_prosecution_of_abuse_of_the_peer_review_process
Ed, helder verhaal en je slaat de spijker op de kop.
In de tijd van Einstein was het aantal wetenschappers zeer beperkt. Wetenschap was ook beperkt tot de elite.
Nu kan iedereen studeren en studeert cum laude af. Als er een gat valt in titels, bedenkt men een nieuwe zoals ‘master in science’. Masters in science ben ik al heel wat tegen gekomen en die hadden – op basis van hun titel – vooral een hele grote b*k mond. Masters of science worden ingezet op strategische plekken, zoals de omgevingsvergunning-aanvraag- die de burger fijntjes uitleggen hoe het klimaat opwarmt en daarom per omgaande een vergunning afgeven voor windmolens en/of zonnepanelen met de subsidie -toezegging van het RVO erbij.
Ik ben zelf verre van een wetenschapper, maar weet heel goed het verschil te maken.
Ik zou ervoor pleiten onderscheid te maken tussen ‘onderzoekers’ en wetenschappers.
Wellicht is het u opgevallen dat zogenaamde wetenschappers zich bewust zijn van die discussie en steeds harder om zich heen beginnen te slaan in de media. Voorbeeld: de column van Ionica Smeets vandaag ( die ik vroeger altijd las ) ” Dalend vertrouwen in de wetenschap? Fake news. Het is juist gestegen ”.
Eh, Bert, Einstein was juist niet lid van een elite, eerder het tegendeel.
Over de verwatering van titels: toen ik rond de eeuwwisseling mezelf op de banenmarkt vond (ik had een ‘permanente’ aanstelling) heb ik legio interviews gedaan. Een van de terugkeerde thema’s: van welk jaar was uw PhD? (1979).
Ik wilde weten waarom dat blijkbaar belangrijk was: alles later dan 1990 was een argument om een kandidaat wat grondiger aan de tand te voelen.
“Het verstikkende effect van ‘gatekeepers’”
Er is al een andere drempel n.l. gewoon een hele tak van onderzoek monopoliseren.
Vervolgens niet de gangbare “wetenschappelijke bladen” gebruiken voor publicatie maar dat zelf doen als monopolist.
Een monopolist wil geen peer review en al helemaal niet van buiten de eigen groep.
Bovendien duurt peer review te lang zodat de media alweer andere angsten volgt.
Daarom schaffen ze de peer review af en verklaren dat hun werkmethode bekekenen is onder peer review.
Omdat ze ook de woorden willen controleren die journalisten gebruiken in hun reacties geven ze ook daarvoor een “handleiding” met voorgeschreven “kwalificaties”.
Citaten van hun website:
“This emerging field of climate science is called Extreme Event Attribution”
“The World Weather Attribution (WWA) initiative is led by Drs Friederike Otto at Imperial College, and Sjoukje Philip and Sarah Kew at KNMI.”
“The methodology has been peer-reviewed and published,”
“Scientific studies, going through peer-review are usually published a year or longer after an event occurred, when the public has moved on”
“Finally, these results are disseminated through media channels,”
Ten slotte:
“Reporting extreme weather and climate change: a guide for journalists”
Helemaal geen last meer van redacteuren of input van andere ideeën.
Iedereen buiten de groep denkt volgens hun kennelijk vanuit een platte aarde.
Enige nuance is op z’n plaats, Lo.
WWA past binnen de vraag vanuit de maatschappij richting wetenschap om uit de ivoren toren te treden. Klimaat(verandering) houdt de maatschappij bezig. Bij een weerextreem komen vragen vanuit de maatschappij als: “houd dit weerextreem op enigerlei wijze verband met klimaatverandering?” De oude ivoren toren benadering was: “het beantwoorden van die vraag past niet bij de dagelijkse werkzaamheden” of “dat gaan we eens rustig uitzoeken, u hoort van ons”. Dergelijke antwoorden worden heden ten dage niet meer geaccepteerd. De maatschappij verandert en de wetenschap moet daarin mee.
WWA is een relatief nieuw instrument met als doel relatief snel een “educated-guess” antwoord op de vraag te geven. Een wetenschappelijk onderbouwde weloverwogen gok uiteraard met alle onzekerheden van dien, die ook gecommuniceerd dienen te worden. Daarmee wordt de maatschappij gediend. Dat het daar niet stopt moge duidelijk zijn. Op wetenschappelijk niveau gaat het beantwoorden van die vraag verder, lees, de onzekerheden in de educated-guess worden geminimaliseerd. Dat vergt werk en tijd waarover in een later stadium wordt gerapporteerd. Mogelijk peer-reviewed.
1) Tja, onder “maatschappelijke druk” wordt de wetenschap vloeibaar??
Na “Parijs” was er voor politici sterke behoefte aan rapporten met directe connectie tussen extremen en klimaatverandering, en wonder boven wonder die werd dan ook wetenschappelijk ontdekt.
2) “Een wetenschappelijk onderbouwde weloverwogen gok uiteraard met alle onzekerheden van dien, die ook gecommuniceerd dienen te worden.”
Laat dat melden van, die onzekerheden en onderbouwing, nu juist niet zo goed lukken.
Twee voorbeeldjes.
Op de website staat dat het initiatief “is led by S. Philip”, o.a., helaas vermeldde Dekker van de NOS meerder malen bij het commentaar van Philip op WWA onderzoek, wel haar associatie met WWA maar dat “ze niet betrokken was met het onderzoek” wat ze aanprees/ uitlegde.
Beetje onkritische vermenging van belangen lijkt mij.
Hoogleraar M v Aalst, mocht als onderzoeker over de regenval in juli 2021 meerder malen zijn verhaal doen op radio en TV maar was kennelijk niet scherp genoeg om te melden dat het onderzoek helemaal niet over Limburg of Nederland ging.
Niemand in Nederland heeft dat dan ook begrepen, laat staan onthouden.
Over het gebruik van statistiek zonder data begin ik maar niet meer, want zuivere statistische methoden zonder data zijn mogelijk ontsnapt aan de “peer-reviewed Methodologie”, zoals geruststellend vermeld wordt op de website.
Als je suggesties voor verbetering hebt, dan weet je waar je die kunt melden. WWA voorziet in een wetenschappelijke én maatschappelijke behoefte. Het is een blijvertje.
“Als je suggesties voor verbetering hebt, dan weet je waar je die kunt melden.”
Vraag gewoon aan de boer in de omgeving wat te veel of te weinig regen voor problemen geeft.
Zo leer je meer dan van een WWA rapport.
Als je excuses zoekt buiten je eigen verantwoordelijkheid als gemeente of provincie, dan is de WWA een blijvend gefinacierde leverancier voor externe afleiding.
Zoals we eigenlijk allemaal horen te weten over water, kijk niet samen met het WWA vooral naar de wolken, maar kijk naar de grond.
Daar ligt de oorzaak en de oplossing.
Infrastructuur.
WWA is inderdaad een onzinnige bezigheid als je overtuigt bent dat klimaat(verandering) en weerextremen volledig ontkoppeld zijn.
Leuk artikel Ed Zuiderwijk. Geen enkel systeem is perfect. Die open deur om mee te beginnen. Ook peer review lost dat probleem niet op. Maar het helpt. Jouw voorbeeld van het “crackpot” paper is daarvan een mooi voorbeeld. Uiteindelijk werd jouw tegenwerping (peer reviewed) gepubliceerd. Aldus werd het debat gevoerd waar het gevoerd moet worden, in de wetenschappelijke literatuur.
Maar ook het “flat earth” paper zal meerdere reviewers gehad hebben en zal uiteindelijk toch, peer reviewed, (ergens) gepubliceerd zijn, indien van voldoende kwaliteit.
Vermoedelijk lees je ook artikelen op blogs door een wetenschappelijke bril en zul je vaak moeten concluderen dat die jouw review niet zouden doorstaan. Althans, dat is mijn persoonlijke ervaring.
Mening.
Maar goed Modelleur dat jij niets te zeggen hebt, want ook jij volgt klakkeloos de gevestigde orde.
Mijn dochter werkt als wetenschapster in de medische wereld en heeft me al lang geleden mij verteld dat peer review lang niet heilig zijn, maar door de gevestigde orde wel vaak consensus over bestaat, en jaren later blijkt dat het vaak een grote misser blijkt.
Foutje bedankt.
Ik zal het kort houden, Theo, in navolging van Scheffer. N=1.
Misschien kan je dochter de werkelijk interessante vraag beantwoorden in (Modelleur 18 jun 2022 om 11:11)
Modelleur,
Ook ik zal het kort houden, mijn dochter schrijft geen peer review artikelen, maar leest er over in de vakbladen.
En ik denk persoonlijk inderdaad dat peer review artikelen er beter niet hadden kunnen zijn, het lijkt soms een wedstrijd met veel na-apen getuigen de corona wetenschap, en natuurlijk graag eeuwige roem.
Vroeger werden bevindingen gepubliceerd, of in boekwerk waar iedereen op verder borduurde of een geheel andere weg uitging.
Dat heeft de wereld groot gemaakt, en dan neem ik maar 1 voorbeeld, de luchtvaart, de gebroeders Wright tot heden.
Peer review = grote onzin.
‘Peer review’ is een vorm van kwaliteitsbeoordeling van onderzoek. Het is zo oud als de wetenschap zelf. Eigenlijk is wetenschap voor de helft ‘peer review’ en voor de andere helft creativiteit en zelfkritiek. Bijna 40 jaar bestond mijn werk uit onderzoek beoordelen. En vermijden van de euvelen die Ed hierboven beschrijft, was mijn voortdurende zorg. Ik heb negatiefdoor peers beoordeeld onderzoek tot Nobel hoogte stijgen in waardering en positief beoordeeld werk in de prullenmand zien verdwijnen. Het succes van ASML’s steppers, chip machines, die 100 miljoen kosten en een heet hangijzer zijn in exportvergunningen, berust voor een deel op onderzoek, dat door geconsulteerde ‘peers’ werd afgekeurd. Menselijk? Al te menselijk! Meer hier:
http://www.clepair.net/Peerreview-2.html
& hier
http://www.clepair.net/Peerreview.html
Anekdotes kennen we allemaal. Positieve en negatieve. Het blijkt mensenwerk. inderdaad.
De werkelijk interessante vraag is of de wetenschap dezelfde progressie zou hebben doorgemaakt zonder peer review. Als dat de conclusie is, kunnen we peer review beter afschaffen.
@modelleur
wat mij betreft is de wetenschap juist in regressie beland- al heel lang- en bent u zo’n ”wetenschapper” die wild om zich heen slaat, zoals Ionica Smeets en al die nepwetenschappers die hun opwachting maken in de -hun!!!- media; met hun gewichtige praat en die elkaar de hand boven het hoofd houden als echte ‘peers’ . Ook wel aangeduid als HET KARTEL .
Het beste bewijs daarvoor is voor mij wel Robbert Dijkgraaf, die ik voorheen hoog had zitten als wetenschapper en nu een ministerie van de waarheid wil invoeren.
Ach ja Bert, iedereen die jouw mening niet deelt is ‘fake’. De wereld kan soms toch zo simpel zijn.
Dank voor deze mooie bijdrage Ed. De volgende video is ook mooi voorbeeld van een ontspoord peer-review proces waarin de reviewer beweert dat de zon de aarde niet opwarmt https://www.youtube.com/watch?v=aqEuDnqxtv4
Dijkgraaf zweefde al boven de werkelijkheid en politiek veroorzaakte problemen als voorzitter/directeur bij de KNAW. Gisteravond bij OP1 aan tafel was zijn opponent Midas Dekkers, die de problemen bij de wetenschap door ideologische universiteiten directies vergeleek met religie en (verrotte) kerkelijke hiërarchie.
Dijkgraaf begon daarna breedsprakig te oreren over hoe fantastisch Nederlandse Universiteiten waren, en de miljarden voor Universiteiten, maar gaf geen antwoord waarom studenten van buiten de EU (bijv. Duizenden Chinezen) voorrang genoten boven EU/NL studenten.
https://www.npostart.nl/minister-robbert-dijkgraaf-over-zijn-miljardeninvestering/17-06-2022/POMS_WNL_16936321
Daarna was Dekkers haaks op de zgn verzonnen crises over de Nederlandse weidevogels. Het gaat uitsteken met de weidevogels bewees hij!
Als je kwaliteitsonderzoeken wilt hebben moet je ook kwaliteitsonderzoekers hebben om die te beoordelen. Ik heb begrepen dat die peer reviewd onderzoeken veel tijd kosten en onbetaald moeten worden uitgevoerd. Daarnaast ligt er al veel druk op de onderzoekers en de kwaliteit van het universitaire onderwijs is door de grote instroom niet echt toegenomen. Het schijnt mij toe dat je daarvoor elders de prijs moet betalen. Tenslotte is de gemiddelde wereldbevolking wél meer geschoold maar niet slimmer geworden.
Mooi artikel Ed. Helaas heel herkenbaar hoe peer-review onwelgevallige wetenschap buiten de deur probeert te houden.
Een kleine anecdote: Na 15 jaar werkzaam te zijn geweest in Arctisch milieuonderzoek in Noorwegen, publiceerde ik een artikel, waarin ik bewees dat de niveaus van enkele toxische stoffen in zeehonden met meer dan 80% waren afgenomen in tien jaar tijd. Een eenvoudig verhaal met uiteraard grote consequenties: immers, het liet zien dat de Noorse overheid niet continue grote bedragen in dit soort (peperduur) milieuonderzoek hoefde te stoppen, en dat het geld beter voor ander onderzoek kon worden gebruikt. Dit zou natuurlijk grote consequenties hebben voor het onderzoeksbudget van mijn collega’s, waarvan sommigen net hadden geïnvesteerd in peperdure analyse apparatuur. Het verhaal werd meedogenloos neergesabeld door maar liefst 4 peer-reviewers (normaal waren dat er slechts 2). Na alle kritiek te hebben gepareerd, probeerden de reviewers publicatie van het artikel toch nog te stoppen. Het was dankzij de hoofdredacteur, een reële en integere man, dat het artikel toch werd geaccepteerd.
Helaas heeft het weinig impact gehad op het huidige Noorse milieuonderzoek: dat gaat gewoon door en mijn opvolger publiceert vrolijk het ene na het andere artikel dat al jaren de teloorgang van de arctische natuur voorspelt.
Prachtig verhaal Hans dat duidelijk laat zien waar het om gaat, iets slecht maken wat goed is voor eigen lijfsbehoud.
Dit voor sommigen onwelgevallige verhaal zal door hen worden afgedaan als anekdote. En als anekdote hoef je het dan niet serieus te nemen. In modellentaal is het negeerbare ruis en geen bedreigende trend.
Goed verhaal Ed dat de complexiteit van het onder de aandacht brengen van nieuwe kennis goed verwoordt. Het gaat niet altijd even makkelijk , maar goede zaken en inzichten winnen het op de duur toch. Als toegepast wetenschapper heb ik vaak gezien hoe snel een goed idee ingang vond en en het had dan vele vaders en een paar moeders.
Uit mijn herinnering. In het proces van onderzoek van projectvoorstel tot onderzoek en van onderzoek tot uiteindelijke rapportage zijn er doorlopend momenten van collegiale toetsing. In dit proces wordt dus doorlopend kritisch naar kwaliteit gekeken vaak ook vanuit verschillende disciplines. Het accent van deze toetsing ligt uiteindelijk op de eindrapportage waarin ook het gehele proces van totstandkoming resultaten weer wordt beoordeeld.
In huidige kwestie rond peer-review gaat het om toetsing resultaten van onderzoek door anderen dan directe collega’s. Daarbij spelen andere belangen een rol die helaas niets te maken hebben met de kwaliteit van het onderzoek maar veelal moeten dienen heersend beleid te stutten.
Het peer review strekt zich zo ver uit dat het al het wetenschappelijk onderzoek stuurt. Dit leidt zoals ik het steeds weer aangeef tot selffulfilling science of wetenschap op bestelling.
Het probleem in de wetenschap is niet het al dan niet peer-reviewed zijn van het ter publicatie aangeboden artikel, maar of de beoordeler en vakgenoot in staat is inhoudelijke vragen te stellen met betrekking tot wat het artikel beweerd of stelt.
Maar voor het verkrijgen van een juist antwoord is het stellen van een juiste vraag nodig, en voor het stellen van die vraag is kennis nodig.
Onwelgevallig is dan niet de wetenschap, maar onwelgevallig is de afwijkende mening, het verhaal dat ingaat tegen de hypotheses en dogma’s waarop de autoriteit van de peer reviewer rust. Die willen geen artikel laten passeren op hun vakgebied die indruist tegen hun mening en jun eigen gelijk, anders zouden zijn vakgenoten vanuit hun eigen kortzichtigheid gaan denken en geloven dat de peer reviewer de mening deelt van de auteur-wetenschapper vasn het geplaatste artikel.
Kortom het systeem van beoordeling vooraf leidt tot tunnelvisie in betreffende wetenschap, in starheid en stilstand en verlies van dynamiek. Een stilstand die momenteel zichtbaar is in de veelheid van een herhalend gezichtspunt, de dogmatiek die doordringt in het denken en leidt tot een geloof binnen onderzoekswetenschappen, zoals die met etrekking tot het klimaat en beschrijving van het weer in modellen. Zichtbaar, want in deze wetenschappen wordt vanwege het vaste geloof de wetenschappelijke methode als beschrreven door Karl Popper niet meer toegepast. Wetenschap bedrijven is geen ‘Fehlerbeseitigung’ meer.
Prachtig artikel dat de interacties in de wetenschap aangeeft waarbij een aantal fundamentele principes veelal genegeerd worden om niet wetenschappelijke redenen.
Het probleem met peer review is al een lange tijd geleden in de media geweest zoals bijvoorbeeld in 2011 in Forbes die het PAL REVIEW noemt https://www.forbes.com/sites/patrickmichaels/2011/06/16/peer-review-and-pal-review-in-climate-science/ , Joanne Nova legt in 2014 uit dat het niet over Peer of Pal review gaat maar over de essentie https://joannenova.com.au/2014/01/science-is-not-done-by-peer-or-pal-review-but-by-evidence-and-reason/
Goed stukje van die Patrick Michaels (“more than 10 years old”!).
Peer-review heeft niets met wetenschap te maken, hooguit dat iemand het eens is met het geschrevene.
Bij wetenschap gaat het niet om een aanname, want die moet worden bewezen en as als die bewezen is wordt het tijd er serieus naar te kijken.
Het geheim van weten is simpelweg meten. En als die uitkomsten duidelijk zijn een transparant is er geen peer-review nodig.
Hierbij een quote van Michael Crichton:
“Wanneer het om wetenschap gaat, is er geen consensus nodig. Wanneer consensus (peer-review) vereist is, is het geen wetenschap.
Sterkte met de discussie in dit mooie zomerweer en ons prachtige klimaat.
Laten we vooral zo doorgaan met alles wat we deden, want als iets duidelijk is geworden is dat het effect van de mens op de natuur verwaarloosbar is (behalve als we met atoombommen gaan gooien of iets dergelijks)
Z geeft geen oplossingen? Moet dat dan? Maar er is een hele eenvoudige voor klimaatwetenschap. Als er inteelt is dan heb je nieuw bloed nodig.
De voorlaatste alinea suggereert dat David zelf in de klimaatwetenschap werkt, dat hij meent dat je atmosferisch warmte transport alleen kan begrijpen met ingewikkelde line-transfer modellen, en dat hij de vroege literatuur op dat gebied niet erg goed kent. De opmerking dat je het broeikas effect niet kunt berekenen met een ‘banded mean’ zal als nieuws komen voor Syukuro Manabe, Nobel laureate 2021, die precies dat deed.
Appreciate it for this post, I am a big big fan of this internet site would like to continue updated.
Ed Zuiderwijk geeft wel een erg vertekend beeld van peer-review. Hier zijn enkele zaken waar hij de mist in ging.
Elk gedegen wetenschappelijk tijdschrift ontvangt meer manuscripten dat het kan publiceren. Peer-review is gewoon een proces om een hoofdredacteur te helpen om te beslissen welke manuscripten te aanvaarden en welke niet. Geweigere manuscripten zijn niet noodzakelijk slecht of foutief, maar voldoen gewoon niet aan de scope of kwalitetisvereisten, of zijn gewoon onvoldoende vernieuwend voor het niveau van het tijdschrit.
Dat er in de tijd van Einstein (volgens Zuiderwijk) geen formele peer-review was, doet er niet toe. De peer-review werd in dat geval gedaan door de groep van redacteurs van dat tijdschrift. Het bestond toen wel degelijk, maar was gewoon minder structureel en minder geformaliseerd. Bovendien, zelfs indien er geen enkel vorm van peer-review was, wat bewijst die publicatie van Einstein dan? Niets natuurlijk, want één voorbeeld is een ‘anekdote’, geen ‘bewijs’ – het doet er niet toe.
De bewering “Bij het tijdschrift Nature, toen het nog een reputatie had in de dagen van John Maddox, werden nog artikelen geplaatst zonder door een review process te zijn gegaan” klopt ook niet. Er was toen (eind jaren ’80) wel degelijk een gestructureerde peer-review. Ik weet dat want ik had in die tijd collega’s die in Nature hebben gepubliceerd. Ook dat manuscript van Beneviste was wel degelijk peer-reveiwed. Maar -zoals het altijd al was en nog steeds is- is het de hoofdredacteur die uiteindelijk beslist wat wel en niet gepubliceerd wordt. Dat doet die na het lezen van de commentaren van de reviewers en gebaseerd op zijn eigen oordeel en verantwoordelijkheid. Wat Maddox toen deed, was gewoon wat we vandaag nog steeds peer-review noemen. En ja, soms kan de redacteur nu nog steeds afwijken van de feedback van de peer-reviewers, wat logisch is: soms zal de ene reviewer positiever zijn en de andere negatiever.
Zuiderwijk merkt op dat het principe staat of valt bij de vraag “Zijn de reviewers deskundig?”. Maar hij wil dat enkel de redacteur beslist, en dan geldt natuurlik dezelfde bedenking, natuurlijk: is die redacteur dan wel deskundig? Als je dan naar Nature kijkt, dan weet je dat dit over allerlei domeinen publiceert: fysica, chemie, paleontologie, geneeskunde,… John Maddox kon niet deskundig zijn in al die domeinen, dus hij moest zich wel baseren op de inzichten van peer-reviewers. Zuiderwijk haalt zijn eigen voorstel dus zelf onderuit!
Dan zijn voorbeeld van een manuscript dat Zuiderwijk zelf als peer-reviewer had geweigerd, maar dat uiteindelijk wel elders werd gepubliceerd (inclusief een fout). Dat is ook logisch: auteurs die niet kunnen publiceren in een tweederangs tijdschrift, dienen gewoon opnieuw in bij een derde- of vierderangs tijdschrift. Uiteindelijk kun je alles publiceren wat je wil, zelfs de grootste brol (NB: waarom staan al die klimaatsceptische artikelen in derde- en vierderangs tijdschriften?).
Tot slot het voorbeeld over Mike Jonas dat Zuiderwijk aanhaalt: hier is Zuiderwijk zichzelf aan het tegenspreken. Hij geeft kritiek op het feit dat een redacteur zelfstandig een beslissing nam, terwijl hij voordien juist er voor pleitte dat een redacteur zelfstandig moet kunnen beslissen! Wat wil Zuiderwijk nu eigenlijk? Met een beetje wetenschappelijk inzicht besef je ook dat die redacteur wel degelijk gelijk heeft. Je kunt het broeikasgaseffect niet bepalen aan de hand van een gemiddelde “spectral-mean opacity” – je moet naar het effect op de verschillende golflengtes kijken. Sta met je ene voet in een ijsbad en de andere in heet water, en je gaat toch ook niet zeggen dat het gemiddeld aangenaam warm is en de extreme verschillen negeren?
Kortom, peer-review heeft dan wel zijn beperkingen, maar het is toch nog steeds een pak beter dan alles over te laten aan een hoofdredacteur. Zuiderwijk geeft goedkope kritiek, maar presenteert geen gedegen oplossing voor de tekortkomingen van peer-review.
Bij het begin van een nieuw jaar …..
https://experimentalhistory.substack.com/p/the-rise-and-fall-of-peer-review
Ed, het wordt tijd voor een update wat wetenschap waard is, maar ook wat peer reviewed waard is.
En dat belooft niet veel goeds
Wetenschap is een soort van https://nl.wikipedia.org/wiki/Fata_morgana_(luchtspiegeling)
Tijd voor herdefinitie.