De Amerikaanse journalist en filmmaker Patrick Courrielche heeft een zeer lezenswaardige drieluik geschreven over climategate. De drie delen staan hier: deel I, deel II en deel III. Hoewel er veel thema’s aan de orde komen is het centrale punt dat hij wil maken dat traditionele peer review dood is en dat wat hij peer-to-peer review noemt alive and kicking is:
What was triggered at this blog [The Air Vent, de blog waar climategate het eerst zichtbaar werd] was the death of unconditional trust in the scientific peer review process, and the maturing of a new movement – that of peer-to-peer review.
De gevestigde orde zal dit waarschijnlijk met lede ogen aanzien, maar het was volgens Courrielche juist de peer-to-peer review die de hacker of klokkenluider ertoe bewoog om het bestand op een aantal sceptische websites te plaatsen:
This development may horrify the old guard, but peer-to-peer review was just what forced the release of the Climategate files – and as a consequence revealed the uncertainty of the science and the co-opting of the process that legitimizes global warming research. It was a collective of climate blogs, centered on the work of Stephen McIntyre and Ross McKitrick, which applied the pressure. With moderators and blog commenters that include engineers, PhDs, statistics whizzes, mathematic experts, software developers, and weather specialists – the label flat-earthers, as many of their opponents have attempted to brand them, seems as fitting as tagging Lady Gaga with the label demure [ingetogen].
Wat is peer-to-peer review precies?
Peer-to-peer review is the scientific version of the undernews.
Undernews (ik heb nog geen Nederlands woord ervoor gevonden) is nieuws dat niet door de gevestigde media is gebracht, maar door bijvoorbeeld een blog. Undernews kan later nieuws worden. Een mooi voorbeeld is McIntyre’s ontdekking in 2007 dat er een soort millenniumbug zat in Nasa’s Amerikaanse temperatuurreeks, waardoor de jaren na 2000 ongeveer 0,15 graden te warm waren. Dit undernews werd vrij spoedig nieuws.
Te belangrijk
Wat schreef de hacker of klokkenluider ook al weer toen hij een link naar de Russische server plaatste of The Air Vent en Watts Up With That:
We feel that climate science is, in the current situation, too important to be kept under wraps. We hereby release a random selection of correspondence, code, and documents. Hopefully it will give some insight into the science and the people behind it. This is a limited time offer, download now: http://ftp.tomcity.ru/incoming/free/FOI2009.zip
Sample: 0926010576.txt * Mann: working towards a common goal
Naar wie zou je normaal informatie lekken als je iets aan de grote klok wilt hangen? Juist, de gevestigde media, een krant, een tv-station, of een specifieke onderzoeksjournalist. Wat doet de hacker/klokkenluider? Die plaatst een link op The Air Vent, op Watts Up With That, op Real Climate en op Climate Audit. Deze persoon wilde uiteraard een zo groot mogelijke impact hebben en vermoedde dat de betreffende blogs de aangewezen plek daarvoor waren. Goed ingeschat. Binnen een paar weken leverde climategate meer dan dertig miljoen hits op, terwijl de gevestigde media maar mondjesmaat volgen.
De hacker/klokkenluider realiseerde zich dat een ‘netwerk’ van gespecialiseerde bloggers en commentatoren, Stephen McIntyre, Anthony Watts, Jeff Id, Lucia Liljegren, Steven Mosher, RomanM, JeanS en vele anderen, gezamenlijk veel krachtiger en daardoor uiteindelijk veel invloedrijker zullen zijn dan ontmaskering via de normale peer review of via de gevestigde media. Climategate moest viraal worden op het web en dat gebeurde ook.
Literatuur
Veel klimaatonderzoekers verwijten McIntyre dat hij niet genoeg publiceert in de wetenschappelijke peer reviewed literatuur. Ook ik vind nog steeds dat McIntyre er goed aan zou doen om meer te publiceren. Maar zijn blogrevelaties afwijzen omdat ze niet peer reviewed zijn, is weer het andere uiterste. McIntyre krijgt op Climate Audit de zwaarste peer review – of beter gezegd peer-to-peer review – die een wetenschapper zich kan indenken. Ten eerste wordt McIntyre gehaat door bloggers die overtuigde aanhangers van AGW zijn, zoals Real Climate, Tamino, EliRabbett, en je kunt er zeker van zijn dat ze Climate Audit lezen (ook al verwijzen ze er niet naar op hun site) en als ze een foutje bij McIntyre zouden ontdekken, dan zou McIntyre aan de hoogste virtuele boom worden opgeknoopt.
Daarnaast ‘beschikt’ McIntyre dus nog over een leger aan specialisten uit verschillende vakgebieden die het beste met hem voor hebben, die zijn blog op de voet volgen en die geregeld samen met hem optrekken, die zijn analyses overdoen. En dat is dus feitelijk peer-to-peer review, een netwerk van mensen met verschillende expertise (en verschillende belangen als je de Real Climate bloggers meetelt) die zich gezamenlijk buigen over een probleem. Deze vorm van review leidt veel sneller tot resultaat, dat wil zeggen eventuele fouten worden veel sneller opgespoord dan in de traditionele peer review, dat maanden zo niet jaren in beslag neemt en waarbij sowieso de data zelf vrijwel nooit geanalyseerd worden.
Climategate maakt in feite duidelijk dat de gevestigde orde van klimaatonderzoekers totaal geen raad wist met deze peer-to-peer review. Men ervoer hoe krachtig de analyses van McIntyre zijn en hoeveel impact Climate Audit heeft. Men had er echter totaal geen antwoord op, anders dan McIntyre tot aartsvijand nummer 1 te verklaren en hem waar mogelijk te dwarsbomen. De belangrijkste reden om in december 2004 met Real Climate te beginnen was McIntyre’s kritiek op de hockeystick. Om zich te kunnen verweren tegen de kritiek op Real Climate begon McIntyre in februari 2005 met Climate Audit. Tot op heden is deze ‘blogoorlog’ zonder meer gewonnen door McIntyre, hoewel veel klimaatonderzoekers daar geen weet van hebben omdat ze misschien af en toe Real Climate lezen (daar schrijven immers bekende collega’s) maar zelden of nooit Climate Audit. Real Climate is bij veel lezers echter door de mand gevallen doordat ze onwelgevallige commentaren domweg censureren.
Aanvallen
Terug naar Courrielche, hij eindigt zijn drieluik met de volgende conclusie:
The global-warming establishment’s futile attempt to resist pressure from an opposing, grassroots collective caused a shift to occur – displaying a process known in certain scientific circles as self-organization. The new order that has emerged has placed a new definition on the label peer — that of an amorphous group of intelligent online observers, detached from the outcome, with an extremely solid grasp on the topic at hand. This peer-to-peer review network surrounds and attacks the study, in search of chinks in its armor. It’s not pretty, but through this social, open dialogue, problem areas inevitably rise to the top. In a case where politics comes into play, it appears that this review process is much more rigorous – it ostensibly sanitizes the outcome from the affects of interested parties.
This is the point that one must take from Climategate.
Wauw! Dat is nog eens echt een revolutionaire analyse! Dit is echt ver—–strekkend.
ik dacht dat met peer-to-peer review het kleine netwerk van alarmisten werd bedoeld die elkaars publicaties "reviewen", en zo met weinig moeite in de tijdschiften komen.
@Hans: nee…. met die inschatting zit je helemaal fout. Wat jij beschrijft is juist peer review. Die dus vanzelf de neiging heeft een incestueuze peer review te worden. Vast ook wel in andere vakgebieden. Peer2peer is nu juist het nieuwe internet-gebaseerde concept dat deze incest kan openbreken….