De Amerikaanse journalist en filmmaker Patrick Courrielche heeft een zeer lezenswaardige drieluik geschreven over climategate. De drie delen staan hier: deel I, deel II en deel III. Hoewel er veel thema’s aan de orde komen is het centrale punt dat hij wil maken dat traditionele peer review dood is en dat wat hij peer-to-peer review noemt alive and kicking is:

What was triggered at this blog was the death of unconditional trust in the scientific peer review process, and the maturing of a new movement – that of peer-to-peer review.
This development may horrify the old guard, but peer-to-peer review was just what forced the release of the Climategate files – and as a consequence revealed the uncertainty of the science and the co-opting of the process that legitimizes global warming research. It was a collective of climate blogs, centered on the work of Stephen McIntyre and Ross McKitrick, which applied the pressure. With moderators and blog commenters that include engineers, PhDs, statistics whizzes, mathematic experts, software developers, and weather specialists – the label flat-earthers, as many of their opponents have attempted to brand them, seems as fitting as tagging Lady Gaga with the label demure.
Now, as expected, the virtual organism that is the global warming establishment resisted release of the weapon. At the first appearance of the Climategate files, which contained a plethora of emails and documents from the University of East Anglia’s Climate Research Unit, the virtual organism moved to halt their promulgation. Early on, a few of the emails were posted on Lucia Liljegren’s skeptic blog The Blackboard. Shortly after the post, Lucia, a PhD and specialist in fluid mechanics, received an email from prominent climatologist Gavin Schmidt from the NASA Goddard Institute for Space Studies (GISS). It said in part, “[A] word to the wise… I don’t think that bloggers are shielded under any press shield laws and so, if I were you, I would not post any content, nor allow anyone else to do so.”
Peer-to-peer review is the scientific version of the undernews.

What was triggered at this blog [The Air Vent, de blog waar climategate het eerst zichtbaar werd] was the death of unconditional trust in the scientific peer review process, and the maturing of a new movement – that of peer-to-peer review.

De gevestigde orde zal dit waarschijnlijk met lede ogen aanzien, maar het was volgens Courrielche juist de peer-to-peer review die de hacker of klokkenluider ertoe bewoog om het bestand op een aantal sceptische websites te plaatsen:

This development may horrify the old guard, but peer-to-peer review was just what forced the release of the Climategate files – and as a consequence revealed the uncertainty of the science and the co-opting of the process that legitimizes global warming research. It was a collective of climate blogs, centered on the work of Stephen McIntyre and Ross McKitrick, which applied the pressure. With moderators and blog commenters that include engineers, PhDs, statistics whizzes, mathematic experts, software developers, and weather specialists – the label flat-earthers, as many of their opponents have attempted to brand them, seems as fitting as tagging Lady Gaga with the label demure [ingetogen].

Wat is peer-to-peer review precies?

Peer-to-peer review is the scientific version of the undernews.

Undernews (ik heb nog geen Nederlands woord ervoor gevonden) is nieuws dat niet door de gevestigde media is gebracht, maar door bijvoorbeeld een blog. Undernews kan later nieuws worden. Een mooi voorbeeld is McIntyre’s ontdekking in 2007 dat er een soort millenniumbug zat in Nasa’s Amerikaanse temperatuurreeks, waardoor de jaren na 2000 ongeveer 0,15 graden te warm waren. Dit undernews werd vrij spoedig nieuws.

Te belangrijk
Wat schreef de hacker of klokkenluider ook al weer toen hij een link naar de Russische server plaatste of The Air Vent en Watts Up With That:

We feel that climate science is, in the current situation, too important to be kept under wraps. We hereby release a random selection of correspondence, code, and documents. Hopefully it will give some insight into the science and the people behind it. This is a limited time offer, download now:  http://ftp.tomcity.ru/incoming/free/FOI2009.zip
Sample: 0926010576.txt * Mann: working towards a common goal

Naar wie zou je normaal informatie lekken als je iets aan de grote klok wilt hangen? Juist, de gevestigde media, een krant, een tv-station, of een specifieke onderzoeksjournalist. Wat doet de hacker/klokkenluider? Die plaatst een link op The Air Vent, op Watts Up With That, op Real Climate en op Climate Audit. Deze persoon wilde uiteraard een zo groot mogelijke impact hebben en vermoedde dat de betreffende blogs de aangewezen plek daarvoor waren. Goed ingeschat. Binnen een paar weken leverde climategate meer dan dertig miljoen hits op, terwijl de gevestigde media maar mondjesmaat volgen.

De hacker/klokkenluider realiseerde zich dat een ‘netwerk’ van gespecialiseerde bloggers en commentatoren, Stephen McIntyre, Anthony Watts, Jeff Id, Lucia Liljegren, Steven Mosher, RomanM, JeanS en vele anderen, gezamenlijk veel krachtiger en daardoor uiteindelijk veel invloedrijker zullen zijn dan ontmaskering via de normale peer review of via de gevestigde media. Climategate moest viraal worden op het web en dat gebeurde ook.

Literatuur
Veel klimaatonderzoekers verwijten McIntyre dat hij niet genoeg publiceert in de wetenschappelijke peer reviewed literatuur. Ook ik vind nog steeds dat McIntyre er goed aan zou doen om meer te publiceren. Maar zijn blogrevelaties afwijzen omdat ze niet peer reviewed zijn, is weer het andere uiterste. McIntyre krijgt op Climate Audit de zwaarste peer review – of beter gezegd peer-to-peer review – die een wetenschapper zich kan indenken. Ten eerste wordt McIntyre gehaat door bloggers die overtuigde aanhangers van AGW zijn, zoals Real Climate, Tamino, EliRabbett, en je kunt er zeker van zijn dat ze Climate Audit lezen (ook al verwijzen ze er niet naar op hun site) en als ze een foutje bij McIntyre zouden ontdekken, dan zou McIntyre aan de hoogste virtuele boom worden opgeknoopt.

Daarnaast ‘beschikt’ McIntyre dus nog over een leger aan specialisten uit verschillende vakgebieden die het beste met hem voor hebben, die zijn blog op de voet volgen en die geregeld samen met hem optrekken, die zijn analyses overdoen. En dat is dus feitelijk peer-to-peer review, een netwerk van mensen met verschillende expertise (en verschillende belangen als je de Real Climate bloggers meetelt) die zich gezamenlijk buigen over een probleem. Deze vorm van review leidt veel sneller tot resultaat, dat wil zeggen eventuele fouten worden veel sneller opgespoord dan in de traditionele peer review, dat maanden zo niet jaren in beslag neemt en waarbij sowieso de data zelf vrijwel nooit geanalyseerd worden.

Climategate maakt in feite duidelijk dat de gevestigde orde van klimaatonderzoekers totaal geen raad wist met deze peer-to-peer review. Men ervoer hoe krachtig de analyses van McIntyre zijn en hoeveel impact Climate Audit heeft. Men had er echter totaal geen antwoord op, anders dan McIntyre tot aartsvijand nummer 1 te verklaren en hem waar mogelijk te dwarsbomen. De belangrijkste reden om in december 2004 met Real Climate te beginnen was McIntyre’s kritiek op de hockeystick. Om zich te kunnen verweren tegen de kritiek op Real Climate begon McIntyre in februari 2005 met Climate Audit. Tot op heden is deze ‘blogoorlog’ zonder meer gewonnen door McIntyre, hoewel veel klimaatonderzoekers daar geen weet van hebben omdat ze misschien af en toe Real Climate lezen (daar schrijven immers bekende collega’s) maar zelden of nooit Climate Audit. Real Climate is bij veel lezers echter door de mand gevallen doordat ze onwelgevallige commentaren domweg censureren.

Aanvallen
Terug naar Courrielche, hij eindigt zijn drieluik met de volgende conclusie:

The global-warming establishment’s futile attempt to resist pressure from an opposing, grassroots collective caused a shift to occur – displaying a process known in certain scientific circles as self-organization. The new order that has emerged has placed a new definition on the label peer — that of an amorphous group of intelligent online observers, detached from the outcome, with an extremely solid grasp on the topic at hand. This peer-to-peer review network surrounds and attacks the study, in search of chinks in its armor. It’s not pretty, but through this social, open dialogue, problem areas inevitably rise to the top.  In a case where politics comes into play, it appears that this review process is much more rigorous – it ostensibly sanitizes the outcome from the affects of interested parties.
This is the point that one must take from Climategate.