Interview met de anonieme auditor Harry

Gisteren berichtten we over het crowdsourcing-project van Donna Laframboise, waaruit is gebleken dat bijna 5600 van de 24.000 referenties in het laatste IPCC-rapport niet peer reviewed waren. Zelfs in Werkgroep I bedroeg het percentage ‘grijze literatuur’ nog 7 procent wat ik misschien nog wel opvallender vind dan de hoge percentages grijze literatuur in de Werkgroepen II en III.
In de lijst van 44 auditors staat één Nederlander, Harry uit Utrecht. Via Donna Laframboise zijn we in contact gekomen met Harry en hieronder volgt een interview met hem.

Wat was je motivatie om aan dit project deel te nemen?
Ik ben mij aan het verdiepen in de klimaatproblematiek, vanwege een algemene en brede interesse in wetenschap. Eerdere ervaringen met de gang van zaken in de medische wetenschap deden mij vermoeden dat een cultuur van ons kent ons wel eens veel gebruikelijker zou kunnen zijn dan ik voor mogelijk gehouden heb.  Ik was al bezig om het IPCC AR4 rapport te lezen en de geciteerde publicaties er bij te betrekken om te zien of de citaten wel overeenkwamen met de inhoud van de publicaties. Naar aanleiding van de serie van Richard Tol, die dit uitgebreid heeft gedaan voor WG3, vond ik het een goed idee om mee te doen met het initiatief van Donna. Vanwege mijn  opleiding en andere activiteiten ben ik van mening dat ik ook gekwalificeerd was/ben om te turven wat wel en niet peer-reviewed is.

Waarom wil je anoniem blijven?
Omdat ik op korte termijn naar buiten wil komen met andere informatie over de gang van zaken in de wetenschap. Deze twee dingen wil ik los van elkaar kunnen blijven zien. Verder voegt mijn identiteit niets toe aan de waarde van het project van Donna, omdat daar meerdere personen anoniem aan mee hebben gedaan, en zij anonimiteit geen bezwaar vond.

Wat is je eigen achtergrond?
Ik heb biologie gestudeerd en werk als bioloog aan een universiteit.

Welke hoofdstukken heb je bekeken?
Ik heb WG1 hoofdstuk 8, WG2 hoofdstuk 8 en WG3 hoofdstuk 11 bekeken.

Hoeveel werk was het om alle referenties na te lopen?
De hoeveelheid werk was verschillend. WG1 was voor mij relatief gemakkelijk, omdat ik een groot aantal journals al kende en er relatief weinig grijze literatuur opgenomen was. WG2 was al moeilijker, meer grijze literatuur, terwijl WG3 echt een drama was. Bijkomend nadeel was dat in Ch11, WG3 een afwijkend format niet consequent gebruikt werd, waardoor mijn word macro niet gebruikt kon worden. Alles bij elkaar heb ik er ongeveer vijftien uur over gedaan, verspreid over drie avonden.

Kun je een aantal voorbeelden geven van grijze literatuur die je bent tegen gekomen?
Een groot aantal rapporten en uitwerkingen van bijeenkomsten en werkgroepen. Op zich heel nuttige informatie maar niet peer-reviewed, en dat was het criterium waarop wij moesten scoren. Ook veel boeken, vooral in WG2 en WG3, en gegevens vanuit overheden of overheidsinstellingen, zoals EPA-rapporten.  Opmerkelijk was vooral een kwartaaloverzicht van een investeringsmaatschappij, waarin nieuwe gelegenheden tot investeren in hernieuwbare energie verkend worden. (Verchot, L.V., 2004: Agroforestry in the CDM: an opportunity for synergy between mitigation and adaptation. CDM Investment Newsletter, 3, pp. 3-4)

Wat voor indruk heb je gekregen van het vierde IPCC-rapport?
Mijn indruk is dat er op heel verschillende manieren gewerkt is in de hoofdstukken van de drie werkgroepen die ik verkend heb en dat er kwalitatief verschil is, WG1 beter dan WG2 en WG2 beter dan WG3. Daarnaast mis ik eigenlijk in het hele rapport “de andere kant van de medaille”, het is allemaal erg eenzijdig, bijna dogmatisch  en geen ruimte voor wat het “sceptische standpunt” genoemd wordt. Richard Tol heeft hier een aantal sprekende voorbeelden van gegeven. Wat mij verder van het hart moet is het enorme verschil tussen de manieren waarop in de verschillende WG’s omgegaan is met de FOD [First Order Draft] en SOD [Second Order Draft] en commentaren van reviewers. Hier is vooral WG3 in het voordeel, met een duidelijke database waarin alles netjes samengevat is en gemakkelijk na te zoeken. Voor WG1 is ook alles te vinden, maar via de site van Harvard University, met een pagina per pagina view, erg onoverzichtelijk en onpraktisch.

Hoe kijk je aan tegen het klimaatdebat in bredere zin?
Mijn standpunt t.a.v. het klimaat is dat opwarming wat mij betreft een heel plausibel en terugkerend fenomeen is, en datzelfde geldt voor het CO2-gehalte van de atmosfeer: in de geschiedenis van de aarde zijn periodes geweest met hogere en lagere temperaturen, met hogere en lagere CO2-concentraties.  Het probleem is dat het erg moeilijk is om oorzaak en gevolg te bepalen uit de datasets die nu beschikbaar zijn. En dat brengt mij bij een heikel punt in de hele discussie: de kwaliteit van data en modellen. Er wordt heel veel met modellen gewerkt in het IPCC-rapport, wat logisch is gezien de noodzaak om in de tijd vooruit te kunnen projecteren. Iedereen die met modellen heeft gewerkt weet hoe belangrijk de kwaliteit van de data is die voor het testen, leren en  valideren van modellen gebruikt worden. Als je dan ziet dat er het een en ander mankeert aan de kwaliteit van de data, dan moet je je afvragen wat de waarde van de modelvoorspellingen op langere termijn is. Om een voorbeeld te geven: het Urban Heat Island-effect (UHI, opwarming in en rond steden) zit in verschillende datasets, of is daar uit gehaald met methodes die niet of onvoldoende omschreven zijn. In de blogosfeer zijn een aantal methodes beschreven (o.a. door Roy Spencer), die laten zien dat een groot gedeelte van de recente opwarming verklaard zou kunnen worden door een onvolledige of niet correct uitgevoerde UHI-compensatie. De toestand van de datasets, en dan vooral de temperatuurdata, baart mij ernstige zorgen. Voor mij is het onbegrijpelijk dat er niet één gevalideerde, gecureerde set is van alle ruwe temperatuurdata die ooit gemeten zijn. En de toestand van de metadata (als ze er al zijn) is helemaal om te huilen. Als ik dan ga kijken hoe er met de data omgesprongen wordt: zodra een statisticus zich over de data analyse buigt blijken er grote problemen in de jarenlang uitgevoerde analyses te zitten, die zelfs het fundamentele karakter van de data behelzen.
Het is dus wat mij betreft geen uitgemaakte zaak dat de huidige opwarming door menselijke acitviteiten veroorzaakt wordt.

Maandag is er een hoorzitting in de Tweede Kamer over het IPCC. Wat zou jij de commissieleden willen meegeven?
Gezien het feit dat het IPCC-rapport zoveel verwijzingen naar grijze bronnen bevat, en in de tekst niet duidelijk is welke referenties grijs zijn en welke niet, is het onmogelijk om zonder nader onderzoek de kwaliteit van de beweringen in het rapport op hun waarde te beoordelen. Richard Tol heeft uitvoerig aangetoond wat er mis gaat. Alhoewel peer review geen garantie is voor de juistheid van de conclusies in de geciteerde literatuur, zorgt het er wel voor dat er naar de inhoud is gekeken door vakbroeders/zusters. Bij grijze literatuur is dat niet zo, en dat maakt het mogelijk voor elke bewering een ondersteunend citaat te vinden. Voeg daarbij het feit dat er vaak slechts een kant van de zaak belicht wordt, en het moet duidelijk zijn dat blind varen op dit rapport uiterst twijfelachtig is.
Het beste zou zijn de hele exercitie over te doen,  te beginnen met het borgen van de kwaliteit van gebruikte data (inclusief literatuur) en modellen, en alle data en modellen te archiveren zodat analyses later nog een keer herhaald kunnen worden. Hiervoor zou het goed zijn indien alle aannames en uitgangspunten bij elkaar in een appendix samengevat zouden worden, in plaats van zoals nu gebeurt, in een voetnoot bij een tabel, en verspreid over drie hoofdstukken van het rapport.