‘Bias, noise, consensus’: de teloorgang van de wetenschap

Een bijdrage van leonardo da gioiella.

[NB ik hanteer hier de oorspronkelijke, onvertaalde begrippen, omdat Kahneman, aan wiens denken deze post ten grondslag ligt, de bedoeling heeft noise als begrip te munten, en daarbij bias ook enigszins ijkt.]

Daniel Kahneman is een gerenommeerde wetenschapper. Psycholoog, maar een Nobelprijs voor economie. En nu, 87 lentes jong, een boek gepubliceerd, samen met een paar nog jongere honden, over zwakke plekken in het menselijk oordeel.

Dat laatste is een beetje een open deur: het menselijk tekort is al zo vaak beschreven, dat het niet die verwondering zou moeten wekken die dit boek in het publiciteitscircuit heeft gekregen: op zich ook een uiting van het menselijk tekort.

Ik kende Kahneman al langer. Van een boekje Conversations on Ethics: elf gesprekken met “denkers” – vnl. filosofen – over drie moral puzzles

•  ons vermogen om tot morele oordelen te komen
•  de objectiviteit van die oordelen
• de gave van redenering die we daaruit af mogen leiden: praat die op rede is gebaseerd
  

Ik heb dat boekje denker voor denker besproken, en ik vond Kahneman een positieve uitschieter in de groep.

Zijn laatste boek gaat ook over menselijke oordeelsvorming, maar die is volgens hem verre van objectief.

In dat laatste boek maakt hij onderscheid tussen bias en noise. Bias geeft aan dat een oordeel, dat je over een bepaald onderwerp hebt uitgesproken, gevoed is door vooroordelen. Noise geeft aan dat je oordeel, al dan niet gevoed door vooroordelen, afwijkt van wat een ander oordeelt over hetzelfde probleem.

Ik zou zeggen: bias gaat over de evaluatie van een persoonlijk oordeel, noise gaat over de statistische analyse van diverse oordelen over een zelfde probleem.

Voorbeeld (nog geen klimaat – ik kan nu wel over CO2 beginnen, maar dat zou niet objectief zijn – maar het gaat echt komen).

Bias. Een individuele rechter geeft voor een misdadiger, die schuldig is bevonden, als oordeel de doodstraf. Hij doet dat uiteraard gebaseerd op het lokaal geldende Wetboek van Strafrecht, waarbij voor bedoelde misdaad de doodstraf niet is uitgesloten. Maar zijn oordeel is gevoed door zijn vooroordeel dat de doodstraf soms toegepast moet worden, en in het voorliggende geval als passend mag worden gezien.

Noise. Een aantal rechters heeft vonnis gewezen in redelijk vergelijkbare zaken, waarvoor de doodstraf niet is uitgesloten. Een substantieel deel van de rechters geeft die doodstraf. Een ander deel, ook substantieel, volstaat met een (lange) gevangenisstraf.

Het gaat Kahneman niet zozeer om rechters, het gaat hem om iedereen die als specialist gezien wordt in zijn werkomgeving. Een kredietbeoordelaar, een verzekeringsagent, een rechercheur – ik weet, het woord klimaat valt maar niet, maar het gaat vallen; sterker, Kahneman gaat het C-woord laten vallen.

Maar nu nog even over experts, die werken in een zakelijke omgeving (geldt ook voor rechters) waar hun oordeel uiteindelijk zichtbaar wordt in de Verlies- en Winstrekening. Dat, verklap ik alvast, gaat natuurlijk ook op voor politici en gezagsdragers die budgetten moeten toewijzen aan zoiets als maatregelen om ernstige calamiteiten te voorkomen.

Volgens Kahneman is bias niet iets om ongemerkt te laten passeren, maar hij ziet nog grotere schade in noise. Bias is iets dat bekend is en dat herkend en na discussie ook wel erkend wordt. Noise wordt niet opgemerkt, omdat mensen zelden hun oordelen vergelijken met de oordelen van anderen.

Dat laatste, kan ik verzekeren, is niet waar, in ieder geval niet absoluut waar. In mijn werkzame leven heb ik te maken gehad met de beoordeling van kredietbeoordeling. Zolang er krediet gegeven wordt ontstaat er achterstand … die achterstand is heel hinderlijk voor een goede winst … analyse van die achterstand maakte duidelijk dat je wel kredietbeoordelingsaanwijzingen kon geven, maar dat zij die als feitelijke beoordelaars waren aangewezen meenden dat ze soms/vaak hun eigen inzichten moesten volgen. Dat werd niet zelden versterkt door het feit dat de kredietverlener graag zoveel mogelijk omzet zag, en dat ook taakstellend vastlegde in plannen.

Daar hadden we “een oplossing” voor, en Kahneman kent die oplossing ook: Credit Score – algemene benaming voor algoritmes die de computer een kredietaanvraag doen goedkeuren of afwijzen. Kahneman heeft kennelijk nog nooit gehoord van rechters waar je heen kunt om over discriminatie te klagen als zo’n algoritme jou te grazen wil nemen.

Kahneman wil ook een soort Credit Score voor strafzaken. Moet kunnen.

Nou is Kahneman niet gek. Zoals ik al zei, ik vond hem, als psycholoog en als denker, een geschikte peer. Dus hij weet: experts houden niet van score-systemen die hun het werk uit handen nemen. En de juridische sector wil niet eens praten over een scoresysteem om misdadigers te straffen; daar is een oudere man … die vroeger aan de poort zat maar tegenwoordig hoog uittorent boven de rest van aangeklaagden, officieren van justitie, advocaten, getuigen en publiek – en ook nog wel jong kan zijn … die oudere man dus heeft veel meer, vooral betere competenties.

Vandaar dat Kahneman en zijn jonge honden een soort van decision hygiene voorstellen – zes regels om je besluitvorming ietwat meer houvast te geven. Ik geef ze zonder vertaling:

• accept that decisions are about accuracy, not individual expression
•  think statistically, and take an outside view of the case
• structure judgement into independent tasks
• resist premature intuitions
• take independent judgements from multiple experts and factor them in
• favour relative judgements, which tend to be less noisy

(Jullie begrijpen, we zijn nu angstig dicht in de buurt van klimatologie.)

Of deze aanwijzingen allemaal even sterk zijn … ik heb daar wel een mening over, maar het kan over het algemeen het besluitvormingsproces zeker rationaliseren.

Okay, over al dit soort dingen hebben Kahneman en de andere jonge honden lang nagedacht; dat heeft geleid tot een boek, en nu gaan we de publiciteit in. Kahneman wordt geïnterviewd door The Guardian. The Guardian, jullie weten wel, de krant die klimaatalarmisme tot heilige koe heeft verklaard, en die zich inmiddels ook verbonden heeft aan een convenant dat verbiedt om een platform te bieden aan hen die de problemen van climate change ontkennen én gebiedt dat ieder verhaal, wat het het onderwerp ook moge zijn, met klimaat moet worden verbonden. Zie hier.

En daar komt, na allerlei vragen, het hete hangijzer. Gevraagd naar de Amerikaanse verkiezingen, en politici aldaar die regelmatig God aanroepen als hun gids, geeft Kahneman dit antwoord:

I think there is less difference between religion and other belief systems than we think. We all like to believe we’re in direct contact with truth. I will say that in some respects my belief in science is not very different from the belief other people have in religion. I mean, I believe in climate change, but I have no idea about it really. What I believe in is the institutions and methods of people who tell me there is climate change. We shouldn’t think that because we are not religious, that makes us so much cleverer than religious people. The arrogance of scientists is something I think about a lot.

Of de verslaggever zelf het woord climate heeft gesuggereerd, of dat het initiatief van Kahneman zelf was, weet ik niet – het lijkt er met de haren bij gesleept, maar ik ben er blij mee, want het werpt toch wel licht op een paar aspecten.

Om te beginnen, deze man is dus meegeteld in de consensus door Cook van Skeptical Science. En zijn beide medeauteurs ook. En vijf geleerden, die in een ander artikel in The Guardian, prijs en dank over Kahneman uit mogen storten en niets met klimatologie hebben … ook meegeteld in die consensus.

En daarmee heeft hij, voor mij, de bias in klimatologie haarscherp blootgelegd. Velen zijn van mening dat links de oorzaak is van alle ellende. En het wereldredderige denken in die hoek geeft daar ook wel aanleiding toe. Maar het religieuze karakter van de volgelingen, en het gelovige karakter van het alarmisme, van klimatologie zelf – dat is wat het voor mij definieert. Het geloof in een schuld aan misbruik, een schuld aan het laten slingeren van rotzooi, de schaamte over de prominente plaats in de voedselketen die zonder enig mededogen wordt geëxploiteerd … een schuld tegenover de Goede Manitou die alles zo mooi heeft gemaakt. De klimatologen van nu, met moeder overste Greta en hun oranje nonnen, vormen de priesterkaste die roert, en oprakelt, in de diep in ons duistere verleden liggende oerangsten die de huidige welvaart doet ontsluimeren.

En de noise? Wel, er is natuurlijk de noise van hen die binnen een paar jaar de aarde zien vergaan, tegenover hen die denken dat we nog dertig jaar hebben – en de hele range daar tussenin. Maar wie heeft die noise sprekender blootgelegd in enkele grafieken dan John Christy, waarin hij de verschillende uitkomsten van een aantal modelbenaderingen laat zien.

’t Gaat mij, en Kahneman, er niet om wie er gelijk heeft. ’t Gaat er om hoe experts de werkelijkheid inschatten. Ik hoop overigens dat Kahneman geen lucht krijgt van deze grafiekjes, anders gaat ie, als psycholoog, nog wat proberen te maken van die kruiwagen met kikkers die klimatologie nu is.

Kahneman, goeie peer als ik hem noemde, de man die zijn belief in science niet kan onderscheiden van belief in religion en die de arrogance of scientists iets vindt waar hij slapeloze nachten van heeft. De man die weet heeft van, weet moet hebben van, het marginaliseren van, de minachting voor dwarse klimaatdenkers, zoals zijn Harvard-collega Lindzen. De man die weet moet hebben van de categorale minachting van de man Mann voor de vrouw Curry.

De wetenschapper die decision hygiene wil en die het belangrijk vindt [to] take independent judgements from multiple experts and factor them in. De man die de uitkomsten van expertise less noisy wil maken en daarom vraagt je oordeel te relativeren. Die man zegt: I believe in the institutions and methods of people who tell me there is climate change..

Nooit gehoord van Michael Mann die, in een associatieve vorm van crowd funding, zijn aanhangers via twitter opriep om alle slechte dingen die ze over Judith Curry wisten te vertellen aan hem moesten melden, inclusief privé-zaken. Nooit gehoord van Bart Verheggen die Susan Crockford op een belachelijke manier probeerde zwart te maken. Nou ja, dat ie nog nooit gehoord heeft van Maarten Keulemans, die Guus Berkhout met zijn te-grote-broek-dedain bejegende – prima. Houden zo!

Hij heeft het over Amerika, daar waar Biden de hele schatkist wil spenderen aan de bestrijding van climate change. Ik weet niet of hij onze Frans kent, maar hij heeft het dus over gezagsdragers die budgetten moeten toewijzen aan zoiets als maatregelen om ernstige calamiteiten te voorkomen en politici die dat goedkeuren. Zonder dat ze enig zicht hebben op de calamiteit. Zonder dat ze dus kunnen beoordelen wat adequate maatregelen zijn. Niks rationeels aan, allemaal onderbuik.

De man die het woord group thinking niet in de mond neemt, maar, onbedoeld, de vinger direct op de zere plek legt:

System noise is not a phenomenon within the individual, it’s a phenomenon within an organisation or within a system that is supposed to come to decisions that are uniform …

supposed, ja, en ik voeg daaraan toe: voor zover het om winstoptimalisatie gaat.

Had hij, of één van die jongere honden, nou even over z’n schouder gekeken, dan had ie geweten: uh … natuurlijk niet in zoiets als een wetenschappelijk instituut, waar het niet gaat om een zo hoog mogelijke h-index, maar waar het er om gaat het zijn van de dingen bloot te leggen.

 

Waarmee Kahneman het levende bewijs is dat geleerden, in een ivoren toren rondlopend, wel denken een medicijnman te kunnen zijn voor businesslui die een splinter in hun oog hebben, maar de balken in de ogen op de eigen werkvloer niet zien. En hij heeft er The Guardian, zeer opportunistisch, een stevige klimaatwaarschuwing van een Nobel mee cadeau gedaan.

System noise is a living universe. Consensus is quiet as the grave.

En ik blijf zitten met deze moral puzzle: is die praat van hem nu praat die op rede is gebaseerd?

***