Een groot hoofdstuk uit het rapport Ruimte voor Klimaatdebat dat het Rathenau Instituut maandag 19 april publiceerde, is gewijd aan “Klimaatpolitiek en -wetenschap in de media”. Op basis van een analyse van 1277 artikelen uit Algemeen Dagblad, NRC Handelsblad, Telegraaf, Volkskrant, Elsevier en Vrij Nederland uit de jaren 2006 tot en met 2009 concludeerden de onderzoekers:
We mogen concluderen dat de geschreven en geredigeerde pers het Nederlandse publiek op een pluriforme en evenwichtige wijze informeert over klimaatverandering en het maatschappelijke en politieke debat daarover. […] De berichtgeving over klimaatwetenschap is genuanceerd te noemen.
Het omgekeerde van sceptisch is…
Hieronder zal ik betogen dat de hele analyse in dit hoofdstuk 4 (download pdf) gekarakteriseerd kan worden met één Engels woord, dat je vaak in online klimaatdiscussies tegenkomt: gullible (goedgelovig, onnozel, gemakkelijk beet te nemen). Men zegt dan meestal iets als: het omgekeerde van sceptisch is niet alarmistisch of realistisch, maar gullible. Drie mooie voorbeelden zijn deze brief van Andrew Bolt aan de inmiddels uitgerangeerde groenrechtse Australische politicus Kevin Rudd, dit gedicht The opposite of gullible is sceptical en een rapport over de kritische geest van middelbare scholieren. Een quote uit de laatste zodat helemaal duidelijk is wat wordt bedoeld:
A survey of the superstitious and pseudo-scientific beliefs of secondary school students (N=2159) was undertaken, with some follow-up interviews. Gender differences were found at all ages with females generally less sceptical than males. An exception was a belief that aliens from another planet had visited the Earth, about which males were consistently less sceptical than females. The average level of scepticism increased steadily on going from Key Stage 3 students (11-13 years), through Key Stage 4 (14-16 years), to the sixth-form science students (17-18 years), with a further increase in scepticism in a sample of pre-service science teachers. Nevertheless many school students were very gullible and this should be of concern to science educators.
Rehabilitatie
Nu hoeven we er geen doekjes om te winden dat het Rathenau Instituut met betrekking tot klimaatverandering een track record heeft op het gebied van gullibility. Op 1 augustus schreef Hans Labohm op de Dagelijkse Standaard: “Rathenau Instituut encanailleert zich met klimaatalarmisten“. Een maand later waren de rapen gaar bij het symposium Six Degrees: Too Hot to Handle van het instituut in De Balie. De behoorlijk alarmistische journalist Wilbur Perlot had het te kwaad met het “stelletje extremistische engerds die niet konden wachten om de vrijheden van andere mensen in de wereld in te perken” in de zaal (zie weblog De Balie). Een half jaar later is Hans Labohm op basis van het nieuwe klimaatrapport zo gul te stellen: “Ruimte voor klimaatdebat: Rathenau Instituut rehabiliteert zich“.
Hoorzitting
En inderdaad: met het inschakelen van onderzoeker Jeroen van der Sluijs van de Universiteit Utrecht als mede-auteur van het rapport Ruimte voor Klimaatdebat heeft het Rathenau Instituut nu absoluut een brugfunctie verworven in het klimaatdebat. Dat was te merken op de hoorzitting in de Tweede Kamer, waar Van der Sluijs een van de gehoorden was. Hoewel hij persoonlijk dichter bij een alarmistische positie lijkt te staan dan zijn sceptische “leermeester” Jerome Ravetz, hebben hun concepten en methodieken van post-normale wetenschap absoluut potentie om de verregaande verstrengeling van klimaatpolitiek, klimaatwetenschap en klimaatindustrie op een nette manier “zonder bloedvergieten” terug te draaien.
Knip te lijf
In de reacties is al eens de vraag gesteld wat wij nu gezegd hebben tijdens de hoorzitting. In afwachting van een transcript geef ik hier tenminste weer wat ik – gezeten naast Karel Knip (NRC – tijdens de hoorzitting gaf hij aan “mensen” in het klimaatdebat wel eens te lijf te willen gaan?!?), en Martijn van Kalmthout (Volkskrant) – heb gezegd over de oude versus de nieuwe media, alvorens ik overga tot het debunken van hoofdstuk 4 over klimaatpolitiek en klimaatwetenschap in de media.
De traditionele media kunnen de wetenschap niet aan. Journalisten moeten gehaast stukjes tikken en hebben niet de tijd om de diepte in te gaan. Tegenover de moderne wetenschap faalt de journalistiek als vijfde macht (zie Wikipedia). Serieuze wetenschapsblogs à la WUWT zijn nodig om dit gat op te vullen.
Wachten op Marcel
Het was netjes van mij geweest om Simon Rozendaal even te noemen, die vanuit Elsevier al jaren strijdt tegen de gullibility van de overige media en het publiek, en die helaas niet was uitgenodigd door de Kamercommissie. Bij deze! Elsevier komen we in het media-onderzoek van het Rathenau-instituut waar we nu naar gaan kijken ook tegen. Op voorhand geef ik even aan dat het Rathenau-rapport geen wetenschap is in de zin van peer reviewed of gepubliceerd. Het is grijze literatuur (dit blog zal zijn rol tegenover de peer reviewed wetenschap pas ten volle waar kunnen maken als de onvolprezen Marcel Crok eind mei klaar is met zijn klimaatboek De Staat van het Klimaat – Een koele blik op een verhit debat).
Onder de maat
Nu dus een uitleg waarom hoofdstuk 4 (download pdf) van het rapport Ruimte voor Klimaatdebat “Klimaatpolitiek en -wetenschap in de media” weliswaar enkele interessante trends laat zien, maar verder toch volstrekt onder de maat is om de verregaande conclusie te rechtvaardigen die het hoofdstuk trekt en die ook in de overall samenvatting is meegenomen (Hans Labohm was ook al hoogstverbaasd over de conclusie van dit hoofdstuk).
Het begin al met de opzet van het media-onderzoek: in de online klantendatabank LexisNexis is uitsluitend gezocht op de term “opwarming”! Zoektermen zoals gletsjer, zeeijs, global warming, oceaanverzuring, klimaatverandering, climate change, klimaat, ijskap, zeespiegel etc. etc. zijn niet meegenomen. De 1277 resulterende artikelen zijn op zich redelijk zorgvuldig onderverdeeld in de categorieën sceptisch, onbepaald en alarmerend. Echter: dit is helemaal geen maat om de journalistiek mee te meten! Je moet ongeacht de inhoud – sceptisch, neutraal of alarmerend – kijken of de journalist een kritische blik op de materie heeft geworpen en of hij hoor en wederhoor heeft toegepast.
Klimaatporno
Bij een alarmistisch artikel over het smelten van het arctische zeeijs (waarvan er puur uit mijn blote hoofd erg veel in de categorie klimaatporno vielen) hoort bijvoorbeeld altijd een afsluitende zin te staan in de geest van: “volgens critici/sceptici houdt het smelten van het arctische zeeijs weinig verband met de luchttemperatuur en nog minder met de CO2-concentratie in de atmosfeer.” En elk stuk waarin Greenpeace uitgebreid aan het woord komt hoort een reactie van een sceptische organisatie/wetenschapper te vermelden. Omgekeerd hoort bij een artikel in de Telegraaf over “Het gelijk van Henk Tennekes” een reactie van het KNMI te staan.
Niets te zien
De artikelen van 2006 tot en met 2009 hadden dus gescoord moeten worden op hun algemene strekking en daarbinnen op hun kritische blik en hun toepassing van hoor en wederhoor. Met dit in het achterhoofd is het toch wel interessant om naar enkele grafieken uit hoofdstuk 4 te kijken. Hieronder het verloop van het aantal artikelen over de tijd eindigend in een piek rondom de climategate-affaire en Kopenhagen. Ook deze grafiek verraad iets dat in tegenspraak is met de conclusie dat “de pers het Nederlandse publiek op een pluriforme en evenwichtige wijze informeert”. Als er nu een moment was geweest waarop het aantal sceptische artikelen relatief sterker had moeten stijgen dan was dat wel na 19-11-2010 (Climategate) geweest. Niets dergelijks is te zien in de grafiek (zie ook dit artikel van 1 december 2009 over Climategate op CNN!).
Voor we naar meer grafieken gaan kijken eerst een paar quotes die ook totaal in strijd lijken met de eindconclusie van evenwichtige berichtgeving:
P70: Er is relatief weinig aandacht voor de oorzaken van klimaatverandering, het domein van de klimaatwetenschap. Slechts 7% van de berichtgeving gaat hierover.
P72: Hoewel een groot deel van de bronnen afkomstig is uit de wetenschap, leveren deze toch geen grote pieken op in de berichtgeving, zoals we gezien hebben in de vorige paragraaf. Uit figuur 4.1 bleek dat de wetenschappelijke publicaties die tot pieken leiden, rapporten zijn die een beleidsdoel dienen, bijvoorbeeld van het KNMI of het IPCC. Verder worden publicaties in de vooraanstaande wetenschappelijke tijdschriften Science en Nature meermalen genoemd.
Voor een wetenschappelijk geïnteresseerde lezer is meteen duidelijk dat er iets ernstig mis is, als grote conferenties mede dankzij de altijd goed getimede PR-campagnes van Greenpeace en WWF wel de aandacht trekken, terwijl wetenschappelijk breaking news zoals een record zeeijsbedekking rond de Zuidpool in september 2007 (jawel tegelijk met het recordminimum rond de noordpool) niet tot nieuwskoppen leidt. We lezen verder:
P74: Klimaatalarmisten waarschuwen dat er een ernstig klimaatprobleem bestaat en er urgent drastische maatregelen nodig zijn. Klimaatsceptici daarentegen trekken het bestaan of de ernst van de opwarming van de aarde in twijfel en pleiten veelal tegen vergaand klimaatbeleid of vinden klimaatbeleid in zijn geheel niet nodig. In Amerika krijgen klimaatsceptische geluiden relatief veel aandacht in de media op grond van het journalistieke principe van hoor en wederhoor (Boykoff en Boykoff 2004). Het resultaat daarvan is schijnevenwichtigheid: de kleine minderheid van sceptische klimaatwetenschappers krijgt er evenveel ruimte als hun niet-sceptische collega’s.
P74: Figuur 4.6 laat zien dat ook de Nederlandse situatie niet vergelijkbaar is met die in de VS. Iets minder dan de helft (45%) van de artikelen is alarmerend van aard, 37% is onbepaald en 18% heeft een sceptische strekking. De beeldvorming in de diverse door ons onderzochte media is in zijn totaliteit dus niet louter alarmerend of sceptisch. Er blijkt binnen de Nederlandse geschreven media dus geen sprake te zijn van balance as bias ofwel schijnevenwichtigheid.
Variété
Hoe is het in godsnaam mogelijk een conclusie over hoor en wederhoor te trekken als daar in het onderzoek helemaal niet naar is gekeken? Af en toe een sceptisch stuk plaatsen is geen hoor en wederhoor! Dat is variété. En dan die vreemde manier hoe de onderzoekers met schijnevenwichtigheid twee keer iets totaal verschillends lijken te bedoelen. Appels en peren. Nu dan weer zo’n mooie grafiek die best leuke trends laat zien.
Chapeau voor Elsevier en Simon Rozendaal! Aangezien scepticisme de wetenschappelijke grondhouding an sich is, is 50% sceptische artikelen een soort logisch minimum voor elke zichzelf respecterende wetenschapsbijlage. Zoals ik ook tijdens de hoorzitting heb betoogd, gelukkig zonder Karel Knips gewelddadige oerinstincten wakker te roepen, wat met dit artikel ook allerminst de bedoeling is. Maar wat maakt het Rathenau Instituut van deze grafiek:
De onderzochte artikelen van Vrij Nederland waren voor 35% alarmerend van strekking, 60% was onbepaald en slechts 5% van de onderzochte artikelen had een sceptisch toon. De onderzochte artikelen van Elsevier waren voornamelijk sceptisch van strekking (54%). Slechts 13% was alarmerend. Vergeleken met Elsevier geeft Vrij Nederland weinig opinie weer maar bericht vrij neutraal over het klimaatprobleem.
Met 5% sceptische artikelen versus 35% alarmistische artikelen bericht Vrij Nederland “vrij neutraal” over het klimaatprobleem? Say no more! Ook de volgende grafiek toont een heel interessant beeld, maar wordt door de onderzoekers gullible beoordeeld. In welke categorieën is het aantal sceptische publicaties het allerlaagst? In de boekenbijlagen en in de wetenschapsbijlagen! Als je bedenkt dat gezien de blokkades (om niet te spreken van cordon sanitaire) in de peer review naast de blogs vooral ook juist kritische boeken de wapens in handen van de sceptici vormen, dan is duidelijk dat juist in de boekenbijlagen de verhouding sceptisch/alarmistisch evenwichtiger had moeten zijn. En – ik herhaal – met scepticisme als dé wetenschappelijke grondhouding an sich horen juist de wetenschapsbijlagen niet gullible te zijn maar sceptisch ten aanzien van welk alarmisme dan ook.
Afsluitend herhaal ik nog maar eens de hoofdconclusie van het Rathenau instituut:
We mogen concluderen dat de geschreven en geredigeerde pers het Nederlandse publiek op een pluriforme en evenwichtige wijze informeert over klimaatverandering en het maatschappelijke en politieke debat daarover. […] De berichtgeving over klimaatwetenschap is genuanceerd te noemen.
Deze conclusie is door mijn analyse misschien niet gefalsificeerd, maar toch tenminste ernstig in twijfel getrokken. Er is dus niet alleen Ruimte voor Klimaatdebat, maar vooral ruimte voor een nieuwe studie naar de weergave van de “klimaatpolitiek en -wetenschap in de media”. Wellicht pakken wij die handschoen nog eens op, misschien met een crowdsurfing project à la NOconsensus.org versus het IPCC. Wij nemen de Nederlandse blogosfeer dan zeker mee.
Protest
Theo Wolters, die een spil vormde van het constructieve protest tegen de abjecte eenzijdigheid van het Rathenau Instituut ten tijde van het Six Degrees: Too Hot to Handle symposium, had puur op basis van zijn eigen leeservaring een hele beknopte en bruikbare analyse van klimaatverandering in de media: “In wetenschappelijke magazines zoals NWT en EOS zie ik mede onder invloed van Marcel Crok’s bekroonde artikel Klimaatverandering foor foute statistiek uit 2005, al vanaf 2008 een omslag naar sceptische berichtgeving. De overige media waren tot climategate doorbrak zeer goedgelovig en daarna pas kritisch”.
Als bonus nog zo’n leuke gullible-cartoon (meer via deze link):
Met een e-mail zal ik het Rathenau-instituut en Jeroen van der Sluijs vragen hieronder hun reactie te plaatsen.
We leven in de age of windowdressing: als het goed lijkt is het goed, je had afgelopen maandag voor de grap het aantal autoriteitsredeneringen moeten turven. Maar de kwaliteit en de inhoud van de redenering telt minder: in dit geval heeft men dat dus genegeerd
Terwijl de ware scepticus juist daarnaar kijkt, en ook gerechtvaardigd boos kan worden als men qua logica en waarheid onrecht doet.
Maar.. pas op, als je dan enige gerechtvaardigde emotie laat blijken LIJK jij de kwaaie peer, zuur, misschien wel psychisch onwel en dus ben je het. We leven nu eenmaal een post-sixties samenleving waar toon en gevoel meer tellen, en scepcis per definitie als iets verdachts en negatiefs wordt gezien (niet fris hip en jong maar zure oude mannenspul)
Het gaat natuurlijk om de manier waarop sceptici de ruimte krijgen. Zo kan Calmthout ook claimen dat hij sceptici aan het woord laat, maar als je de Volkskrantstukken leest met een scepticus, zie je de redacteur zich eerst bij hoog en laag uitsloven om de lezer tegen deze ketterij te beschermen. Vevolgens mag hij iets zeggen, waarna de redacteur de lezer nogmaals inwrijft dat hij er vooral niets van moet geloven (astrofysicus afgelopen september en elfstedenwintervoorspelling)
Zo, klusje geklaard, wat zijn we toch weer een kwaliteitskrant. Dat is overigens niet tot klimaat beperkt, je krijgt meerdere onderwerpen toegediend volgens een progressief urbane tunnelvisie
Goeie blog Hajo
Niet zo somber heren. We moeten natuurlijk ook wel een beetje redelijk blijven. Hoe kan je nu van iemand die opgevoed is, of zichzelf heeft opgevoed in de drekpoel van de maakbare samenleving, verwachten dat hij er journalistieke geplogenheden op na houdt die dat hele wereldbeeld wel eens onderuit zouden kunnen halen? Je hebt je loopbaan eraan te danken, aanzien aan de toog, een hele sociale matras inclusief vrouw of vriendin wellicht. Dat ga je niet zomaar bij het grofvuil zetten. Liever voer je dan een bevriende scepticus op door wie je je tijdelijke een ideetje laat aanpraten.
Ondertussen heffen voor- en tegenstanders vandaag het glas aan de gracht, op de mooie weersvooruitzichten. Haal de Wageningse meetbakfietsen maar weer van stal!
Simon "Rozendaal"
Thx! Verbeterd.
Ja, verbeter dat Eva Morales dan ook! ;-)
Nee, zie mijn reactie hieronder. Ik laat het lekker staan….
Ha Hajo,
Dank voor je kritsiche review van ons mediahoofdstuk. Maak je geen zorgen over toonzetting, dat hoort bij dit medium. Ik interesseer me meer voor de inhoud.
Ik overleg nog met de co-auteurs over een meer uitgebreide reactie.
Ondertussen wijs ik graag even op onze oude (jaren 90) mediastudie over de berichtgeving 1970-1992 (scriptie van een student). Ik heb het laten scannen.
Zie: http://www.chem.uu.nl/nws/www/research/risk/NWS_U…
Ook voeg ik een artikel bij uit 1970 ter illustratie van de berichtgeving toen. http://www.climategate.nl/wp-content/uploads/2010…
Verder heb ik op http://weblogs.nrc.nl/klimaatblog/2010/04/21/een-…
een reactie geplaatst (maar die is nog niet geautoriseerd dus die staat er op dit moment nog niet, waarschijnlijk is het weekend bij NRC) met een link naar de Nederlandse spelregels voor goede wetenschapspraktijk: http://www.chem.uu.nl/nws/www/research/risk/Neder…
Die kun je gebruiken om ons als wetenschappelijke gemeenschap op aan te spreken, maar die gelden dan wel symmetrisch voor het hele spectrum (van relativerende tot alarmerende interpretaties van de huidige kennis over de rol van de mens bij toekomstige en huidige klimaatveranderingen).
Met vriendelijke groet,
Jeroen
Dank voor de links!
Uit de gedragscode: "Het selectief weglaten van onderzoekresultaten wordt gemeld en beargumenteerd. De gegevens zijn daadwerkelijk verzameld. De gebruikte statistische methoden zijn toepasbaar op de verkregen data."
Jammer dat Jones et al. niet gehouden zijn aan deze code.
Allereerst willen wij u bedanken voor de aandacht die u schenkt aan ons Rapport Ruimte voor Klimaatdebat. Hieronder geven wij iets meer uitleg over de gevolgde methodiek in ons mediahoofdstuk.
Het Rathenau Instituut en het Copernicus Instituut (Universiteit Utrecht) hebben een kwantitatief onderzoek uitgevoerd naar de berichtgeving over klimaatverandering in vier dagbladen en twee opiniebladen. Doel was te onderzoeken in hoeverre de genoemde bladen berichtten vanuit een alarmerende, sceptische of onbepaalde hoek en of er in de genoemde bladen sprake was van een “balance as bias”. De term “balance as bias” staat voor een situatie waarin de evenwichtigheid in de berichtgeving alleen gezocht wordt door evenveel aandacht te geven aan extreme sceptische en alarmistische geluiden. Dit leidt tot een schijnevenwichtigheid van extreme posities.
Daarnaast wilden we onderzoeken of de berichtgeving op verschillende soorten bronnen was gebaseerd.
De gevonden artikelen zijn naar gelang de strekking van de boodschap van het artikel ingedeeld in de categorieën alarmerend, onbepaald of sceptisch en geteld. Op basis van deze kwantitatieve analyse is onze conclusie dat er in de genoemde media geen sprake is van balance as bias.
Ook hebben we geteld hoeveel artikelen gebaseerd waren op bronnen uit de (klimaat)wetenschap, beleidsgerelateerde wetenschap, politiek en beleid en belangengroepen (zowel industrie als de milieubeweging). Hieruit bleek dat uit al deze soorten bronnen geput is. Op basis van beide analyses trekken we uit de onderzoeksresultaten de conclusie dat de berichtgeving in Nederland op een pluriforme en evenwichtige wijze plaatsvindt.
Wij hebben geen kwalitatief onderzoek uitgevoerd en zeggen dus ook niets over de inhoudelijke kwaliteit van de berichtgeving en of het principe van hoor- en wederhoor is toegepast. Ongetwijfeld zou een dergelijke analyse heel interessant zijn, maar dit ging de reikwijdte van ons onderzoek te boven. De verregaande conclusies die u trekt op basis van ons onderzoek, zouden wij dan ook niet voor ons rekening willen nemen.
Namens de auteurs, met vriendelijke groet,
Monique Riphagen
Rathenau Instituut
Hajo
verbeter deze ook even…
"[.]na 19-11-2010 (Climategate) geweest"
Drie dingen vallen me op in dit stuk.
1/ "is uitsluitend gezocht op de term “opwarming”! Is het nou opwarming of "klimaatverandering" waarop is gezocht? In beide gavallen een heel beperkte, maar wellicht nodige, inperking, die de getrokken conclusie er echter niet sterker op maakt.
2/ Want in "figuur 1. verdelng typen argumenten" zie je toch wat ook mijn gevoel zegt: dat de meeste aandacht naar het alarmisme ging, dat sceptisch geluid eigenlijk met een lantaarntje moest worden gezocht, behalve bij Elseviers Simon Rozendaal. Daarom was ik ook zo blij met de blog van Hans Labohm, want in de normale media werd grosso modo alleen alarmistisch gekakeld, de wereld verbeterd.
3/ Jammer dat dit een kwantitatief onderzoek was, al kan ik me voorstellen dat een kwalitatief onderzoek teveel werk vergt, zeker wanneer de zoekbegrippen worden uitgebreid. En dan moet er ook gekeken worden naar de berichtgeving naast de verslaggeving. Mijn beeld is, dat we overstroomd zijn geweest met alarmistische "subliminal cuts", opvallend veel kleine (nieuws-) berichtjes die steeds weer riching alarmisme, opwarming van het klimaat, bedreiging van de mensheid, (of beter: van ons welvaartsnivo) gingen. Met opvalllend veel beeldmateriaal van ijsbeertjes, afbrekende gletsjers, verschuivende kustlijnen. Herinner me nog die afbreking van die ijsschots op antarctica, waarvan elk jaar weer dezelfde foto´s in de krant kwamen.
Of ja, krant.. Ging het nou alleen om de gedrukte media, of ook om de media websites? Dan is studie ervan helemaal een opgave. En dan kan ik die conclusie van "evenwichtigheid in berichtgeving" zeker niet ondersteunen. Nederland en Europa, politiek en media, liepen als de ratten van Hamelen achter de klimaatdemagogen aan. De uitkomst van Kopenhagen heeft ze tot de orde geroepen. Met hopelijk weer écht plaats voor scepsis.
Hier is een andere studie naar berichtgeving over klimaat in de media, die vooral kwalitatief heeft gekeken:
Waterbeheer in een veranderend klimaat : Feiten en fictie van tachtig beweringen in de media
A. Jeuken en W. Brugeman
http://www.verkeerenwaterstaat.nl/kennisplein/3/7…
In deze brochure richt Deltares zich, in opdracht van Rijkswaterstaat, op de berichtgeving in de media over klimaatverandering en de gevolgen ervan voor het waterbeheer in Nederland. Feiten en fictie worden van elkaar gescheiden. Hiermee draagt Deltares bij aan de bewustwording van de Nederlanders van de mogelijke gevolgen van klimaatverandering voor de wereld en ons land in het bijzonder. De berichtgeving over klimaatverandering in de media is geïnventariseerd door bijna achthonderd uitspraken in koppen van artikelen in veel verschillende kranten en tijdschriften, verschenen in 2007, te verzamelen. Die uitspraken zijn in categorieën verdeeld op basis van de aspecten van klimaatverandering die in de betreffende artikelen werden behandeld. Hier zijn 80 stellingen uit geselecteerd die representatief zijn voor de uitspraken in de media: dit zijn dus geen stellingen van Deltares maar van journalisten in de media. Deskundigen van Deltares, op onderdelen ondersteund door deskundigen van het KNMI, hebben vervolgens een reactie op die uitspraken geformuleerd. Al die reacties zijn in deze brochure geïntegreerd