Het aantal wetenschappelijke artikels dat teruggetrokken werd, is fel gestegen. Ivan Oransky richtte tien jaar geleden Retraction Watch op, een website die wetenschappelijke ongeregeldheden onder de aandacht brengt. ‘De oorzaak van de fraude ligt bij de publicatiedruk.’
Wetenschappers delen nieuwe inzichten door hun bevindingen te publiceren in wetenschappelijke tijdschriften. De kwaliteiten van onderzoekers meten we vaak af aan de hoeveelheid publicaties die ze op hun naam hebben staan en in welke tijdschriften ze hun onderzoek hebben beschreven. Jonge onderzoekers die niet of te weinig publiceren, moeten al gauw een andere baan zoeken. Publish or perish, heet dat in het Engels.
Tijdschriften publiceren niet zomaar alles wat ze aangeboden krijgen. Ingezonden onderzoeksverslagen onderwerpen ze eerst aan een kwaliteitscontrole. Dat gebeurt door twee of drie andere wetenschappers die vertrouwd zijn met het onderzoeksdomein. Zij beoordelen meestal anoniem of het onderzoek grondig is uitgevoerd, of het verslag helder is uitgeschreven en of de bevindingen belangrijk genoeg zijn om op te nemen in het tijdschrift. Meestal moet een onderzoeker zijn oorspronkelijke manuscript grondig herwerken, vaak moet hij ook bijkomende studies uitvoeren, voor het stuk uiteindelijk gepubliceerd wordt. De criteria zijn strenger naarmate het tijdschrift meer aanzien heeft.
Misleidende publicaties
De kwaliteitscontrole garandeert niet altijd dat het onderzoek betrouwbaar is. Het gebeurt steeds vaker dat na publicatie blijkt dat er wat mis is. Dan kan het tijdschrift een publicatie ‘terugtrekken’. Dat betekent dat in het volgende nummer het bericht verschijnt dat de publicatie als onbestaande moet worden beschouwd. Uit cijfers in het tijdschrift Nature blijkt dat het aantal papers dat teruggetrokken werd tussen 2000 en 2010 vertienvoudigd was, terwijl het aantal wetenschappelijke publicaties in diezelfde periode slechts toegenomen was met 44 procent.
Waarom trekken de uitgevers papers terug? Het is mogelijk dat een onderzoeker pas na publicatie ontdekt dat hij een fout gemaakt heeft en dat zijn paper daarom misleidend is. Als hij het tijdschrift daarvan op de hoogte brengt, dan zal de uitgever de paper terugtrekken. Uit onderzoek van Ferric Fang en Arturo Casadevall blijkt dat twee derde van de terugtrekkingen uit de biomedische literatuur het gevolg zijn van wetenschappelijk wangedrag dat aan het licht gekomen is: verzonnen of vervalste onderzoeksgegevens of plagiaat.
‘Het grootste probleem zijn slordige wetenschap en twijfelachtige onderzoekspraktijken’
Soms krijgt dergelijk wangedrag media-aandacht, zoals in het geval van de Duitse fysicus Jan Hendrik Schön, die jaren publiceerde over experimenten die hij nooit had uitgevoerd, of de Nederlandse sociaal psycholoog Diederik Stapel, die de gegevens had vervalst uit meer dan 55 wetenschappelijke publicaties. Vaak gebeurt een terugtrekking zonder veel ruchtbaarheid en soms zijn andere onderzoekers die actief zijn in hetzelfde domein niet eens op de hoogte van de terugtrekking.
Om daaraan te verhelpen, riepen twee wetenschapsjournalisten Retraction Watch in het leven, een website die terugtrekkingen onder de aandacht brengt. De sitekrijgt ongeveer 150.000 unieke bezoekers per maand. Dit jaar blaast de Retraction Watch tien kaarsjes uit, een goede gelegenheid om Ivan Oransky, een van de oprichters, aan het woord te laten.
Ivan Oransky is ondervoorzitter van het Amerikaanse medisch tijdschrift Medscape waar hij leiding geeft aan een groep journalisten. Hij staat aan het hoofd van de Amerikaanse Association of Health Care Journalists. Aan de New York University waar hij zijn studie voor arts heeft gevolgd doceert hij het vak journalistiek. In 2010 richtte hij samen met medisch journalist Adam Marcus de website Retraction Watch op.
Retraction Watch is niet uw beroep, maar wel een hobby?
‘Dat klopt. Ik verdien mijn brood als medisch journalist. Ik werk voor Medscape, een Amerikaans medisch tijdschrift, met vertalingen in het Duits, Frans, Spaans en Portugees. Ik sta aan het hoofd van een groep journalisten die voor het tijdschrift werken. Ik geef ook het vak journalistiek aan de New York University, waar ik mijn studie voor arts heb gevolgd. Retraction Watch richtte ik op met mijn collega-medisch journalist Adam Marcus. Voor ons is dit vrijwilligerswerk.’
Wat motiveerde u om met Retraction Watch te beginnen?
‘Eigenlijk was het Adam die me op het idee bracht. Hij zegt dat het mijn idee was, maar hij was de inspiratiebron. Adam was toen uitgever van het vakblad Anesthesiology News. Hij had een verhaal uitgebracht over Scott Reuben, een anesthesist uit Massachusetts die de pijnstiller Celecoxib had bestudeerd. Het was duidelijk dat hij al zijn gegevens verzonnen had. Ik geloof dat er 25 publicaties moesten teruggetrokken worden en hij heeft zelfs een gevangenisstraf uitgezeten, wat erg zeldzaam is bij wetenschappelijke fraude.’
‘De informatie over de terugtrekkingen is vaak misleidend of niet informatief. Dat vonden we een transparantieprobleem’
‘Het was een fascinerend verhaal en Adam was de eerste die erover schreef. Ik had al veel gelezen en nagedacht over wetenschappelijke fraude, maar toen Adam over de zaak-Reuben schreef, was het onderwerp plots voorpaginanieuws. Ik belde Adam en stelde hem voor een blog te beginnen over fraude, wat hij een goed idee vond. Let wel: wij dachten toen dat er dertig, hooguit veertig terugtrekkingen per jaar gebeurden. We wilden daar dan over schrijven en we dachten dat het niet al te veel werk zou zijn. Ik weet niet of we ook begonnen zouden zijn als we geweten hadden wat we nu weten. Misschien wel, maar dan hadden we het toch anders aangepakt.’
‘We hadden twee goede redenen om te schrijven over terugtrekkingen. Ten eerste, het zijn goede verhalen die meestal niet aan de oppervlakte komen. We wisten dat papers soms werden teruggetrokken, maar niemand schreef erover. Ten tweede, als we naar de aankondigingen van de terugtrekkingen keken, dan was die informatie vaak misleidend of niet informatief over de oorzaak. Dat vonden we een transparantieprobleem. Dus dat was een goede journalistieke reden.’
In het begin schreef u alleen over papers die al officieel waren teruggetrokken. Dat is veranderd?
‘Dat is correct. De meeste gevallen waarover we schreven, waren opzienbarend. Toen we net begonnen, was er de zaak van Marc Hauser, een evolutionair bioloog van Harvard, die met zijn gegevens geknoeid had. Carolyn Johnson van de Boston Globe had dat verhaal uitgebracht. We hebben die zaak uitgespit.’
‘En toen was er een grappig incident met een viroloog, op zich eigenlijk niet zo belangrijk. De British Medical Journal had een kerstnummer met bijdragen die een beetje te vergelijken waren met 1 aprilgrappen. Het ging niet om bedrog, maar om absurde bijdragen, zoals het feit dat je geen experiment kan uitvoeren om het nut van een parachute aan te tonen als je uit een vliegtuig springt. Je kan moeilijk de helft van de proefpersonen met en de andere helft zonder parachute laten springen om vervolgens na te gaan of er een verschil is in het aantal overlijdens.’
'De echte oorzaak ligt in de publicatiedruk'
‘Er was dus een bijdrage van een viroloog die beweerde dat een vrouw die in de Bijbel beschreven wordt en die door Jezus genezen zou zijn, eigenlijk leed aan de griep. Dat had hij afgeleid uit de beschrijving van de symptomen. De paper was bedoeld als een soort van grap, maar het tijdschrift had haar gepresenteerd als een ernstige, wetenschappelijke publicatie. De man vroeg dan aan het tijdschrift om zijn paper terug te trekken. Wij schreven er een verhaal over en de openbare radio NBR pikte dat op waardoor we heel wat media-aandacht en dus bekendheid kregen.’
‘Naarmate onze blog bekender en meer gelezen werd, kregen we meer tips binnen van onderzoekers over papers die op het punt stonden om teruggetrokken te worden. Of over papers die volgens hen teruggetrokken zouden moeten worden, en waarom. Hierdoor konden we al vroeg in het proces beginnen te schrijven. Maar om eerlijk te zijn, we kunnen de werkelijk uitgevoerde terugtrekkingen niet eens bijhouden en die zijn al belangrijk genoeg.’
‘We zitten nu aan ongeveer 1400 terugtrekkingen per jaar. Omwille van dit grote aantal zijn we begonnen met een databank waarin alle terugtrekkingen worden opgenomen. Daarvoor hebben we een schenking van 400.000 dollar gekregen van de MacArthur Foundation. Die databank is het belangrijkste. In de blog schrijven we over de zaken die wij het meest interessant vinden.’
Hoe vaak wordt de gegevensbank bijgewerkt?
‘Elke dag. Adam en ik doen dat niet zelf. We konden in het verleden rekenen op meer sponsorgeld en toen konden we werken met vier voltijdse stafleden. Nu hebben we slechts één medewerker, die we 75 procent kunnen betalen. Alison Abritis heeft haar doctoraat geschreven over terugtrekkingen. Zij werkt de databank dagelijks bij en doet ook ander werk voor ons. In de gegevensbank zitten al meer dan 20.000 terugtrekkingen.’
Als u een tip krijgt over een fraudezaak die nog niet publiek gemaakt is via een officiële terugtrekking, gaat u dan op zoek naar het verhaal als onderzoeksjournalisten?
‘Ja, we gaan dan op zoek naar zo veel mogelijk bronnen. We proberen steeds met alle betrokkenen te spreken. Als iemand ons een onderzoeksrapport stuurt, of e-mailuitwisseling, dan kunnen we die documenten publiceren op onze webpagina. Maar we proberen steeds te praten met de auteurs, het tijdschrift, de universiteit, als die relevant is, en soms de instantie die het onderzoek gefinancierd heeft. We hebben ook al met de politie gebeld, toen onderzoekers gearresteerd werden omwille van de fraude, maar dat gebeurt heel zelden.’
‘Zolang universiteiten eisen dat jonge onderzoekers publiceren in Nature, Science of andere hoog aangeschreven tijdschriften zal er niet veel veranderen’
‘En natuurlijk lukt het niet altijd om met iedereen te spreken. Maar als het gaat over de verificatie van informatie, dan zijn we zeer strikt. Ik geef zelf les over journalistiek en ik ken de standaarden. Als we een document ontvangen, dan verifiëren we de authenticiteit. Er zijn mensen die schrijven over geruchten, maar daar doen we niet aan mee. Vaak krijgen we tips waarvan we denken dat ze correct zijn, maar als we de echtheid niet kunnen nagaan, dan publiceren we er niet over.’
‘Sommigen verwijten ons dat we bang zijn om gerechtelijk vervolgd te worden, maar dat klopt niet. We zijn nog nooit vervolgd in tien jaar. Er is wel al gedreigd met vervolging, maar we kennen de wetten over laster en eerroof. Die wetten zijn erg liberaal in de VS, progressiever dan in de meeste andere landen. Daarom is dit een goed land om aan journalistiek te doen.’
Stijgt het aantal terugtrekkingen nog?
‘Dat is niet duidelijk. Een analyse van onze gegevensbank door het tijdschrift Science lijkt te wijzen op een stagnering. Dat weten we nog niet dadelijk met zekerheid. Het duurt vaak jaren voor een paper teruggetrokken wordt. Zelfs als het aantal terugtrekkingen nog stijgt, dan wil dat niet zeggen dat het percentage terugtrekkingen nog stijgt. Het aantal gepubliceerde wetenschappelijke papers stijgt immers ook. Het aantal terugtrekkingen is wel sterk gestegen in de afgelopen twintig jaar. Dat is zeker.’
Leiden de meeste fraudegevallen naar een terugtrekking?
‘Terugtrekkingen zijn wellicht maar het topje van de ijsberg. Toch blijven ze belangrijk omdat ze het proces blootleggen waar wetenschap fout loopt. Als we schrijven over terugtrekkingen zullen we nooit beweren dat de terugtrekking op zich het cruciale probleem is. Echte fraude is zelfs niet het grootste probleem. Het grootste probleem zijn slordige wetenschap en twijfelachtige onderzoekspraktijken: kleine leugentjes of het verzwijgen van informatie, wat op grote schaal gebeurt en waardoor publicaties misleidend worden.’
‘Adam zegt altijd dat echte fraude en de kleinere vergrijpen afstammen van dezelfde moeder. Is salami slicing fraude? (De praktijk waarbij een onderzoeker een studie in vele kleine stukjes verdeelt en elk stukje apart neerschrijft om zijn aantal publicaties op te drijven.) Het hangt ervan af hoe je het woord fraude definieert. Het staat nooit vermeld in definities van fraude, maar het is zeker niet goed voor de wetenschap. Ik ben van mening dat de echte oorzaak ligt in de publicatiedruk.’
Heeft u voorstellen om de situatie te verbeteren? Werkt u daarom samen met de Open Science Foundation?
Neen. We hebben samengewerkt met de Open Science Foundation in het begin, toen we onze gegevensbank ontwikkelden. Brian Nosek, de oprichter van de Open Science Foundation, had me uitgenodigd voor een vergadering. We werken nog met de stichting samen, maar niet meer voor onze gegevensbank. Daar zijn verschillende redenen voor, vooral financiële. We werken nu samen met Zotero, een gebruiksvriendelijk programma om te verwijzen naar wetenschappelijke publicaties en die te delen. (Zotero signaleert automatisch teruggetrokken papers indien een onderzoeker naar die publicaties verwijst in zijn eigen manuscripten.) Wij zijn een non-profitorganisatie. We doen ons werk op vrijwillige basis, maar onze postdoc en het onderhoud van de webpagina kosten geld. Zotero draagt daaraan een beetje bij.’
‘De open science-beweging is zeker een stap in de goede richting. We moeten ook kijken naar de verloningsstructuur in de wetenschap. Kijk naar een land als China. Daar is het probleem extreem, niet zozeer in termen van terugtrekkingen, maar wel de verloningsstructuur. Daar krijgen onderzoekers een loonbonus per publicatie, gewogen met het aanzien van het tijdschrift waarin de paper wordt opgenomen. Hoe kan je dan verwachten dat alles goed gaat? Het medisch personeel in China, mensen die niet opgeleid zijn als onderzoeker, moeten twee papers publiceren om bevorderd te worden. Ze weten niet hoe ze onderzoek moeten doen. Dat is vragen om problemen. Natuurlijk leidt dat tot fraude. Dat zijn extreme voorbeelden, maar het toont wel hoe problematisch bepaalde verloningsstructuren zijn. Zolang universiteiten eisen dat jonge onderzoekers publiceren in Nature,Science of enkele andere hoog aangeschreven tijdschriften zal er niet veel veranderen.’
Als je ziet hoeveel geld er verdiend wordt door de wetenschappelijke uitgeverijen met de wetenschappelijke tijdschriften in portefeuille, mag je dan niet verwachten dat zij, of andere officiële instanties, het werk van Retraction Watch doen?
‘Misschien kan een bedrijf er wel een winstgevende draai aan geven. We hebben zelf met uitgeverijen gesproken over samenwerking, maar fraude en terugtrekkingen zijn geen onderwerpen waarover mensen graag praten. Het is geen prioriteit. Velen zijn blij dat we bestaan en ze waarderen wat wij doen, maar het blijft een oncomfortabel onderwerp.’
‘Wij doen het met plezier. Het is zoals het gezegde: “zoek een baan die je graag doet en je hoeft geen dag te werken in je leven”. Helaas kampen we met financiële problemen. Zodra het ons persoonlijk geld gaat kosten, stoppen we ermee.’
