Een toonaangevende studie waaruit bleek dat echt vernieuwend onderzoek steeds minder voorkomt, deed een paar jaar geleden flink wat stof opwaaien. Nu stelt een team onder leiding van VUB-onderzoekers vast dat de hoeveelheid baanbrekend onderzoek uit het verleden overschat werd.
In 2023 was het een coverartikel in Nature waard, en ook Eos pikte het nieuws destijds op. Volgens een team van Amerikaanse wetenschappers werd er steeds minder innovatief of volledig nieuw onderzoek gedaan. Ze hadden miljoenen papers en patenten over een periode van verschillende decennia een ‘disruptiescore’ gegeven: hoog als het onderzoek niet voortbouwt op ander werk maar zelf een standaard wordt, laag als het om consoliderend onderzoek ging. De conclusie luidde dat baanbrekend onderzoek in vrije val was geraakt. En niemand weet waarom, kopte het gerenommeerde tijdschrift toen.
Misschien omdat er wat schort aan de datasets van voornamelijk oudere publicaties? Onderzoekers van de Vrije Universiteit Brussel en de KU Leuven ontdekten dat onvolledige referentiegegevens de resultaten fors scheefgetrokken hebben. Hun bevindingen verschijnen nu eindelijk als reactie in Nature.
Naarmate de kwaliteit van de data in de loop van de tijd verbetert, komen er ook minder artikels met overtrokken scores voor
‘Kort na de publicatie probeerde ik het [oorspronkelijke] onderzoek te reproduceren op basis van open data’, vertelt doctoraatsstudent Vincent Holst (VUB), hoofdauteur van de nieuwe studie. ‘Ik ontdekte een grote piek van artikels bij de maximale disruptiescore. Dat was vreemd, want deze piek kwam niet voor in de histogrammen die in Nature waren gepubliceerd.’
Artefacten
De piek die Vincent Holst had gezien, was als datapunt weggevallen – als gevolg van een bug in de visualisatiesoftware, zo bleek. Maar de onderliggende gegevens werden wél gebruikt in de analyse die had geleid tot de opmerkelijke conclusie dat wetenschap steeds minder disruptief werd. ‘Wanneer de referenties van een publicatie niet in de database zijn opgenomen, bestempelt de gebruikte methode die publicatie onterecht als maximaal baanbrekend’, verklaart VUB-hoogleraar Vincent Ginis, die het onderzoek leidde.
Oudere referentiegegevens zijn vaker onvolledig. Naarmate de kwaliteit van de data in de loop van de tijd verbetert, komen er dus ook minder van deze artikels met overtrokken scores voor. Maar dat wil niet zeggen dat de wetenschappelijke innovatie is afgenomen.
‘Op basis van het onderzoek kunnen we simpelweg geen definitieve uitspraken doen over de vraag of de wetenschap meer of minder disruptief wordt’
‘Wanneer we de foutieve gegevens wegfilteren, verdwijnt de daling grotendeels’, verklaart Holst. ‘Dit geldt voor alle wetenschappelijke databanken die we onderzocht hebben. In de grootste dataset van het onderzoek zijn de artefacten verantwoordelijk voor 93% van de gerapporteerde daling tussen 1945 en 2010.’
Geen solide basis
Reeds in oktober 2023 stuurden de Belgische onderzoekers hun kritiek naar Nature. Pas na 32 maanden gaf het tijdschrift groen licht voor publicatie. ‘Terwijl de softwarefout binnen enkele maanden verholpen was door de opensource-gemeenschap, duurde het jaren voor de wetenschappelijke correctie werd gepubliceerd’, stelt professor Ginis vast.
‘Als wetenschap zelfcorrigerend wil zijn, moeten die prikkels omgedraaid worden. Kritieken zouden sneller behandeld moeten worden dan origineel onderzoek, niet dubbel zo traag (zoals hier het geval was). En artikels waartegen een onderbouwde kritiek in behandeling is, zouden dat zichtbaar moeten aangeven voor de lezer’, vindt hij.
Ondertussen werd de originele studie opgepikt in tal van media, 1000 keer geciteerd en gebruikt in ten minste 16 beleidsdocumenten. Ze kwam zelfs aan bod in een hoorzitting van het Amerikaanse Congres, aldus professor Ginis. 'Terwijl we op basis van het onderzoek simpelweg geen definitieve uitspraken kunnen doen over de vraag of de wetenschap meer of minder disruptief wordt. Wel is aangetoond dat de methode en conclusies uit 2023 geen solide basis vormen voor ons wetenschapsbeleid.’
