ChatGPT laat woordkruimels na in een tekst en geeft zichzelf daarmee bloot

ChatGPT laat woordkruimels na in een tekst en geeft zichzelf daarmee bloot

Delen:

Ruim een jaar geleden lanceerde OpenAI zijn kunstmatig intelligente chatbot ChatGPT. Sindsdien heeft zeker een derde van de studenten in Nederland er al gebruik van gemaakt, blijkt uit een bevraging van onderzoeksbureau GfK. Ze zien ChatGPT als ‘denkpartner, spellingcontroleur of schrijfhulp’, schrijft NRC. De chatbot laten ze onderzoeksvragen formuleren, of stukjes thesis checken op taalfouten en vlotheid.

Prima, zeggen steeds meer hogescholen en universiteiten daarop. In een set richtlijnen of handvatten zetten onder meer de Universiteit van Amsterdam, de KU Leuven en de Arteveldehogeschool Gent al uiteen hoe studenten met de chatbot kunnen omgaan. Zelfgeschreven teksten mogen ze laten herwerken of verbeteren. Ze mogen de chatbot ook aanspreken om informatie te krijgen over een onderwerp. Niet toegestaan is gegenereerde teksten letterlijk overnemen zonder dat aan te geven, of bestaande teksten laten parafraseren om plagiaat te verdoezelen.

Dat is een duidelijk kader. Of studenten zich daaraan houden, is een andere zaak. Heel wat docenten, thesisbegeleiders en promotoren zijn vragende partij voor een robuuste methode om het gebruik van ChatGPT te detecteren in tekstopdrachten, masterproeven en doctoraatsstudies.

Woorden die steeds terugkeren

Een team van ingenieurs aan de Technische Universiteit Delft dokterde een mogelijke benadering uit. Voor Engelstalige teksten, welteverstaan. ‘De voorbije paar maanden hebben mijn collega’s en ik ons verdiept in hoe ChatGPT werkt en welke output die genereert’, zegt ingenieur Joost de Winter (TU Delft). ‘Gaandeweg kwamen we erachter dat in de teksten die de chatbot genereert bepaalde woorden steeds terugkeren. En dat je naar die woorden op zoek kunt gaan in academisch werk.’

De Winter en zijn collega’s doken in de databanken van academische uitgevers, waaronder ScienceDirect en IEEE Xplore, en die van universiteiten als de TU Delft en de Universiteit van Leiden. Alles samen bevatten die voor 2023 bijna anderhalf miljoen documenten – waaronder artikels, papers en masterproeven. Daarin telden ze hoe vaak sommige trefwoorden voorkomen. Die aantallen vergeleken ze met documenten uit vorige jaargangen, van 2022 tot en met 2019.

Als je een vermoeden hebt dat iemand ChatGPT heeft gebruikt en daar niet transparant over is, dan kun je die persoon vragen om bijvoorbeeld passages te verduidelijken

‘Een woord als ‘fostering’ (bevorderen, red.) kwam veel meer voor in teksten die dit jaar zijn geschreven’, zegt De Winter. ‘In de databank van de TU Delft vonden het 10 keer in werk uit 2021, tegenover wel 65 keer in 2023. En in IEEE Xplore is het gebruik van ‘delves’ (verdiept zich, red.) op twee jaar tijd met 169 procent toegenomen.’

Pik je die woorden meermaals op in een masterproef of een ander studentenwerk, dan ben je misschien het kruimelspoor van ChatGPT aan het volgen. Al zou het verkeerd zijn om daaruit overhaaste conclusies te trekken, waarschuwt De Winter. ‘Die patronen van sleutelwoorden vonden we terug in een groot corpus van academische teksten. Je kunt ze niet een op een toepassen op afzonderlijke werken.’

Wel hebben de sleutelwoorden een zekere signaalfunctie. ‘Als je een vermoeden hebt dat een scholier, student of onderzoeker ChatGPT heeft gebruikt en daar niet transparant over is, dan kun je die persoon vragen om bijvoorbeeld passages te verduidelijken, of stimuleren om een meer oorspronkelijke tekst aan te leveren.’ Dat leidt dikwijls tot een beter werkstuk. Niet alleen de docent of begeleider is daarbij gebaat.

Transparant

De methode kan een waardevolle aanvulling vormen bij de bestaande tools om AI-gegenereerde passages te detecteren. Of een vervanging, want die tools bieden vaak weinig houvast, vindt De Winter. ‘Ze tonen op zinsniveau waar ze output van artificiële intelligentie menen te vinden, maar zeggen zelden hoe ze daartoe komen. Dan is een methode waarmee je zelf op zoek kunt gaan naar signaalwoorden een stuk transparanter.’

De Winter en zijn collega’s vroegen zich nog af of docenten ChatGPT kunnen inzetten om het werk van studenten te beoordelen. In twee workshops, bijgewoond door 96 onderwijsprofessionals, namen ze de proef op de som.

Menselijke controle blijft aangewezen. Voor docenten én studenten

Deelnemers aan de workshop vroegen de chatbot op verschillende manieren om een gegeven abstract te beoordelen op zaken als inhoudelijke consistentie, academische kwaliteit of schrijffouten. De chatbot voldeed niet helemaal aan de verwachtingen. Zijn beoordelingen waren te zeer afhankelijk van hoe de deelnemers hun opdracht formuleerden.

ChatGPT bleek wel nuttig bij het aanwijzen van zwaktes, stroeve zinnen, en inhoudelijke fouten. Al kon ook daar de ingevoerde prompt sterk bepalen hoe goed de AI daarbij presteert. Menselijke controle blijft aangewezen, was het besluit. Voor docenten én studenten, dus.

Delen:

De eerste 7 Tesla MRI-scanner in Vlaanderen maakt baanbrekend medisch onderzoek mogelijk.

Bijna elke week duikt er ergens ter wereld een nieuwe humanoïde robot op, en telkens lijkt de robotbutler van de toekomst nog maar een paar updates verwijderd. Robotica-experten Bram Vanderborght en Francis wyffels geven een inkijk in de uitdagingen binnen hun vakgebied.

Tussen verbazingwekkende demo’s met robots en de realiteit gaapt een enorme kloof. Kunnen en moeten we die dichten? En kan Europa opboksen tegen Amerikaanse en Chinese concurrentie?

Gaat jouw gsm-kabel ook élke keer kapot… op exact dezelfde plek? Materiaalingenieur Wim Deferme van UHasselt werkt aan een oplossing die dit probleem voorgoed kan oplossen.

Dit is een artikel van: Universiteit van Vlaanderen

Stikstof in jouw urine kan vieze geurtjes in de riolering bestrijden. Iris De Corte, doctoraatsstudente aan de Universiteit Antwerpen, onderzoekt hoe deze stikstof op een efficiënte manier kan worden gedoseerd om zoveel mogelijk geuroverlast te vermijden.

‘Licht het op, laadt het op, werkt het op stroom? Dan moet je recupellen!’ De campagnes van Recupel zijn niet zo memorabel als die met de plastic kip in de pmd-zak, maar ze blijven toch hangen. Jammer genoeg is recupellen niet de laatste stap naar een circulaire economie, maar de eerste. In het KU Leuven Instituut voor Duurzame Metalen en Mineralen werken ze aan de vervolgstappen – met robots.

Wanneer een motor van een drone uitvalt, vertellen zijn sensoren niet meteen wat er mis is. Door hun metingen te combineren met wat we al weten over hoe de drone zich hoort te gedragen, kunnen we ontdekken wat er veranderd is en op tijd bijsturen. 

Van de bosbranden die deze zomer Europa teisterden tot elektrische wagens die moeilijker te blussen vallen: er komen nieuwe uitdagingen af op onze brandweerkorpsen. Technologieën die gaan van robots en drones tot satellietbeelden en voorspellende modellen helpen om branden beter te blussen, en soms ook te voorkomen.

Vanaf dinsdag 20 oktober tot 7 november kan je in de Nekkerhal in Mechelen zelf beleven welke innovatieve oplossingen wetenschap en technologie vandaag voor jou in petto hebben. Flanders Next is de naam van de expo die de blikvanger is van het FTI festival. Een maand lang staat ook in andere steden Vlaamse innovatie centraal. Eos vroeg aan minister-president Matthias Diependaele wanneer het technologiefesival voor hem geslaagd is.

En blijf op de hoogte van de laatste inzichten in wetenschap en technologie.

Nieuwsbrieven