Ben jij grappiger dan AI?

Beeld: Gegenereerd met OpenAI’s DALL-E 3 & Adobe Firefly & verder bewerkt in Photoshop

Gevoel voor humor is essentieel om mee te draaien in onze maatschappij. Humor verbindt ons, helpt diepe vriendschappen te smeden en verlicht talloze sociale situaties. Toch leren we geen humor op school. Voor andere taalvaardigheden zoals spelling en grammatica helpen computers ons al jaren. Met de opkomst van geavanceerde taalmodellen zoals ChatGPT zou je verwachten dat AI ook moeiteloos grappen kan maken. Maar is dat ook zo?

We vroegen ChatGPT om een mop over Eos te schrijven. Dit was het resultaat:

Waarom nam het Eos magazine een zonnebril mee naar het lab? Omdat het onderzoek zo verlichtend was dat het anders verblind zou raken!

Het lijkt op een mop, maar erg grappig is het niet. Hoe komt het dat ChatGPT hier zoveel moeite mee heeft?

Als je ChatGPT vraagt om een mop te vertellen, krijg je vaak een variatie op een bestaande grap of een flauw cliché zonder echte pointe. Dat komt door de manier waarop het taalmodel teksten schrijft: woord voor woord, van links naar rechts. Stel je voor dat je ter plekke een grap moet bedenken en meteen moet beginnen praten, zonder tijd om na te denken. Je zou waarschijnlijk ook beginnen met een zin als "Een Eos magazine loopt een bar binnen...", zonder precies te weten hoe je het grappig kunt laten eindigen. Om ChatGPT betere grappen te laten maken, moeten we het eerst kladpapier geven om te brainstormen over een punchline, en bovendien uitleggen hoe je tot zo een punchline komt.

ChatGPT moet op humorles

Humor laat zich moeilijk in regels vatten. Het is vaak onverwacht en afhankelijk van context. Toch bevatten sommige grappen vaste patronen. Kijk bijvoorbeeld naar deze twee:

Het is een Belgische politica en komt tot net boven de enkel.
Maggie De Sok!

Het is een Belgische politica en wordt gebruikt in de oosterse keuken.
Maggie De Wok!

Je herkent meteen het patroon: je zoekt een rijmwoord op het laatste deel van “Maggie De Block” en bedenkt een passend raadsel. Met een simpel rijmwoordenboek en Wikipedia kan je zulke grappen aan de lopende band produceren. Deze mopjes zijn dan ook jaren geleden al door ons "MopjesBot"-algoritme gegenereerd. Hoewel dit simpele AI-systeem al mopjes kon schrijven voor de komst van grote taalmodellen zoals ChatGPT, ging het ook vaak mis en kon het alleen dit voorspelbare patroon volgen.

Op een gelijkaardige manier kunnen we ChatGPT helpen om grappiger te zijn: we leren het model om mopjes in stappen te schrijven. Dat doen we door enkele voorbeelden te geven waarin we uitleggen hoe we de mop zelf bedachten. Zo leert het model niet alleen het stappenproces, maar begrijpt het ook wat voor soort grappen we willen. Stel dat we grappige, slechte slogans willen genereren. We kunnen het redeneerproces zo uitleggen:

Invoer: Slogan voor chips
Redenering: Chipsverpakkingen zitten vaak vol lucht ter bescherming. Mensen vinden dat misleidend, want de zak lijkt voller dan het is. Een ander woord voor een misleidend product is "gebakken lucht".
Slogan: Chips: koop je zakje boordevol heerlijke gebakken lucht!

Omdat ChatGPT goed patronen kan nadoen, gebruikt het dezelfde redeneerstappen om een mop te schrijven. Kijken we even naar het resultaat:

Invoer: Slogan voor Eos magazine
Redenering: Eos is een populairwetenschappelijk magazine, maar sommige mensen kunnen het ervaren als saaie lectuur. Misschien kun je het vergelijken met een slaapmiddel.
Slogan: Eos magazine: Voor als je schaapjes tellen te veel moeite vindt.

AI het podium op

Maar hoe grappig is AI in vergelijking met mensen? Om dat te testen hebben we voor het VTM-programma Ze Zeggen Dat (seizoen 4, aflevering 7) een experiment opgezet met drie professionele comedians en een 40-koppig publiek.

De comedians improviseerden humor én lazen AI-gegenereerde mopjes af van het scherm vooraan het podium. De presentatrice vroeg telkens suggesties voor onderwerpen aan het publiek.

Humor meten is niet eenvoudig. De kwaliteit van een grap hangt bijvoorbeeld af van hoe ze wordt gebracht. Bovendien is het oneerlijk om AI-gegenereerde grappen te vergelijken met bestaande moppen. Grappen uit moppenboeken of van comedians ondergaan evolutie: ze worden verfijnd en alleen de sterkste grappen overleven. ChatGPT daarentegen schrijft de mopjes ter plekke, zonder filtering. Daarom lieten we de comedians ter plekke moppen improviseren en brachten ze elke ronde ook een door AI gegenereerde mop. Het publiek wist niet dat AI in het spel was en beoordeelde na elke ronde de kwaliteit van de moppen. Voor elke persoon in het publiek wisten we dus per comedian of ze de eigen moppen of de AI-mop het grappigste vonden.

Het resultaat was verrassend: ongeveer gelijkstand! De moppen van de comedians waren in 35% van de gevallen het grappigst. De AI-mop won in 30% van de gevallen, en in de overige 35% waren beide moppen even leuk. Een andere verrassing was dat verreweg de beste grap van de avond geschreven was door AI. Voor de opdracht "Het antwoord is 'seks op latere leeftijd', wat is dan de vraag?" schreef ChatGPT:

Waarmee kan je zowel je heup als je erfenis naar de kloten helpen?

Wie het laatst lacht…

Het experiment toont dat AI, met een extra woordje uitleg en kladpapier, verrassend grappig kan zijn. Computers helpen ons in de toekomst mogelijk niet alleen met grammaticaal correcter te schrijven, maar ook om onze eigen humor aan te scherpen. Dan tonen ze ons misschien wat humorredeneringen en raden ze ons aan wat kladpapier te nemen…

Thomas Winters dingt mee naar de Vlaamse PhD Cup 2024. Ontdek meer over dit onderzoek op www.phdcup.be.