Wat gebeurt er als je ChatGPT een eeuwenoud wiskunderaadsel laat oplossen?
Een boer staat aan de oever van een rivier. Hij heeft een boot om het water over te steken, maar hij wil een wolf, een geit en een kool meenemen. De boot is niet erg stevig, waardoor de boer maar een iets tegelijk kan meenemen. Het probleem is dat hij de wolf niet alleen kan laten met de geit, en de geit bij de kool achterlaten loopt ook niet goed af. De kool is wel veilig bij de wolf, dus de boer kan eerst de geit overzetten. Maar hoe moet het dan verder?
Dit raadsel stamt al uit de middeleeuwen. Het komt voor in een Latijns manuscript met iets meer dan vijftig ‘stellingen om het verstand van de jeugd te scherpen’. De opgaven behoren tot wat we nu de recreatieve wiskunde noemen: mathematische raadsels en spelletjes. Ze werden waarschijnlijk rond het jaar 800 samengebracht door Alcuinus van York. Tussen 781 en 796 was Alcuinus leraar aan de paleisschool van Karel de Grote in Aken, de toenmalige hoofdstad van de Franken. Hij onderwees er onder andere Karel de Grote zelf en twee van diens zonen. Of die het raadsel ook voor de kiezen kregen is niet bekend.
Het raadsel is dus meer dan 1.200 jaar oud en je hebt de oplossing vast al eens gehoord. En anders volgt hier een cruciale hint: de boer kan ook iets mee terugnemen. Zo is het in zeven stappen op te lossen. Je kunt het verhaal trouwens ook vertellen met een vos, een kip en een maiskolf, maar voor de structuur van de oplossing maakt dit niet uit.
Er zijn ook wel gekkere varianten bedacht, met veel meer voorwerpen. Tien jaar geleden maakte Benjamin Soule het computerspel Across the River. Daarbij moet je niet alleen een wolf, een geit en een kool overbrengen, maar ook een jager, een geweer, een aap én een wasmachine. Ook in deze versie kan je maar één dier of object tegelijk transporteren.
Welke duo’s niet onbewaakt mogen achterblijven, daar moet je spelenderwijs achter komen. Het handige aan de wasmachine is bijvoorbeeld dat je er iets in kunt verstoppen. Maar de aap kan de wasmachine aanzetten en zo de inhoud vernietigen, tenzij de aap een kool heeft om mee te spelen.
Of iemand deze versie al aan AI heeft voorgelegd, weet ik niet. Vorig jaar probeerden mensen wel of AI-tekstgeneratoren zoals ChatGPT het originele raadsel konden oplossen. Dat lukt inderdaad, maar de vraag is dan of deze tools de redenering volgen of enkel de linguïstische structuur van de opgave herkennen en zo de oplossing kunnen reproduceren. Het raadsel en de oplossing staan immers in veel boeken en online bronnen: teksten waarop deze generatoren getraind zijn. De tools blijken de structuur van het vraagstuk zo goed te kennen, dat ze de oplossingsstrategie ook toepassen in situaties waarin dit niet nodig is.
Gary Marcus stelde bijvoorbeeld deze vraag: ‘Een man en zijn geit proberen een rivier over te steken. Ze hebben een boot. Wat moeten ze doen?’ Ze kunnen natuurlijk in één keer de rivier over. ChatGPT, Copilot en andere grote taalmodellen kwamen echter met pseudo-oplossingen waarbij de man de rivier drie keer, vijf keer of nog vaker over moest. Soms dook er in het stappenplan ook plots een wolf of een vos op, wat bevestigt dat de modellen de oplossing van het standaardprobleem sterk hadden geïnternaliseerd.
Corrin Lakeland bleef dichter bij het originele raadsel, maar hij specifieerde dat de geit de wolf zou opeten en dat de wolf de kool zou lusten. Dat is natuurlijk onzin, maar voor de logische structuur van het raadsel speelt dat geen rol. De meeste mensen zien in dat je nu de wolf veilig als eerste kunt overzetten. ChatGPT herhaalde echter de originele oplossing. Anderzijds lukte het wel om tot een oplossing voor deze variant te komen door ChatGPT te vragen een Python-programma te schrijven om het op te lossen.
Maar waarom de boer die wolf überhaupt wil meenemen, dat blijft na al die eeuwen misschien nog wel het grootste raadsel.
Waarom de boer die wolf überhaupt wil meenemen, dat blijft na al die eeuwen misschien nog wel het grootste raadsel