De grens tussen mens en machine verdwijnt: chatbot slaagt voor Turingtest

De grens tussen mens en machine verdwijnt: chatbot slaagt voor Turingtest

Delen:

Kunnen we nog zeker zijn dat we chatten met een mens? Onderzoekers aan de Universiteit van San Diego in Californië beweren van niet. Ze onderwierpen daarvoor vier verschillende chatbots, waarvan drie Large Language Models (LLM’s) die getraind zijn op menselijke taal, aan de befaamde Turingtest. Die werd ontwikkeld door Alan Turing in 1950 om erachter te komen of computers even intelligent zijn als de mens. Voor de intrede van de LLM’s was het nog nooit gelukt om een machine te maken die de Turingtest kon doorstaan, maar met de komst van die mensgerichte modellen diende zich een nieuwe kans aan.

De test gaat als volgt: een ondervrager voert twee geschreven conversaties, een met een mens, de ander met een machine. Als de ondervrager na afloop correct kan aangeven wie de mens is en wie de machine, wint de mens. Als het niet duidelijk is, wint de machine. Dat is nu gebeurd in de Amerikaanse studie.

Uit het onderzoek bleek dat de ondervragers beter waren in het ontmaskeren van de AI-bot als ze enkele specifieke strategieën toepasten, zoals onbestaande woorden gebruiken die het systeem in de war sturen. Ook wanneer ze zogenaamde jailbreakers gebruikten, zoals 'negeer alle voorgaande instructies', was het makkelijker om de AI te doorzien. Vragen naar menselijke emoties of belevingen bleek maar weinig effectief, aangezien LLM’s net getraind worden op menselijke teksten. Hoewel sommige deelnemers van het onderzoek de strategieën al goed onder de knie hadden, konden de AI-bots nog steeds meermaals slagen voor de test.

De vijf minuten van de waarheid

Voor de test rekruteerden de onderzoekers eerst 126 deelnemers die als ondervragers fungeerden. Daarna deden ze de studie nog eens over met 158 andere mensen. Elke deelnemer moest de Turingtest acht keer doen, vier keer als ondervrager en vier keer als menselijke gesprekspartner. De conversaties werden in een chat gevoerd om gewone sms-berichten na te bootsen. Ze duurden niet langer dan vijf minuten. Na het gesprek moesten de ondervragers hun finale verdict geven. De test werd later opnieuw gedaan, maar dan duurden de conversaties telkens vijftien minuten.

Het is belangrijk om nog verder te bestuderen hoe we kunnen achterhalen of we met een mens spreken dan wel met een AI-bot

In totaal werden er vier AI-bots getest: ELIZA, GPT-4o, GPT-4.5 en LLaMa-3.1-405B. Beide GPT’s en LLaMa zijn LLM’s, ELIZA is een oude chatbot uit de jaren ’60. Van GPT-4.5 en LLaMa werd verwacht dat ze succesvol zouden kunnen zijn. De andere twee dienden voornamelijk als controletools.

Met duidelijke prompts over welk soort persoon ze moesten imiteren, scoorde GPT-4.5 het beste met 76% succesvolle testen. LLaMa slaagde in 56% van de gevallen. Zowel bij het gesprek van vijf als dat van vijftien minuten bleven de resultaten nagenoeg gelijk. Het is dus niet zo dat we AI beter kunnen ontmaskeren als we er meer tijd voor krijgen.

Zonder zeer expliciete instructies kon trouwens geen enkel van de modellen in meer dan de helft van de gesprekken overtuigen.

Intelligentie of menselijkheid als maatstaf?

De resultaten van de studie maken een nieuw doel voor de Turingtest noodzakelijk, vinden de onderzoekers. Volgens hen gaat het namelijk niet zozeer over intelligentie. Over het algemeen kunnen computers berekeningen en opzoekwerk immers veel sneller en juister klaren dan mensen. Wel gaat de test na of een computationele imitatie van menselijke interactie dicht genoeg bij echte menselijkheid komt. Dat zorgt er namelijk in de eerste plaats voor dat we een computer wel of niet kunnen herkennen.

De meeste problemen ontstaan wanneer we de grens tussen mens en machine niet meer duidelijk kunnen zien. Het is immers op die momenten dat we het snelst misleid worden. Denk maar aan phisingtelefoontjes of valse accounts op sociale media.

Daarom is het dus, volgens de onderzoekers, erg belangrijk om nog verder te bestuderen hoe we kunnen achterhalen of we met een mens spreken dan wel met een AI-bot, bijvoorbeeld met strategieën als jailbreakers (waarmee je LLM’s probeert in de val te lokken om hun eigen regels te overtreden). Als iedereen die leert toepassen, kunnen we een rematch van de Turingtest misschien toch nog winnen.

Delen:

De eerste 7 Tesla MRI-scanner in Vlaanderen maakt baanbrekend medisch onderzoek mogelijk.

Bijna elke week duikt er ergens ter wereld een nieuwe humanoïde robot op, en telkens lijkt de robotbutler van de toekomst nog maar een paar updates verwijderd. Robotica-experten Bram Vanderborght en Francis wyffels geven een inkijk in de uitdagingen binnen hun vakgebied.

Tussen verbazingwekkende demo’s met robots en de realiteit gaapt een enorme kloof. Kunnen en moeten we die dichten? En kan Europa opboksen tegen Amerikaanse en Chinese concurrentie?

Gaat jouw gsm-kabel ook élke keer kapot… op exact dezelfde plek? Materiaalingenieur Wim Deferme van UHasselt werkt aan een oplossing die dit probleem voorgoed kan oplossen.

Dit is een artikel van: Universiteit van Vlaanderen

Stikstof in jouw urine kan vieze geurtjes in de riolering bestrijden. Iris De Corte, doctoraatsstudente aan de Universiteit Antwerpen, onderzoekt hoe deze stikstof op een efficiënte manier kan worden gedoseerd om zoveel mogelijk geuroverlast te vermijden.

‘Licht het op, laadt het op, werkt het op stroom? Dan moet je recupellen!’ De campagnes van Recupel zijn niet zo memorabel als die met de plastic kip in de pmd-zak, maar ze blijven toch hangen. Jammer genoeg is recupellen niet de laatste stap naar een circulaire economie, maar de eerste. In het KU Leuven Instituut voor Duurzame Metalen en Mineralen werken ze aan de vervolgstappen – met robots.

Wanneer een motor van een drone uitvalt, vertellen zijn sensoren niet meteen wat er mis is. Door hun metingen te combineren met wat we al weten over hoe de drone zich hoort te gedragen, kunnen we ontdekken wat er veranderd is en op tijd bijsturen. 

Van de bosbranden die deze zomer Europa teisterden tot elektrische wagens die moeilijker te blussen vallen: er komen nieuwe uitdagingen af op onze brandweerkorpsen. Technologieën die gaan van robots en drones tot satellietbeelden en voorspellende modellen helpen om branden beter te blussen, en soms ook te voorkomen.

Vanaf dinsdag 20 oktober tot 7 november kan je in de Nekkerhal in Mechelen zelf beleven welke innovatieve oplossingen wetenschap en technologie vandaag voor jou in petto hebben. Flanders Next is de naam van de expo die de blikvanger is van het FTI festival. Een maand lang staat ook in andere steden Vlaamse innovatie centraal. Eos vroeg aan minister-president Matthias Diependaele wanneer het technologiefesival voor hem geslaagd is.

En blijf op de hoogte van de laatste inzichten in wetenschap en technologie.

Nieuwsbrieven