ChatGPT moet op ontwenningskuur

ChatGPT moet op ontwenningskuur

Delen:

Het is donderdagavond. Ik moest weer overwerken en ben eindelijk onderweg naar huis, maar ik wil graag nog even langs mijn stamkroeg om een pintje te drinken. Charlie is er ook en we geraken aan het praten.

Ik: "Heb je de match gisteren gezien? De Gauquier had verdiend rood gekregen, maar club heeft toch maar lekker gewonnen."

Charlie: "Ja, ik heb ‘m gezien! Wat een match, zeg. De Gauquier speelde alsof hij met vuur aan het dansen was, die rode kaart kon gewoon niet uitblijven. Maar Club... wauw, die hebben het toch weer geflikt, hé. Die laatste goal, pure klasse! Wat vond jij van die penaltysituatie trouwens? Ik vond ‘m toch wat twijfelachtig."

Ik: “Anderlecht is altijd wel goed geweest in penalty's. Het is te zeggen, scoren in het algemeen. Had Zirkzee vorig jaar niet het record van 23 doelpunten in het seizoen gehaald?”

Charlie: "Ja, Anderlecht en scoren, dat is inderdaad altijd hun sterkte geweest. En Zirkzee, wat een speler was dat! Maar volgens mij heeft hij nét geen 23 gehaald, het waren er 18 of 19, dacht ik. Maar hij stond sowieso aan de top qua efficiëntie. Die jongen had echt een neus voor doelpunten, altijd op de juiste plek op het juiste moment. Jammer dat hij niet gebleven is, denk je niet? Hij had Anderlecht misschien nog verder kunnen helpen dit seizoen."

Het is altijd leuk om even bij te kletsen met je vrienden. Alleen… Charlie is eigenlijk ChatGPT. En nu we toch de waarheid aan het toegeven zijn:

  • Er was gisteren geen voetbalwedstrijd tussen Club Brugge en Anderlecht.

  • De laatste keer dat ze tegen elkaar speelde, werden er geen penalty’s genomen.

  • Joshua Zirkzee heeft afgelopen seizoen slechts 10 doelpunten gemaakt en speelde toen niet eens voor Anderlecht.

  • En De Gauquier? Dat is mijn kapper.

Wat zijn Large Language Models eigenlijk?

Large Language Models zijn een type van AI-technologie en doen eigenlijk niets meer dan wat een Autocomplete functie al doet. Denk aan het moment dat je op je smartphone een bericht typt en je smartphone het volgende woord suggereert. Je telefoon kijkt naar het laatste woord dat je schreef en zoekt welk ander woord daar het vaakst op volgt. Ook wanneer je een zoekopdracht in Google typt, kijkt Google naar de meest gebruikte zoekopdrachten die beginnen met wat je al schreef en probeert dan voorstellen te doen om je zoekopdracht te vervolledigen.

De woorden die ChatGPT genereert, moeten goed samenhangen maar de informatie die ze geven, hoeft niet te kloppen. De woorden ‘Match’, ‘Club’ en ‘Rood’ hebben samen een sterke connectie met het woord ‘Voetbal’. En met ‘Voetbal’ vindt het dan weer woorden zoals ‘Goal’ en ‘Penalty’. Of er nu effectief een match is gespeeld, of een rood kaart is gegeven, zal ChatGPT worst wezen. Wanneer AI-chatbots op deze manier onzin produceren of feiten verkeerd voorstellen, spreken we van hallucinaties.

Door de recente opkomst van AI zijn tools zoals ChatGPT niet meer weg te denken. Maar vaak gebruiken mensen deze technologieën op de verkeerde manier.

We gebruiken ChatGPT vaak als zoekmachine, terwijl het daar dus niet voor dient

Je kan niet zien waar ChatGPT zijn informatie vandaan haalt en je kan er dus ook niet van uitgaan dat de informatie klopt. Vertrouw AI-chatbots dus nooit wanneer je accurate informatie zoekt.

Waar is ChatGPT dan wel goed voor, hoor ik je vragen? Wel, als ondersteuning bij het maken van teksten bijvoorbeeld. Wanneer je een tekst schrijft, kan je ChatGPT gebruiken om de toon of stijl wat te veranderen.

Neem bijvoorbeeld de basiszin "Een voltooide Calcudoku is te vergelijken met een Sudoku, in die zin dat elke rij en kolom de cijfers 1 t.e.m. 9 slechts één keer bevat". Ik geef deze zin aan ChatGPT en vraag het om de stijl of toon een aantal keer aan te passen.

Alsof je tegen een 5-jarige praat: “Als een Calcudoku helemaal goed is, lijkt het een beetje op een Sudoku. In allebei mag elk cijfer van 1 tot 9 maar één keer in een rij of kolom staan.”

Alsof je het in een ingewikkelde wetenschappelijk paper wil gebruiken: “Een volledig ingevulde Calcudoku-puzzel vertoont structurele overeenkomsten met de klassieke Sudoku, waarbij de cijfers 1 tot en met 9 in elke rij en kolom een unieke positie innemen en zodoende voldoen aan de voorwaarde van exclusiviteit binnen de respectieve lineaire substructuren.”

Alsof je het tegen je aartsvijand moet zeggen: “Een voltooide Calcudoku is te vergelijken met een Sudoku, aangezien beide vereisen dat elke rij en kolom de cijfers van 1 tot 9 precies één keer bevatten – iets wat je vast niet zou begrijpen, maar goed, het is simpel genoeg voor zelfs de minste geesten.”

Op ontwenningskuur

OpenAI, de ontwikkelaars van ChatGPT, stuurde onlangs hun chatbot op ontwenningskuur om het hallucineren proberen te verminderen. De chatbot is daardoor al accurater geworden en sinds versie 4 van ChatGPT krijg je zelfs bronvermeldingen bij opzoekingen. Dit is echter voornamelijk voor betalende gebruikers en wordt maar in mindere mate toegepast voor gratis gebruikers.

Wanneer we naar het Hallucination Leaderboard¹ kijken, zien we dat GPT-4 met 1,7% minder hallucineert dan de oudere GPT-3.5 met 1,9%. Andere chatbots scoren ook een stuk slechter, zoals Gemma-2 (Google) met 7%, of Llama-3 (Facebook) met 4,1%.

Het blijft echter belangrijk dat we deze tools gebruiken waarvoor ze dienen en dus niet als opzoekmiddel voor informatie. Daarom is het cruciaal dat je de informatie die uit een chatbot zoals ChatGPT komt, altijd dubbelcheckt bij betrouwbare bronnen. Misschien komt er ooit een chatbot die niet meer hallucineert en ons elke keer 100% betrouwbare informatie kan geven. Maar zo’n ontwenningskuur zal veel tijd in beslag nemen en het einde is zeker nog niet in zicht.

Noten

  1. Hallucination Leaderboard: Het Hallucination Leaderboard is een initiatief om verschillende Large Language Models met elkaar te vergelijken op gebied van hallucinaties. Onderzoekers geven verschillende stukken tekst aan een model en vragen erbij om de tekst samen te vatten. Daarna kijken ze hoeveel percent van de gegenereerd samenvattingen fouten bevatten tegenover de oorspronkelijke tekst. Dit geeft een indicatie voor de onbetrouwbaarheid van een model. Zie https://github.com/vectara/hallucination-leaderboard

Delen:

Bijna elke week duikt er ergens ter wereld een nieuwe humanoïde robot op, en telkens lijkt de robotbutler van de toekomst nog maar een paar updates verwijderd. Robotica-experten Bram Vanderborght en Francis wyffels geven een inkijk in de uitdagingen binnen hun vakgebied.

Tussen verbazingwekkende demo’s met robots en de realiteit gaapt een enorme kloof. Kunnen en moeten we die dichten? En kan Europa opboksen tegen Amerikaanse en Chinese concurrentie?

Gaat jouw gsm-kabel ook élke keer kapot… op exact dezelfde plek? Materiaalingenieur Wim Deferme van UHasselt werkt aan een oplossing die dit probleem voorgoed kan oplossen.

Dit is een artikel van: Universiteit van Vlaanderen

Stikstof in jouw urine kan vieze geurtjes in de riolering bestrijden. Iris De Corte, doctoraatsstudente aan de Universiteit Antwerpen, onderzoekt hoe deze stikstof op een efficiënte manier kan worden gedoseerd om zoveel mogelijk geuroverlast te vermijden.

‘Licht het op, laadt het op, werkt het op stroom? Dan moet je recupellen!’ De campagnes van Recupel zijn niet zo memorabel als die met de plastic kip in de pmd-zak, maar ze blijven toch hangen. Jammer genoeg is recupellen niet de laatste stap naar een circulaire economie, maar de eerste. In het KU Leuven Instituut voor Duurzame Metalen en Mineralen werken ze aan de vervolgstappen – met robots.

Wanneer een motor van een drone uitvalt, vertellen zijn sensoren niet meteen wat er mis is. Door hun metingen te combineren met wat we al weten over hoe de drone zich hoort te gedragen, kunnen we ontdekken wat er veranderd is en op tijd bijsturen. 

Van de bosbranden die deze zomer Europa teisterden tot elektrische wagens die moeilijker te blussen vallen: er komen nieuwe uitdagingen af op onze brandweerkorpsen. Technologieën die gaan van robots en drones tot satellietbeelden en voorspellende modellen helpen om branden beter te blussen, en soms ook te voorkomen.

Vanaf dinsdag 20 oktober tot 7 november kan je in de Nekkerhal in Mechelen zelf beleven welke innovatieve oplossingen wetenschap en technologie vandaag voor jou in petto hebben. Flanders Next is de naam van de expo die de blikvanger is van het FTI festival. Een maand lang staat ook in andere steden Vlaamse innovatie centraal. Eos vroeg aan minister-president Matthias Diependaele wanneer het technologiefesival voor hem geslaagd is.

Robotica-expert Abeje Mersha bouwt een vloot innovatieve drones voor civiele doeleinden, die zelfs levens kunnen redden.

En blijf op de hoogte van de laatste inzichten in wetenschap en technologie.

Nieuwsbrieven