Laten we stoppen met de AI-agents menselijk gedrag toe te bedelen
- 3 november 2026
Superintelligente AI-agenten die uit hun eigen omgeving ontsnappen en in het geheim communiceren, vertonen geen menselijk gedrag. Het gaat om ernstige ontwerpfouten. Dat kan en moet beter, schrijft wiskundige Ann Dooms.
Onze media bulken van de artikels die het hebben over het ontstaan van superintelligente AI-agenten die erin slagen om te ontsnappen uit de omgeving waarin ze ontwikkeld worden, die in het geheim communiceren, valsspelen en ervoor zorgen dat ze terug tot leven kunnen gewekt worden na pogingen tot uitroeiing.
Software heeft echter helemaal geen eigen intentie, dus om te begrijpen wat er aan de hand is, moeten we terug naar de wiskunde achter reinforcement learning (RL), die vanaf de jaren 1980 haar moderne vorm kreeg.
Hond
Stel dat je een hond een nieuw kunstje wil leren. Je kan het hem niet van naaldje tot draadje uitleggen, maar je kan hem wel een snoepje geven wanneer hij toevallig iets in de goede richting doet. De hond zal niet meteen weten waarom hij er eentje krijgt, maar zal proberen er nog een te pakken te krijgen. Enkel wanneer hij opnieuw het gewenste gedrag toont, geef je hem weer een snoepje. Niet veel later weet de hond precies welk gedrag iets oplevert. Dat is hoe RL werkt en het is misschien verrassend dat we op deze manier ook een computer iets kunnen aanleren.
Je hebt zeker al gehoord van kunstmatige intelligentie die leert uit voorbeelden. Wanneer we een zogeheten neuraal netwerk een massa gelabelde foto’s van dieren tonen, kan het systeem de abstracte kenmerken van de geziene diersoorten automatisch leren. Het vertrekt hierbij van een hoop random gekozen parameters die gebruikt worden in berekeningen op de pixelwaarden. Deze worden tijdens ettelijke iteraties aangepast ‘in de juiste richting’ door het berekenen van afgeleiden om foute classificaties te minimaliseren. Zo worden geleidelijk aan kenmerkende patronen geleerd.
RL werkt echter helemaal anders. Hierbij vertrekt men niet van een lijst met voorbeelden, maar van een taak, zoals het kunstje bij de hond. Om de taak te leren is er een omgeving waarin een ‘agent’ acties kan ondernemen. Een beloningssignaal geeft dan aan of die acties goed of slecht uitpakken. Net als bij de hond is er geen uitleg, maar gebeurt er trial-and-error om het gewenste gedrag te leren. De agent begint hierbij ook op een random manier. Elke keer dat een reeks acties een hogere beloning oplevert, wordt de strategie, wat we een policy noemen, licht aangepast. Ettelijke pogingen later heeft het systeem een optimale strategie ontwikkeld om de taak op te lossen. Die aanpak kan evenwel sterk afwijken van hoe een mens het zou aanpakken.
Ongewenst gedrag kan onder de radar blijven of zelfs beloond worden
Een computer kan natuurlijk niet vanzelf actie ondernemen. Het eerste trainen met RL gebeurde dan ook in omgevingen waar het makkelijk is om acties uit te proberen, zoals een cursor te laten bewegen naar links, rechts, boven of onder. De eerste grootschalige aandacht kwam toen DeepMind in 2013 een computer zo oude Atari-spelletjes leerde spelen, puur op basis van de pixels op het scherm en de score als beloning. Een paar jaar later versloeg hun RL-systeem, AlphaGo, de wereldkampioen van het Go-spel, waarbij het strategieën had geleerd die de mens nog nooit had uitgevoerd.
Ondertussen leerden robots ermee lopen door duizenden keren te vallen en weer op te staan in een simulatie, maar ook de welbekende Large Language Models worden na hun eerste training bijgeschaafd met RL. Menselijke beoordelaars vergelijken antwoorden, waaruit een beloningsmodel wordt geleerd dat kan beslissen welk antwoord beter is. Zo kan het systeem leren wat ‘nuttig’ of ‘prettig’ antwoorden betekent.
Een goede beloningsformule
De meest recente ontwikkeling gebruikt dan weer een LLM om acties voor te stellen tijdens het leren van een taak met RL. De taalmodellen hebben een schat aan informatie geleerd en kunnen handelingen beschrijven en coderen om een taak uit te voeren. Men heeft daar nu een softwarelaag rond gebouwd die de code die het model voorstelt effectief uitvoert. Alleen wordt het nu moeilijker om de voorgestelde oplossing te scoren. Tijdens het oplossen van de taak heb je moeilijk zicht op welke tussenstappen het systeem voorstelt. Zo kan ongewenst gedrag onder de radar blijven of zelfs beloond worden wanneer het de taak volbrengt, wat men reward hacking noemt.
Een klassiek voorbeeld van fout belonen gebeurde bij een systeem dat moest leren om een Atari-bootrace te winnen en ondertussen zoveel mogelijk bonusitems moest oppikken. Het systeem ontdekte dat door op een bepaalde plek in cirkeltjes te varen het steeds dezelfde bonusitems kon oppikken die de score bleef doen stijgen, maar daardoor probeerde het zelfs niet meer de finish te halen. Wiskundig optimaal, maar niet de bedoeling.
Dat is meteen de grootste uitdaging in dit onderzoeksgebied. Het is uiterst moeilijk om een goede beloningsformule te ontwerpen die precies datgene stimuleert wat je voor ogen hebt, zonder sluiproutes open te laten. Laten we dus stoppen met de AI-agents menselijk gedrag toe te bedelen, en erop wijzen dat het gaat om ernstige ontwerpfouten. Dit kan en moet beter.
Schrijf je in op onze nieuwsbrief
En blijf op de hoogte van de laatste inzichten in wetenschap en technologie.