Terugblik 2023 - Onderzoekers reconstrueren nummer van Pink Floyd uit hersensignalen

Het is Amerikaanse wetenschappers gelukt om het nummer Another brick in the wall van Pink Floyd te reconstrueren, puur op basis van de hersenactiviteit van mensen die het nummer hadden beluisterd.

De onderzoekers analyseerden hersengolven van 29 patiënten, vrijwilligers die een operatie voor epilepsie ondergingen. Zij kregen tijdens de ingreep elektroden rechtstreeks op het oppervlak van hun brein geplakt terwijl telkens dezelfde 3 minuten van het beroemde nummer in de operatiekamer werden afgespeeld en hun hersenactiviteit gemeten werd. Ze kregen daarbij de opdracht om aandachtig te luisteren. Dit leverde intracraniële elektro-encefalografie (iEEG) metingen op van in totaal 2.668 elektroden, op verschillende plekken in de hersenen.

De onderzoekers kozen het rocknummer omdat zo complex is met verschillende instrumenten, akkoorden en ritmes. Met deze hersenmetingen trainden ze kunstmatig intelligente computermodellen om de neurale patronen in de hersenen van de patiënten te analyseren. De elektroden volgden de activiteit in de auditieve cortex van de patiënten, een hersengebied dat alle aspecten van het geluid dat we binnenkrijgen verwerkt. Door de hersenactiviteit te vergelijken met de geluiden in het nummer, ontdekten de onderzoekers neurale patronen die niet alleen geassocieerd werden met bepaalde woorden, maar ook met toon, ritme, klemtoon en intonatie.

Omdat het computermodel kon herkennen welke patronen in de hersenactiviteit overeenkwamen met bepaalde muzikale kenmerken, konden de onderzoekers uiteindelijk de hersenversie van de legendarische hit reconstrueren in een zogenaamd spectrogram, een grafische weergave van geluid waarin onder andere frequentie, lengte en volume af te lezen zijn.

Deze doorbraak opent wederom een nieuwe deur om de complexiteit van het menselijk brein te verkennen en te begrijpen, en kan veel betekenen voor mensen die niet goed kunnen spreken. In de toekomst zou deze techniek kunnen leiden tot betere spraakcomputers die patiënten kunnen helpen meer emoties te uiten.