Voor politieke peilingen vallen onderzoekers en nieuwsmedia doorgaans terug op kwantitatieve onderzoeksmethodes, waarbij meningen door middel van vragenlijsten worden omgezet in overzichtelijke cijfers en grafieken. Een mening valt echter niet altijd binnen de afgelijnde vraag- en antwoordmogelijkheden van een multiplechoicevraag. Volstaan kwantitatieve onderzoeksmethodes om de complexiteit van gedachten, ervaringen en meningen weer te geven?
Voor een recente politieke peiling onderzochten wetenschappers van de Universiteit Antwerpen en de Vrije Universiteit Brussel de politieke meningen van Vlamingen in opdracht van VRT NWS en De Standaard. De resultaten van ‘De Stemming’ komen voort uit een online steekproef met gesloten multiplechoicevragen die 2064 inwoners van het Vlaams gewest hebben ingevuld. Dit soort vragenlijst met enkel gesloten vragen is een methode die wordt gebruikt binnen kwantitatief onderzoek, omdat ze snel verspreid kunnen worden en de antwoorden zich gemakkelijk lenen tot rapporteringen op basis van cijfers, percentages en grafieken.
Een van de bevraagde onderwerpen is de nationale identiteit, die omschreven wordt als “per definitie relevant” binnen de Belgische context. Hierover worden twee vragen gesteld: (1) hoe de respondenten zich identificeren op vlak van nationale identiteit, en (2) wat er nodig is om een goede Belg/Vlaming te zijn. De resultaten worden als volgt weergegeven in het onderzoeksrapport (dat je hier kan terugvinden):
In de eerste vraag wordt er een duidelijk onderscheid gemaakt tussen ‘Belg’ en ‘Vlaming’ en we zien dat de respondenten de twee termen niet aan elkaar gelijkstellen. Zowel in 2007 als in 2022 voelt de meerderheid van de respondenten zich niet evenveel Vlaams als Belgisch, en dus hebben deze respondenten verschillende interpretaties van wat het voor hen betekent om ‘Belg’ of ‘Vlaming’ te zijn. Dit onderscheid valt vervolgens weg in de formulering van de tweede vraag, waar gepeild wordt naar de algemene categorie ‘Belg/Vlaming’. Het is daarom moeilijk om conclusies te trekken uit de antwoorden op de tweede vraag, want ‘Belg’ en ‘Vlaming’ zijn geen synoniemen. Het zou bijvoorbeeld kunnen dat respondenten ‘staatsburgerschap hebben’ belangrijker inschatten voor de nationale identiteit ‘Belg’ dan voor ‘Vlaming zijn’. Er is ook geen antwoordmogelijkheid die kennis van het Frans vermeldt, hoewel dat voor de identiteit ‘Belg’ ook relevant kan zijn. Terwijl sommige respondenten de vraag dus mogelijks hebben beantwoord met hun definitie van ‘Vlaming’ indachtig, hebben anderen misschien voornamelijk samengevat wat het betekent om ‘Belg’ te zijn. Dat maakt het moeilijk om de resultaten te interpreteren.
Het dubbele karakter van deze vraagstelling is volledig afwezig in de rapportering van het onderzoek in de Vlaamse nieuwsmedia, waar enkel wordt gefocust op wat er nodig is om ‘Vlaming’ te kunnen zijn, zonder het verder te hebben over de identiteit ‘Belg’. Zo kopt De Standaard: “Zelfs perfecte migrant zal voor helft Vlamingen nooit Vlaming zijn” (10 mei 2022), en stelt Ivan De Vadder zich in een analyse voor VRT NWS ook de vraag: “Moet je Nederlands kennen om ‘Vlaming’ te zijn?” (10 mei 2022). Dat zijn geen accurate representaties van de vraagstelling, en dus ook geen correcte interpretaties van de resultaten.
Naast dit voorbeeld zijn er nog andere potentieel problematische formuleringen binnen de enquête. Zo stelt Orhan Agirdag, professor in de pedagogische wetenschappen aan de KULeuven, zich op Twitter meerdere vragen bij de formulering van de vraag “Niet-Westerse migranten moeten maximaal onze cultuur en gewoonten overnemen.” Journalist Tom Cochez heeft het in Apache (10 mei 2022) in een analyse van het volledige onderzoek dan weer over “pure stemmingmakerij, gebouwd op wetenschappelijk drijfzand” en kaart ook verschillende problemen aan met de werkwijze en rapporteringen van de resultaten. De algemene methodologie van ‘De Stemming’ wordt dus in vraag gesteld. Waar gaat het fout?
De kwetsbaarheid van gesloten enquêtes
Net omdat de respondenten de mogelijkheid niet krijgen om hun antwoorden toe te lichten, is het van groot belang dat iedere vraag en alle antwoordmogelijkheden nauwkeurig geformuleerd worden. Daar gaat het in het voorbeeld over ‘Belg/Vlaming’ mis: de onderzoekers wisten uit voorgaande resultaten al dat de meerderheid van de respondenten een onderscheid maakt tussen ‘Belg’ en ‘Vlaming’, maar toch worden ze als één bevraagd. Prof. Agirdag observeert gelijkaardige problemen bij de vraag over niet-Westerse migranten en of ze “maximaal onze cultuur en gewoonten” moeten overnemen. Hij stelt zich de vragen: wat is een ‘niet-Westerse migrant’? Wat zijn ‘onze cultuur en gewoonten’? En wie zijn ‘wij’ in die vraagstelling?
Zelfs indien de vragen preciezer geformuleerd zouden worden, kan je je afvragen of strak afgelijnde multiplechoicevragen voldoende inzichten kunnen bieden in onderwerpen die zo complex zijn als identiteit of cultuur. Dit geldt trouwens ook voor de andere onderwerpen van ‘De Stemming’, die peilen naar het klimaat, de staat van onze huidige democratie, of het conflict in Oekraïne. Is een gesloten vragenlijst dan wel beste manier om te peilen naar politieke meningen in Vlaanderen?
De grijze zones tussen zwart-witvragen
Een enquête met uitsluitend gesloten multiplechoicevragen heeft voornamelijk als doel om cijfers en grafieken op te leveren, die dan voorgesteld kunnen worden als objectieve observaties. Zoals we hierboven hebben gezien, is zo’n observatie echter nooit volledig objectief, omdat de formulering van een vraag en de afgelijnde antwoordmogelijkheden de resultaten sterk beïnvloeden. Dit betekent niet dat een enquête geen zinvolle resultaten kan voortbrengen, maar het benadrukt wel dat genuanceerde en doordachte vragen en antwoorden van groot belang zijn om tot betrouwbare resultaten en interpretaties te kunnen komen.
Er zijn uiteraard ook andere manieren om onderzoek te doen en data te verzamelen, en die vallen onder de algemene noemer van de kwalitatieve onderzoeksmethoden. Bij kwalitatief onderzoek is het niet per se de bedoeling om resultaten te formuleren in de vorm van cijfers, percentages of grafieken, maar ook om verklaringen te vinden voor die cijfers, om meningen of ervaringen beter te begrijpen vanuit een persoonlijk perspectief, en om de grijze zones tussen zwart-witkwesties dieper te bevragen. Dat kan op verschillende manieren, zoals bijvoorbeeld in de vorm van een diepte-interview of een gesprek met een focusgroep. Het verzamelen van kwalitatieve data is echter niet altijd vanzelfsprekend. Een diepte-interview afnemen en analyseren duurt veel langer dan het invullen en verwerken van een multiplechoicevragenlijst, en in het geval van een politieke peiling is het belangrijk om de vinger op aan de pols te houden op het juiste moment.
Toch zijn er manieren om een online enquête kwalitatiever aan te pakken. In het geval van ‘De Stemming’ kan men bijvoorbeeld in de vorm van open vragen peilen naar de gedachtegang van respondenten wanneer ze de vragenlijst invullen. Vragen zoals “Wat zijn volgens jou de grootste verschillen tussen de identiteit ‘Belg’ of ‘Vlaming’?” of “Wat definieert volgens jou de Vlaamse cultuur?” kunnen op die manier bijdragen om de antwoorden van de multiplechoicevragen verder uit te diepen. Kwantitatieve en kwalitatieve methodes kunnen elkaar op die manier aanvullen om diepere en gedetailleerdere inzichten te verkrijgen, niet alleen in politieke peilingen, maar in onderzoek in het algemeen.
