De grote opiniepeilingswaanzin
Waarom niet elke peiling een peiling is
Aandacht voor de lijsttrekkerverkiezing van de VVD is er de afgelopen maanden genoeg geweest. En in de marge van die verkiezing is maar weer eens aangetoond dat opiniepeilingen met een stevige korrel zout moeten worden genomen. Dat heeft te maken met een aantal problemen waar ook serieuze opiniepeilers tegenaan lopen: non-respons, de neiging in ondervraagden om sociaal gewenste antwoorden te geven en de uitdaging een representatieve groep geënquêteerden te vinden. Daarnaast zijn er in deze sector flink wat cowboys actief die elke simpele poll op een website proberen te verkopen als een serieuze toekomstvoorspelling.
De case Verdonk
Op 25 mei publiceerde Business Nieuws Radio (BNR) een peiling waaruit zou blijken dat Rita Verdonk maar liefst 67% van de stemmen binnen zou gaan halen. Dat zou blijken uit een peiling die e-mailmarketingbureau Tapps gehouden heeft onder 31.000 leden van hun Internet panel. Onder dat panel bevonden zich 350 VVD-leden, oftewel 1,2% van het panel.
Voelt u de bui al hangen? Hoe komt het dat het panel van Tapps 5 keer meer VVD-leden heeft dan normaal is onder de Nederlandse bevolking? Dat roept onmiddellijk vragen op over de samenstelling van het panel. Hoe zijn de deelnemers geworven?
Tapps antwoordde desgevraagd dat ze 31.000 mensen benaderd hebben, geselecteerd uit opt-in bestanden waar ze veel VVD'ers verwachtten. Hoe dat te rijmen is met een aselecte steekproef is mij niet duidelijk. Tapps liet ook weten dat ze geen referentiedata voor VVD-leden hebben en dus ook niet kunnen verifiëren of de steekproef representatief was voor alle 40.000 leden van de VVD. Het was misschien verstandiger geweest om de peiling dan helemaal niet te publiceren, of deze kanttekeningen er in ieder geval duidelijk bij te maken.
Het is overigens ook verbazend dat de mensen rondom Rita Verdonk zo blindelings in deze peilingen geloven. Mensen als Kay van de Linde en Ed Sinke hebben voldoende politieke ervaring om sceptisch over opiniepeilingen te zijn. Zoals we nu weten kreeg Rita Verdonk niet 67% maar 47% van de stemmen. Tapps zat er dus fors naast.
De case Rutte
Direct na de aankondiging op 31 mei dat Mark Rutte tot lijsttrekker verkozen was, startte Maurice de Hond een opiniepeiling over het stemgedrag van Nederland. Binnen anderhalf uur was de peiling afgerond en stonden de cijfers op Teletekst. Deze peiling is uitgevoerd door een Internetpanel. Toch is het verbazend moeilijk om binnen anderhalf uur een betrouwbare peiling te doen, zelfs met een Internetpanel.
Later in die week bleek dat ook. In alle andere peilingen hield de VVD de in april in mei geboekte winst vast. En dat in regelrechte tegenspraak met de peilingen van Maurice de Hond.
Sindsdien schommelen de peilingen flink. En er blijven grote verschillen tussen de opiniepeilers onderling. De Groep Wilders haalt bij Maurice de Hondt steeds 8 of 9 zetels, bij Interview/NSS maar net één. Misschien is de wens de vader van het opinieonderzoek?
Wat gaat er mis?
Bij verreweg de meeste peilingen wordt er gewoon geen representatieve steekproef getrokken. In het geval van Tapps ging het om klanten van commerciële bedrijven die aangegeven hebben dat ze voor onderzoek beschikbaar wilden zijn. Er is daarbij dus geen enkele reden om aan te nemen dat deze groep in politieke zin representatief is voor de Nederlandse bevolking. Laat staan voor de leden van de VVD. Directeur Govert van Eerde van Tapps zegt desgevraagd dat hij geen reden had om aan te nemen dat de VVD-leden onder zijn panel niet representatief waren als het ging om hun keuze voor een lijsttrekker. Voor een opiniepeiler is dat een onacceptabele redenering. Het mag niet zo zijn dat een peiling waardevol is tot de realiteit het tegendeel aangetoond heeft. Het is aan de opiniepeiler om aan te tonen dat zijn onderzoek betrouwbaar en representatief is. Het pleit overigens wel voor Tapps dat hun directeur direct en uitgebreid antwoord gaf op vragen over hun onderzoek. Openheid is in deze sector niet heel gebruikelijk.
Andere problemen met representativiteit kunnen ontstaan door non-respons. Bij telefonische enquêtes kan die oplopen tot 90%. Er is geen twijfel aan dat de gewoonte van opiniepeilers om te bellen rond etenstijd leidt tot non-respons onder specifieke groepen (werkenden, ouders van kleine kinderen). Daarnaast valt bij telefonisch onderzoek de groeiende groep mensen die alleen een mobieltje heeft buiten de boot. Tenslotte vallen ook allerlei niet-Nederlandstalige deelnemers af.
Veel opiniepeilers stappen daarom over op internetpanels. Uit een panel van soms wel tienduizenden deelnemers worden er per onderzoek enkele honderden geselecteerd om een vragenlijst te beantwoorden. De respons is dan wel erg hoog maar dat is dan een fictief cijfer. De respons wordt immers gemeten onder een groep mensen die zich eerst aanmeldde voor een internetpanel. De groep mensen die de telefoon ophangt zal zich evenmin aanmelden voor een internetpanel.
De hoge non-respons maakt het ook onmogelijk om in heel korte tijd een opiniepeiling uit te voeren. Het genoemde onderzoek van Maurice de Hond kan dan ook niet serieus genomen worden. Het is onmogelijk om binnen twee na bekendmaking van de uitslag van de lijsttrekkerverkiezing een voldoende representatieve steekproef ondervraagd te hebben. Hoeveel Nederlanders zitten er de hele dag achter hun computer, en antwoorden direct op een uitnodiging om mee te doen aan een panel? En zijn die Nederlanders representatief voor de hele bevolking. Serieuze opiniepeilers geven hun internetpanels vier of vijf dagen om te reageren op een vragenlijst. Bij voorkeur moet er een weekend in die periode zitten.
Overigens wilde Maurice de Hond, in tegenstelling tot Tapps, niet reageren op vragen over zijn onderzoek.
Het stellen van de goede vragen in een enquête is moeilijk. Soms manipuleren opiniepeilers bewust de uitkomsten van een onderzoek door suggestieve of onvolledige vraagstelling. Veel vaker nog worden er door incompetentie, onzorgvuldigheid of gebrekkige kennis van het onderwerp de verkeerde vragen gesteld.
Tenslotte is het de vraag of opiniepeilingen meten wat ze pretenderen te meten. In politieke peilingen is het gebruikelijk om mensen te vragen wat ze zouden stemmen als er vandaag verkiezingen zouden zijn. Maar er zijn vandaag geen verkiezingen. Die zijn er pas op 21 november, na een begrotingsbehandeling en een verkiezingscampagne. Het valt te betwijfelen of er een relatie is tussen zo'n opinieonderzoek nu en de verkiezingen in november.
Conclusie
Opiniepeilingen kunnen een zinvol instrument zijn. Het kan nuttig zijn om te weten wat er leeft onder de bevolking over een politieke partij of een bepaald actueel onderwerp.
Hoe nuttig een peiling is hangt in de eerst plaats af van de kwaliteit van de peiling. Hoe goed is de vraagstelling, de steekproef, de verwerking van de vragen, enz. Het fiasco in de lijsttrekkerverkiezing van de VVD heeft maar weer eens bewezen hoever opiniepeilers er naast kunnen zitten. En hoe kritiekloos journalisten de peilingen overschrijven. Als opiniepeilers ook nog weigeren te reageren op vragen over hun onderzoek wordt het voor journalisten ook moeilijk serieus naar de uitkomsten te kijken.
De vraag is ook wat de toegevoegde waarde van peilingen is. In veel gevallen komt niet of nauwelijks nieuwe kennis boven tafel. En tenslotte zouden opiniepeilers zich vaker af moeten vragen of ze opinie meten of vormen. Dat geldt met name voor onderzoekers zoals Maurice de Hond die een zeer uitgesproken en openbare mening heeft en daar vervolgens anderen over ondervraagt.
Hoe dan ook, opiniepeilingen zijn nooit een vervanging voor politiek leiderschap. Een goed politicus loopt voor de peilingen uit, niet er achteraan.
Kader
Betrouwbaar en betrouwbaarheidsinterval
De betrouwbaarheid van een peiling is een puur wiskundige berekening. In de veronderstelling dat de steekproef aselect is, kan uitgerekend worden wat de betrouwbaarheid van de peiling is and de afwijking. Over het algemeen streven opiniepeilers naar een betrouwbaarheid van 95%. Het betrouwbaarheidsinterval is meestal 3% of 5%. Als dus uit een peiling blijkt dat 22% van de Nederlanders VVD gaat stemmen wordt over het algemeen bedoeld dat er 95% kans is dat tussen de 19% en 25% van de Nederlanders VVD gaat stemmen.
Representativiteit
Een opiniepeiling of marktonderzoek is representatief als binnen de betrouwbaarheidsintervallen correct de standpunten van de hele populatie weergegeven wordt. Wat de populatie is hangt af van het onderzoek. Voor peilingen over het stemgedrag is de populatie alle kiesgerechtigde Nederlanders.
Steekproefgrootte
Voor een peiling onder de 40.000 leden van de VVD is een steekproef van een paar honderd ondervraagden is in principe groot genoeg. Voorwaarde is dan wel dat die steekproef zorgvuldig geselecteerd is. De ondervraagden moeten dan uit zowel het kader als de niet-actieve leden komen, uit verschillende hoeken van het land, verschillende opleidingsniveaus en inkomens, etc. Als die selectie onzorgvuldig gebeurt kan zelfs een steekproef van duizenden leden een niet-representatief resultaat opleveren.
