NOPVO vergeleek 19 Internetpanels: het oudste panel heeft de toekomst !
U heeft er ongetwijfeld al over gelezen in uw dagblad of in CLOU, er is in de marktonderzoekbranche een groot onderzoek gehouden naar de kwaliteit van internetpanels. In het verslag heeft de uitvoerende organsiatie NOPVO op anonieme basis gerapporteerd over de stand van zaken van internet onderzoek in Nederland. En ook aangegeven welke factoren invloed hebben op kwaliteit en bruikbaarheid van panels.
Tijdens het NOPVO seminar werd een uniek en grootschalig onderzoek gerapporteerd over 19 Nederlandse internetpanels. Wij hebben daar aan meegedaan met het internettende deel van de Onderzoek Groep. De Onderzoek Groep is het panel van MarketResponse waarin naast internetters ook de overige Nederlanders (nog altijd ruim 30 % van onze bevolking) zijn opgenomen. En hoewel dit laatste verschil in onze ogen ook een belangrijk onderscheid tussen onze aanpak en die van de meeste andere bureau’s vormt besteden we daar in deze notitie verder geen aandacht aan.
Voor iedere gebruiker van marktonderzoek zijn de uitkomsten van het NOPVO onderzoek van groot belang omdat inmiddels al ruim 50 % van het Nederlandse onderzoek uitsluitend via internetpanels wordt uitgevoerd.
Ze hebben het er maar druk mee!
En om maar met de in onze ogen belangrijkste conclusie te beginnen: 80 % van alle enquêtes worden gedaan door 20 % van de panelleden. Ongeveer 200.000 Nederlanders zorgen (tegen betaling) voor 20 miljoen ingevulde enquêtes. Voor de overige 5 miljoen enquêtes zorgen de overige ongeveer 700.000 Nederlandse panellaars. De belangrijkste factor daarbij is dat bij de meeste panels het mogelijk is om je zelf aan te melden en dat heel veel panelleden dat bij meer dan 1 panel doen. De 200.000 panelleden die voor 80 % van de consumer insights over uw merk, uw product, uw concurrenten, uw reclamecampagne zorgen doen dat via de 4,7 panels waar zij zich gemiddeld bij hebben opgegeven en door wie zij worden beloond. Alleen de hoogte van de beloning en hun eigen voorkeur voor onderwerpen bepalen aan welke van de vele uitnodigingen om aan onderzoek deel te nemen zij gehoor zullen geven.
Maakt het uit in de antwoorden die ze geven? Ja er zitten tussen deze zich zelf links en rechts aanmeldende panelleden veel beroeps- en gemaksrespondenten. Deze wijken op allerlei onderwerpen significant af en lijken ook relatief veel ‘onzin’-antwoorden te genereren. En de mensen die in veel verschillende panels zitten weten alleen zelf nog aan welke onderzoeken ze hebben meegedaan en over welke onderwerpen ze dus al meer kennis hebben dan de doorsnee Nederlander. Die ze als steekproefelement zouden moeten vertegenwoordigen. Panelmanagement heeft bij zoveel meervoudig panellidmaatschap geen enkele zin.
En dat is de uiterst bedenkelijke situatie na slechts een jaar of vijf van massaal wervende en belonende accespanels.
En nu?
Sommige opdrachtgevers die door NOPVO waren uitgenodigd op deze schokkende uitkomsten te reageren stellen als oplossing voor om uit de panels uitsluitend nog de verse panelleden selecteren. Of alleen de mensen die die nog weinig of niet over een bepaald onderwerp zijn ondervraagd. Een creatieve maar vooral ook naieve gedachte. Dat zal dit probleem niet gaan verhelpen. In de eerste plaats zijn er nog maar net genoeg verse panelleden om de eigen vraag te dekken van de opdrachtgevers die met dit voorstel komen. Daarnaast weet geen enkele beheerder van de aanmeldpanels aan welke onderzoeken ‘zijn’ panelleden allemaal hebben meegedaan.
Maar het belangrijkste bezwaar tegen deze ‘oplossing’ is natuurlijk het volgende. De respondenten die in deze business zitten voor het geld leren al heel snel hoe ze hun werkgelegenheid in stand kunnen houden. Uiteraard vooral niet zeggen dat je in meerdere panels zit. Ook een controle door de dubbele emailadressen eruit te filteren is dweilen met de kraan open omdat je je immers met een muisklik nog 15 andere verse identiteiten in de internetwereld kunt verwerven. Kortom deze aanpak haalt de internetpanels niet van de zeephelling richting afgrond af.
Ons antwoord? De Onderzoek Groep
Wat helpt dan wel ? In het NOPVO verslag worden de volgende kwaliteitsfactoren genoemd:
- A-selecte steekproeven
- Telefonische werving
- Geen zelfaanmelding
- Weinig dubbele lidmaatschappijen
Ons panel, De Onderzoek Groep voldoet volledig aan deze criteria en heeft dan ook het laagste aantal dubbele lidmaatschappen van alle panels. En nog een duidelijk kwaliteitscriterium, onze panelleden nemen ook de meeste tijd om de vragenlijst te beantwoorden.
Nog een paar heel belangrijke eisen aan een goed en betrouwbaar panel:
- Zo weinig mogelijk beroepsrespondenten
- Zo weinig mogelijk gemaksrespondenten
- Deze laatste groep is nog wat erger dan de eerste omdat ze niet alleen in veel panels zitten maar bovendien ook de vragenlijsten snel en heel slordig invullen.
Hier doen we het ook een stuk beter dan de andere panels. Ook dit hoeft u en ons niet te verbazen. Voor het geld kun je als respondent immers beter niet bij ons zitten. Maar wel voor een serieus en goed gemanaged uitnodigingsbeleid en goed geteste vragenlijsten.
Tijdens het NOPVO seminar werd door het NOPVO gesteld dat switchen van panel voor longitudinaal onderzoek gevaarlijk is vanwege de grote onderlinge verschillen in de uitkomsten van de panels. Wij denken dat dit een van de weinige conclusies is van het NOPVO waar ze de plank misslaan. De huidige situatie van veel meervoudige panellidmaatschappen betekent dat de respondent veel meer dan de onderzoeker bepaalt wie welke vragen beantwoordt. En dit leidt er zonder meer toe dat zwak georganiseerde panels (veruit de meerderheid op dit moment) geen enkele vat hebben op hun eigen steekproeven en daarmee geen garantie vormen voor hun eigen vorm van stabiliteit. Edith de Leeuw zei nog dat het niet-switchen voor constante shit zou zorgen, maar het is zelfs geen constante shit.
De Onderzoek Groep is het enige panel in Nederland dat volledig op a-selecte telefonische steekproeven is gebaseerd en geen systeem van panelbeloning kent. En is daarmee een van de weinige panels die de toekomst met optimisme tegemoet kan zien. Om daarmee u als opdrachtgever van valide en betrouwbare gegevens te blijven voorzien. Zoals we dat immers al sinds jaar en dag doen. En blijven doen.
De volledige presentatie staat op de internetsite van de MOA
