Deelname is gratis.
Aanmelding is verplicht via contact@npso.net.
Bij aanmelding graag naam, organisatie, e-mailadres en discussievragen opgeven en in de header van de mail 'NPSO meetfouten' vermelden.
Programma 3 november:
13:00 tot 13:30 uur Binnenkomst - koffie en thee
13:30 tot 13:35 uur Opening
13:35 tot 14:15 uur Hoe meetfouten in specifieke enquêtevragen bij specifieke respondenten te detecteren en corrigeren?
Lex Meurs, GfK Intomart
14:15 tot 14:55 uur Hoe meetfouten in enquêtevragen te detecteren en corrigeren?
Daniel Oberski, Universidad Pompeu Fabra Barcelona en Universiteit van Tilburg
14:55 tot 15:20 uur Pauze
15:20 tot 16:00 uur Hoe meetfouten bij specifieke respondenten te detecteren en corrigeren?
Hester van Herk, Vrije Universiteit Amsterdam
16:00 tot 16:45 uur Paneldiscussie
Samenvattingen presentaties:
Hoe meetfouten in specifieke enquêtevragen bij specifieke respondenten te detecteren en corrigeren?
Controle op kwaliteit van antwoordgedrag in het Intomart GfK online panel
Lex Meurs, Intomart GfK
Ter verhoging van de kwaliteit van online onderzoek heeft Intomart GfK in 2007 een kwaliteitssysteem geïntroduceerd (‘FLAGS’) dat frauderende respondenten automatisch opspoort op basis van invulduur, responsgedrag op stellingenblokken ("straight lining"), en het beantwoorden van open vragen en screeningsvragen.
In dit artikel worden de resultaten van 86 onderzoeken uit het Intomart GfK online panel besproken. Op basis van onze definities komt in dit panel verdacht antwoordgedrag maar in 4% van alle gevallen voor en hangt niet of nauwelijks samen met kenmerken van de respondenten als leeftijd of opleiding.
Met FLAGS kunnen ook vragenlijsten worden gedetecteerd die dubieus respondentengedrag uitlokken. Dit bleken vooral vragenlijsten te zijn die als minder interessant, te lang of te saai werden beoordeeld. De meest effectieve manier om frauduleus invullen van online onderzoek te voorkomen blijkt de kwaliteit van de vragenlijsten te zijn.
Met het kwaliteitssysteem lopen frauderende respondenten automatisch tegen de lamp en worden concrete handvatten geboden om samen met opdrachtgevers dubieus respondentengedrag te voorkomen door verdere verbetering van de kwaliteit van vragenlijsten.
Hoe meetfouten in enquetevragen te detecteren en te corrigeren?
SQP: Detectie van meetfouten op basis van een meta-analyse van MTMM experimenten
Daniel Oberski, Universidad Pompeu Fabra Barcelona en Universiteit van Tilburg
Het ontwerpen van een survey-vraag kan bezien worden als een reeks keuzes. Onderwerp, aantal antwoordcategorieën, wel of niet geven van een "weet niet" optie, etcetera: allemaal veroorzaken ze systematische en willekeurige meetfouten. Zo beïnvloeden ze verdelingen, gemiddeldes, en relaties tussen variabelen.
Er bestaan verscheidene experimentele ontwerpen en modellen voor het detecteren van dergelijke meetfouten in vragenlijsten. Eén daarvan is het zogenaamde "multitrait-multimethod" (MTMM) ontwerp. Daarbij stelt men elke respondent dezelfde vragen op verschillende manieren, en verschillende vragen worden met dezelfde methode gesteld. Het is dan aantoonbaar (onder bepaalde aannames) dat de respons ontleed kan worden in een latente mening of score, een systematische reactie op de methode, en een willekeurige meetfout.
Het nadeel van dergelijke experimenten is dat extra informatie van de respondent nodig is, zodat de vragenlijst langer wordt of de dataverzameling herhaald dient te worden. De data-analyse van experimenten voor de schatting van meetfouten is daarbij redelijk complex.
Tenslotte is de experimentele methode voor het detecteren van meetfouten afhankelijk van de dataverzameling zelf, waardoor eventuele fouten vaak pas na de dataverzameling ontdekt kunnen worden. Het is daarom wenselijk om een voorspelling te kunnen krijgen van de meetkwaliteit van een survey-vraag, gegeven haar eigenschappen. Dit is het doel van het gratis computerprogramma Survey Quality Predictor (SQP, zie http://www.sqp.nl/). Op basis van de gemaakte keuzes in het ontwerp van de vraag kan de onderzoeker een voorspelling krijgen van de kwaliteit van de vraag. Deze voorspelling is gebaseerd op een meta-analyse van 87 experimenten in surveys in vier verschillende landen. Een nieuwe versie gebaseerd op de vele experimenten die zijn
ingebouwd in de European Social Survey is in ontwikkeling.
Hoe meetfouten bij specifieke respondenten te detecteren en corrigeren?
Opsporen van responsstijlen bij respondenten: het ene segment is het andere niet
Hester van Herk, Vrije Universiteit Amsterdam
Respondenten kunnen sterk verschillen in de manier waarop zij rating scales gebruiken voor het beantwoorden van enquêtevragen. Sommige respondenten hebben bijvoorbeeld een specifieke responsstijl die bepaalt welke antwoordcategorie zij op enquêtevragen aankruisen, los van hun werkelijke mening. Voorbeelden van dergelijke responsstijlen zijn acquiescence, waarbij respondenten bevestigend antwoorden op vragen ongeacht de inhoud. Een andere responsstijl is extreme response style, waarbij respondenten juist een voorkeur hebben voor extreme antwoordcategorieën. Responsstijlen bedreigen de validiteit van de antwoorden die gegeven worden. Wie zijn nu die respondenten die specifieke responsstijlen vertonen? Er zijn sterke aanwijzingen dat bepaalde responsstijlen niet alleen samenhangen met achtergrondkenmerken van respondenten zoals leeftijd, opleiding of cultuur, maar ook met met de inhoud van de enquêtevragen. Recent onderzoek toont aan dat er segmenten zijn van respondenten met eenzelfde responsstijl. In de lezing zal worden aangegeven hoe respondenten met specifieke responsstijlen kunnen worden opgespoord en hoe er gecorrigeerd kan worden voor hun specifieke antwoordgedrag.