NPSO jaarlijkse dag ‘Non-respons en lastig bereikbare groepen’ 12 juni 2024

Tijd

Activiteit

10.30-11.00

Inloop en registratie

11.00-11.15

Opening dagvoorzitter:
P. Lugtig

Over P. Lugtig: universitair Hoofddocent in Methoden en Statistiek aan de Universiteit Utrecht. Hij doet onderzoek naar nieuwe methoden van dataverzameling, vooral op het gebied van vragenlijstonderzoek. Een van zijn specifieke interesses betreft nonrespons; waarom doen mensen wel en niet mee aan onderzoek, en wat kunnen we daarvan leren in het opzetten van onderzoeksdesigns in de sociale wetenschappen.

11.15-11.45

 “Zelfs áls ik thuis ben, waarom zou ik dan meedoen?”. Het belang van overtuigen en motivatie bij non-respons in survey-onderzoek.- J. Mulder & J. Leenen

Naast non-respons op vragenlijsten heeft een probability-based online huishoudpanel als het LISS panel al eerder te maken met een andere vorm van non-respons: welke huishoudens zijn bereid om lid te worden van het panel en welke huishoudens zijn dat niet? Beide vormen van non-respons zijn selectief en vereisen een doelgroepgerichte aanpak. Er vervolgens voor zorgen dat zij mee blijven doen aan surveyonderzoek binnen het panel speelt hierbij ook een centrale rol. In deze presentatie vertellen we hoe we verschillende groepen mensen motiveren om mee te (blijven) doen aan het LISS panel en hoe we het panel zo representatief mogelijk houden voor de Nederlandse bevolking.

Over J. Mulder: J. Mulder is senior onderzoeker bij non-profit onderzoeksinstituut Centerdata en coördinator van het probablility-based online LISS panel. Hij is verantwoordelijk voor de representativiteit en kwaliteit van het panel. Hij is tevens lid van de NPSO kerngroep en task leader binnen de 2024-2028 SSHOC-NL NWO Roadmap voor Social Sciences en Humanities.

Over J. Leenen: J. Leenen werkt als survey onderzoeker bij Centerdata. Samen met J. Mulder verzorgt hij de bijwervingen voor het LISS panel. Hierbij focust hij zich voornamelijk op de moeilijk bereikbare groepen, zowel tijdens de bijwerving als bij het uitzetten van vragenlijsten binnen het panel. Het uiteindelijke doel is om binnen de vragenlijsten van het panel tot een zo representatief mogelijke netto respons te komen.

11.45-12.15

Kleurendoofheid in onderzoeksland. - N. Rozema

Er wordt net zoals in de wereld van beleid, ook in de wereld van onderzoek gedacht vanuit de vragenstellers, de onderzoekers, maar WHAT IS IN IT FOR de respondenten? Er is een groot en groeiend wantrouwen onder Nederlanders en in het bijzonder onder kwetsbaardere Nederlanders, Nederlanders met een achterstandspositie, duur gezegd, Lage SES-groepen. Met de meeste survey onderzoeken worden deze groepen niet of nauwelijks bereikt, terwijl er relatief gezien juist veel aandacht en geld naar groepen met een achterstand gaat. Vertrouwen en daar iets mee doen in je survey-aanpak is een sleutel om Kleurendoofheid tegen te gaan. Maar dat gaat niet vanzelf, en al helemaal niet met een online vragenlijstje of een panel…..

In de wereld van onderzoek is dus weinig aandacht was voor het bereiken van doelgroepen die niet via de standaard onderzoeksmethoden te bereiken zijn. Hoe kan dat beter? Deze presentatie gaat over methodieken en strategieën om (nieuwe) groepen goed te bereiken. Zo is een van de sleutels het betrekken van de groepen door het hele onderzoeksproces. Vanaf het ontwikkelen van de vragenlijst en het nadenken over de probleemstellingen tot en met de aansturing en uitvoering van het veldwerk en het eventuele opvolgende advies en implementatietraject.

Over N. Rozema: Nathan is een sociaal geograaf met een specialisatie in migratie vraagstukken. Zijn afstudeeronderzoek (1999) ging over de relatie tussen integratie en investeringen in het land van herkomst en hiervoor deed hij zowel in het thuisland als Nederland onderzoek onder dezelfde familieverbanden.

Nathan richtte in 2003 Labyrinth op omdat er in de wereld van onderzoek naar zijn mening nauwelijks aandacht was voor het bereiken van doelgroepen die niet via de standaard onderzoeksmethoden te bereiken zijn. Hierdoor kwam Labyrinth al snel in beeld bij de Rijksoverheid en won Labyrinth sinds 2010 het grote veldwerk SIM, (Survey integratie Minderheden – Samenleven in Nederland ) tot op heden in zowel Nederland als later ook in Vlaanderen (SID – Samenleven in Diversiteit) . Ondernemerschap is een belangrijke stimulator en factor achter het succes van de onderzoeken van het onderzoeksbureau Labyrinth dat zich heeft gespecialiseerd in het ontwikkelen van deze methoden en strategieën. Dit komt neer op het benutten van het ondernemerschap dat bij veel migrantengroepen een belangrijke drijfveer is.

12.15-13.15

Lunchbuffet

13.15-13.45

Over het gebruik van veldsubstitutie in (gezondheids-) enquêtes- S. Demarest

Het gebruik van veldsubstitutie – het vervangen van niet-deelnemers tijdens de gegevensverzameling van een survey - is een weinig toegepaste en fel gekritiseerde techniek om om gaan met non-response. Deze kritiek lijkt voornamelijk gericht te zijn op basale toepassingen zonder overeenkomsten tussen niet-deelnemers en hun vervangers (‘unmatched substitution’), eerder dan op geavanceerde toepassingen waarbij niet-deelnemers en hun vervangers vergelijkbaar zijn, althans op bepaalde kenmerken (‘matched substitution’). De toepassingsmogelijkheden van veldsubstitutie zijn natuurlijk afhankelijk van de beschikbare matchingscriteria binnen het steekproefkader. Wanneer correct toegepast, kan veldsubstitutie bijdragen dat zowel de grootte als de samenstellingen van de gerealiseerde steekproef overeenstemt met wat werd beoogd. Voor zover moeilijk bereikbare groepen kunnen worden afgebakend in termen die beschikbaar zijn in het steekproefkader, kan veldsubstitutie ook helpen bij hun opname in de gerealiseerde steekproef. Een toepassing van veldsubstitutie in de Belgische Gezondheidsenquêtes zal tijdens de presentatie worden toegelicht. Bovendien zal worden aangegeven dat deze techniek ook kan worden toegepast in meer hedendaagse methoden van gegevensverzameling, zoals online surveys.

Over S. Demarest:
Stefaan Demarest is Master in de Politieke en Sociale Wetenschappen (Universiteit Antwerpen, 1986) en Doctor in de Medische Wetenschappen (Universiteit Antwerpen, 2023). Hij begon in 1996 bij Sciensano, net voordat de eerste Gezondheidsenquête gelanceerd werd (1997). Sindsdien is hij lid van het team (sinds 2016 als projectleider) dat de Gezondheidsenquêtes 2001, 2004, 2008, 2013 en 2018 heeft uitgevoerd. Momenteel coördineert hij de Gezondheidsenquête 2023-2024, en overziet hij verschillende specifiekere enquêtes zoals de Belgische Gezondheids- en Welzijnscohorte (Belhealth) en de Preventiebarometer.

13.45-14.15

Omgaan met non-respons in een Europese studie: een vooruitblik naar Nederland in ronde 12 van het European Social Survey

Onderzoek via vragenlijsten heeft de laatste jaren in toenemende mate te maken met een verhoogde nonrespons. Verschillende surveyculturen tussen landen (in een aantal landen is het niet meer bon ton om veldwerkers langs te sturen) stelt een aantal grootschalige projecten voor een aantal belangrijke keuzes. De bedoeling van deze presentatie is om de push-to-web veldwerkstrategie van de European Social Survey Ronde 12 (2025) toe te lichten. De presentatie zal deels berusten op inzichten van de mixed mode strategie van de European Values Study van 2017, waarbij een deel van de respondenten face-to-face bevraagd zijn, en een deel via een online vragenlijst.

Over  T. Reeskens
Tim Reeskens is als universitair hoofddocent verbonden aan het Departement Sociologie van Tilburg University. Hij is de nationale programmadirecteur van de European Values Study en de nationale coördinator voor de European Social Survey. Zijn onderzoek spitst zich toe op het verklaren van landenverschillen in politieke en sociale houdingen, zoals sociaal vertrouwen, opvattingen over de verzorgingsstaat, en nationale identiteit.

14.15-14.45

Pauze

14.45-16.15

Workshops

1. Doelgroepenbenadering. Hoe werkt dat precies? – B. Schouten & K. van Berkel
   Gedreven door dalende responscijfers en stijgende kosten per respondent, ontstond zo’n 15 jaar geleden onderzoek naar zogenaamde adaptive survey designs. Het CBS gebruikt hiervoor nu de term doelgroepenbenadering. Dergelijke designs maken expliciete afwegingen tussen beschikbare middelen/budgetten en nauwkeurigheid van statistieken door benadering te differentiëren. Het betekent dat verschillende, voor een onderzoek relevante, deelpopulaties een andere benadering kunnen krijgen. De afweging tussen ‘kwaliteit’ en ‘kosten’ wordt gemaakt aan de hand van expliciete indicatoren, zoals bijvoorbeeld R-indicatoren en variantie-coëfficiënten. In de literatuur en in de praktijk zijn inmiddels ook verschillende strategieën bedacht om een design te optimaliseren. De doelgroepen die volgen zijn per onderzoek anders en niet per se vaak genoemde moeilijke groepen. In de workshop leggen we de theorie uit achter doelgroepenbenadering en geven voorbeelden uit de praktijk van het CBS. Deelnemers worden uitgenodigd om mogelijke afwegingen in hun eigen onderzoeken voor te leggen.
    
   B. Schouten is senior methodoloog bij de afdeling methodologie van het CBS en bijzonder hoogleraar waarneeminnovatie aan de Universiteit Utrecht. Zijn onderzoek is gericht op nonresponsreductie en –correctie, mixed-mode survey designs, adaptive survey designs/doelgroepenbenadering en ‘smart’ waarneemmethoden.
   
   K. van Berkel is statistisch onderzoeker bij de afdeling Dataverzameling van het CBS en lector aan de Hogeschool Zuyd. Hij is vele jaren betrokken geweest bij steekproefdesigns en wegingen van CBS onderzoeken. Hij was een van de coördinatoren in de implementatie van doelgroepenbenadering in CBS onderzoeken.
    
2. Jeugd is geen leeftijd, het is een geestestoestand; een workshop over jongeren en onderzoek – R. Zandvliet
   Tijdens deze workshop gaan we in op het in onderzoek betrekken van jongeren. Wat betekent dat voor vragenlijst, methode en communicatie? Wat werkt, en wat niet? Met praktijkvoorbeelden laten we zien wat er zoal in surveyonderzoek wordt gedaan om jongeren te bereiken, hun interesse op te wekken, en ze te laten meedoen. We horen dan ook graag wat jullie ervaringen zijn.
   In het tweede deel van de workshop gaan we op zoek naar de 10 belangrijkste vragen die we jongeren zouden willen stellen als het gaat om meedoen aan onderzoek. Komend najaar zijn we in de gelegenheid om die vragen ook daadwerkelijk aan jongeren voor te leggen. Hoe dat werkt, leggen we uit tijdens de workshop.
   
   R. Zandvliet werkt als senior onderzoeksadviseur bij Ipsos I&O. Binnen team Datacollectie houdt hij zich primair bezig met het opzetten en begeleiden van dataverzamelingstrajecten voor wetenschappelijke opdrachtgevers

3. Iedereen moet mee kunnen doen. Over moeilijk bereikbare groepen in enquête onderzoek en op maat gemaakte benaderingstrategien. J. Kappelhof & N. Rozema
   Niet iedere groep is altijd even goed vertegenwoordigd in enquête onderzoek dat inzicht probeert te geven over de meningen, attitudes of houdingen rond een thema of de prevalentie van een bepaald gebruik. Dat kan te maken hebben met het feit dat de sociale werkelijkheid waarin bepaalde groepen personen leven niet altijd even goed aansluit bij de ‘standaard’ manier waarop we enquêtes ontwikkelen en uitvoeren. Het gaat bij goed enquête onderzoek dus niet alleen om het geven van een bekende kans om in de steekproef terecht te komen, maar ook te investeren in een enquête die men in staat stelt om ook daadwerkelijk mee te kunnen doen. Deze workshop gebruikt gaat in op keuzen en overwegingen die je kunt maken bij het ontwikkelen en uitvoeren van je enquête om ervoor te zorgen dat de uiteindelijke respondenten een goede weerspiegeling zijn van de populatie waarin je geïnteresseerd bent. Hoe beïnvloeden nu de keuzen rond gekozen benaderingstrategien of de manier waarop je vragen stelt het uiteindelijke resultaat?
   
   J. Kappelhof (afdelingshoofd Methodologie bij het SCP)
   Joost Kappelhof is afdelingshoofd Methodologie van het SCP. Hij is gepromoveerd in methoden en statistiek aan de faculteit van de sociale wetenschappen van de Universiteit Utrecht. Zijn proefschrift ging over het uitvoeren van enquêtes onder etnische minderheden en dan met name de invloed van het enquête ontwerp op de kwaliteit van enquête gegevens. Hij is ook lid van het Core Scientific Team van het European Social Survey en kerngroeplid van het Nederlandstalig platform voor surveyonderzoek.
   
   N. Rozema (Directeur onderzoeksbureau Labyrinth Onderzoek en Advies)

16.15-16.30

Afsluiting (plenair)

16.30-17.30

Borrel