Themabijeenkomst over meetfouten en (on)zekerheden in statistisch en surveyonderzoek: donderdag 3 oktober in Tilburg
Start: donderdag 3 oktober, 2019 – 12:00 tot 17:30
Een meetfout kenmerkt zich doorgaans als een gevolg van een verstoring die invloed heeft op een gemeten waarde of uitkomst. Dit kan leiden tot vertekening in resultaten, waardoor metingen een onzuivere afspiegeling van de realiteit vormen. Een meetfout kan zowel systematisch als toevallig voorkomen. Denk bijvoorbeeld aan onduidelijke vragen of instructies in vragenlijsten die tot verkeerde antwoorden leiden, onduidelijke items, suggestieve vragen, sociale wenselijkheid of herinneringsbias.
Tijdens deze themabijeenkomst laten we de praktijk spreken met presentaties die ingaan op ervaringen met en recente voorbeelden over het voorkomen van meetfouten (bv. wat je allemaal in de voorbereiding doet om de kans op meetfouten te reduceren) óf het corrigeren voor meetfouten bij analyses (bv. hoe houd je rekening met de vertekening) óf het compenseren (bv. aanvullend inzicht of correctiemogelijkheden met behulp van registraties, big data, validaties, imputaties, etc., en de mogelijke uitdagingen die daar aan kleven).
Locatie: CentERdata, Tilburg University
Zaal: Portrettenzaal – Cobbenhagen gebouw
Adres: Warandelaan 2, 5037AB Tilburg
Programma:
12:00 – 12:45 Inloop en registratie met broodjeslunch
12:45 – 13:00 Welkom en opening door dagvoorzitter prof. Marcel Das (CentERdata)
13:00 – 13:30 Responseffecten en datakwaliteit van een verkorte en vereenvoudigde gezondheidsvragenlijst.
Gerben Huijgen, I&O Research
Suzan van Dijken, GGD Flevoland
13:30 – 14:00 Meetfout in toetsrapporatages: maakt het verschil?
Dorien Hopster - den Otter, CITO
14:00 – 14:30 Replicatieonderzoek van online surveys: resultaat en (on)zekerheid verzekerd? Een concrete replicatiecasus van longitudinaal onderzoek in het LISS panel.
Peter van der Velden, CentERdata
14:30 – 15:00 Koffiepauze
15:00 – 15:30 Het Labour Force Survey (LFS&TIME) project. Arbeidstijd gemeten met drie methoden: een survey, een dagboek en een arbeidskalender.
Joeri Minnen, Onderzoeksgroep TOR & Spin-off hbits, Vrije Universiteit Brussel
15:30 – 16:00 De kracht van het combineren van paradata, metadata en surveydata: het voorspellen van break-off gedrag.
Jeldrik Bakker, Centraal Bureau voor de Statistiek
16:00 – 16:30 Het SONORO project
Corrie Vis, CentERdata
16:30 – 16:45 Discussie en afsluiting door dagvoorzitter Marcel Das
16:45 – 17:30 Borrel
Samenvattingen
Presentatie 1:
Responseffecten en datakwaliteit van een verkorte en vereenvoudigde gezondheidsvragenlijst.
Gerben Huijgen (I&O Research)
Suzan van Dijken (GGD Flevoland)
Drie GGD’en en I&O Research onderzochten het effect van een verkorte en vereenvoudigde vragenlijst op de hoogte en samenstelling van de respons, en de kwaliteit van de data. Deze studie biedt handvatten voor de aanpak van de Gezondheidsmonitor die GGD’en in Nederland in 2020 gaan uitvoeren onder volwassenen en ouderen.
Presentatie 2:
Meetfout in toetsrapportages: Maakt het verschil?
Dorien Hopster - den Otter, CITO
In het onderwijs worden toetsscores gebruikt om beslissingen te nemen over leerlingen. Toetsscores gaan gepaard met meetfout. Verschillende onderzoeken pleiten voor de visualisatie van meetfout in de toetsrapportages, zodat leerkrachten de accuraatheid van de toetsscore kunnen meewegen in hun beslissing. In deze presentatie bespreek ik een onderzoek dat ging over (1) in hoeverre de visualisatie van meetfout invloed heeft op de onderwijsbeslissingen van leerkrachten en (2) welke voorkeuren leerkrachten hebben met betrekking tot de verschillende visualisaties. Vier verschillende visualisaties zijn vergeleken: vervaging, kleurintensiteit, foutenbalk en geen meetfout.
Presentatie 3:
Replicatieonderzoek van online surveys: resultaat en (on)zekerheid verzekerd?
Peter van der Velden (CentERdata)
Longitudinale panels zoals het Australische HILDA panel, het Britse UK Understanding Society panel, het Zwitserse Swiss Household panel en het Nederlandse LISS panel bieden, vanwege de enorme verscheidenheid aan onderzoeksvariabelen (variërend van werk tot gezondheids -gerelateerde variabelen), welhaast ongekende onderzoeksmogelijkheden. Eén van die mogelijkheden is replicatieonderzoek –wat de laatste jaren op steeds meer serieuze aandacht kan rekenen– omdat de data in principe voor wetenschappelijk onderzoekers vrij toegankelijk zijn. Replicatieonderzoek is een belangrijk middel om onzekerheden in onderzoek, en mate name de resultaten ervan, te beperken. Zo kan in replicatieonderzoek bijvoorbeeld ook worden nagegaan in hoeverre in betreffend onderzoek rekening is gehouden met andere mogelijke verstorende variabelen, die ook tot de datasets van het gebruikte panel(s) behoren. Een zeer lastig punt daarbij is dat genoemde panels zoveel data en variabelen kennen, dat het verkrijgen van een overzicht van alle beschikbare gegevens ten behoeve van een replicatiestudie een tijdrovende klus is. In hoeverre dat een zinvolle acties kan zijn, is het onderwerp van deze bijdrage waarin een concrete casus wordt gepresenteerd.
Presentatie 4:
Het Labour Force Survey (LFS&TIME) project. Arbeidstijd gemeten met drie methoden: een survey, een dagboek en een arbeidskalender.
Joeri Minnen (Onderzoeksgroep TOR & Spin-off hbits, Vrije Universiteit Brussel)
De Labour Force Survey (LFS) wordt internationaal aanzien als een zeer rijke en betrouwbare databank om kenmerken van de arbeidsmarkt en werktijden in kaart te brengen. Wat betreft de duur, de timing en de planning van werktijden bestaat er een groeiende internationale bezorgdheid betreffende de validiteit en betrouwbaarheid van de LFS indicatoren. Enerzijds omdat de gehanteerde vraagstelling in de LFS vatbaar is voor herinneringsproblemen en overschatting van de arbeidsduur, anderzijds omdat het niet mogelijk is om flexibiliteit, soevereiniteit en wekelijkse arbeidspatronen – belangrijke karakteristieken van onze huidige arbeidsmarkt – in kaart te brengen met de LFS. Wat betreft het bestuderen van werktijden kunnen de methoden gebruikt in tijdbestedingsonderzoek (TBO) en arbeidskalenders (AK) tegemoetkomen aan de zwaktes van de LFS. Doordat respondenten in TBO hun activiteiten in dagboekjes gedurende twee dagen nauwgezet bijhouden in de volgorde waarin ze werden gesteld, worden herinneringsproblemen en overschattingen grotendeels vermeden. De sterkte van de AK is dat respondenten slechts 1 activiteit (in dit geval betaald werk) rapporteren in een afgelijnd rooster.
Presentatie 4:
Het Huishoudbudgetonderzoek (HBS). Inkomsten en uitgaven meten met een vragenlijst: consumptiegewoonten op Belgisch en Europees niveau.
Kelly Sabbe (STATBEL Brussel)
EU-HBS (European Union – Household Budget Survey) is een enquête over inkomsten en uitgaven. Het is een belangrijk werkinstrument om zowel op Belgisch als op Europees niveau de consumptiegewoonten van de bevolking over een jaar te beschrijven. De enquête heeft tot doel een algemeen kader te creëren voor de productie van ‘communautaire’ statistische informatie op nationaal en Europees niveau over de consumptie van huishoudens, op basis van transversale gegevens (bedrag, samenstelling…) over de posten van hun budget. De enquête is ook de voornaamste bron om de korf van het indexcijfer van de consumptieprijzen samen te stellen. De keuze van de getuigenproducten en de weging ervan in de korf wordt om de twee jaar grondig herzien met het meest recente HBO. De laatste herziening heeft in januari 2018 plaatsgevonden (basisjaar 2013 = 100) op basis van het HBO 2016. In de jaren dat er geen nieuw HBO is worden de gewichten aangepast door middel van een price-update en kunnen nieuwe getuigenproducten worden toegevoegd via een herverdeling van de gewichten van het hogere groepsniveau.
Presentatie 5:
The power of combining paradata, metadata and survey data: An example of predicting break-off behaviour.
Jeldrik Bakker (CBS)
It has been a long standing dream to answer the big questions of survey research: "What is a good and what is a bad survey question?", "How good or bad are the answers from a respondent?", and "What is a good survey and what is a bad survey?". Due to various limitations, it has until now been difficult, if not impossible to answer these questions. We used a data driven approach to first find all data, which might be relevant. Secondly we defined over 100 different indicators, consisting of respondent characteristics, page & question characteristics, and survey characteristics, which should help answer most survey related questions. Finally we used these indicators to explain survey behaviour and try to answer the big questions. During this presentation we will show an example of what is possible with these methods to explain why people break-off in surveys. We explored the answers and the answer-behaviour of over 100.000 respondents across multiple surveys. For this, we analysed more than 35 million records of paradata, collected by the Blaise software, and combined this with survey data and metadata. Some of the results were in line with previous findings, but some findings were new and unexpected. At the end we will present our take on how to continue with these tools/methods.
Presentatie 6:
Het SONORO project
Corrie Vis (CentERdata)
.