De jaarlijkse NPSO-dag 2025 staat in het teken van AI en survey onderzoek. Vijf sprekers vertellen over hoe AI survey onderzoek kan helpen en over hoe surveys AI kunnen helpen. De lezingen worden afgesloten met een discussie. De bijeenkomst is gratis maar aanmelding vooraf is verplicht.
Locatie: Centrale Bibliotheek Rotterdam (Hoogstraat 110, 3011MA Rotterdam) - 5 min lopen vanaf station Rotterdam Blaak
Programma:
10:30 - 11:00: Inloop/registratie met koffie/thee
11:00 - 11:15: Welkom en opening door de dagvoorzitter
11:15 - 12:15: Sessie 1 - AI in survey onderzoek
- Renée van der Nat en Sophie Duvekot (Hogeschool Utrecht) - Ontmoet chatbot NOA
- Miranda van der Schouw en Robert Broekman (Ipsos) - Marktonderzoek meets AI: de toekomst is nu
12:15 - 13:30: Lunch (gratis)
13:30 - 14:30: Sessie 2 - Surveys in AI
- Marco Puts (CBS) - Een kwaliteitsraamwerk voor machine learning en de rol van surveys
- Caroline Vandenplas (B12-consultants) - Surveys en AI
14:30 - 15:00: Pauze
15:00 - 16:00: Sessie 3 - AI en survey onderzoek
- Daniel Oberski (Universiteit Utrecht) - Waarom LLMs nu nog niet kunnen worden gebruikt om surveys te vervangen en wanneer dat wel kan
- Open discussie met sprekers
16:00 - 17:00: Borrel
Beschrijvingen van de lezingen:
Ontmoet chatbot NOA (Renée van der Nat en Sophie Duvekot): Voor het project ‘Verbroken Verbinding’ hebben Renée van der Nat en Sophie Duvekot een conversational survey met AI ontwikkeld. Tijdens deze sessie introduceren zij chatbot NOA en kan je zelf met NOA in gesprek. Hoe ervaar jij dit gesprek? En welke mogelijkheden zie jij binnen je eigen vakgebied voor deze onderzoeksmethode?
Marktonderzoek meets AI: de toekomst is nu (Miranda van der Schouw en Robert Broekman): AI transformeert marktonderzoek. Van betere data-analyse tot het bepalen van vervolgstappen op basis van onderzoek; AI biedt ongekende mogelijkheden. Ontdek hoe AI jouw (markt)onderzoek naar een nieuw niveau tilt als jouw digitale assistent, b.v. ten aanzien van tekstanalyse, rapport verfraaiing, ondervraging van respondenten etc. Helaas is AI niet zo betrouwbaar als je eigen collega, dus we praten je ook bij over de gevaren van AI.
Een kwaliteitsraamwerk voor machine learning en de rol van surveys (Marco Puts): De mogelijkheden van AI, en in het bijzonder Machine Learning, zijn veelbelovend. Ook binnen de officiële statistieken zien we dat er steeds meer wordt gekeken naar Machine Learning om taken op een efficiëntere manier uit te voeren. Het is echter lastig om deze modellen op een verantwoorde manier te evalueren en in te zetten. Er ontbreekt, vanuit het oogpunt van de officiële statistieken, methodologie die deze modellen toepasbaar maken voor officiële statistieken. Om die reden is er binnen het CBS een raamwerk ontwikkeld, analoog aan het Total Survey Error Model. Dit raamwerk, het Total Machine Learning Error Model, begint vanuit de survey-gedachte, bij de veronderstelling dat het trainen met Machine Learning leidt tot een schatting van parameters, die een onderliggende populatie beschrijven. Net als bij een op een steekproef gebaseerde survey, gaan deze schattingen gepaard met steekproeffouten, kaderfouten en meetfouten, uitgebreid met modelaannames die tot extra verstoringen kunnen leiden. Het TMLE raamwerk structureert deze fouten en maakt ze inzichtelijk. Tijdens deze presentatie zal het raamwerk worden gepresenteerd, en zullen enkele methodologische uitdagingen worden besproken die we hiermee hebben weten te identificeren.
Surveys en AI (Caroline Vandenplas): Volgt nog
Waarom LLMs nu nog niet kunnen worden gebruikt om surveys te vervangen en wanneer dat wel kan (Daniel Oberski): In de laatste paar jaar hebben talloze auteurs dezelfde ingeving gehad: misschien zouden we surveys kunnen vervangen door een large language model (LLM) een “persona” aan te laten nemen en dan allerlei vragen te laten beantwoorden. Er zijn zelfs markonderzoekbureaus die dit concept van een “synthetische sample” al verkopen Voor Het Beantwoorden van Al Uw Onderzoeksvragen. Maar werkt het? Het korte antwoord is: nee. Het lange antwoord behelst de rest van mijn verhaal. Ik zal een korte samenvatting geven van recent onderzoek door verschillende groepen uit de VS en Duitsland naar deze vraag. Vervolgens zal ik mijn eigen resultaten presenteren. Deze laten zien dat LLMs nu al goed zijn in het voorspellen van gemiddelde antwoorden, maar vooralsnog slecht in het correct differentiëren van zulke antwoorden naar allerlei bevolkingsgroepen. Maar ook dat er vooruitgang te zien is. Daarom is het langere antwoord: nog niet.
Over de sprekers:
Dr. Renée van der Nat is senior onderzoeker bij het Lectoraat Kwaliteitsjournalistiek in Digitale Transitie van de Hogeschool Utrecht. Met haar onderzoek wil Renée de relatie tussen journalisten en het publiek verbeteren, zodat de informatiesamenleving rechtvaardiger wordt.
Sophie Duvekot is onderzoeker bij het Lectoraat Kwaliteitsjournalistiek in Digitale Transitie van de Hogeschool Utrecht. Haar onderzoek richt zich op hoe de journalistiek en het publiek op een verantwoorde manier met elkaar kunnen communiceren en welke rol technologie hierin speelt.
Miranda van der Schouw en Robert Broekman hebben beiden meer dan 20 jaar onderzoekservaring aan klant- en bureauzijde, onder meer in de financiële sector, de telecombranche en zakelijke dienstverlening. Beiden zijn zeer enthousiast over de mogelijkheden die AI voor marktonderzoek biedt. Ze zijn lid van de Ipsos AI taskforce.
Marco Puts is senior methodoloog bij de afdeling Methodologie van het Centraal Bureau voor de Statistiek. Hij is ook coördinator van het CBS-brede onderzoeksprogramma Toepasbare AI en auteur van verschillende artikelen/rapporten in AI/ML.
Caroline Vandenplas is consultant bij B12-consultants. Ze heetf een promotieonderzoek The Impact of Time and Timing on the Survey Process and Data Quality gedaan aan de Katholieke Universiteit Leuven. In haar promotie werkte ze met de internationale European Social Survey.
Daniel Oberski is hoogleraar Social Data Science aan de Faculteit Sociale Wetenschappen en Gedragswetenschappen.