5.3.1 Dataverzameling
Dataverzameling t.a.v. zowel studentbetrokkenheid als zelfregulatie heeft plaats gevonden via online
vragenlijsten die zoals eerder vermeld gebruik maken van self-assessment. In afstemming met de adviseur Security & Privacy is gekozen voor bevraging van studenten via Formdesk en niet via een open platform. Dit vanwege de Algemene Verordening Gegevensbescherming (AVG) die sinds 25 mei 2018 van kracht is en verhoogde eisen stelt aan het opvragen en beheer van persoonsgegevens.
Gegevens uit het datawarehouse aangaande studiesucces (uitval en aantal behaalde EC’s) zijn
geanonimiseerd aangeleverd. Doordat wel het studentnummer is vermeld, was het mogelijk om de diverse bestanden te koppelen in Excel. Dat betrof behalve de uitkomst van de vragenlijsten en het bestand met behaalde aantal EC’s en de gegevens omtrent eventuele studie-uitval ook een derde bestand met
vooropleidingsgegevens en een vierde bestand met informatie aangaande de koppeling van coachees en coaches.
5.3.2 Beschrijving steekproef
Het onderzoek is instellingsbreed onder alle eerstejaars studenten van Windesheim locatie Zwolle uitgezet.
Daarmee kunnen eventuele verschillen tussen groepen instromers zichtbaar worden gemaakt, maar wordt tevens vermeden, dat studenten zich door een gerichte bevraging naar opleidingsherkomst geëtiketteerd voelen. Door de brede bevraging worden kan worden nagegaan n hoeverre er feitelijke verschillen zijn vast te stellen op het gebied van zelfregulatie en betrokkenheid tussen de nieuwkomende studenten afkomstig vanuit havo en mbo. Dit in verlengde van de literatuur waarin dit veronderstelde verschil wordt genoemd als één van de mogelijke verklaringen voor het onderscheidende verschil in studiesucces tussen havisten en mbo’ers.
Om mogelijke effecten van SkillsCoach in beeld te brengen, geldt daarnaast een noodzakelijke vergelijking o.b.v. meting tussen studenten die wél (experimentele groep) en niét (controlegroep) hebben deelgenomen aan deze interventie. Het aanbod voor deelname aan SkillsCoach was in eerste uitgezet onder alle studenten afkomstig uit het mbo die zich hadden ingeschreven voor één van de Windesheim opleidingen met uitzondering van het domein Techniek. Daar wordt voor mbo-instromers namelijk geëxperimenteerd met een andere uit StudentLab afkomstige interventie om de aansluiting naar het hbo te ondersteunen, te weten ‘dream-projects’. In een later stadium is alsnog besloten om mbo-studenten uit het domein Techniek toegang te verschaffen tot SkillsCoach waardoor alle mbo-instromers zijn benaderd/
Omdat deelname aan SkillsCoach plaats vindt op basis van vrijwilligheid kan géén gebruik worden gemaakt van een experiment met aselecte toewijzing, waarbij experiment- en controlegroep op voorhand theoretisch gezien vergelijkbaar zijn. Om eventuele modererende variabelen daarom zoveel als mogelijk uit te sluiten geldt, dat de controlegroep waar mogelijk zo goed als mogelijk een afspiegeling van de experimentgroep zou moeten vormen. Dat geldt in élk geval voor variabelen waarvan bekend is, dat deze mede van invloed zijn op studiesucces in het hbo zoals ondermeer: leeftijd, geslacht, sociaal economische achtergrond, afkomst en behaalde prestaties in de vooropleiding (Berkel, Jansen, & Bax, 2012). Omdat mogelijk ook de match tussen vooropleiding-vervolgstudie en verschillen in opleidingsinstituut een rol spelen, is het wenselijk om ook deze zoveel als mogelijk binnen de grenzen van de redelijkheid mee te weten bij de samenstelling van de controlegroep.
31
5.3.3 Omvang steekpoef
Ambitie was om met SkillsCoach 120 mbo-studenten te bereiken, die zouden worden begeleid door 40 coaches. Al voor de zomer bleek, dat die ambitie te hoog was gegrepen en werd de schatting dat het feitelijke aantal participanten zich zou beperken tot 110 coachees onder de leiding van 36 coaches. Na de zomer bleek dat ook dit aantal niet werd behaald, ondermeer door uitvallen van mbo’ers die de overstap toch niet hadden gemaakt of die afzagen van deelname. Bij een inventarisatie media september bleken nog 85 coachees en 35 coaches over. Gelet op het beperkte aantal deelnemers geldt, dat zij allemaal zijn benaderd voor deelname aan dit onderzoek. De deelnemers populatie vormt daarmee tevens de operationele
populatie (Verhoeven, 2018) en van een steekproef is vanwege het geringe aantal afgezien.
5.3.4 Responsiviteit
Met inachtneming van de, sinds 25 mei jl. voor wat betreft de controle op navolging sterk geïntensiveerde, AVG zijn studenten benaderd voor deelname aan dit onderzoek. Dat betrof zoals gezegd alle eerstejaars studenten uit instroomcohort 2018. Bij de uitnodiging tot deelname aan het onderzoek zijn zij
vanzelfsprekend geïnformeerd over de achtergronden van het onderzoek en het belang van hun
medewerking eraan. Te weten het doen van onderzoek naar studiesucces variabelen en verbetering van de aansluiting tussen vooropleiding en hbo. Om de responsiviteit te stimuleren zijn onder de respondenten 25 waardebonnen verloot. Daarnaast konden zij desgewenst een persoonlijke samenvatting van hun
antwoordscores verkrijgen, inclusief een toelichting op de uitkomsten ervan. Vanzelfsprekend is het uitzetten van de vragenlijsten gepaard gegaan met de verzekering dat vertrouwelijk met de verkregen gegevens zal worden omgegaan. Navraag bij de Adviseur Security & Privacy, tevens Functionaris gegevensbescherming binnen de hogeschool wees eerder uit, dat verzamelen van gegevens in dit geval een gerechtvaardigd belang dient in het kader van onderzoek naar (kwaliteit van) onderwijs.
Intentie was om alle studenten een uitnodiging tot deelname aan het onderzoek met een persoonlijke link te versturen die “uniek en op naam” was gesteld. Daarmee zouden studenten die nog niet hadden gereageerd in een later stadium gericht herinnerd hebben kunnen worden, om dit alsnog te doen. Bovendien had dit kunnen voorkomen, dat studenten meer dan één keer de enquête zouden invullen of per abuis foutieve gegevens zouden invullen. Helaas is dit verkeerd gegaan op grond waarvan een zeer bewerkelijke controle van dubbel-inschrijvingen en foutieve gegevensvermelding heeft moeten plaats vinden.
Na verstrijken van de gestelde reactietermijn, zijn studenten opnieuw geattendeerd op de eerder verstuurde vragenlijst, met het verzoek om (voor zover nog niet gedaan) deze alsnog in te vullen. Via Sharenet en een groot lichtbord dat op de Campus aan de loopbrug tussen de twee hoofgebouwen hangt zijn studenten eveneens hierop geattendeerd. Gelet op het grote belang van met name voldoende respons onder de SkillsCoach deelnemers zijn zelfs een derde keer aangeschreven, onder verwijzing naar zowel het specifieke belang van hun
beantwoording als de mogelijkheid daarmee een waardebon te kunnen verdienen. Door koppeling van de voorlopige respons aan het deelnemersbestand konden zij wel persoonlijk worden aangeschreven.
5.3.5 Representativiteit
Om voldoende representativiteit te “waarborgen” moet onderzoek onder voldoende deelnemers plaats vinden. Alleen dan is de kans groot genoeg dat zijn in voldoende mate vertegenwoordigend zijn voor hun
“achterban”. Voor een enquête gelden daarbij twee variabelen: de foutenmarge en het
betrouwbaarheidsniveau. De foutenmarge zegt iets over de mogelijke afwijking indien je de resultaten van je steekproef zou vergelijken met de volledige doelgroep. Een foutenmarge van 5% is daarbij indicatief voor het feit dat de volledige doelgroep maximaal 5% afwijkt (naar twee kanten) van de groep die deel heeft uitgemaakt van de steekproef. Het betrouwbaarheidsniveau geeft aan hoe zeker je mag zijn van je foutenmarge. Het zegt daarmee iets over de mate waarop je erop vertrouwt, dat de verkregen
onderzoeksresultaten correct zijn en vrij zijn van toevallige fouten (Verhoeven, 2018). M.a.w.: het geeft aan hoe vaak het werkelijke percentage van de populatie dat een bepaald antwoord zou kiezen, binnen de foutenmarge ligt. Gangbaar is veelal een foutenmarge van 5% en een betrouwbaarheidsniveau van 95%.
Figuur 13: Lichtbord met herinnering aan vragenlijst
32 Uit het gegevensbestand met studenten heeft begin oktober een download plaats gevonden van alle
eerstejaars. Dat waren er op dat moment 5240. Op basis van een foutmarge van 5% en een
betrouwbaarheidsniveau van 95% zouden minimaal 358 studenten de vragenlijst moeten invullen om het
onderzoek voldoende representatief te laten zijn voor de totale eerstejaars populatie (zie bijlage 11-a). M.b.t. het aantal deelnemende SkillsCoach studenten geldt, dat er na de zomer nog 83 deelnemers resteerden. Met een navenante foutenmarge en betrouwbaarheidsniveau zouden 70 van hen aan het onderzoek moeten
meewerken om dit voldoende representatief te laten zijn (zie bijlage 11-b).
Uiteindelijk hebben studenten tot en met vrijdagochtend 23 november de vragenlijst kunnen invullen, omdat een download van de gegevens uit Formdesk vanwege andere verplichtingen pas later op de dag kon plaats vinden. Uit onderstaand overzicht valt na te gaan hoeveel respondenten gedurende de responsperiode per dag de vragenlijst hebben ingevuld (onderste lijn) en hoe de totaalrespons zich gedurende de periode heeft ontwikkeld (bovenste lijn). De rode pijl geeft het moment aan waarop studenten via Sharenet en het lichtbord op de fly-over tussen twee hoofdgebouwen (15 december) en een tweede mail (16 december) zijn herinnerd aan de uitgezette vragenlijsten, met een herhaling van de oproep tot reageren. Opvallend is dat bijna de helft van de reacties binnen de eerste 24 uur is verzameld. Gedurende de navolgende twee weken was de respons per dag aanzienlijk lager, waarbij herinneringsoproep halverwege wel effect teweeg lijkt te hebben gebracht.
Figuur 13: Responsverloop beantwoording vragenlijsten
Figuur 14: Steekproefomvang in relatie tot betrouwbaarheid Bron: afkomstig van Checkmarket (z.d.)
33