Overwegingen bij het meten van effecten van excellentieprogramma’s op leerop brengsten

Om zuivere effecten van excellentieprogramma’s vast te stellen is het in feite noodzakelijk om een (quasi-)experimenteel design te gebruiken, waarbij studenten random worden toegewezen aan een experimentele conditie (het volgen van een excellentieprogramma) of niet (de controle- groep) en waarbij via een voor- en nameting wordt nagegaan wat het verschil is in ‘leerwinst’ tussen de experimentele en controlegroep.

Uit verschillende inventarisaties, onder andere het AHELO onderzoek naar leeruitkomsten in het hoger onderwijs (OECD, 2013), is gebleken dat het meten van directe netto leerwinst uiter- mate lastig is. Dit geldt zeker voor de context van de excellentieprogramma’s in het kader van het Sirius Programma. Kenmerkend voor deze programma’s is immers dat studenten vaak gese- lecteerd worden op basis van hun cognitieve en non-cognitieve vaardigheden: alleen de beste en meest gemotiveerde studenten worden toegelaten. Een goede controlegroep ontbreekt en een zuivere meting van de effecten van het volgen van een excellentieprogramma is daardoor niet mogelijk. De condities waaronder selectie van studenten plaatsvindt bij de acht hogescholen en universiteiten die hebben deelgenomen aan het onderzoek verschillen sterk, niet alleen tussen instellingen maar ook binnen instellingen. Bij programma’s waar het gemiddeld cijfer van het eerste bachelorjaar als selectiecriterium gold, is dit gebruikt om de studenten voor de controle- groep te selecteren. Wanneer een programma een ander criterium gebruikte zoals het gemiddeld eindexamencijfer of nominale studievoortgang zijn deze criteria als uitgangspunt gebruikt voor de selectie van de controlegroep. Wanneer een programma geen toelatingseisen stelde, is er ook voor de selectie van de controlegroep geen criterium vastgesteld. Kortom, vanwege de variatie in eisen die aan de deelnemers van excellentieprogramma’s wordt gesteld, was het niet mogelijk om algemene criteria voor de controlegroep op te stellen. Daarnaast kan er sprake zijn van andere factoren zoals motivatie, leeftijd of sociaaleconomische achtergrond die de werkelijke oorzaak vormen van verschillen in testresultaten in plaats van wel of niet hebben deelgenomen aan excellentieonderwijs. Ook kunnen studenten, naast het wel of niet volgen van een excellen- tieprogramma, andere extra- of cocurriculaire activiteiten hebben ontplooid zoals vrijwilligers- of bestuurswerk die van invloed zijn op hun competentieontwikkeling. We kunnen daarom slechts een benadering geven van de mogelijke ‘toegevoegde waarde’ en effecten van excellen- tieprogramma’s.

Een tweede beperking betreft de omvang van de steekproef. Het streven was om de test af te nemen bij 750 laatstejaars bachelorstudenten. Ondanks enorme inspanningen van de deelne- mende instellingen en de onderzoekers om de respons zo hoog mogelijk te krijgen (door middel van incentives, persoonlijke uitnodigingen, meerdere afnamemomenten, terugkoppeling van de testresultaten, et cetera) bleek tijdens de periode van dataverzameling dit streefgetal niet haal- baar. Hierdoor zijn mogelijk sommige effecten niet (voldoende) aan het licht gekomen.

Een derde beperking - ingegeven door de maximale looptijd van dit onderzoek - betreft de onmogelijkheid van een longitudinale meting waardoor geen vaardigheidsgroei kon worden vastgesteld. Voorafgaand aan het onderzoek was al duidelijk dat de looptijd van het onderzoek te kort was om een nulmeting en een vervolgmeting af te nemen. De Siriusinstellingen zelf maken voor hun monitorrapportages geen gebruik van directe metingen, maar van afgeleide

indirecte indicatoren van leerwinst. Nadeel van deze indicatoren is echter dat ze leerwinst indi- rect meten en de indicatoren variëren tussen instellingen. Een voorbeeld hiervan is het aantal cum laude getuigschriften bij deelnemers en niet-deelnemers van excellentieprogramma’s, of het percentage cum laude getuigschriften van deelnemers op een bepaald moment (nulmeting) en enkele jaren later. Andere gebruikte afgeleide indicatoren zijn studieresultaten, tevredenhei- doordelen en de loopbaan van afgestudeerden.

4.1.2 Respons

De directe meting is afgenomen onder studenten in het laatste jaar van hun bachelorprogramma (hbo en wo) bij de acht deelnemende Siriusinstellingen. In totaal zijn 1.6172

studenten benaderd en hebben uiteindelijk 367 studenten deelgenomen aan het onderzoek (zie tabel 4.1). Het res- ponspercentage van de totale steekproefomvang komt daarmee op 22,7 procent.

Tabel 4.1 – Responspercentage Deelnemer aan excellentieprogramma Niet-deelnemer aan excellentieprogramma Totaal Steekproefomvang 842 775 1.617 Bruto respons 195 (23,2%) 172 (22,2%) 367 (22,7%)

Netto bruikbare respons 189 (22,4%) 166 (21,4%) 355 (22%)

4.2 Effect van excellentieprogramma’s op competentieontwikkeling en motivatie

4.2.1 De self-assessment en achtergrondvragenlijst

Studenten hebben deelgenomen aan een test om hun cognitieve vaardigheden te meten en zij hebben een vragenlijst ingevuld die een self-assessment bevatte. Met de laatste werd aan studen- ten gevraagd om hun huidige niveau van beheersing van een aantal competenties in te schatten en het niveau aan het begin van de opleiding. Ze konden dit op een schaal van 1 (zeer laag) tot 5 (zeer hoog) aangeven. De items zijn geïnspireerd op een evaluatie-instrument dat is ontwikkeld door het Center for Studies in Higher Education van de University of California-Berkeley. Op deze wijze is de (zelf ingeschatte) ontwikkeling van deze competenties gemeten. Hoewel ‘self- assessment’ problematisch kan zijn voor het meten van het absolute niveau van competenties door het ontbreken van een objectieve meetlat, zijn ze in de regel wel geschikt om groei ‘binnen personen’ vast te stellen (Allen & Van der Velden, 2005). We kunnen daarmee vaststellen of studenten die aan een excellentieprogramma hebben deelgenomen vaker dan reguliere studenten

2 Er zijn geen gegevens bekend over de steekproefomvang van reguliere studenten van instelling HBO4, waardoor we deze niet konden meenemen in de berekening van de steekproefomvang en het daaraan gerelateerde respon- spercentage .

43

Tabel 4.2 – Resultaten self-assessment en meting van motivatie

Vaardigheden Bivariaat* Multivariaat**

N=355 Deelnemers excellen- tieprogramma (eindniveau) Niet-deelnemers excellentieprogramma (eindniveau)

Verschil Verschil onder

controle van beginni- veau (alleen self-

assessment)

Verschil onder controle van beginni- veau en achtergrond-

kenmerken

Self-assessment (schaal 1-5)

1. Analytisch en kritisch denkvermogen N=353 4,03 3,99 0,04 0,05 0,01

2. Inzicht in je eigen vakgebied N=353 4,18 4,05 0,13 ** 0,13 * -0.03

3. Engelse taalvaardigheden N=354 3,91 3,87 0,04 0,15 ** 0,04

4. Onderzoeksvaardigheden N=352 3,84 3,64 0,20 *** 0,20 *** 0,15 *

5. Kwantitatieve (wiskundige en statistische) vaardigheden N=354 3,11 3,19 -0,08 -0,05 -0,25 ***

6. Vermogen om helder en effectief te schrijven N=354 3,90 3,84 0,06 0,12 * 0,13 *

7. Presentatievaardigheden N=353 4,01 3,81 0,20 ** 0,15 ** 0,05

8. Interpersoonlijke (sociale) vaardigheden N=354 3,94 4,04 -0,10 -0,02 -0,06

9. Leiderschap N=354 3,65 3,51 0,14 * 0,20 ** 0,07

10. Vermogen om interculturele perspectieven te hanteren N=353 3,75 3,80 -0,05 0,01 -0,03

11. Maatschappelijke verantwoordelijkheid N=354 3,69 3,87 -0,18 ** -0,07 -0,10 12. Zelfbewustzijn en zelfkennis N=353 4,28 4,25 0,03 0,03 -0,02 13. Probleemoplossend vermogen N=354 4,16 4,05 0,11 ** 0,13 ** 0,03 14. Nauwkeurigheid N=354 3,96 3,99 -0,03 0,00 -0,06 15. Doorzettingsvermogen N=354 4,31 4,11 0,20 *** 0,17 *** 0,11 * 16. Ambitie N=354 4,23 3,98 0,25 *** 0,23 *** 0,05 17. Creativiteit N=353 3,77 3,59 0,18 ** 0,09 -0,04 Totaalscore (17 vaardigheden) N=354 3,93 3,86 0,07 * 0,09 ** -0,01 Achtergrondvragenlijst 1. Intrinsieke motivatie N=355 4,36 4,05 0,31 *** 0,21 *** 2. Extrinsieke motivatie N=355 3,37 3,27 0,10 -0,05

Significantieniveaus: *p<0.1; **p<0.05; ***p<0.01, eenzijdig getoetst.

* Noot 1: in het bivariate verband zijn de gemiddelde uitkomsten gebaseerd op een t-toets voor onafhankelijke waarnemingen.

** Noot 2: in het multivariate verband zijn de gemiddelde uitkomsten gebaseerd op multipele regressieanalyse waarbij er rekening is gehouden met geslacht, leeftijd, etniciteit, motivatie, vooroplei- ding, opleiding, hogeronderwijsinstelling, inkomen ouders, eindexamencijfer, bachelorcijfer, studie-inzet, contact met docenten, studiebesteding (aantal uur per week), zelfdiscipline en factoren die bepalend waren bij de keuze voor de studie (bij self-assessment is het niveau aan het begin van de opleiding ook meegenomen).