Of deelname aan SkillsCoach leidt tot het beoogde directe effect, te weten vermindering van uitval en toename van behaald aantal studiepunten, kan worden afgemeten aan de hand van statische berekeningen voor beide afzonderlijke variabelen.
36
- Voor wat betreft uitval geldt dat een Chikwadraattoets opheldering moet verschaffen omtrent eventuele significante verschillen. Een t-test voor onafhankelijke steekproeven is hierbij immers niet van toepassing, omdat het een vergelijking tussen nominale variabelen betreft. Studenten zijn immers wel of niet uitgevallen.
- Met betrekking tot het aantal behaalde studiepunten (EC’s) geldt behalve gemiddelden en
spreidingsmaat dat vooral dat een eenzijdige t-toets voor onafhankelijke steekproeven uitsluitsel moet leveren omtrent eventuele significante verschillen in uitkomst. De nulhypothese (H0) wordt daarbij verworpen ten voordele van de alternatieve hypothese (H1) indien de overschrijdingskans minder dan 5% is.
In het oorspronkelijk databestand bleken ook herinschrijvers opgenomen, oftewel studenten die al eerder ingeschreven hadden gestaan, en als zodanig ook al eerder studiepunten hadden behaald. Omwille van een eerlijke vergelijking zijn deze zowel bij de berekening omtrent studie-uitval en behaalde aantal studiepunten, maar ook bij de vaststelling van zelfregulatie en betrokkenheid verwijderd. Eventuele verschillen kunnen immers ook worden verklaard vanuit een verlengde inschrijvingsduur en leertijd. Er is daarmee onderscheid gemaakt tussen herinschrijvers en eerste instroom.
Echter ook voor eerste instroom studenten die op grond van elders verworven competenties vrijstellingen hebben verkregen geldt, dat zij buiten beschouwing zijn gelaten bij statistische vergelijkingen omtrent het aantal behaalde EC’s. Ook voor hen valt immers niet vast te stellen hoeveel punten zij eventueel behaald zouden hebben, indien zij wél voor de volledige opgave hadden gestaan. Bij de bepaling van betrokkenheid en zelfregulatie geldt, dat deze groep eerste instroom studenten wel meegenomen. Bij de telling van het aantal behaalde EC’s doen om genoemde redenen dus alleen die studenten mee, waarvan noch van reeds eerder behaalde studiepunten noch van eventuele vrijstellingen sprake is.
Figuur 14: Bijzonderheden bij wijzen van behalen studiepunten
Van de oorspronkelijk 832 respondenten gold dat (al dan niet in combinatie met één van de andere afwijkende situaties) op hen de volgende bijzonderheden van toepassing zijn.
- 62 studenten waren herinschrijver of van hen kon op basis van een verkeerd ingevuld S-nummer niet kon worden vastgesteld of zijn tot de eerste instroom behoorden...
- 3 studenten bleken twee opleidingen te volgen, hetgeen eveneens tot een vertekening van het aantal studiepunt leidt
- 37 studenten bleken een vrijstelling te hebben verkregen voor één of meer studiepunten wat een vergelijking redelijkerwijze niet mogelijk maakt
- 100 studenten waren ingeschreven bij een opleiding die niet op periodebasis maar pas na één semester studiepunten toekent, hetgeen maakt dat zij na één periode nog “0”punten hebben .
37
M.b.t. de vergelijking t.a.v. uitval resteerden van alle oorspronkelijk respondenten na aftrek van
herinschrijving en foutieve S-nummers zoals gezegd 215 mbo’ers waarvan 34 SkillsCoach deelnemers. De groep studenten voor wie op grond van bovenstaande criteria een vergelijking van het behaalde aantal studiepunten zinvol kan zijn, bestond uit 645 respondenten waren 181 studenten afkomstig zijn uit het mbo. Onder hen zijn 30 studenten die wél en 151 studenten die niét hebben deelgenomen aan SkillsCoach.
6.4.1 Hypothese uitval en behaalde EC’s
- De nulhypothese (H0) luidt: SkillsCoach heeft géén effect op studie-uitval c.q. heeft geen invloed op het aantal behaalde studiepunten.
- De alternatieve hypothese (H1) luidt: SkillsCoach leidt tot vermindering van studie-uitval c.q. verhoging van het aantal behaalde studiepunten.
Aangenomen wordt dat de nulhypothese wordt verworpen bij een overschrijdingskans van 5%.
6.4.2 Uitval (zie ook bijlage 6A mbo-respondenten en 6B mbo-overal)
Van de mbo’ers die de vragenlijst hebben ingevuld is niemand uitgevallen. Noch van deelnemende mbo studenten aan SkillsCoach noch van de overige mbo respondenten. Een statistische vergelijking voor wat betreft uitval tussen wel en niet deelnemers aan SkillsCoach onder de respondenten is daarmee niet zinnig.
Wel geldt, dat mbo-respondenten het beter hebben gedaan dan niet-respondenten afkomstig uit het mbo. Uit deze laatste groep hadden namelijk 48 studenten op het moment van de download hun studie inmiddels gestaakt. Uit het feit, dat de eerste categorie wel heeft gereageerd en de tweede niet, kan wellicht worden herleid, dat bij respondenten per definitie al wel sprake is van een hoge betrokkenheid. En dat deze voor studiesucces van belang lijkt, is genoegzaam vastgesteld.
Het lijkt daarom zinnig om de SkillsCoach deelnemers qua uitval af te zetten tegen alle overige mbo-instromers studenten die afgelopen jaar zijn gestart en die niet aan SkillsCoach hebben deelgenomen. Een dergelijke vergelijking is immers wel mogelijk gelet op het feit, dat deze laatste groep wel uitvallers kent.
De totale populatie mbo-instromers bestaat uit 1510 studenten. Om een reële vergelijking mogelijk te maken, zijn ook hier studenten met een herinschrijving uitgesloten van onderzoek naar eventuele uitval. Hun situatie is in meer dan één opzicht immers onvergelijkbaar met die van studenten behorend tot eerste instroom. De 47 mbo’ers die al eerder waren ingeschreven vallen in deze vergelijking daardoor af. Daarnaast is het ook niet reëel om eventuele studenten die pas op 1 oktober of later zijn gestart in deze vergelijking op te nemen.
Zij waren op het moment van onderzoek immers nog maar net aan hun studie begonnen. Onder de groep mbo-instromers blijken deze echter niet voor te komen. Van de resterende 1463 studenten hebben 34 deelgenomen aan SkillsCoach. De overige 1429 studenten hebben geen SkillsCoach achtergrond.
Eventueel significante verschillen tussen beide groepen in uitval worden bepaald aan de hand van een Chi-kwadraattoets.
Vergelijking verwachtingswaarde studiestakers mbo-populatie wel/ geen SkillsCoach v.w.b. uitval
Een gangbare Chi-kwadraattoets is voor bovenstaande deelpopulatie-vergelijking echter niet mogelijk, zo blijkt na berekening van de verwachtingswaarde. De gerealiseerde uitval onder SkillsCoach deelnemers van 0 ten opzichte van de te verwachten uitval onder hen van 1,12 resulteert immers in een uitkomst van <5 voor de betreffende cel. Op grond van het feit, dat niet alle cellen een verwachtingswaarde hebben van minimaal vijf, geldt de Chi-kwadraattoets als invalide (Verhoeven, 2017). Om die reden is een alternatieve statistische berekeningswijze gebruikt, te weten de (eenzijdige) Fishers’s exact test (IBM, z.d.). Deze kan behulpzaam zijn indien niet wordt voldaan aan de eisen voor een Chi-kwadraattoets voor wat betreft minimale omvang of te verwachten waarden (Academisch Medisch Centrum, z.d.). Ondank dat vanuit een berekening (n = 1463) van de verwachtingswaarde (Verhoeven, 2017) de feitelijke uitval binnen de SkillsCoach deelnemers (n = 34) lager blijkt dan te verwachten zou zijn (gerealiseerde uitval = 0; ten opzichte van een te verwachten uitval van 1,12) is dit verschil met een p-waarde van 0,317 niettemin echter niét significant (zie bijlage 6B)
6.4.3 Behaalde aantal EC’s (zie ook bijlage 7A mbo-respondenten en 7B mbo-overal)
M.b.t. het aantal behaalde EC’s na periode 1 geldt wel, dat sprake is van een zinvolle vergelijking binnen de groep respondenten tussen studenten die wél en niet aan SkillsCoach hebben deelgenomen. Daarnaast heeft ook hier een vergelijking plaats gehad tussen SkillsCoach deelnemers en het totaal van de populatie mbo’ers eerste instroom. Beide vergelijkingen hebben plaats gevonden aan de hand van een t-test voor onafhankelijke steeproeven in SPSS waarvan de uitkomsten in bijlage worden vermeld.
38
In beide gevallen zijn studenten met een bijzondere inschrijvingsachtergrond van vergelijking m.b.t. het behaalde aantal EC’s uitgesloten, omdat hun onderlinge situaties onvergelijkbaar zijn. Dat betreft behalve de herinschrijvers (zie ook voorgaand), ook: eerste instroom studenten met vrijstellingen; mbo-studenten die staan ingeschreven bij opleidingen waarbij studiepunten per semester worden toegekend i.p.v. per periode;
en studenten die bij meer dan één opleiding staan ingeschreven. De laatsten kunnen immers in beide opleidingen EC’s behalen. Bovendien zouden studenten moeten worden uitgesloten, die vallen onder de categorie “laat-inschrijvers”; d.w.z. gestart na 1 september. Deze laatste categorie bleek onder de mbo-instromer uit de eerste instroom echter niet voor te komen. Een en ander levert voor de eerste vergelijking tussen alleen respondenten een totaalaantal van 181 studenten op, waarvan 30 SkillsCoach deelnemers en 151 niet SkillsCoach studenten. Voor twee SkillsCoachees gold namelijk dat zij vrijstellingen hadden en twee andere SkillsCoach deelnemers stonden ingeschreven bij opleidingen met een zogenaamde
semesterplanning, waarbij EC’s pas na verloop van twee perioden (één semester) kunnen worden behaald.
Vergelijking mbo-respondenten wel/ geen SkillsCoach t.a.v. behaald aantal EC’s (7a).
Uit statistische berekeningen (zie BIJLAGE 7A) waarbij een eenzijdige t-toets voor onafhankelijke steekproeven is gebruikt, blijkt géén significant verschil in behaald aantal studiepunten tussen de
respondenten vanuit het mbo die wél (n = 30) en niét hebben deelgenomen aan SkillsCoach (n = 151). Het gemiddeld behaalde aantal studiepunten onder mbo’ers die niét hebben deelgenomen aan SkillsCoach ligt met 5,60 EC tegen de verwachting in hoger dan wél-deelnemers, die gemiddeld genomen 4,43 EC hebben behaald: t (179) = - 1,560, p = 0,94 waarbij wel-SkillsCoach = 4,43; SD 3,471 en niet-SkillsCoach = 5,60; SD
= 3,776. Dat is contrair met de aanname vooraf dat SkillsCoach zou leiden tot een stijging het behaalde aantal EC’s.
Vergelijking totaalpopulatie mbo- eerste instroom wel/ geen SkillsCoach t.a.v. behaald aantal EC’s (7b).
Ook in de vergelijking (zie BIJLAGE 7B) tussen SkillsCoach deelnemers (n = 30) en niét-deelnemers uit de totaalpopulatie mbo-eerste instroom (n = 1152) blijken bij toetsing met behulp van een eenzijdige t-toets voor onafhankelijke steekproeven eerstgenoemden in tegenstelling tot wat vooraf werd verwacht gemiddeld genomen niet méér maar minder EC’s te hebben behaald: 4,43 EC t.o.v. 4,70 EC. Een verschil dat overigens eveneens niét significant is: t (1180) = - 0,353, p = 0,638 waarbij wel-SkillsCoach = 4,43; SD = 3,471 en niet-SkillsCoach = 4,70; SD = 4,166.