Externe en interne onderwijsfactoren : wat zorgt voor een betere kwaliteit binnen het hoger beroepsonderwijs?

Externe en interne onderwijsfactoren:

Wat zorgt voor een betere kwaliteit binnen het hoger beroepsonderwijs?

Naam: Lilian Bernoulli

Studentnummer: 10766170

E-mailadres: lilian.bernoulli@gmail.com

Opleiding: Master Sociologie

Afstudeerrichting: Algemene Sociologie

Eerste begeleider: dr. J.P. Bruggeman

Tweede begeleider: prof. dr. H.G. van de Werfhorst

2

Inhoud

Rationalisering van het hoger beroepsonderwijs ... 8

Examencommissies en de kwaliteit van het hoger beroepsonderwijs ... 9

Opleidingsniveau van docenten en de kwaliteit van het hoger beroepsonderwijs ... 11

Aantal contacturen en de kwaliteit van het hoger beroepsonderwijs ... 12

Aantal studenten per docent en de kwaliteit van het hoger beroepsonderwijs ... 13

Datapreparatie en operationalisatie ... 15

Data ... 15

Afhankelijke variabele: Percentage als voldoende beoordeelde eindwerkstukken ... 16

Onafhankelijke variabele: Voortgang examencommissie ... 17

Onafhankelijke variabele: Opleidingsniveau docenten ... 18

Onafhankelijke variabele: Contacturen tussen studenten en docenten ... 20

Onafhankelijke variabele: Studentenaantal per docent ... 20

Controlevariabele: Visitatiejaar ... 21

Lineaire regressieanalyse en resultaten ... 22

Conclusie en discussie ... 25 Aanbevelingen ... 28 Literatuurlijst ... 30 Appendix 1 ... 33 Appendix 2 ... 41 Appendix 3 ... 43 Appendix 4 ... 47 Syntax ... 48

3

Dankwoord

Na een intensieve periode van vijf maanden is het zover. Met het schrijven van dit dankwoord leg ik de laatste hand aan mijn scriptie. Het was een periode waarin ik zowel op wetenschappelijk gebied alsook op persoonlijk vlak veel heb geleerd. Ik heb ervoor gekozen om mijn masterscriptie te schrijven over een onderwerp dat voor het evaluatiebureau Hobéon relevant is. Deze keuze heb ik gemaakt omdat ik graag een praktisch probleem op wetenschappelijk niveau wilde onderzoeken.

De afgelopen maanden begonnen met het schrijven van sollicitatiebrieven, het voeren van sollicitatiegesprekken, de kennismaking met het evaluatiebureau Hobéon, het inlezen in het accreditatiestelsel van het hoger onderwijs, het verzamelen van data en eindigde met het schrijven van een uitdagende masterscriptie. Graag wil ik stilstaan bij de mensen die mij in de afgelopen periode enorm hebben gesteund en geholpen.

Ik wil graag mijn collega’s van mijn stagebedrijf Hobéon bedanken voor de fijne samenwerking. Jullie hebben mij enorm gesteund en waren altijd bereid om mij te helpen. Ik wil in het bijzonder stilstaan bij mijn begeleider bij Hobéon, meneer R. van der Hoorn en meneer W. Wierda. Meneer W. van Raaijen, mevrouw M. Dijkma, meneer F. Hendriks en meneer R. Stapert wil ik graag bedanken voor de feedback en de informatieve gesprekken.

Daarnaast wil ik graag mijn studiebegeleider, de heer. J. Bruggeman, bedanken voor de fijne begeleiding. U heeft mij altijd aangemoedigd en de juiste handvatten aangereikt om de goede richting te kiezen, zodat ik mijn scriptie succesvol heb kunnen afronden. Ook gaat mijn dank uit naar de meneer H. van de Werfhorst voor uw feedback.

Mijn ouders en vrienden wil ik graag bedanken voor de wijze raad en hulp. Jullie staan altijd voor mij klaar. Dat weet ik zeer te waarderen.

Lieve allemaal, heel erg bedankt!

Lilian Bernoulli

4

Samenvatting

Door het in werking treden van de ‘Wet Versterking Besturing’ in 2010, werden examencommissies binnen het hoger beroepsonderwijs wettelijk verplicht om de kwaliteit van het onderwijs te waarborgen. In deze studie onderzoek ik aan de hand van lineaire regressieanalyses van 145 beoordelingsrapporten van het evaluatiebureau Hobéon, of deze rationalisering van het hoger beroepsonderwijs daadwerkelijk naar een betere kwaliteit van het onderwijs heeft geleid. Daarnaast kijk ik in hoeverre de interne factoren zoals het opleidingsniveau van de docenten, het aantal contacturen en het aantal studenten per docent van invloed zijn op de onderwijskwaliteit.

De resultaten laten zien dat de waarborging van de onderwijskwaliteit door de examencommissies een positief effect heeft op de kwaliteit van de eindwerkstukken van hbo-bachelorstudenten. Vervolgens blijkt dat hoe kleiner het aantal studenten per docent is, hoe betere de kwaliteit van hun eindwerkstukken is. Verder kom ik tot de bevinding dat een hoger opleidingsniveau van docenten een zwak negatief effect heeft op de kwaliteit van eindwerkstukken in het hoger beroepsonderwijs. Dat effect zou mogelijk verklaard kunnen worden doordat in het hoger beroepsonderwijs de beroepsgerelateerde kennis van docenten belangrijker is dan hun wetenschappelijke opleidingsgraad.

Op basis van deze resultaten blijkt dat — een juiste vorm van — bureaucratisering van het hoger beroepsonderwijs van nut is voor de kwaliteitswaarborging van het onderwijs. Daarnaast zouden hbo-instellingen de kwaliteit van het onderwijs kunnen verbeteren door het aantal studenten per docent te verlagen.

5

Inleiding

Hogescholen in Nederland hebben met een dilemma te maken, waarin zowel de kwaliteit van het onderwijs moet worden verbeterd als ook het aantal studenten omhoog moet. Wanneer een hogeschool het niveau van de opleiding verhoogt, wordt de toegankelijkheid voor instromers kleiner en wordt het moeilijker om het aantal afstudeerders te verhogen. Daar staat tegenover dat de kwaliteit van een opleiding in gevaar komt wanneer een hogeschool zich te veel richt op het verhogen van het aantal afstudeerders (Onderwijsverslag, 2010/2011). Dit bleek het geval te zijn bij de Hogeschool Inholland, die tussen 2007 en 2009 aan 63 studenten diploma’s heeft uitgereikt die niet aan de wettelijke kwaliteitsnormen voldeden. Hiervoor heeft de hogeschool Inholland studieachterstanden kwijtgescholden om rijkssubsidies voor ieder uitgereikt diploma binnen te halen (NRC, 18 november 2010).

Om dat soort gevallen te voorkomen en de kwaliteit van het hoger beroepsonderwijs nog beter te waarborgen, heeft de overheid in de afgelopen jaren verschillende maatregelen genomen. In een rapport van de Onderwijsinspectie (2009), over een onderzoek bij examencommissies in het hoger onderwijs naar de garantie van het niveau, werden tekortkomingen duidelijk. Als gevolg hiervan trad op 1 september 2010 de ‘Wet Versterking Besturing’ in werking, een wijziging van de ‘Wet op het Hoger onderwijs en Wetenschappelijk onderzoek’ (WHW). Naast de bevordering van goed bestuur en de internationale positie van het Nederlands hoger onderwijs was de soms onvoldoende onderwijskwaliteit hier een aanleiding toe (Staatsblad, 2010). Hierdoor wordt duidelijk dat de overheid aan de hand van een versterking van de regelgeving de kwaliteit van het onderwijs probeert te verbeteren.

Deze versterking van de regelgeving door de overheid is een stap in een langdurig proces van rationalisering van het (onder meer) Nederlandse onderwijs. Hierbij kan de vraag worden gesteld of deze maatregelen daadwerkelijk naar een betere kwaliteit van het onderwijs leiden of alleen maar bijdragen aan onnodige bureaucratisering. In mijn onderzoek ga ik me binnen dit rationaliseringsproces richten op de wettelijke veranderingen wat betreft de positie van de examencommissies in hogescholen. Als gevolg van de wijzing van de WHW moeten hogescholen namelijk er nu voor zorgen dat de examencommissies onafhankelijk van de besturen hun werk doen. Dit zal tot een nog betere waarborging van de kwaliteit van het hoger beroepsonderwijs moeten leiden. Wanneer het bestuur op basis van prestatieafspraken met de overheid de nadruk legt op de efficiency en het rendement is het de opdracht van de examencommissie om hier tegenwicht aan te bieden door aandacht voor de diepgang en het afstudeerniveau van een opleiding te hebben (Inspectie van het onderwijs, 2013).

6

Naast deze wettelijke richtlijnen voor examencommissies die als waarborging van de onderwijskwaliteit zouden moeten dienen, zijn er ook nog andere factoren die de kwaliteit van het onderwijs beïnvloeden. Hierbij moet men bijvoorbeeld denken aan het opleidingsniveau van docenten, het aantal contacturen of het aantal studenten per docent. In deze studie vergelijk ik zowel het effect van de versterking van de wettelijke richtlijnen voor examencommissies als het effect van opleiding-specifieke factoren op de kwaliteit van het onderwijs van het hoger beroepsonderwijs in Nederland. Hiermee onderzoek ik of de versterking van de regelgeving door de overheid zinvol is of dat de overheid beter de focus op opleiding-specifieke factoren zou kunnen leggen.

Hieruit volgt mijn eerste onderzoeksvraag: in hoeverre heeft de genoemde stap in het rationaliseringsproces van wettelijke richtlijnen voor de examencommissie invloed op de kwaliteit van het onderwijs in het hoger beroepsonderwijs? Mijn tweede onderzoeksvraag luidt: in hoeverre hangen het opleidingsniveau van docenten, het aantal contacturen van studenten en het aantal studenten per docent samen met de kwaliteit van het onderwijs?

Het vernieuwende aan mijn onderzoek is ten eerste de onderzoeksmethode die ik gebruik. Om bovenstaande vragen te beantwoorden zal ik aan de hand van een kwantitatieve methode (een lineaire regressieanalyse van gegevens uit 145 beoordelingsrapporten van hbo-bacheloropleidingen) kijken welke bovengenoemde factoren invloed hebben op de kwaliteit van een opleiding. Binnen het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) heeft de Inspectie van Onderwijs recent nog onderzoek gedaan naar het huidige functioneren van examencommissies (Inspectie van het onderwijs, 2015). Hiervoor hebben ze interviews gehouden, enquêtes afgenomen en jaarverslagen geanalyseerd, maar niet naar gegevens uit beoordelingsrapporten van evaluatiebureaus gekeken.

Ten tweede kijk ik niet alleen naar het invloed van examencommissies op de kwaliteit van het hoger beroepsonderwijs, maar vergelijk ik deze factor nog met interne factoren zoals het opleidingsniveau van docenten, het aantal contacturen en het aantal studenten per docent. Hierdoor kan ik onderzoeken welke van deze factoren de kwaliteit van het hoger beroepsonderwijs het meest beïnvloedt. In het volgende stuk zal ik een kort overzicht geven over het accreditatiesysteem van het hoger beroepsonderwijs in Nederland.

7

Achtergrond

In Nederland dient de afgifte van een diploma voor afgestudeerden en werkgevers als bewijs dat een afgestudeerde beschikt over vaardigheden en kennis op een bepaald niveau. In het WHW zijn de voorwaarden voor de afgifte van getuigenschriften vastgelegd (WHW, 2015). De overheid bepaalt welke instellingen aan deze voorwaarden voldoen en is daardoor verantwoordelijk voor de kwaliteit en de betrouwbaarheid van deze getuigenschriften (Onderwijsinspectie, 2009).

In Nederland en Vlaanderen geeft de Nederlands-Vlaamse Accreditatieorganisatie (NVAO) als onafhankelijke, binationale accreditatieorganisatie een oordeel over de kwaliteit van het hoger onderwijs. Samen met de onderwijsinspectie van het Ministerie Onderwijs, Cultuur en Wetenschap (OCW) zorgt de NVAO voor de waarborging van de kwaliteit van het hoger onderwijs in Nederland. Om de zes jaar beoordeelt de NVAO de kwaliteit van de opleidingen binnen het hoger onderwijs (nvao.net). Deze beoordelingen zijn gebaseerd op adviesrapporten die door de NVAO zelf worden geschreven of door een van de negen evaluatiebureaus (AeQui, ASIIN, Certiked VBI, EAPAA, FIBAA, Hobéon Certificering bv, MusiQuE, NQA Netherlands Quality Agency en QANU).

Hobéon is een van de negen evaluatiebureaus die op verzoek van een opleiding de kwaliteit van een opleiding met een panel van deskundigen tijdens een visitatie beoordelen. Na afloop van zo’n visitatie schrijft het panel een beoordelingsrapport over de opleiding. Dit beoordelingsrapport kan de opleiding vervolgens indienen bij de NVAO om hiermee voor een periode van zes jaar accreditatie aan te vragen (Hobeon.nl). Indien een opleiding van te voren een positief oordeel over de instellingstoets kwaliteitszorg (zie appendix 1) heeft is een beperkt beoordelingsrapport (zie appendix 2) in plaats van een uitgebreid beoordelingsrapport (zie appendix 3) voldoende. Het beperkte beoordelingsrapport bestaat uit drie onderzoeksvragen die vertaald zijn in vier standaarden, terwijl het uitgebreide beoordelingsrapport uit zes vragen bestaat die vertaald zijn in zestien standaarden. Het visitatiepanel kijkt per standaard of de opleidingen aan de eisen voldoen en houdt bij het schrijven van deze rapporten de volgorde van de standaarden aan. Voor mijn analyse zal ik gebruik maken van zowel de beperkte als de uitgebreide beoordelingsrapporten van het evaluatiebureau Hobéon.

8

Theorie

Rationalisering van het hoger beroepsonderwijs

Weber (1864-1920) verklaarde het ontstaan van de moderne Westerse beschaving aan de hand van rationaliseringsprocessen. Rationalisering is het expliciteren en in algemene regels vatten van (gewenste of gangbare) werkwijzen en het toezicht houden op de naleving van deze regels. Hoewel de eerste toepassingen in wetenschap en technologie te vinden zijn, werden steeds meer terreinen van de samenleving gerationaliseerd. De oorsprong van mijn huidige onderzoeksvraag, namelijk of het rationaliseringsproces van wettelijke richtlijnen voor de examencommissie invloed heeft op de kwaliteit van het onderwijs in het hoger beroepsonderwijs, kan voornamelijk gevonden worden in de rationalisering door bureaucratisering (Ultee, Arts en Flap, 2003).

In deze bureaucratisering waarin hogere ambtenaren toezicht uitoefenen op lagere en waarin het bestuurlijk handelen verloopt op basis van schriftelijke stukken, hebben formele regels tot op zekere hoogte effectiviteit en efficiëntie in het bestuur tot gevolg. Tegenwoordig wordt het begrip bureaucratie vaak gelijkgesteld aan ambtenarij en verspilling, waarbij deze verschijnselen echter onbedoelde en ten dele vermijdbare neveneffecten van bureaucratisering zijn (Ultee, Arts en Flap, 2003).

Wanneer men het accreditatiestelsel van het hoger onderwijs in Nederland bekijkt zijn er veel paralellen te trekken met Weber zijn beschrijvingen van de bureaucratisering van de staat. Met het Ministerie van Onderwijs, Cultuur en Wetenschap aan het hoofd, gevolgd door de NVAO die het evalueren van opleidingen laat uitvoeren door evaluatiebureaus. Deze kijken vervolgens of examencommissies binnen opleidingen de wettelijke richtlijnen van de overheid volgen en hierdoor als controlerend orgaan binnen de opleiding functioneren. Het geheel is een hiërarchisch stelsel dat ten doel heeft de kwaliteit van het onderwijs te waarborgen op basis van wettelijke regels. Hier stelt zich de vraag of door het invoeren van de ‘Wet Versterking Besturing’ daadwerkelijk de kwaliteit van het hoger beroepsonderwijs omhoog gaat of dat het alleen maar aan meer bureaucratisering van het Nederlandse onderwijssysteem bijdraagt.

Volgens John Meyer (1977) draagt opleiding niet alleen bij aan het zich eigen maken van nuttige vaardigheden en kennis. Veel meer ziet hij het opleidingssysteem als een institutie die mensen op posities plaatst met een hogere sociale status. Deze hogere sociale status draagt vervolgens bij aan de posities die studenten later kunnen bekleden. Hiermee legitimeert het opleidingssysteem de categorisatie van mensen met of zonder een bepaalde opleiding. Een student die met een studie begint wordt binnen zijn opleiding opgenomen en krijgt bij het afstuderen een bepaalde status toegeschreven welke in de maatschappij meestal meteen als

9

legitiem gezien wordt. In die zin is het opleidingssysteem een institutie die bijdraagt aan de verdeling en legitimering van status en macht.

Toen in 2010 bekend werd dat een aantal hbo-studenten onterecht een diploma had ontvangen, begon de discussie over de kwaliteit van de Nederlandse hogescholen. Wanneer namelijk bewezen wordt dat studenten zonder een bepaald niveau te bereiken toch een diploma ontvangen, is hun status in de maatschappij niet meer legitiem. Als gevolg hiervan werd de Wet Versterking Besturing aangenomen waarin examencommissies wettelijk verplicht zijn om de kwaliteit binnen hbo-opleidingen te waarborgen. Dit onderzoek zal laten zien of deze maatregelen daadwerkelijk naar een betere kwaliteit van het hoger beroepsonderwijs leiden en hierdoor de legitimering van een bepaalde status door het afronden van hbo-opleiding herstellen.

Examencommissies en de kwaliteit van het hoger beroepsonderwijs

“Opleidingen beschikken over een adequaat systeem van toetsing en tonen aan dat de beoogde eindkwalificaties worden gerealiseerd”. Dit staat in een van de standaarden in het NVAO accreditatiekader (NVAO, 2010). Nadat de Inspectie van Onderwijs er in 2009 achter kwam dat de wet- en regelgeving rond het afstuderen bij een aantal Hbo-opleidingen onvoldoende werd nageleefd, is in de afgelopen jaren de aandacht voor kwaliteit van toetsing in het hoger beroepsonderwijs toegenomen. Vervolgens is in september 2010 de Wet Versterking Besturing van kracht geworden die tot diverse wijzigingen in de Wet op het Hoger Onderwijs en Wetenschappelijk Onderzoek heeft geleid (WHW). Volgens de WHW is de examencommissie het orgaan dat op objectieve wijze vaststelt of een student voldoet aan de voorwaarden wat betreft kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een diploma. De rol van de examencommissies verschuift hierdoor van het uitvoeren van procedures rondom toetsing naar het borgen van de kwaliteit van toetsing. Om deze rol goed te kunnen uitvoeren is een onafhankelijke en deskundige examencommissie nodig (Joosten-ten Brinke & Sluijsmans, 2012).

Sinds januari 2011 is het nieuwe accreditatiestelsel in werking getreden waarbij ‘Toetsing en gerealiseerde eindkwalificaties’ als aparte standaard is opgenomen. Wanneer een opleiding bij een evaluatieprocedure een onvoldoende krijgt van het visitatiepanel met betrekking tot dit criterium, verliest ze haar accreditatie. De examencommissie is het orgaan dat zich bij een accreditatie ten aanzien van het aspect ‘toetsen en beoordelen’ moet kunnen verantwoorden (Smits, 2011).

In de nieuwe rol van de examencommissie waarin zij zowel een procedurele als een inhoudelijke verantwoordelijkheid heeft gekregen, is haar takenpakket nadrukkelijker

10

omschreven. Aan de ene kant heeft de examencommissie nu beleidsmatige taken, zoals het bepalen van regels om de kwaliteit van examens te borgen en het vaststellen van richtlijnen en aanwijzingen om de uitslagen van examens te beoordelen. Aan de andere kant heeft de examencommissie ook uitvoerende taken zoals het uitreiken van getuigschriften, het opleggen van sancties bij fraude, het verlenen van vrijstellingen en het aanwijzen van examinatoren. Het borgen van kwaliteit staat bij al deze taken voorop. De deskundigheid van de examencommissie op het gebied van kwaliteitszorg, regelgeving, organisatie en toetsing staat daarom voorop (Joosten-ten Brinke & Sluijsmans, 2012).

Examencommissies moeten in staat zijn om op een objectieve en deskundige manier vast te stellen of een student aan de voorwaarden voldoet die de onderwijs- en examenregeling (OER) stelt. Dit betreft zowel de kennis, het inzicht en de vaardigheden die een student nodig heeft voor het verkrijgen van een diploma. Daarvoor moet de examencommissie duidelijk voor ogen hebben welke maatregelen nodig zijn om die kwaliteit te kunnen waarborgen. Een hulpmiddel om het gerealiseerde eindniveau zoals beschreven door de NVAO (2010) te beoordelen, is de kwaliteitspiramide.

Deze kwaliteitspiramide kan ingedeeld worden in vier niveaus. Op het laagste niveau kijkt de examencommissie naar de kwaliteit van toetsen en de inhoud van toetsvragen. In elke toets moeten de taken, opdrachten of vragen relevant en objectief zijn. Daarnaast moet de moeilijkheidsgraad aansluiten bij het niveau. Op het volgende niveau is er aandacht voor de hele toets met de bijbehorende beoordelingsmodellen en de instructies voor studenten en beoordelaars. Hierbij is het belangrijk dat de toetsen en beoordelingsmodellen valide, betrouwbaar en bruikbaar zijn. Vervolgens wordt op het derde niveau de aandacht gericht op de kwaliteit van het gehele toetsprogramma. De borging van verschillende functies van de toetsing en een heldere samenhang staan hierbij voorop. Op het vierde niveau bekijkt de examencommissie de kwaliteit van het toetsbeleid. Het toetsbeleid is afhankelijk van de visie van de opleiding (Joosten-ten Brinke, 2011; Joosten-ten Brinke, Sluijsmans, & Peeters, 2012).

Aan de hand van de kwaliteitscirkel van Deming (1986), kan de examencommissie de bovengenoemde kwaliteitsniveaus waarborgen. Deze kwaliteitscirkel bestaat ten eerste uit de planningsfase, waarin de examencommissie bepaalt welke maatregelen getroffen moeten worden om het beoogde eindniveau van afgestudeerden te kunnen garanderen. Vervolgens wordt het plan gemaakt en daarna controleert de examencommissie of de uitwerking van het plan het probleem heeft opgelost. Als dit het geval is, wordt het plan geïmplementeerd. Wanneer een examencommissie deze kwaliteitscirkel aanhoudt, zou de kwaliteit van het onderwijs beter moeten worden. Op basis van deze aannames kom ik tot mijn eerste hypothese: hoe beter de kwaliteitsborging door de examencommissie is, hoe beter de kwaliteit van het beroepsonderwijs zal zijn.

11

Opleidingsniveau van docenten en de kwaliteit van het hoger beroepsonderwijs

Een andere factor die de kwaliteit van het hoger beroepsonderwijs beïnvloedt is de kwaliteit van docenten. De docent is ervoor verantwoordelijk dat de studenten de nodige kennis en vaardigheden krijgen door deze over te dragen en dit aan de hand van opdrachten en tentamens te toetsen. Uit onderzoek blijkt dat er sterke samenhangen bestaan tussen de opleiding van docenten en de prestatie van studenten (Hawk, Coble en Swanson, 1985). In deze studie werd het effect van docenten met verschillende ervaringsniveaus op het prestatieniveau van studenten onderzocht. Dit deden de onderzoekers door het prestatieniveau van de studenten in wiskunde aan het begin en einde van een jaar te meten. De conclusie was dat studenten die les kregen van docenten die gekwalificeerd waren op het gebied van wiskunde, na een jaar beter in wiskunde waren dan studenten die les kregen van docenten die dat niet waren.

In deze studie zal ik drie zienswijzen op de kwaliteit van hbo-docenten onderscheiden. In de eerste zienswijze is het idee dat de beste docenten hoog opgeleid en intelligent zijn. De cognitieve vaardigheden van docenten worden als cruciaal gezien (Kennedy et al., 2008). Dit argument is gebaseerd op het idee dat lesgeven een veeleisende, complexe en onvoorspelbare taak is, waarvoor men cognitief flexibel moet zijn en snel problemen moet kunnen oplossen (Feldon, 2007). In publieke discussies wordt deze zienswijze vaak door beleidsmakers gehanteerd (Organisation for Economic Co-operation and Development [OECD], 2005). Dit betekent dat hogescholen de nadruk op hogere kwalificaties bij hun docenten zouden moeten leggen omdat dit het prestatieniveau van de studenten zou verhogen.

Vervolgens is er nog een tweede zienswijze wat betreft het effect van hbo-docenten op de prestatie van studenten. Hierbij gaat men ervan uit dat het doceren een beroep is waarbij beroepsgerelateerde kennis nodig is. Volgens deze aanname moeten hbo-docenten beschikken over drie verschillende soorten kennis (Bromme, 2001). Ten eerste moeten zij beschikken over inhoudelijke vakkennis. Hiermee bedoelt men de diepgaande kennis over de lesstof. Ten tweede wordt van docenten opleidingsspecifieke pedagogische kennis verwacht, waarbij het gaat om kennis die nodig is om de lesstof voor studenten zo toegankelijk mogelijk te maken. Ten derde wordt opleidingsonafhankelijke psychologisch-pedagogische kennis genoemd. Hierbij gaat het erom dat docenten moeten weten hoe men les- en leersituaties in het algemeen kan verbeteren (Voss, Kunter, en Baumert, 2011).

De derde zienswijze waarop men de bekwaamheid van docenten kan beoordelen is op basis van hun beroepskennis. Volgens deze benadering leren hbo-docenten studenten hoe zij vaardigheden, kennis, houding en motivatie in specifieke beroepssituaties moeten inzetten.

12

Deze benadering komt vooral bij specifieke en veeleisende beroepsopleidingen van pas (Hartig, & Rauch, 2008).

Omdat in het hoger beroepsonderwijs juist het toepassen van theoretische inzichten op praktische situaties voorop staat, lijkt mij voornamelijk de tweede en derde zienswijze relevant. Hbo-studenten moeten na het afronden van hun studie direct inzetbaar zijn voor een baan die aansluit bij hun studie. Daarom zijn docenten die over deze vak- en beroepskennis beschikken belangrijker dan docenten die gepromoveerd zijn. Een student die verpleegkunde studeert moet aan het einde van zijn of haar studie over kennis en vaardigheden beschikken wat betreft het verplegen van mensen.

In de laatste jaren is echter ook veel nadrukkelijker het uitvoeren van onderzoek binnen hbo-opleidingen als vereiste opgevoerd. Hbo-scholen streven naar personeelsbestand waarin zoveel mogelijk docenten een masteropleiding hebben gevolgd (Joosten-ten Brinke, Sluijsmans, & Peeters, 2012). Om te onderzoeken of deze trend naar hoger opgeleide docenten een gunstig effect heeft op de kwaliteit van het onderwijs, kies ik alsnog voor de eerste zienswijze. Juist omdat er tegenwoordig ook binnen het hoger beroepsonderwijs meer nadruk gelegd wordt op onderzoeksvaardigheden, onderzoek ik of het kennisniveau op onderzoeksgebied van docenten relevant is voor de kwaliteit van het hoger beroepsonderwijs. Hoe hoger een docent opgeleid is, hoe meer deze over onderzoeksvaardigheden zal beschikken en in staat zal zijn om deze kennis op studenten over te dragen. Hieruit volgt mijn tweede hypothese: hoe hoger het opleidingsniveau van docenten is, hoe beter de kwaliteit van het beroepsonderwijs zal zijn.

Aantal contacturen en de kwaliteit van het hoger beroepsonderwijs

Als tweede interne onderwijsfactor kijk ik naar het aantal contacturen dat hbo studenten tijdens hun bacheloropleiding met docenten hebben. Wanneer men naar het landelijk niveau kijkt, zijn er grote verschillen te vinden tussen landen onderling wat betreft het aantal contacturen dat studenten tijdens hun opleiding hebben. 15-jarigen hebben in België, Frankrijk en Griekenland bijvoorbeeld gemiddeld meer dan duizend contacturen per studiejaar, terwijl dat in Engeland, Luxemburg en Zweden op 750 ligt (OECD, 2006).

Uit onderzoek blijkt dat de contacttijd een positief effect heeft op het prestatieniveau van studenten maar dat dat effect zwakker is dan op beleidsniveau wordt gedacht. Hierdoor zou bijvoorbeeld een land als Amerika het positief effect op hun onderwijskwaliteit door het verhogen van contacturen overschatten en zou het niet zo makkelijk zijn hun achterstand wat betreft onderwijskwaliteit in te halen (Lavy, 2010). Alsnog wordt er in onderzoek een positief effect van de contacttijd op de prestatie van leerlingen gevonden. Het blijkt dat per uur dat

15-13

jarigen meer les hebben ook de resultaten in vakken zoals wiskunde, wetenschap en talen beter worden. Dit effect is groter voor meisjes, leerlingen uit een sociaaleconomisch zwakker milieu en allochtonen (Lavy, 2010).

In een studie van Pishke (2007) wordt een natuurlijk experiment in West-Duitsland in 1966-67 gebruikt om een potentieel selectie-effect te voorkomen. Hierbij kreeg een aantal studenten twee derde van het jaar minder les dan de anderen. De studie laat zien dat onder deze leerlingen het aantal dat een jaar moest herhalen steeg en leidde ertoe dat minder van hen hogere middelbare schoolopleidingen volgden.

Op basis van deze onderzoeken verwacht ik dat de hbo-studenten die meer contacturen hebben met docenten, gemiddeld ook betere eindwerkstukken zullen schrijven. Daaruit volgt mijn derde hypothese: hoe meer contacturen de studenten met docenten hebben, hoe beter de kwaliteit van het beroepsonderwijs zal zijn.

Aantal studenten per docent en de kwaliteit van het hoger beroepsonderwijs

Wanneer men ouders en docenten ondervraagt over hun opinie wat betreft de klassengrootte geven zij over het algemeen aan dat zij kleinere groepen prefereren. Dit komt doordat men denkt dat studenten in kleinere groepen meer leren (Mueller, Chase en Walden, 1988). Wanneer het aantal studenten in een klas kleiner is, is er meer persoonlijke aandacht van de docent voor iedere student. Daardoor kunnen studenten in kleinere klassen makkelijker eventuele achterstanden inhalen of zich beter op de lesstof concentreren. Studenten als docenten voelen zich fijner in kleinere groepen en er is meer ruimte voor vragen en discussies waardoor de lesstof op een actieve manier kan worden behandeld (Angrist and Lavy, 1999).

Ook sociale wetenschappers en schoolbestuurders zijn al lang geïnteresseerd in de kwestie van de klassengrootte. De klassengrootte wordt vaak gezien als een factor die eenvoudiger te veranderen is dan andere factoren binnen het onderwijs, en is dan ook vaak onderwerp van beleidsdebatten (Robinson, 1990, voor de Verenigde Staten; OFSTED, 1995, voor Groot-Brittannië).

Terwijl het reduceren van de klassengrootte vaak aanbevolen wordt om de prestatie van studenten te verhogen en de prestatieverschillen tussen studenten te verkleinen geeft onderzoek aan dat het moeilijk is om daadwerkelijke effecten te meten. Dit komt doordat een gemeten effect ook afhankelijk kan zijn van andere factoren zoals de studentenpopulatie (Boozer and Rouse, 2001; Dobbelsteen et al., 2002; Lazear, 2001), het type studenten (Krueger and Whitmore, 2001, 2002), de studiegenoten (Hanushek et al., 2003; Whitmore, 2005), en de strategie van docenten (Betts and Shkolnik, 1999).

14

Rekening houdend met deze neveneffecten laat Krueger (1999) in zijn onderzoek zien dat wanneer men het aantal studenten in een klas voor een jaar met tien procent reduceert, de prestaties van de leerlingen eveneens met tien procent vooruitgaan. Wanneer men dit voor een periode van drie jaar doet stijgt de prestatie van deze leerlingen met 13 procent. Vanuit deze bevindingen luidt mijn vierde hypothese: hoe groter het aantal studenten per docent is, hoe slechter de kwaliteit van het beroepsonderwijs zal zijn.

Grafiek 1. Hypothesen

15

Datapreparatie en operationalisatie

Data

Om antwoord te kunnen geven op deze probleemstellingen, heb ik een selectie gemaakt van 145 beoordelingsrapporten van het evaluatiebureau Hobéon. Omdat het voor mijn analyse belangrijk is dat de beoordelingsrapporten zo vergelijkbaar mogelijk zijn heb ik een aantal keuzes gemaakt.

Ten eerste heb ik alleen gekozen voor beoordelingsrapporten die geschreven zijn door panels van het bureau Hobéon en niet door de NVAO of een van de andere acht evaluatiebureaus in Nederland. Hierdoor hebben alle rapporten hetzelfde format en is de variatie tussen de beoordelende panels zo klein mogelijk. Op die manier zijn de beoordelingsrapporten door de kleinst variërende groep van panels geschreven waardoor de vergelijkbaarheid van de verschillende beoordelingen zo groot mogelijk is. Hiervoor heb ik op de website van de NVAO 1250 beoordelingsrapporten doorzocht om vervolgens alleen de 145 beoordelingsrapporten van het evaluatiebureau Hobéon te selecteren.

Ten tweede zijn alle beoordelingsrapporten geschreven in de periode van 2012-2014, nadat de Wet Versterking Besturing van kracht is geworden en waarmee de Wet op het Hoger Onderwijs en Wetenschappelijk Onderzoek is gewijzigd. Vervolgens trad namelijk in januari 2011 het nieuwe accreditatiestelsel in werking waarbij ‘Toetsing en gerealiseerde eindkwalificaties’ als aparte standaard is opgenomen (Joosten-ten Brinke & Sluijsmans, 2012). Hierdoor zijn de criteria van alle geselecteerde beoordelingsrapporten volgens dezelfde standaarden getoetst en kunnen daardoor beter met elkaar vergeleken worden (Appendix 2,3). Ten derde heb ik gekozen om alleen gebruik te maken van beoordelingsrapporten van Nederlandse voltijd hbo-bacheloropleidingen. Dit houdt in dat het allemaal beoordelingen zijn van vierjarige opleidingen binnen het hoger beroepsonderwijs, waarbij studenten in totaal 240 ECTS moeten behalen om een bachelordiploma te krijgen. Bij de 145 beoordelingsrapporten zijn 67 verschillende opleidingen van 13 verschillende hogescholen vertegenwoordigd. Dat zijn alle beoordelingen voor hbo-bacheloropleidingen die het evaluatiebureau Hobéon in de periode van 2012-1014 heeft gegeven. Hierbij gaat het om 39 uitgebreide en 109 beperkte beoordelingsrapporten. Ik kon beide varianten gebruiken omdat de informatie die ik voor mijn onderzoek nodig heb in zowel de beperkte als de uitgebreide beoordelingsrapporten te vinden is (nadere informatie over het verschil tussen de beperkte of de uitgebreide beoordelingsrapport is in de appendix te vinden).

Op basis van de boven genoemden keuzes heb ik 145 beoordelingsrapporten op de website van de NVAO geselecteerd. De 145 beoordelingsrapporten bestaan uit 61 verschillende

16

opleidingen van 15 verschillende hogescholen in Nederland. De 61 verschillende opleidingen zijn verdeelt over zeven vakgebieden, namelijk: economie, gedrag & maatschappij, gezondheidszorg, natuur, recht, taal, kunst & cultuur en techniek. Vervolgens heb ik uit ieder beoordelingsrapport de voor mij relevante informatie gehaald. Eerst heb ik alle informatie in een Excel tabel opgeslagen en bewerkt, om vervolgens de data naar SPSS te exporteren. Hieronder geef ik een overzicht hoe ik de afhankelijke, onafhankelijke en de controlevariabelen van mijn onderzoeksvragen geoperationaliseerd heb.

Afhankelijke variabele: Percentage als voldoende beoordeelde eindwerkstukken

Bij een evaluatie van een hbo-bacheloropleiding moet het visitatiepanel volgens Standaard 3 in de beperkte en Standaard 16 in de uitgebreide opleidingsbeoordeling altijd kijken of de opleiding beschikt over een adequaat systeem van toetsing en of de beoogde eindkwalificaties worden gerealiseerd. De toelichting van de NVAO luidt als volgt: Het gerealiseerde niveau blijkt

uit de tussentijdse en afsluitende toetsen, de afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk (NVAO, 2014). Om de

kwaliteit van het onderwijs in het hoger beroepsonderwijs te kunnen toetsen heb ik ervoor gekozen om naar de beoordeling van eindwerkstukken door het visitatiepanel te kijken.

Op basis van deze standaard nemen de visitatiepanels van het evaluatiebureau Hobéon altijd een gestratificeerde steekproef van een aantal eindwerkstukken van een opleiding. Het aantal opnieuw beoordeelde eindwerkstukken per opleiding varieert bij de door mij gekozen beoordelingsrapporten tussen de 6 en 40 stuks en is afhankelijk van het aantal studenten dat is afgestudeerd. Het visitatiepanel maakt hierbij een selectie uit de twee jaren voorafgaand aan de visitatiedatum. Vervolgens leest het visitatiepanel deze geselecteerde eindwerkstukken en beoordeelt deze opnieuw. Hierdoor controleert het visitatiepanel of de eindwerkstukken op de juiste manier door de docenten zijn beoordeeld en of de studenten daadwerkelijk het beoogde eindniveau hebben behaald.

Wanneer het visitatiepanel bij het trekken van een steekproef meer dan 10% van de eindwerkstukken met een onvoldoende beoordeelt schalen zij de steekproef met nog een aantal eindwerkstukken op. Hierbij kiezen zij de eindwerkstukken meestal uit de meest recente lichting omdat hierbij de maatregelen die hogescholen in de afgelopen jaren hebben genomen met betrekking tot de kwaliteit van het onderwijs het meest zichtbaar zouden moeten zijn.

Bij mijn analyse van de 145 beoordelingsrapporten viel mij op dat de visitatiepanels bij het beoordelen van de geselecteerde eindwerkstukken niet altijd dezelfde beoordelingscategorieën aanhouden. Sommige panels maken een verschil tussen

17

‘onvoldoende’, ‘net voldoende’ en ‘voldoende’, maar in de meeste beoordelingsrapporten ben ik alleen de categorieën ‘onvoldoende’ en ‘voldoende’ tegen gekomen. Op basis hiervan heb ik ervoor gekozen om alleen de categorieën ‘onvoldoende’ en ‘voldoende’ aan te houden en heb deze indeling voor alle beoordelingsrapporten aangepast. Hierdoor heb ik bij de desbetreffende gevallen de categorie ‘net voldoende’ en ‘voldoende’ samengevoegd. Vervolgens heb ik per opleiding het percentage van eindwerkstukken uitgerekend dat door het visitatiepanel met een voldoende is beoordeeld.

Als nadere toelichting dient het volgende rekenvoorbeeld: Op basis van een steekproef controleert het panel 15 eindwerkstukken van een bepaalde opleiding. Hieruit blijkt dat er van de 15 eindwerkstukken 3 onvoldoende en 12 voldoende zijn. Vervolgens reken ik het aantal voldoendes (12) gedeeld door het totale aantal eindwerkstukken (15) en kom daardoor bij het percentage van voldoendes (0,8 = 80%). Hierdoor kan men per opleiding zien wat het percentage van als voldoende beoordeelde eindwerkstukken is. Dat percentagegetal van de als voldoende beoordeelde eindwerkstukken gebruik ik als mijn afhankelijke variabele om de kwaliteit van het hoger beroepsonderwijs te meten.

Uit tabel 1. blijkt dat gemiddeld 93 procent van eindwerkstukken door het visitatiepanel met een voldoende wordt beoordeeld. Dit wil zeggen dat volgens het evaluatiebureau Hobéon gemiddeld per hbo bachelor opleiding 7 procent van de studenten onder het verwachte eindniveau afstuderen. Bij 50,3 procent van de gecontroleerde opleidingen beoordeelt het visitatiepanel minimaal één eindwerkstuk van de steekproef met een onvoldoende. Hierdoor bedraagt het percentage opleidingen waarbij het visitatiepanel geen onvoldoendes onder de positief beoordeelde eindwerkstukken vindt slechts 49.7 procent (Appendix 4).

Onafhankelijke variabele: Voortgang examencommissie

De eerste onafhankelijke variabele die ik in mijn onderzoek meet, is de voortgang van de examencommissies. In ieder beoordelingsrapport (Standaard 3 in de beperkte en Standaard 16 in de uitgebreide opleidingsbeoordeling) geeft het visitatiepanel op basis van gesprekken met leden uit de examencommissie en verslagen aan, in hoeverre de examencommissie voldoet aan de kwaliteitsborging. Sinds januari 2011 het nieuwe accreditatiestelsel in werking is getreden, wordt van de examencommissies verwacht dat zij op een onafhankelijke manier waarborgen dat de kwaliteit van het eindniveau van studenten voldoende is.

In de beoordelingsrapporten beschrijven de visitatiepanels in hoeverre de desbetreffende examencommissie voldoet aan de nieuwe regels en welke veranderingen hebben plaats gevonden sinds het nieuwe accreditatiestelsel in werking is getreden. In de

18

beoordelingsrapporten die ik heb geanalyseerd, variëren de beoordelingen die de visitatiepanels aan examencommissies geven tussen ‘onvoldoende’, ‘net voldoende’, ‘voldoende’ en ‘goed’ .

Doordat ik 145 beoordelingen van visitatiepanels over de voortgang van examencommissies met elkaar heb vergeleken, heb ik een goed overzicht gekregen op welke punten deze van elkaar verschillen. Aandachtspunten waren bijvoorbeeld of de leden van een examencommissie trainingen hebben gekregen op het gebied van toetsing en/of wet- en regelgeving. Ook werd er gekeken of de kwaliteit van toetsen en het gerealiseerde niveau voldoende worden geborgd door de steekproeven die de examencommissie van toetsen en eindwerkstukken neemt. Vervolgens keek ik of de examencommissie onafhankelijk van het management opereert en of er minimaal een extern lid aanwezig is.

Tijdens mijn analyse werd duidelijk dat de onderbouwing en uitvoering van deze beoordelingen door de visitatiepanels per beoordelingsrapport nogal kan verschillen. Het viel mij op dat de beoordelingen van de visitatiepanels niet helemaal consistent zijn. Hiermee doel ik onder andere op het eerder door mij genoemde onderscheid tussen ‘net voldoende’, ‘voldoende’ of ‘goed’, waaruit blijkt dat de beoordelingsrichtlijnen niet altijd op dezelfde manier worden gehandhaafd door de verschillende visitatiepanels. Sommige panels lijken juist strenger of soepeler in de beoordeling van examencommissies. Dit was voor mij reden om in sommige gevallen het oordeel van het visitatiepanel op basis van boven genoemde indicatoren een graad op of af te ronden. Hierdoor heb ik ervoor gezorgd dat in mijn analyse examencommissies met dezelfde voortgang ook dezelfde beoordeling hebben. Wanneer het visitatiepanel tot het oordeel ‘onvoldoende’ is gekomen heb ik hieraan niks veranderd.

In maar twee van de 145 gevallen beoordeelde het visitatiepanel de voortgang van de examencommissie als onvoldoende (zie tabel 1). Voor mijn analyse heb ik de waarden 1-4 aan de categorieën ‘onvoldoende’, ‘net voldoende’, ‘voldoende’ en ‘goed’ toegekend. Vervolgens heb ik een lineariteitstoets uitgevoerd, waarbij ik de gemiddelde voortgang van examencommissies heb vergeleken met het gemiddelde percentage van eindwerkstukken met een voldoende. Het is te zien dat er een lineair verband is tussen deze twee variabelen waardoor ik deze onveranderd in mijn volgende lineaire regressieanalyse kan gebruiken.

Onafhankelijke variabele: Opleidingsniveau docenten

Om in mijn analyse het opleidingsniveau van docenten te meten heb ik bij alle 145 beoordelingsrapporten naar het percentage docenten gekeken dat minimaal een masteropleiding heeft. Wat betreft de kwaliteit van docenten geeft de NVAO onder ander de volgende definitie aan: ‘Iedere opleiding moet bij een visitatie laten zien dat het programma,

19

het personeel en de opleidingsspecifieke voorzieningen het voor de instromende studenten mogelijk maken de beoogde eindkwalificaties te realiseren. De kwaliteit van het personeel en van de opleidingsspecifieke voorzieningen is daarbij essentieel. Programma, personeel en voorzieningen vormen een voor studenten samenhangende onderwijsleeromgeving’ (Standaard

2 in de beperkte en Standaard 8 in de uitgebreide opleidingsbeoordeling).

In mijn onderzoek kijk ik alleen naar de kwaliteit van de docenten, omdat de beschrijvingen van het onderwijsprogramma en de opleidingsspecifieke voorzieningen in de verschillende beoordelingsrapporten niet op een kwantitatieve manier vergelijkbaar zijn. De inhoudelijke verschillen in het curriculum van de diverse opleidingen zijn te groot en het onderscheid van de opleidingsspecifieke voorzieningen zijn te sterk.

Iedere opleiding in het hoger onderwijs moet bij een visitatie aangeven wat het hoogste opleidingsniveau is van de docenten die binnen de opleiding werkzaam zijn. Hierbij wordt aangegeven hoeveel procent van de docenten een bachelor- of masteropleiding heeft of gepromoveerd is. Sommige opleidingen geven ook aan of docenten een bachelor- of masteropleiding op hbo of wo niveau hebben behaald, welk verschil in de meeste beoordelingsrapporten echter niet terug komt. Daarom heb ik ervoor gekozen om in mijn analyse alleen het verschil te maken tussen docenten die een bachelor- of masteropleiding hebben of gepromoveerd zijn.

Om het variërende opleidingsniveau van docenten per opleiding met elkaar te kunnen vergelijken, heb ik uit alle 145 beoordelingsrapporten het percentage van de docenten met minimaal een masteropleiding uitgerekend. Wanneer bijvoorbeeld een opleiding aangeeft dat er van de docenten 20% een bachelor- en 70% een masteropleiding heeft en 10% gepromoveerd is, dan neem ik het getal 80% mee in mijn analyse. Bij deze opleiding hebben dan namelijk 80% van de docenten minimaal een masteropleiding.

In tabel 1. is te zien dat gemiddeld 71,11 procent van de docenten van de 145 verschillende opleidingen, minimaal een masteropleiding hebben of zelfs gepromoveerd zijn. Vervolgens heb ik een lineairiteitstoets uitgevoerd, waarbij ik het gemiddelde aantal docenten met minimaal een masteropleiding heb vergeleken met het gemiddelde percentage van eindwerkstukken met een voldoende. Hierbij is te zien dat er een lineair verband is tussen deze twee variabelen waardoor ik deze onveranderd in mijn volgende lineaire regressie kan gebruiken.

20

Onafhankelijke variabele: Contacturen tussen studenten en docenten

Als derde onafhankelijke variabele heb ik uit alle 145 verschillende beoordelingsrapporten het aantal contacturen tussen studenten en docenten meegenomen. Iedere opleiding moet bij een visitatie een overzicht van basisgegevens aan het visitatiepanel doorgeven. Dat overzicht is altijd aan het begin van het beoordelingsrapport te vinden en geeft onder andere aan wat het gemiddeld aantal klokuren per week aan geprogrammeerde contacttijd voor ieder jaar van de opleiding is. Een opleiding geeft bijvoorbeeld aan dat gemiddeld per week in het eerste jaar 15, in het tweede jaar 12, in het derde jaar 4 en in het vierde jaar 8 contacturen staan ingepland. Voor mijn analyse heb ik deze uren bij elkaar opgeteld waardoor ik in dit geval uitkom bij een totaal van 41 contacturen. Doordat het in alle 145 beoordelingsrapporten om vierjarige hbo bacheloropleidingen gaat kan ik het aantal contacturen tussen studenten en docenten op deze manier met elkaar vergelijken.

In tabel 1. is te zien dat er bij de 145 verschillende hbo bacheloropleidingen gemiddeld 12,82 contacturen per week (51,26 / 4 = 12.82) ingepland staan. Bij dat aantal contacturen zijn de stage-uren niet meegerekend. Het aantal contacturen per week varieert tussen de 6,5 en 33,3 per opleiding. Uit de lineairiteitstoets blijkt dat het gemiddelde aantal contacturen tussen studenten en docenten per opleiding en het gemiddelde percentage van eindwerkstukken met een voldoende significant samenhangen. Hierdoor kan ik de onafhankelijke variabele contacturen onveranderd in mijn lineaire regressieanalyse meenemen.

Onafhankelijke variabele: Studentenaantal per docent

Als vierde onafhankelijke variabele heb ik uit alle 145 verschillende beoordelingsrapporten het aantal studenten per docent meegenomen. Iedere opleiding moet bij een visitatie een overzicht van basisgegevens aan het visitatiepanel doorgeven. Dat overzicht is altijd aan het begin van het beoordelingsrapport te vinden en geeft onder andere aan wat binnen de opleiding het gemiddeld aantal studenten per docent is. Een opleiding geeft bijvoorbeeld aan dat een docent gemiddeld aan 20 studenten les geeft.

In tabel 1. is te zien dat er bij de 145 verschillende hbo-bacheloropleidingen een docent gemiddeld aan 25 studenten lesgeeft. Het aantal studenten varieert tussen de 5 en 36 per docent. Uit de lineairiteitstoets blijkt dat het gemiddelde aantal studenten per docent en het gemiddelde percentage van eindwerkstukken met een voldoende significant samenhangen. Hierdoor kan ik de onafhankelijke variabele ‘studentenaantal per docent’ onveranderd in mijn lineaire regressieanalyse meenemen.

21

Controlevariabele: Visitatiejaar

In mijn analyse controleer ik voor het jaar waarin het panel de visitatie heeft uitgevoerd. Dit doe ik omdat het een verschil zou kunnen maken of opleidingen in 2012 of 2014 werden bezocht. Vanaf het moment dat het nieuwe accreditatiestelsel in het begin van 2011 is ingevoerd hebben de opleidingen binnen het hoger beroepsonderwijs de tijd gehad om de nodige aanpassingen voor een betere kwaliteitsborging door te voeren. Opleidingen die pas in 2014 werden beoordeeld hebben meer tijd gehad om maatregelen te nemen dan opleidingen die in 2012 bezocht werden. Om een effect op basis van het visitatiejaar op de kwaliteit van de eindwerkstukken te voorkomen controleer ik hiervoor.

Uit de lineairiteitstoets blijkt dat wanneer ik het gemiddelde jaar met het gemiddelde percentage van eindwerkstukken met een voldoende met elkaar vergelijk, er sprake is van een lineair verband. Hierdoor kan ik de controlevariabele onveranderd mee nemen. Voor de analyse heb ik ieder jaar een cijfer toegekend (2012=1, 2013=2, 2014=3).

Tabel 1: Gemiddelde, standard deviatie, min en max

Gemiddelde Std.afwijking Min. Max.

Procentage eindwerkstukken met een voldoende per opleidng 0.93 0.11 0.35

Het laagste percentage van eindwerkstukken met een voldoende per opleiding

1,00 Het hoogste percentage van eindwerkstukken met een voldoende per opleiding Voortgang examencommissie 3.11 0.67 1,00 Onvoldoende 4,00 Goed Opleidingsniveau docenten 71.11 20.71 10.80

Het laagste percentage van docenten met minimaal een masteropleiding per opleiding 100.00 Het hoogste percentage van docenten met minimaal een masteropleiding per opleiding Contacturen (gem. aantal uren per week * 4 jaar)

51.26 18.86 26,00 133,00 Studentenaantal per docent 24.91 5.64 5,00 37,00 Visitatiejaar 1.9 0.65 1,00 2012 3,00 2014 N=145 Bron: NVAO, 2015

22

Lineaire regressieanalyse en resultaten

Om mijn hypothesen te toetsen heb ik lineaire regressies uitgevoerd. Per hypothese zal ik de stappen die ik in de procedure heb doorgenomen toelichten en de resultaten presenteren. De uitkomsten van de regressieanalyses worden gepresenteerd in tabel 2. In totaal heb ik negen lineaire regressiemodellen gemaakt. Dit was noodzakelijk omdat ik het effect van de vier onafhankelijke variabelen zoals de voortgang van de examencommissie, het opleidingsniveau van docenten, het aantal contacturen en het studentenaantal per docent op de kwaliteit van de eindwerkstukken heb gemeten. Per onafhankelijke variabele heb ik twee regressiemodellen gemaakt. Eén waarin alleen de onafhankelijke variabele gemeten wordt en vervolgens hetzelfde model gecontroleerd voor het jaar van de visitatie. Tot slot heb ik nog een regressieanalyse gemaakt waarin zowel alle vier de onafhankelijke variabelen als de controlevariabele opgenomen zijn.

Mijn eerste hypothese is: ‘Hoe beter de kwaliteitsborging door de examencommissie is, hoe beter de kwaliteit van het onderwijs zal zijn.’ Model 1a van de regressieanalyse bevat het effect van de voortgang van de examencommissie op de kwaliteit van de eindwerkstukken. Hierin is te zien dat er een sterk significant en positief verband is tussen de kwaliteit van de eindwerkstukken en de voortgang van de examencommissie. Hoe beter de beoordeling van de examencommissies is, hoe groter is het percentage van voldoendes bij de eindwerkstukken. Wanneer ik het model voor het effect van het visitatiejaar controleer (model 1b), blijft het hoofdeffect tussen de voortgang van de examencommissie en het percentage van voldoendes bij de eindwerkstukken significant en sterk. Dit wil zeggen dat mijn eerste hypothese bevestigd wordt. Het effect van de controlevariabele, het visitatiejaar, is niet significant. Dit wil zeggen dat er geen verband is tussen visitatiejaar en de kwaliteit van de eindwerkstukken. Verder is te zien dat de voortgang van de examencommissie 20 procent (R kwadraat = 0.20) van het effect op de kwaliteit van de eindwerkstukken verklaart.

In model 2a en 2b toets ik mijn tweede hypothese: ‘Hoe hoger het opleidingsniveau van docenten is, hoe beter de kwaliteit van het onderwijs zal zijn.’ In het model 2a is te zien dat er in plaats van een positief significant effect van het opleidingsniveau van docenten op de kwaliteit van de eindwerkstukken, een negatief significant effect gevonden wordt. Dit wil zeggen dat hoe groter het aantal docenten met minimaal een masteropleiding, hoe groter is het aantal onvoldoendes bij de beoordeling van de eindwerkstukken door het visitatiepanel. Dit negatief effect is wel significant maar heel zwak. Hierdoor wordt mijn tweede hypothese verworpen. Wanneer ik in model 2b controleer voor het visitatiejaar blijft het negatieve effect tussen het opleidingsniveau van docenten en de kwaliteit van de eindwerkstukken significant. Het effect van de controlevariabele, het visitatiejaar, is echter positief maar niet significant.

23

Vervolgens heb ik in model 3a en 3b gemeten of er een positief effect bestaat tussen het aantal contacturen dat studenten met docenten hebben en de kwaliteit van eindwerkstukken. Wanneer ik in model 3a niet controleer voor het visitatiejaar is er wel een licht positief effect te zien, maar is deze echter niet significant. Hetzelfde geldt wanneer ik in model 3b controleer voor het visitatiejaar. Er is dan nog steeds een licht positief effect te zien maar deze is ook in dit geval niet significant. Ook het effect van het visitatiejaar op de kwaliteit van de eindwerkstukken is wel positief maar niet significant. Op basis van deze bevindingen verwerp ik mijn derde hypothese: ‘Hoe meer contacturen de studenten met docenten hebben, hoe beter de kwaliteit van het onderwijs zal zijn.’

In model 4a toets ik mijn vierde hypothese: ‘Hoe groter het aantal studenten per docent is, hoe slechter de kwaliteit van het onderwijs zal zijn.’ In het model 4a is een negatief en significant effect tussen een hoger aantal studenten per docent en de kwaliteit van eindwerkstukken te zien. Dit betekent dat hoe groter het aantal studenten per docent is, hoe slechter de kwaliteit van de eindwerkstukken is. Hierdoor wordt mijn vierde hypothese bevestigd. Vervolgens is te zien dat het aantal studenten per docent 9,6 procent (R kwadraat = 0.096) van het effect op de kwaliteit van de eindwerkstukken verklaart. In model 4b controleer ik voor het visitatiejaar maar blijft het negatief effect van het aantal studenten op de kwaliteit van de eindwerkstukken significant. Het effect van het visitatiejaar (controlevariabele) is positief maar ook in dit model niet significant.

Tot slot heb ik in model 5 alle variabelen in mijn lineaire regressieanalyse opgenomen. De onafhankelijke variabelen zoals de voortgang van de examencommissie, het opleidingsniveau van de docenten, het aantal contacturen, het aantal studenten per docent en het jaar van de visitatie als controlevariabele. Door in dit model de onafhankelijke variabelen voor elkaar te controleren kan ik zien welke effecten nog overblijven. Uit deze lineaire regressieanalyse blijkt dat de voortgang van de examencommissie een positief en significant effect heeft op de kwaliteit van de eindwerkstukken. Dit wil zeggen dat hoe beter de kwaliteitsborging van de examencommissies is, hoe beter de kwaliteit van de eindwerkstukken is die door de visitatiepanels van Hobéon beoordeeld worden. Mijn eerste hypothese blijft ook in dit model bevestigt.

Vervolgens blijkt uit model 5 dat, tegen mijn verwachting in, het opleidingsniveau van docenten een negatief en significant effect op de kwaliteit van de eindwerkstukken heeft. Hoe hoger het percentage van docenten met minimaal een masteropleiding is, hoe slechter de kwaliteit van de eindwerkstukken van de hbo-bachelorstudenten is. Hierdoor wordt mijn tweede hypothese ook onder controle van de andere onafhankelijke variabelen verworpen.

Verder wordt mijn verwachting dat het aantal contacturen tussen docenten en studenten een positief effect op de kwaliteit van de eindwerkstukken zou hebben, ook in

24

model 5 niet bevestigd. Anders dan in model 3a en 3b wordt het effect van het aantal contacturen in model 5 zelfs negatief en is het niet significant. Hierdoor moet ik mijn derde hypothese, namelijk dat hoe meer contacturen studenten met hun docenten hebben, hoe beter de kwaliteit van hun eindwerkstukken zal zijn, verwerpen.

Als laatste onafhankelijke variabele heb ik in model 5 het aantal studenten per docent toegevoegd. Hieruit blijkt dat er een negatief en significant effect is tussen het aantal studenten en de kwaliteit van de eindwerkstukken. Dit wil zeggen dat hoe groter het aantal studenten per docent is, hoe slechter de kwaliteit van hun eindwerkstukken is. Hierdoor wordt mijn vierde hypothese bevestigd. Het visitatiejaar heb ik ter controle ook in model 5 toegevoegd. Echter heeft deze ook hier geen significant effect op de kwaliteit van de eindwerkstukken. Samen verklaren de onafhankelijke variabelen en de controlevariabele 31 procent (R kwadraat = 0.31) van alle variatie in de kwaliteit van de eindwerkstukken.

Tabel 2: Lineaire regressievergelijking met de kwaliteit van eindwerkstukken

Model 1a Model 1b B St. Error B St. Error Intercept 0.701*** 0.039 0.704*** 0.043 Voortgang examencommissie 0.073*** 0.012 0.074*** 0.012 Controlevariabele jaar -0.002 0.013 R kwadraat 0.200 0.201 Model 2a Model 2b B St. Error B St. Error Intercept 1.025*** 0.032 1.006*** 0.041 Opleidingsniveau docenten -0.001** 0.000 -0.001** 0.000 Controlevariabele jaar 0.010 0.014 R kwadraat 0.067 0.07 Model 3a Model 3b B St. Error B St. Error Intercept 0.887*** 0.026 0.865*** 0.038 Contacturen 0.001 0.000 0.001 0.000 Controlevariabele jaar 0.011 0.014 R kwadraat 0.019 0.024 Model 4a Model 4b B St. Error B St. Error Intercept 1.078*** 0.039 1.065*** 0.049

Aantal studenten per docent -0.006*** 0.002 -0.006*** 0.002

Controlevariabele jaar 0.006 0.013 R kwadraat 0.096 0.098 Model 5 B St. Error Intercept 0.957*** 0.079 Voortgang examencommissie 0.071*** 0.012 Opleidingsniveau docenten -0.001* 0.000 Contacturen -0.001 0.001

Aantal studenten per docent -,005*** 0.002

Controlevariabele jaar -,007 0.012 R kwadraat 0.31 (N=145) ***=p<0,001 **=p<0,01 *=p<0,05 Bron: NVAO, 2015

25

Conclusie en discussie

In deze studie heb ik onderzocht in hoeverre het in werking treden van de Wet Versterking Besturing en de hieraan verbonden waarborgende rol van het hoger beroepsonderwijs door examencommissies, naar een betere onderwijskwaliteit leidt. Hieruit volgde mijn eerste onderzoeksvraag die gericht was op de externe factor: in hoeverre heeft het volgen van wettelijke richtlijnen door de examencommissie invloed op de kwaliteit van het onderwijs in het hoger beroepsonderwijs? Naast deze externe factor heb ik ook gekeken naar interne onderwijsfactoren en luidde mijn tweede onderzoeksvraag: in hoeverre hangen het opleidingsniveau van docenten, het aantal contacturen van studenten en het aantal studenten per docent samen met de kwaliteit van het onderwijs in het hoger beroepsonderwijs?

Om mijn verwachtingen te toetsen heb ik aan de hand van 145 evaluatierapporten van het evaluatiebureau Hobéon een kwantitatieve data-analyse uitgevoerd door lineaire regressiemodellen te schatten en vervolgens te interpreteren. Mijn eerste verwachting was dat hoe meer examencommissies zich aan de wettelijke richtlijnen houden, hoe beter de kwaliteit zal zijn van de eindwerkstukken die door de visitatiepanels van Hobéon gecontroleerd worden. Uit de resultaten blijkt nu dat deze verwachting terecht was. Hoe beter het oordeel van het visitatiepanel over de voortgang van de examencommissie was, hoe groter het percentage van als voldoende beoordeelde eindwerkstukken door het visitatiepanel was. Daarom concludeer ik dat het rationaliseren van het hoger beroepsonderwijs met de Wet Versterking Besturing van nut is voor de kwaliteit ervan. Dit impliceert dat een strenger toezicht op de naleving van de wettelijke regelgeving door examencommissies vanuit de overheid bevordert moet worden. Vervolgens zal deze kwaliteitsverbetering van het hoger beroepsonderwijs door de toezicht van examencommissies de status van hbo-opleidingen weer verbeteren.

Verder viel het mij tijdens mijn analyse van de evaluatierapporten op dat de visitatiepanels in de loop van de afgelopen drie jaar een positieve ontwikkeling bij de examencommissies hebben vastgesteld. Opleidingen waarbij de visitatiepanels kort na de invoering van het nieuwe accreditatiestelsel in 2011 op visitatie kwamen, hebben minder de tijd gehad om alle nodige maatregelen te nemen voor een goede waarborging van de kwaliteit van de opleiding, dan opleidingen die pas in 2014 geëvalueerd werden. Alsnog was er geen significant effect van het visitatiejaar op de kwaliteit van de eindwerkstukken te zien. Een verklaring hiervoor zou kunnen zijn dat de kwaliteit van de eindwerkstukken aan de hand van een gemiddelde uitslag van de eindwerkstukken van de twee meest recente jaren is gemeten. gemeten is.

26

Het visitatiepanel kwam vaak bij de recentere eindwerkstukken minder onvoldoendes tegen dan bij de eindwerkstukken van het jaar daarvoor. Dit komt doordat de maatregelen die door de examencommissie werden genomen om de kwaliteit van de eindwerkstukken te verbeteren, vaak pas in het meest recente jaar te zien waren. Het effect van het visitatiejaar is dus wel degelijk aanwezig, maar niet zichtbaar omdat het gemiddelde cijfer door de visitatiepanels bepaald is door een steekproef te nemen uit de eindwerkstukken van de meest recente twee

jaar.

Vervolgens heb ik in mijn onderzoek gekeken naar de eerste interne factor: het opleidingsniveau van docenten. Mijn verwachting was dat het hogere opleidingsniveau van docenten en de daarbij horende onderzoeksvaardigheden een positief effect zou hebben op de kwaliteit van de eindwerkstukken van studenten. In dit geval kwamen mijn verwachtingen niet uit maar bleek er zelfs een negatief significant effect van het opleidingsniveau op de kwaliteit van de eindwerkstukken te zijn, hoewel zeer zwak. Dit wil zeggen dat de visitatiepanels bij de opleidingen waarbij het percentage docenten met minimaal een masteropleiding groter was gemiddeld meer als onvoldoende beoordeelde eindwerkstukken tegenkwamen, dan bij opleidingen waarbij docenten alleen een bacheloropleiding volgden.

Een verklaring voor deze bevindingen zou kunnen zijn dat de praktijkervaring van docenten in het hoger beroepsonderwijs belangrijker is dan hun academische onderzoeksvaardigheden. Docenten in het hoger beroepsonderwijs zijn vaak niet alleen werkzaam als docent, maar werken daarnaast nog in hetzelfde beroepsveld als waarin zij les geven. Hierdoor kunnen zij hun praktijkervaring ook inbrengen in de les. Dit kan voor studenten juist interessant en leerzaam zijn. Studenten kunnen hierdoor de samenhangen tussen theorie en praktijk beter plaatsen en toepassen. Dit inzicht is vervolgens ook terug te zien in de kwaliteit van hun eindwerkstukken.

Voor verder onderzoek zou het interessant zijn om te kijken of het effect van het opleidingsniveau van docenten verandert wanneer men naar opleidingen binnen verschillende vakgebieden kijkt. Het opleidingsniveau van docenten zou bijvoorbeeld binnen het vakgebied economie belangrijker kunnen zijn dan binnen het vakgebied van kunst. Hierbij kan men zich echter de vraag stellen in hoeverre het van belang moet zijn dat hbo-studenten die een praktijkgeoriënteerde opleiding volgen, bekwaam moeten zijn in het doen van onderzoek. Daarnaast zou ook het aantal jaren dat dat docenten lesgeven relevant kunnen zijn voor de onderwijskwaliteit. Meer ervaring in het lesgeven kan de kwaliteit van het onderwijs sterk beïnvloeden (Murnane en Phillips, 1981). Ook het volgen van andere soorten opleidingen die specifiek gericht zijn op het doceren kunnen van invloed zijn op de kwaliteit van docenten, wat zich vertaald in beter onderwijs.

27

Naast het opleidingsniveau van docenten keek ik of de invloed van het aantal contacturen dat studenten met docenten hebben invloed heeft op de kwaliteit van de eindwerkstukken. In dit geval was er geen sprake van een significant verband. Doordat ik in mijn analyse heel veel verschillende opleidingen met elkaar heb vergeleken is er ook sprake van een grote variatie wat betreft het aantal contacturen tussen de verschillende opleidingen en zou dit een verklaring voor het niet gevonden verband kunnen zijn. Studenten die bijvoorbeeld een dansopleiding (35 uren per week) volgen hebben veel meer contacturen dan studenten die een accountancyopleiding volgen (15 uren per week). Interessant zou zijn om in vervolgonderzoek binnen dezelfde opleidingen naar het effect van het aantal contacturen te kijken. Wanneer men bijvoorbeeld binnen alle hbo accountancyopleidingen in Nederland naar het effect van het aantal contacturen op de kwaliteit van het onderwijs zou kijken, zou men een betere vergelijking kunnen maken.

Als laatste interne factor heb ik gekeken of het aantal studenten per docent een positieve invloed heeft op de kwaliteit van de eindwerkstukken. Hieruit bleek dat hoe kleiner het aantal studenten per docent was, hoe beter de kwaliteit was van de eindwerkstukken. Hieruit concludeer ik dat de overheid ook maatregelen zou kunnen nemen wat betreft de klassengrootte in opleidingen om vervolgens de kwaliteit van het eindniveau van studenten te verbeteren. Om de houdbaarheid van mijn resultaten nog verder te onderbouwen zou men in vervolgonderzoek moeten controleren voor de studentenpopulatie. Hierbij moet men denken aan de verhouding van meisjes en jongens in een opleiding, de vooropleiding en leeftijd van studenten. Deze factoren verschillen per opleiding en kunnen de kwaliteit van de eindwerkstukken beïnvloeden (Boozer and Rouse, 2001; Dobbelsteen et al., 2002; Lazear, 2001).

Naast indicatoren over de studentenpopulatie zou men toekomstig onderzoek ook rekening moeten houden met de managementpraktijken van een opleiding. Uit onderzoek blijkt dat de prestatie van studenten kan samenhangen met verschillen in het management van een opleiding. Voornamelijk wanneer een school zowel autonoom is maar gelijktijdig door de overheid op bepaalde punten wordt gecontroleerd, is het verband tussen managementpraktijken en betere prestaties van studenten het sterkst (Bloom et al., 2015). Deze bevindingen geven aan dat naast een goed functionerende examencommissie, goed management ook van belang is voor de kwaliteit van het onderwijs.

28

Aanbevelingen

Op basis van de resultaten van mijn onderzoek wil ik graag een paar aanbevelingen doen aan het evaluatiebureau Hobéon, het Ministerie van Onderwijs, Cultuur en Wetenschap en de NVAO. Uit mijn onderzoek blijkt dat de invoering van de Wet Versterking Besturing een goede maatregel is geweest voor het verbeteren van de kwaliteit van het hoger beroepsonderwijs. De kwaliteitsborgende rol door de examencommissie verbetert het eindniveau van studenten. Mijn advies aan de overheid is dat deze ontwikkelingen doorgaan en dat de borgende rol van de examencommissies nog meer wordt gevestigd. Dit zou bijvoorbeeld kunnen door samenwerking tussen verschillende examencommissies te bevorderen. Het viel mij namelijk op dat iedere opleiding een net iets andere invulling geeft aan de kwaliteitsborging van een opleiding.

Dit probleem zou opgelost kunnen worden door een ministeriële richtlijn voor examencommissies binnen het hoger beroepsonderwijs in Nederland, waarin wordt uitgelegd hoe het beste invulling gegeven kan worden aan de verschillende taken. Op basis van een dergelijke richtlijn zouden ook de visitatiepanels van het evaluatiebureau Hobéon een nog duidelijkere kader hebben om de taken van de examencommissie te controleren en te evalueren. Hierdoor zou er minder variatie tussen de wijze van oordelen zitten en zou men de voortgang van verschillende examencommissies nog beter met elkaar kunnen vergelijken.

Vervolgens adviseer ik het Ministerie van Onderwijs, Cultuur en Wetenschap verder onderzoek te doen welke kwalificaties van docenten daadwerkelijk van belang zijn voor de kwaliteit van het hoger beroepsonderwijs. Dit lijkt mij belangrijker dan het stimuleren van het percentage academisch hoger opgeleiden docenten binnen het hoger beroepsonderwijs in Nederland. Het heeft weinig zin om hbo-docenten hogere academische opleidingen te laten volgen wanneer uit onderzoek blijkt dat dit geen of zelfs een negatief effect op de kwaliteit van het onderwijs heeft. In plaats van het geld in verdere opleidingstrajecten voor hbo-docenten te steken zou men het beter in het aantal docenten kunnen investeren die binnen een opleiding lesgeven. Hierdoor wordt de aandacht van docenten voor studenten groter, waardoor deze beter zullen presteren.

Bij de analyse van de evaluatierapporten van Hobéon kon ik een aantal rapporten niet meenemen in mijn analyse omdat sommige hogescholen de algemene cijfers van de opleidingen op een net iets andere manier hadden aangegeven dan de meerderheid van de hogescholen. Dit komt omdat de definities voor het aangeven van deze cijfers soms niet duidelijk genoeg zijn. Wanneer bijvoorbeeld aan de opleidingen gevraagd wordt hoeveel procent van de docenten een bachelor- of masteropleiding hebben gedaan of gepromoveerd zijn, wordt uit deze definitie niet duidelijk of het hierbij gaat om hbo of wo bachelors of