In lijn met de in paragraaf 4.2 omschreven methodologie beschrijft deze paragraaf de huidige mate van doelmatigheid binnen de mbo-sector en enkele aanknopingspunten om de doelmatigheid te vergroten.
De mbo-sector werkt actief aan doelmatigheidsverbeteringen
In de sector bestaan verschillende sturingsmechanismes die de doelmatigheid van bestedingen over de tijd vergroten. De sector werkt gestructureerd met sectorbrede benchmarks op zowel kwaliteitsuitkomsten als financiële performance. De benchmarks bieden transparantie en bevorderen daarmee het lerend vermogen van de sector. De mbo-sector heeft zelf ook verschillende lerende netwerken opgezet, zoals het kwaliteitsnetwerk, het early warning system, en de Vereniging Kwaliteitsbevordering Bestuurders Beroeps Onderwijs. Naast extern toezicht door de Inspectie van het Onderwijs heeft de sector een governance code opgesteld voor professioneel intern toezicht. Uit een evaluatie uit 2019 blijkt dat de Wet macrodoelmatigheid in het beroepsonderwijs en de “Werkwijze doelmatigheid” van SBB ertoe lijken te leiden dat de zelfregulering rondom het verbeteren van de aansluiting van het opleidingsaanbod op de arbeidsmarkt op gang komt55.
De gerealiseerde kwaliteit per opleiding en instelling dient als basis voor de verschilanalyse Dit onderzoek heeft verschillende elementen van kwaliteit in kaart gebracht, per opleiding en per instelling, op basis van een multidimensionaal kwaliteitskader. De verschillende elementen van kwaliteit die in kaart zijn gebracht, zijn: jaarresultaat, succes eerstejaars, opstroom56, arbeidsmarktparticipatie, en studenttevredenheid (zie figuur 4.11). Deze elementen vormen gezamenlijk een kwaliteitskader op basis waarvan opleidingen en instellingen te vergelijken zijn.
Verschillen in de kwaliteitsuitkomsten duiden op mogelijke doelmatigheidsverschillen tussen instellingen of opleidingen in het bereiken van kwaliteit. De tevredenheid van medewerkers en werkgevers en burgerschapsvorming zijn niet meegenomen in de doelmatigheidsanalyse, omdat deze indicatoren niet op instellings- en opleidingsniveau beschikbaar zijn. Ook deugdelijkheidseisen zijn niet meegenomen, omdat hier te weinig verklarende variatie in zit:
het oordeel van de IvhO is ‘niet onvoldoende’ voor 98% van de instellingen.
55 ResearchNed (2019) – Evaluatie van de Wet en Beleidsregel macrodoelmatigheid mbo.
56 Inclusief opstroom naar hbo.
Strategy& 4. Deelrapport mbo | 4.6 Bevindingen over de doelmatigheid van de bestedingen 29
Opstroom en arbeidsmarktparticipatie hangen meer af van de opleiding dan van de
instelling; jaarresultaat, succes eerstejaars en tevredenheid verschillen in gelijke mate tussen opleidingen als tussen instellingen
Van de geanalyseerde kwaliteitselementen (jaarresultaat, succes eerstejaars,
opstroom, arbeidsmarktparticipatie en studenttevredenheid) zien we dat opstroom en arbeidsmarktparticipatie vooral afhangen van de opleidingskeuze. Ter illustratie: voor opstroom is de spreiding binnen één instelling, tussen opleidingen, groter (15%) dan de spreiding binnen één opleiding tussen instellingen (9%). Dit betekent dat wát gestudeerd wordt, bepalender is voor de uitkomsten op opstroom en betaald werk (verschillende
FIGUUR 4.11
Score mbo-sector per kwaliteitsindicator57
FIGUUR 4.12
Variatie op kwaliteitsindicatoren, standaarddeviatie in %-punt57
57 Zie bijlage J voor toelichting en bronvermelding. Opstroom verschilt van MBO BM Studiesucces door een andere definitie (definitie opstroom binnen dit onderzoek: incl. de opstroom naar hbo). Percentage ‘betaald werk’ verschilt van MBO BM studiesucces door andere definitie (definitie ‘werkzaam’ in dit onderzoek is: het percentage van álle mbo-uitstromers dat werkzaam is voor meer dan 12 uur, in tegenstelling tot SBB die alleen kijkt naar de mbo-uitstromers die niet verder studeren).
Opstroom Betaald
Strategy&
30 4. Deelrapport mbo | 4.6 Bevindingen over de doelmatigheid van de bestedingen
indicatoren) dan waar dit wordt gestudeerd. Het onderzoeksteam merkt daarbij op dat de arbeidsmarktparticipatie deels regio- en conjunctuurafhankelijk is. Jaarresultaat, succes eerstejaars en studenttevredenheid verschillen in dezelfde mate tussen opleidingen als tussen instellingen58. Bovenstaande is samengevat in figuur 4.12.
Vanuit een wens om te komen tot kwaliteitsoptimalisatie is er ruimte voor een politieke afweging tussen het waarborgen van een breed regionaal opleidingsaanbod of het bieden van een opleidingsaanbod dat met name gericht is op aansluiting op de arbeidsmarkt en opstroom
Figuur 4.13 geeft de opstroom en de aansluiting op de arbeidsmarkt weer voor de 41 grootste opleidingen. Technische opleidingen, verzorgende en verpleegkundige opleidingen zijn voorbeelden van opleidingen met een hoge opstroom en/of arbeidsmarktparticipatie:
deze hebben een hoge opstroom naar een vervolgopleiding op hoger niveau en/of een hoog percentage studenten dat een baan vindt. Een aantal opleidingsgroepen scoort beduidend lager op (de combinatie van) opstroom en arbeidsmarktparticipatie: voor de opleidingen binnen de groep ‘media en vormgeving’ heeft bijvoorbeeld slechts 45% tot 60% van de studenten na een jaar een betaalde baan, en stroomt ook slechts 20% tot 40% door naar een opleiding op hoger niveau.
Dit geeft vanuit een wens om te komen tot kwaliteitsoptimalisatie ruimte voor een politieke afweging tussen a) het waarborgen van een breed regionaal opleidingsaanbod, of b) het bieden van een opleidingsaanbod dat met name gericht is op de aansluiting op de arbeidsmarkt en opstroom. Het onderzoeksteam merkt daarbij op dat de
arbeidsmarktparticipatie deels regio- en conjunctuurafhankelijk is en dat van ROC’s wordt verwacht dat ze een breed opleidingspakket aanbieden. Daarnaast kunnen instellingen momenteel vanwege het toelatingsrecht zelf slechts in beperkte mate studenten naar bepaalde opleidingen sturen.
In algemene zin valt op dat er een groot aantal niveau-4-opleidingen bestaat waarvoor zowel de arbeidsmarktparticipatie als de opstroom relatief laag zijn. Een mogelijke oorzaak van de relatief lagere opstroom op niveau 4 is dat vanaf niveau 4 alleen nog maar opstroom mogelijk is naar het hbo. Mogelijk zal de groeiende aandacht van het associate-degree-onderwijs tot een hogere opstroom binnen niveau 4 leiden. Tegelijk neemt het onderzoek waar dat in het hbo de uitval van mbo-instromers na een jaar relatief hoog is (21%59) en het rendement relatief laag (45% van de mbo-instromers heeft na vijf jaar een hbo-diploma60).
Eerder onderzoek heeft uitgewezen dat meerdere factoren een rol spelen in de doorstroom van mbo naar hbo: de invoering van het leenstelsel, de negatieve verwachtingen van studenten over hun kansen op het hbo, de gunstige arbeidsmarkt voor niveau-4-afgestudeerden en een gebrek aan effectieve voorlichting en voorbereiding61.
58 Diplomaresultaat kan ook afhangen van of een opleiding groei/krimpt – dit heeft het onderzoek deels gecorrigeerd door instellingen/
opleidingen met <10 inschrijvingen buiten beschouwing te laten en het gemiddelde te nemen over drie jaar. Bij uitschieters heeft het onderzoek gekeken naar de groei/krimp, de impact hiervan op het gemiddelde diplomaresultaat en de variatie ervan is beperkt.
59 ResearchNed (2020) – Monitor beleidsmaatregelen. Definitie uitval: de student heeft in instroomjaar +1 geen inschrijving in het hoger onderwijs van instroom cohort 2018.
60 ResearchNed (2020) – Monitor beleidsmaatregelen. Definitie rendement: percentage (voltijd) hbo-studenten afgestudeerd binnen vijf jaar naar vooropleiding van instroom cohort 2014. Het redendement van havo-instromers is 50%, van vwo-instromers 68%.
61 I.K van Engelshoven (2020) – Brief van de minister van Onderwijs, Cultuur en Wetenschap. Referentienummer: 31 288. Gebaseerd op ResearchNed (2020) – Dalende doorstroom mbo-hbo: waarom stroomt een steeds kleiner aandeel van de mbo-studenten door naar het hbo?
Strategy& 4. Deelrapport mbo | 4.6 Bevindingen over de doelmatigheid van de bestedingen 31 62 Opstroom verschilt van MBO BM Studiesucces door een andere definitie (definitie opstroom binnen dit onderzoek: incl. de opstroom
naar hbo). Percentage ‘betaald werk’ verschilt van MBO BM Studiesucces door andere definitie (definitie ‘werkzaam’ dit onderzoek:
het percentage van álle uitstromers dat werkzaam is voor meer dan 12 uur, in tegenstelling tot SBB die alleen kijkt naar de mbo-uitstromers die niet verder studeren). Zie bijlage J voor verdere toelichting en bronvermelding.
FIGUUR 4.13
Opstroom en arbeidsmarktperspectief voor de 41 grootste opleidingen62
67
41 grootste opleidingen Verdeling studenten
over niveaus1 Opstroom naar studie op hoger niveau
Betaald werk Betaald werk aansluitend aan
Agro: productie, handel en technologie Advies en leiding in de verkoop Dienstverlening
= laagste 5 binnen indicator= top 5 binnen indicator
0% 100%van de studenten van de opleiding binnen niveau
Strategy&
32 4. Deelrapport mbo | 4.6 Bevindingen over de doelmatigheid van de bestedingen
Er zijn geen instellingen die het consistent beter doen dan andere; instellingen lijken
studenttevredenheid en jaarresultaat vooral te kunnen beïnvloeden door de kwaliteit van het onderwijzend personeel
Het onderzoek heeft gekeken naar de verschillen tussen instellingen met dezelfde opleidingen, rekening houdend met de studentenpopulatie en de opleidingsmix. Uit deze verschilanalyse blijkt dat instellingen in staat zijn om een uniforme kwaliteit te genereren.
Daarbij geldt als algemeen beeld dat alle instellingen hoge kwaliteit realiseren op een deel van de opleidingen, en wat minder hoge kwaliteit op een ander deel van de opleidingen63. Gegeven de opleidingskeuze en de studentenpopulatie constateert het onderzoek duidelijke verschillen tussen instellingen op studenttevredenheid, jaarresultaat en succes eerstejaars.
Er is echter geen enkele instelling die op alle opleidingen de hoogste uitkomsten behaalt.
Op basis van de data zijn er drie factoren die consistent leiden tot betere
kwaliteitsuitkomsten64: zeer kleine opleidingen (<40 studenten)65, instellingen met een beperkt opleidingsaanbod (<40 opleidingen) en vakscholen doen het vaak beter. Andere factoren zorgen niet (zichtbaar) voor betere of slechtere resultaten: de student-docentratio op instellingsniveau66, het aandeel bbl, het niveau van de opleiding, en de vooropleiding van de studenten lijken allemaal niet bepalend. Op basis van de data is het aantal mogelijkheden voor instellingen om de doelmatigheid te vergroten beperkt: aan kleine opleidingen worden namelijk meer financiële middelen besteed67 en van ROC’s wordt verwacht dat ze een breed opleidingsaanbod hebben. In lijn met de bevindingen uit "De Staat van het Onderwijs”68 resteert daarmee het belang van onderwijzend personeel als beïnvloedingsfactor voor kwaliteit. Besturen kunnen via de wijze waarop ze opleidingsteams samenstellen meer invloed uitoefenen op kwaliteit dan via andere beleidsterreinen.
Concluderend: De mbo-sector werkt actief aan doelmatigheidsverbeteringen en de prestaties van instellingen zijn gelijkmatig verdeeld: elke instelling heeft beter en minder goed presterende opleidingen. Wel zijn er binnen dezelfde opleidingen duidelijke verschillen tussen instellingen die meer en minder goede resultaten behalen (ook gecorrigeerd voor achtergronden van studenten). Er is in die zin nog ruimte om te leren van de goede praktijken die sommige opleidingen laten zien in vergelijking met in theorie identieke opleidingen die aan een andere instelling worden gedoceerd. De opleidingskeuze is voor studenten een belangrijke factor in het succes op de arbeidsmarkt. Doelmatigheidsverbetering op arbeidsmarktrendement is op sectorniveau mogelijk als hogere studentenaantallen kunnen worden bewogen naar opleidingen met gemiddeld genomen betere maatschappelijke perspectieven.
63 Het onderzoek heeft onderzocht of er een instelling is waarbij voor alle door deze instelling aangeboden opleidingen, de desbetreffende opleiding bij de beste 50% van die opleiding scoort.
64 Op basis van de verschilanalyse tussen instellingen voor dezelfde opleiding, gecorrigeerd voor aandeel studenten uit APCG-gebieden. Zie bijlage J voor verdere toelichting en bronvermelding.
65 De bevinding dat kleine opleidingen een beter jaarresultaat behalen, sluit aan bij de eerdere bevinding van OCW dat studenten aan kleine opleidingen een iets grotere kans hebben om een diploma te behalen dan studenten aan grote opleidingen, wanneer wordt gecorrigeerd voor student- en opleidingskenmerken. Voor studenttevredenheid concludeert ditzelfde onderzoek dat er zeer kleine en wisselende effecten zichtbaar zijn van opleidingsgrootte. OCW (2014) – Kwaliteit kleine mbo-opleidingen.
66 De student-docentratio is niet centraal per opleiding beschikbaar, daarom is in deze analyse alleen de ratio op instellingsniveau meegenomen.
67 OCW (2014) – Kwaliteit kleine mbo-opleidingen.
68 Inspectie van het Onderwijs (2020) – De Staat van het Onderwijs.
Strategy& 4. Deelrapport mbo | 4.7 Bevindingen over de bekostiging 33