De kwaliteit van mbo-examens

Algemeen beeld

Steekproefonderzoek›@e_\kjZ_ffcaXXi)'('&)'((`jfe[\i-*.fgc\`[`e^\eY`a()-`ejk\cc`e^\e\\e

onderzoek uitgevoerd naar de kwaliteit van de examens. Het betrof 419 competentiegerichte opleidingen en 218 eindtermgerichte opleidingen. Het percentage opleidingen met voldoende examenkwaliteit is 83 procent.

De onvoldoendes komen bij beide soorten opleidingen vooral door de volgende tekortkomingen:

› ;\\oXd\ejjcl`k\efemfc[f\e[\XXefg[\cXe[\c`ab\l`kjkiffd\`j\eqfXcje\\i^\c\^[`e_\k

kwalificatiedossier.

› ;\kf\kjmfid`jfeal`jk#Y`amffiY\\c[\\edfe[\c`e^`ek\im`\nfdk\kf\kj\ef][\jkl[\ekbXe

samenwerken.

› ;\\oXd\ejmfc[f\ee`\kXXe[\kf\kjk\Z_e`jZ_\bnXc`k\`kj\`j\e%<i`jY`amffiY\\c[e`\kmXjk^\c\^[_f\m\\c

punten een beoordelaar kan toekennen voor een goed antwoord.

problematiek bewust en zoekt oplossingen in het verscherpen van de intake en het absentiebeleid, in een intensievere begeleiding of gecombineerde trajecten met een hbo-opleiding ter verhoging van de motivatie.

Groot verschil SE en CE bij het vavo›;\m\ijZ_`cc\ekljj\e[\Z`a]\ijmXe_\kjZ_ffc\oXd\e\e_\kZ\ekiXXc

examen zijn bij het vavo veel groter dan bij andere onderwijssoorten (zie ook hoofdstuk 7). Dit leidt tot ongewenste verschillen in slaagkansen en bedreigt mogelijk het civiel effect van de diploma’s. Een kwart van de instellingen maakt nog geen analyse van de verschillen en de mogelijke oorzaken. Daarnaast is er een geringe borging van de examenkwaliteit.

Schoolverlatersonderzoek›Fe[\iqf\bmXe_\kIF8)'((Y kffekXXe[XkmXe[\n\ib\e[\jZ_ffcm\icXk\ij

van het mbo 80 procent tevreden is over de aansluiting tussen de afgesloten opleiding en de huidige functie.

De 20 procent die minder tevreden is, gaf aan dat ze niet goed was voorbereid op het werken in algemene zin.

Studenten van de beroepsopleidende leerweg vonden dat het onderwijs wel wat pittiger mocht zijn.

Verschil per type instelling›;\XfZÆj\e\oXd\e`ejk\cc`e^\ejZffi[\e`e_\kjZ_ffcaXXi)'('&)'((Y\k\i[Xe

de roc’s, de niet-bekostigde instellingen (nbi’s) en de vakinstellingen. Bij bekostigde instellingen ligt het percentage voldoende opleidingen hoger dan bij nbi’s (tabel 4.3a). De nbi’s hebben nog een flinke slag te maken bij het verbeteren van de examenkwaliteit. Ook lopen meerdere nbi’s nog achter bij de invoering van competentiegerichte opleidingen.

Tabel 4.3a

Aantal onderzochte opleidingen en percentage opleidingen met examens van voldoende kwaliteit naar type instelling en onderwijs in 2009 en 2010/2011

2009 2010/2011

n % n %

Roc Competentiegericht onderwijs 200 78 248 86

Eindtermgericht onderwijs 226 58 130 79

Aoc Competentiegericht onderwijs 73 11 71 100

Eindtermgericht onderwijs 24 25 -

-Vakinstelling Competentiegericht onderwijs 49 90 53 85

Eindtermgericht onderwijs 28 75 20 80

Niet-bekostigde instelling Competentiegericht onderwijs 8 63 43 58

Eindtermgericht onderwijs 86 49 63 69

Exameninstelling Competentiegericht onderwijs 5 80 4 100

Eindtermgericht onderwijs 12 75 5 100

Totaal Competentiegericht onderwijs 335 65 419 85

Verschil per niveau›?\kg\iZ\ekX^\fgc\`[`e^\ed\kfemfc[f\e[\\oXd\ebnXc`k\`k`j_\k_ff^jkfg

mbo-niveau 4 (22 procent). Bij de opleidingen op mbo-niveau 2 en 3 is dat respectievelijk 18 en 16 procent. De opleidingen op mbo-niveau 1 vormen de kleinste groep in de steekproef. Bij slechts 2 procent daarvan waren de examens onder de maat. Voor alle niveaus geldt dat zowel competentiegerichte opleidingen als eindterm-gerichte opleidingen zijn onderzocht. De competentieeindterm-gerichte opleidingen vormden steeds de grootste groep; het aantal eindtermgerichte opleidingen wordt afgebouwd.

Invloed van inkoop›?\kg\iZ\ekX^\`e^\bfZ_k\\oXd\egif[lZk\emXemfc[f\e[\bnXc`k\`k`j_ff^%

Ingekochte examenproducten zijn vaker positief beoordeeld (94 procent) dan eigen materiaal (74 procent).

De leveranciers die vorig jaar met een onvoldoende werden beoordeeld, hebben forse inspanningen geleverd.

In 2009 was 55 procent van de ingekochte examenproducten van voldoende kwaliteit. Het percentage zelfgemaakte examenproducten met voldoende kwaliteit steeg minder; in 2009 was dat 65 procent. In figuur 4.3a is het onderscheid weergegeven tussen competentiegerichte en eindtermgerichte opleidingen.

Verbetering na terugval›L`kkXY\c+%*XbfdkeXXimfi\e[Xk\i`e)'('&)'((#eX\\ek\il^mXc`e[\g\iZ\ekX-ges voldoende opleidingen in onderzoeksjaar 2009, weer sprake is van hogere percentaterugval›L`kkXY\c+%*XbfdkeXXimfi\e[Xk\i`e)'('&)'((#eX\\ek\il^mXc`e[\g\iZ\ekX-ges opleidingen met voldoende examenkwaliteit. De terugval in 2009 had de volgende oorzaak: in onderzoeksjaar 2007/2008 constateerde de inspectie bij 76 procent van de opleidingen voldoende examenkwaliteit. In het kader van de overgang van het toezicht van KCE naar de inspectie is er in dat onderzoeksjaar voor gekozen om automatisch de score ‘voldoende’ toe te kennen aan de examens die waren ingekocht bij een door KCE erkende leverancier.

In 2009 heeft de inspectie de examens bij de leveranciers onderzocht en bleken de positieve oordelen van 2007/2008 veelal te optimistisch. Het percentage opleidingen met een voldoende daalde daardoor. In onderzoeksjaar 2010/2011 bleek bij heronderzoek dat veel leveranciers de producten voldoende hebben verbeterd, waardoor het percentage voldoende opleidingen ten opzichte van 2009 steeg. Het effect hiervan is het grootst bij de aoc’s, die op één instelling na, allemaal hun examens inkopen bij dezelfde leverancier.

Figuur 4.3a

Percentage opleidingen met examens van voldoende kwaliteit, uitgesplitst naar kenmerken examens (n=637)

Roc

Bron: Inspectie van het Onderwijs, 2011

Kadertoetsen en deelinkoop ›9`a[\^if\gÅZfdY`eXk`\mXe`ebffg\e\`^\edXk\i`XXcÆ^XXk_\kfe[\id\\i

om kadertoetsen. Dit zijn instrumenten die door de instelling moeten worden aangevuld, bijvoorbeeld met specifieke opdrachten die rekening houden met de context waarin de student geëxamineerd wordt. Ook kan het gaan om deelinkoop, waarbij bijvoorbeeld voor een of meer onderdelen van het examen materiaal wordt ingekocht.

Verbetering van examens van onvoldoende kwaliteit

Onderzoek naar kwaliteitsverbetering›@e)''0nXj[\\oXd\ebnXc`k\`kY`a(.-fgc\`[`e^\efemfc[f\e[\%

De betreffende instellingen kregen van de minister een waarschuwing om de examenkwaliteit te herstellen.

In het schooljaar 2010/2011 is bij deze opleidingen een onderzoek naar kwaliteitsverbetering uitgevoerd.

Vooral de competentiegerichte opleidingen hebben zich ingespannen om de examenkwaliteit te verbeteren.

Bij 93 procent van de onderzochte competentiegerichte opleidingen stelde de inspectie vast dat de kwaliteit in 2010/2011 is verbeterd en nu voldoende is. Alle opleidingen waarbij nog geen sprake was van herstel, waren competentiegerichte opleidingen aan roc’s. Bij de onderzochte eindtermgerichte opleidingen is een lager percentage van de examens hersteld: 70 procent van de opleidingen is nu voldoende. De examens van onvoldoende kwaliteit zijn examens van opleidingen aan roc’s en nbi’s.

Ingetrokken examenlicenties›8Xefgc\`[`e^\enXXimXe[\\oXd\ebnXc`k\`kY`a_\kfe[\iqf\beXXi

kwaliteitsverbetering opnieuw onvoldoende is, kan de minister het recht om te examineren ontnemen. Dit is in het schooljaar 2010/2011 gebeurd bij drie opleidingen van twee instellingen. Bij de andere opleidingen met opnieuw onvoldoende examenkwaliteit loopt het traject tot intrekking van de examenlicentie nog, is de opleiding door de instelling inmiddels opgeheven of geldt een langere verbetertermijn wegens bijzondere omstandigheden.

Taalexamens

Kwaliteit taalexamens›EXXjk_\kfe[\iqf\beXXi[\bnXc`k\`kmXe\oXd`e\i`e^mXe_\kY\if\gj^\i`Z_k\[\\c

heeft de inspectie bij competentiegerichte opleidingen ook onderzoek gedaan naar de kwaliteit van examinering van Nederlands en moderne vreemde talen. Het gaat om door instellingen zelf of door examenleveranciers gemaakte examens.

Referentieniveau en CEF-niveau›;\`ejg\Zk`\_Xek\\ikkn\\e`m\Xljfd[\bnXc`k\`kmXe_\k\oXd\e

Nederlandse taal te beoordelen. Op referentieniveau rapporteert de inspectie de bevindingen op het niveau van de taalvaardigheden, zonder een totaaloordeel voor Nederlands te geven. Op CEF-niveau is wel een totaaloordeel voor Nederlands gegeven op basis van voldoende kwaliteit van de exameninstrumenten bij minimaal drie van de vijf taalvaardigheden.

Examens Nederlandse taal›;\:<=$e`m\Xlj^\c[\emffi[\jkl[\ek\e[`\mi(Xl^ljklj)'('q`ae

ingestroomd. Als een student op mbo-niveau 4 het taalexamen Nederlands op CEF-niveau niet haalt, krijgt hij geen mbo-diploma. De referentieniveaus Nederlandse taal gelden voor de studenten die vanaf 1 augustus 2010 zijn ingestroomd. Voor mbo-niveau 4 gaat het om referentieniveau 3F, voor de drie andere mbo-niveaus om referentieniveau 2F. Als een student het taalexamen Nederlands op referentieniveau niet haalt, heeft dit (nog) geen consequenties voor het behalen van het mbo-diploma.

Kwaliteit examens op CEF-niveau›;\bnXc`k\`kmXe[\\oXd\ejE\[\icXe[jfg:<=$e`m\Xl`jY\ffi[\\c[Y`a

350 opleidingen binnen het reguliere onderzoek. Bij 65 procent van deze opleidingen is het totaaloordeel voor het exameninstrumentarium Nederlands voldoende. Dit percentage is hoger dan in onderzoeksjaar 2009; toen was 42 procent voldoende.

Kwaliteit examens op referentieniveau›;\bnXc`k\`kmXe[\\oXd\ejE\[\icXe[jfgi\]\i\ek`\e`m\Xl`j

beoordeeld bij 59 opleidingen. Bij twaalf opleidingen is de kwaliteit van de exameninstrumenten voor alle taalvaardigheden voldoende. Bij negentien opleidingen is de examenkwaliteit voor alle taalvaardigheden onvoldoende. De overige opleidingen laten zowel onvoldoende als voldoende examenkwaliteit voor de verschillende taalvaardigheden zien.