Terugval • In vergelijking met voorgaande jaren ziet de inspectie, na een stijgende lijn, een sterke terugval in de kwaliteit van de examinering en diplomering. In 2012 is de examenkwaliteit bij 51 procent van de mbo-opleidingen voldoende (tabel 4.3a). In 2011 was dit nog bij 83 procent het geval. Het nieuwe toezicht kader sluit ook bij examinering en diplomering beter aan op beroepsgericht onderwijs en op de veranderingen en bijpassende verantwoordelijkheden van de opleidingen. Vergeleken met het vorige kader zijn de indicatoren meer geconcretiseerd, vooral op het punt van afname en beoordeling en de verantwoordelijkheid van de examencommissie. Vergeleken met eindtermgerichte examens zijn deze aspecten en indicatoren ook belangrijker geworden voor de examinering van de beroepsgerichte opleidingen.
Betrouwbare beoordeling in de praktijk • De kwaliteit van de examinering is steeds meer afhankelijk geworden van een betrouwbare beoordeling in de praktijk (onder andere via proeven van bekwaam-heid) en van controle door de examencommissie op de afname en beoordeling in de praktijk. Het vernieuwde toezicht maakt duidelijk dat opleidingen nog veel moeite hebben om de beroepsgerichte examens overtuigend neer te zetten; de helft van de opleidingen slaagt daar nog niet in.
Tabel 4.3c
Percentage opleidingen dat als voldoende is beoordeeld op de aspecten en indicatoren van diplomering en examinering in 2012 (n=93)
2012
Exameninstrumentarium 74
Onderscheid tussen ontwikkelgerichte toetsen en examinering 92
Dekking van het kwalificatiedossier 88
Cesuur 86
Beoordelingswijze 84
Transparantie 83
Afname en beoordeling 71
Authentieke afname 97
Betrouwbaarheid 72
Diplomering 66
Besluitvorming diplomering 83
Verantwoordelijkheid examencommissie 68
Bron: Inspectie van het Onderwijs, 2012
Examencommissies schieten tekort • Bij iets meer dan een derde van de opleidingen is de diplomering niet op orde (tabel 4.3c; zie ook de bijlage, tabel 3). Bij deze opleidingen ligt dat vaak aan de betreffende examencommissie(s), die hun verantwoordelijkheid niet voldoende nemen. Juist de examencommissies moeten de kwaliteit van de diplomering borgen. Van een examencommissie wordt onder meer verwacht dat zij vaststelt of de beoordeling bij de examens adequaat verloopt. Dat betekent dat de commissie bij
en resultaatanalyses. Zeker bij kadertoetsen is de verantwoordelijkheid van de examencommissie groot:
hier is nadere aanvulling van het exameninstrument door de instelling nodig en krijgt de uiteindelijke invulling pas definitief vorm tijdens de afname.
Authentieke afname positief beoordeeld • Wat betreft het exameninstrumentarium is de inspectie vooral positief over het onderscheid dat opleidingen maken tussen ontwikkelgerichte toetsen en examinering. Gelet op het aspect ‘afname en beoordeling’ is de inspectie positief over de authentieke afname. Dat betekent dat het examen zo veel mogelijk overeenkomt met het toekomstige beroep.
Minder positief is ze over de betrouwbaarheid. Daarbij let de inspectie op of de examens deugdelijk worden afgenomen en beoordeeld, waarbij geborgd is dat in gelijke gevallen gelijk wordt geoordeeld.
Dit speelt vooral bij beoordelingen door praktijkbeoordelaars.
Conclusie kwaliteit examinering en diplomering • Concluderend stelt de inspectie vast dat de rol van de examencommissie het meest onderscheidende onderdeel is bij de beoordeling van de examinering.
Ook blijkt dat bij de opleidingen die op dit kwaliteitsgebied tekortschieten, vooral het examen-instrumentarium en de betrouwbaarheid van de uitkomsten van het examenprogramma als geheel verbetering behoeven.
Invloed van inkoop • Bij bijna 40 procent van het beroepsgerichte deel van de examens wordt gebruik-gemaakt van ingekochte examens van examenleveranciers. Het overige deel koopt deels in of maakt geheel gebruik van eigen geconstrueerde examens. Gelet op de oordelen op het onderdeel ‘examen-instrumentarium’ (tabel 4.3d) luidt de conclusie dat de kwaliteit van inkoop beter is dan de kwaliteit van het eigen gemaakte materiaal. Het exameninstrumentarium is voor bijna alle ingekochte examens met een voldoende beoordeeld, tegenover bijna 70 procent voldoendes voor het eigen materiaal.
Tabel 4.3d
Percentage opleidingen dat als voldoende is beoordeeld op het aspect ‘exameninstrumentarium’ en onderliggende indicatoren, naar kenmerken examens (n=92)
Eigen materiaal Inkoop Deels inkoop
n=45 n=36 n=11
Exameninstrumentarium 69 97 64
Onderscheid tussen ontwikkelgerichte toetsen en examinering 89 97 100
Dekking van het kwalificatiedossier 84 100 82
Cesuur 78 100 100
Beoordelingswijze 76 100 91
Transparantie 80 97 73
Bron: Inspectie van het Onderwijs, 2012
Taalexamens 2011/2012
Taalbeleid geformuleerd en uitgerold • In 2012 is bij een klein aantal opleidingen de kwaliteit van de taalexamens beoordeeld. De uitkomsten geven een indruk van de ontwikkeling en implementatie van het taalonderwijs en de examinering ervan. Ter voorbereiding op de centrale examens onder regie van het College voor Examens worden pilotexamens Nederlandse taal en rekenen ontwikkeld. Deze pilot-examens worden niet meegenomen bij het totaaloordeel over examinering. Het voorzichtige beeld is dat in het mbo bijna overal taalbeleid is geformuleerd en uitgerold. Ook zijn de verantwoordelijkheden belegd voor taal en rekenen. Voor de taalexamens Nederlands op basis van de referentieniveaus is veelal gebruikgemaakt van beschikbare voorbeeldexamens. De beoordeling betreft zowel de door instellingen als de door examenleveranciers gemaakte examens.
Referentieniveau en CEF-niveau • Er zijn twee typen taalexamens, die beide door de inspectie worden beoordeeld. Op referentieniveau rapporteert de inspectie de bevindingen op het niveau van de taal-vaardigheden, zonder een totaaloordeel voor Nederlands te geven. Op CEF-niveau geeft de inspectie
4 Kwaliteit examen Nederlands • De kwaliteit van de examens Nederlands op CEF-niveau is bij 33 van de
40 onderzochte opleidingen met een voldoende beoordeeld. Bij taalexamens Nederlands op basis van de referentieniveaus zijn bij 30 van de 48 opleidingen alle taalvaardigheden met een voldoende beoor-deeld. Bij 8 opleidingen was de kwaliteit onvoldoende voor alle taalvaardigheden. De overige op-leidingen zijn voor een beperkt deel van de taalvaardigheden als voldoende beoordeeld.
Moderne vreemde talen • Bij de moderne vreemde talen (mvt) heeft de beoordeling steeds plaats-gevonden op CEF-niveau; referentieniveaus spelen daar niet. Een student moet op alle mbo-niveaus slagen voor het taalexamen op CEF-niveau om in aanmerking te komen voor een mbo-diploma. De kwaliteit van de onderzochte mvt-examens is bij 40 van de 54 opleidingen met een voldoende beoordeeld.
Leerresultaten
Opbrengsten • De inspectie brengt ieder jaar in kaart wat het jaar- en diplomaresultaat is van de bekostigde mbo-opleidingen met meer dan twaalf ingeschreven deelnemers. Dat percentage ge diplomeerde schoolverlaters is nagenoeg gelijk aan vorig jaar. Dit verslagjaar (2011/2012) verliet in totaal 71,1 procent van de studenten het mbo met een diploma. Er is een lichte stijging van het rende-ment waar te nemen in de sector techniek (zie verder hoofdstuk 7).
Voortijdig schoolverlaten • De afgelopen jaren is het percentage voortijdig schoolverlaters sterk gedaald. In het schooljaar 2010/2011 stagneerde deze daling. Bij een deel van de afzonderlijke
in stellingen nam het aandeel voortijdig schoolverlaters zelfs iets toe. Dit geldt voor de vakinstellingen, de roc’s en de aoc’s. De voorlopige cijfers uit 2012 laten zien dat de stagnatie mogelijk van korte duur was en de daling in 2012 weer doorgezet is.
Kwaliteit van niet-bekostigde opleidingen
Algemeen
Grote verschillen tussen instellingen • In 2012 is voor het eerst onderzoek gedaan naar de kwaliteit van het onderwijsproces van niet-bekostigde opleidingen. In voorgaande jaren ontbrak het aan een
duidelijke norm voor voldoende opbrengsten. Wel vond eerder onderzoek plaats naar de kwaliteit van de examinering. Dit jaar is de integrale kwaliteit van het onderwijs (onderwijs en examinering) bij 26 van de 97 niet-bekostigde instellingen (nbi’s) onderzocht. Daar zijn in totaal 41 opleidingen bij betrokken.
Voorlopig beeld • Het kleine aantal onderzochte opleidingen en de grote onderlinge verschillen tussen de instellingen maakt het lastig om een landelijk beeld te presenteren. Er zijn kleine instellingen waar mogelijk de directeur zelf één opleiding verzorgt met niet meer dan tien studenten, tot aan instellingen met afstandsonderwijs waar soms tientallen opleidingen worden aangeboden aan duizenden studen-ten. Hierna volgt een beeld van de stand van zaken bij de onderzochte nbi’s en worden, met de nodige slagen om de arm, opmerkelijke verschillen weergegeven in vergelijking met het bekostigd onderwijs.
Vervolgtoezicht • Inspectieonderzoeken leidden bij 35 van de 41 opleidingen tot vervolgtoezicht. Bij de grootste groep ging het om het niet-naleven van de wettelijke vereisten (twee derde van de opleidingen) of onvoldoende kwaliteitsborging (ruim de helft van de opleidingen). Ook was op bijna de helft van de opleidingen de examenkwaliteit onvoldoende en op een derde deel was er sprake van zwak onderwijs.
Op slechts een enkele opleiding was sprake van zeer zwak onderwijs en onvoldoende opbrengsten (zie bijlage, tabel 4).
4.4
Kwaliteitsborging
Kwaliteitsborging op instellingsniveau • Op bijna de helft van de onderzochte niet-bekostigde instellingen is de kwaliteitsborging op orde. 12 van de 26 instellingen konden de basiskwaliteit van het onderwijs borgen.
Onderdelen kwaliteitsborging nbi's • De kwaliteitsborging bij de onderzochte niet-bekostigde instellingen laat, qua sterke kanten en verbeterpunten, een vergelijkbaar beeld zien als de bekostigde instellingen. De meeste problemen zijn gevonden bij de beoordeling en verbetering ervan. Een duide-lijk verschil met het bekostigd onderwijs valt te constateren bij het voeren van een dialoog en de verantwoording over het onderwijs aan interne en externe betrokkenen. Vrijwel alle bekostigde instellingen scoorden hierop voldoende, maar dit is bij slechts een klein deel van de nbi’s het geval.
Veel parttime en freelance docenten • De verankering van kwaliteit op basis van een vastgestelde systematiek is bij iets meer dan de helft van de onderzochte instellingen afwezig. De wet- en regelgeving wordt als te bureaucratisch ervaren, zeker door de kleine niet-bekostigde instellingen die te maken hebben met een kleinschalige platte organisatievorm waarbij de directeur direct in verbinding staat met de docenten. De monitoring vindt bij eveneens iets meer dan de helft van de onderzochte niet-bekostig-de instellingen juist wel plaats, maar die wordt niet structureel ingezet voor niet-bekostig-de evaluatie en beoorniet-bekostig-deling van het onderwijs. Een meerderheid van de instellingen heeft wel voldoende aandacht voor deskundig-heidsbevordering. Als bijzonder aandachtspunt bij de nbi’s geldt dat hier veel parttime en freelance docenten werken. De nadruk bij de nbi’s ligt dan ook op het bieden van goede randvoorwaarden voor scholing. De docenten hebben vaak expliciet de verantwoordelijkheid om daar gebruik van te maken.
Beoordeling verslagen van werkzaamheden • Iedere niet-bekostigde instelling die erkende mbo-opleidingen aanbiedt, is wettelijk verplicht om zich te verantwoorden in een verslag van werkzaam-heden. Dit verslag is vergelijkbaar met de jaarverslagen van bekostigde instellingen, maar de richtlijnen wat betreft de inhoud zijn minder streng en omvangrijk. Dit jaar heeft de inspectie voor het eerst de verslagen van de onderzochte niet-bekostigde instellingen beoordeeld op de richtlijnen voor rappor-tage. Het onderscheid tussen grote en kleine niet-bekostigde instellingen werkt niet automatisch door naar een deugdelijk of ondeugdelijk verslag op de gevraagde verantwoordingspunten. Er zijn kleine nbi’s die hun werk goed verantwoorden en grote die op een aantal punten geen accurate informatie geven.
Voor verbetering vatbaar • De kwaliteit van de verslagen van werkzaamheden is voor veel verbetering vatbaar. De verslagen zijn, in vergelijking met die in het bekostigd onderwijs, erg beperkt qua in -formatie. Opvallend is dat slechts in een kwart van de beoordeelde verslagen informatie is opgenomen over de geprogrammeerde en gerealiseerde onderwijstijd (zie bijlage, tabel 5). Het vaakst wordt aan-dacht besteed aan de beoordelingen door belanghebbenden en aan binnengekomen klachten.