De kwaliteit van het accreditatiestelsel wordt voldoende geborgd

Conclusie

Het accreditatiestelsel voldoet ten dele aan de standaard voor de kwaliteitsborging.

De NVAO en ook enkele evaluatiebureaus hebben de afgelopen jaren tal van

evaluaties uitgevoerd en daar ook maatregelen op genomen. Verder kent het stelsel een behoorlijk leervermogen. Op allerlei onderdelen is de laatste jaren verbetering zichtbaar. Wel is er op onderdelen (hoogte van de lat, herstelperiode) een trage verbetercyclus, deels als gevolg van de wettelijke regulering.

Echter, daar staat tegenover dat tot voor kort een evaluatie ontbrak van de kern van het beoordelingsproces, namelijk van de betrouwbaarheid en validiteit van de beoordelingen. Ten tijde van ons onderzoek heeft een van de bureaus, NQA, voor het eerst een analyse uitgevoerd. De NVAO is voornemens dit nu bij te gaan houden en te onderzoeken.

Toelichting

De NVAO hanteert voor haar activiteiten een kwaliteitszorgsysteem in een

tweejarige cyclus. Dit systeem is eerder beschreven in de Kwaliteitsnotitie uit 2006, en recent herschreven in de Strategienota 2012 – 2016.

In dat kader heeft de NVAO afgelopen jaren diverse evaluaties uitgevoerd en op basis daarvan verbeteringen doorgevoerd. Enkele voorbeelden:

o ‘Vijf jaar NVAO getoetst 2005 – 2010’. Hieruit blijkt dat er behoefte is aan een meer inhoudelijke benadering, ook aandacht voor de kwaliteit boven het basisniveau, verdere professionalisering van de panels en het invoeren van meer realistische termijnen. De aandacht voor de kwaliteit boven het basisniveau is in 2011 mogelijk gemaakt in de nieuwe beoordelingskaders.

o In 2012 voerde de NVAO een evaluatie uit naar panelsamenstellingen.

Daaruit blijkt dat in een kwart van de gevallen de panelvoordracht door de instellingen (al dan niet gemandateerd aan een evaluatiebureau)

onvoldoende onderbouwd is. De NVAO, die daar steeds op corrigeert, signaleert in haar evaluatie een leereffect. Dit is ons door de

evaluatiebureaus en door de gesprekken in de cases bevestigd.

o In 2012 zijn diverse acties ondernomen om de kwaliteit van de

panelrapporten te verbeteren. Zo is er een beoordeling van elf rapporten door een extern bureau uitgevoerd, zijn rapporten door studenten

beoordeeld en is er een instrument ontwikkeld waarmee het NVAO-bureau op consistente wijze panelrapporten kan beoordelen.

o In 2013 onderzocht de NVAO de ervaringen van docenten; de uitslag was ten tijde van dit onderzoek nog niet bekend.

Ook heeft de NVAO in een evaluatiematrix een overzicht gemaakt ten behoeve van evaluaties van alle kritische processen met daarbij evaluatiedoelen, instrumenten, frequenties en verantwoordelijken. Daaruit blijkt dat de processen van alle TNO’s, accreditaties en ITK’s in een vragenlijst voor de instellingen geëvalueerd worden.

Daarnaast waarborgen de evaluatiebureaus met wie wij spraken ook de kwaliteit van hun werk door diverse maatregelen:

o een standaard afsluitend evaluatief overleg met, dan wel feedbackverzoek aan, de betrokken opleiding c.q. instelling;

o jaarlijks overleg met haar instellingen over afgelopen en komende accreditaties;

o standaard één of twee meelezers bij de rapporten;

o interne werkoverleggen van alle secretarissen, soms met casuïstiek;

o eigen scholingen van voorzitters en secretarissen, aanvullend op de tweejaarlijks training van de NVAO, waaronder intensieve selectie- en inwerktrajecten.

De kwaliteitsborging door de NVAO is in 2012 door de ENQA in haar audit beoordeeld als ‘fully complies’ met de desbetreffende standaard. Hier lag een zelfreflectie van de NVAO aan ten grondslag. Het eindoordeel van de ENQA audit luidt als volgt: ‘Having assessed various documents and oral evidence through a site visit, the Panel is convinced that NVAO acts in compliance with the ENQA

membership regulations and is in substantial compliance with the Standards and Guidelines for Quality Assurance in the European Higher Education Area. The Panel therefore recommends to the Board of ENQA that NVAO’s Full Membership of ENQA be confirmed for a further period of five years.

The Panel concludes that NVAO fully complies with the ENQA membership criteria 2, 3, 4, 5, 6, 7 and 8 and substantially complies with the ENQA membership criterion 1.’

Verder zijn NQA en Hobéon ISO-gecertificeerd en voldoet QANU aan de eisen van de ESG en is opgenomen in het register van EQAR.

Naar aanleiding van een recente analyse van de beoordelingen door NQA

organiseerden NQA en Hobéon zelf twee ‘kalibratiebijeenkomsten’ om verschillen in de beoordelingen te bespreken en te verminderen.

Het stelsel verbetert zich goed, maar op onderdelen te langzaam

Het stelsel kent een behoorlijk leervermogen op allerlei aspecten (voordracht panelleden, leesbaarheid rapporten, selectie werkstukken en gesprekspartners, onderscheid goed - excellent). Op andere punten is het leervermogen echter traag.

Zo heeft het heel lang geduurd voordat de mogelijkheid tot een herstelperiode – al in 2004 door de NVAO voorgesteld– in 2010 in de wet was opgenomen. Hier ligt de oorzaak van de traagheid bij de wetgever. Het gevolg was dat het stelsel – volgens eigen analyses van de NVAO – te lang gekenmerkt is door te harde gevolgen van negatieve besluiten en mede daardoor te lage normen. Gedetailleerde wetgeving, bijvoorbeeld met betrekking tot te beoordelen aspecten, maakt het de actoren niet eenvoudig om op de desbetreffende onderdelen snel verbeteringen door te voeren.

Lacunes in de kwaliteitsborging

Tegenover deze positieve bevindingen staan enkele kritische punten, die maken dat ons oordeel een ‘deels voldoende’ is. De inspectie ziet het als een tekort dat de actoren in het stelsel tot voor kort geen onderzoek hebben ingesteld naar de betrouwbaarheid en validiteit van de oordelen, en meer in het bijzonder naar het effect van het evaluatiebureau of de voorzitter van het panel op de uitkomsten. Te meer omdat reeds vanaf het begin van het stelsel het beeld is ontstaan dat er aanzienlijke verschillen in strengheid tussen de bureaus zouden bestaan. Hetzelfde geldt voor de waarborg van de validiteit: er is te weinig onderzocht in hoeverre de feitelijke beoordelingen een voldoende weergave vormen van het kwaliteitsbegrip bij wetgever en belanghebbenden.

Verder lukt het nog altijd niet om effectieve verbetermaatregelen door te voeren bij het realiseren van redelijke termijnen: zie daarvoor onze opmerkingen bij de standaard zorgvuldigheid.

Klachten en nazorg

De NVAO kent geen klachtenprocedure aangezien haar besluiten openstaan voor bezwaar en beroep. Sinds 2002 zijn er vijf bezwaarprocedures geweest waarvan er drie bij de Raad van State terechtkwamen. In alle gevallen is geoordeeld dat de procesgang in orde was en er geen aanleiding was om de oordelen te veranderen.

Verder worden verschillen van mening over de beoordeling of het besluit doorgaans in een extra gesprek besproken.

Wel zagen we in enkele cases bij instellingen met een moeizaam beoordelingsproces uiteindelijk een onbevredigend gevoel blijft hangen. Wij zagen opvallende verschillen in perceptie over wat er aan de hand is geweest tussen instellingen, panels en NVAO, die niet overbrugd zijn. Een standaard evaluatief gesprek door de NVAO bij processen met voorwaarden, hersteltijd of negatieve beoordelingen kan bijdragen aan acceptatie van de beoordelingen.