Onderscheidend vermogen
De resultaten van dit eerste onderzoek naar onderscheidend vermogen en fairness vallen niet tegen wat betreft het onderscheidend vermogen.
In het algemeen is er een onderscheid te maken tussen onvoldoende, voldoende en goed.
Na vergelijking met de informatie over de kwaliteitsindicatoren in het Onderwijsverslag vermoeden we dat het onderscheidend vermogen om
onvoldoendes te zien kleiner is geworden. Het is niet duidelijk of dit verschil ernstig is en we kunnen nog geen definitief antwoord op deze vraag geven omdat in deze pilots niet de meest risicovolle scholen aan bod kwamen.
Bovendien is nu pas een beperkt aantal scholen in de pilots onderzocht. Men zal daarom in de toekomst het onderscheidend vermogen moeten blijven monitoren.
Verrassend is ook dat bij de 23 besturen die onderzocht zijn ook hier een goed onderscheid wordt gemaakt tussen voldoende, onvoldoende en goed.
Criteria ontleend aan de wet
In het nieuwe kader is er ruimte voor de discretionaire bevoegdheid van de inspecteur. In dit onderzoek is gesignaleerd dat inspecteurs hiervan kennelijk gebruik maken. Bij een nadere analyse van de criteria zagen we dat bij 35 procent van de scholen die het oordeel ‘goed’ of ‘voldoende’ krijgen op de standaard ‘zicht op ontwikkeling’, een onvoldoende hebben op een of meer op de wet gebaseerde criteria. Bij de andere standaarden zien we het volgende percentage onvoldoendes op één of meer wettelijke criteria: ‘didactisch handelen’ (40 procent), ‘veiligheid’ (30 procent), ‘doelen, evaluatie en verbetering’ (25 procent), ‘structuur en cultuur’ (9 procent), en ‘verantwoording en dialoog’ (17 procent). Deze onvoldoendes op de wettelijke criteria doen zich vooral voor bij het oordeel ‘voldoende’. Vooral bij ‘zicht op ontwikkeling’, ‘didactisch handelen’, ‘veiligheid’, en ‘doelen, evaluatie en
verbetering’ overschrijden deze percentages verre de signaleringsmarge voor de discretionaire bevoegdheid van de inspecteur.
Er is bij alle standaarden steeds een groep scholen waar meerdere criteria onvoldoende zijn en waar een deel van de scholen een voldoende krijgt en een ander deel een onvoldoende. Bij sommige standaarden zijn identieke scorepatronen op de criteria gezien, waar de ene school een onvoldoende krijgt en de ander een voldoende.
Hier kan men op grond van de informatie waarover wij beschikken, niet zeggen dat de scholen die een onvoldoende kregen erop mogen vertrouwen dat er geen scholen zijn die wel een ‘voldoende’ (of zelfs ‘goed’) kregen, terwijl zij evenmin aan deze criteria voldeden. Hier is dus discussie over de fairness en de rechtsgelijkheid van de beoordeling gewenst.
Didactisch handelen
Bij sommige standaarden en het meest duidelijk bij de standaard didactisch handelen zien we dat veel gevarieerde elementen binnen de standaard besloten liggen. Het gaat om het basale didactisch handelen dat je zonder meer aan de wet kunt ontlenen (goede uitleg), om maatwerk in de les (dat ook aan de wet ontleend kan worden) en om elementen van didactisch handelen die niet in de wet staan maar wel bewezen effectief zijn en dus vanuit het oogpunt van inhoudsvaliditeit zeker een plaats in de standaard verdienen. Hier is een wegdrukeffect te zien. Het onderscheid tussen onvoldoende en voldoende baseert zich uitsluitend op de basale
didactische criteria. Het deel maatwerk blijft buitenbeschouwing. Hier bevelen wij aan om de standaard te splitsen.
Als men besluit om deze verandering nu niet door te voeren, bevelen we in ieder geval aan om de oordeelsvorming op dit punt nauwlettend te volgen.
Daarnaast zien we dat in de basale onderdelen van didactisch handelen belangrijke wetenschappelijk onderbouwde elementen van effectief onderwijs ontbreken. Ook dit is een aandachtspunt bij een toekomstige herziening van de standaard.
Combinatie van wettelijke en niet wettelijke onderdelen in een standaard De beoordeling van wettelijke en niet-wettelijke elementen in een standaard verheldert het zicht op fairness en onderscheidend vermogen niet.
Inmiddels is in het kader het onderscheid tussen de wettelijke en niet-wettelijke elementen verscherpt. We weten nog niet hoe dit in de praktijk uitpakt. Dat zal nader onderzocht moeten worden. In de evaluatie moet ook de balans voor voor- en nadelen van het op een hoger abstractie-niveau oordelen per standaard opgemaakt worden. Dan gaat het enerzijds om de vraag of de beoordelingstaak met voldoende kwaliteit uitgevoerd kan worden, maar anderzijds ook om de vraag of de
informatiewaarde van het onderzoek voldoet. Voor die informatie kunnen overigens ook andere oplossingen zoals aparte onderzoeksslagen vanuit het stelseltoezicht zich aandienen.
Het oordeel goed
Verder laten de gegevens ook iets zien van de moeilijkheid bij het oordeel goed.
Uit de scores op de criteria kunnen we vaak niet het oordeel goed afleiden. We zien inderdaad dat de scholen met het oordeel goed weinig of geen onvoldoendes op de onderliggende criteria hebben, maar dat is bij een flink aantal voldoende scholen ook het geval. Kennelijk speelt bij het oordeel goed toch iets anders mee dat niet zo makkelijk te scoren valt op basis van de uitwerking van de standaarden. Men kan hier wel vragen van scholen verwachten, waarom het oordeel dan niet goed was.
Speciale aandacht dient daarom besteed te worden aan de onderbouwing van het oordeel goed.
Interbeoordelaarsbetrouwbaarheid (IBB)
Het onderzoek laat zien dat zorg voor de interbeoordelaarsbetrouwbaarheid permanent aan de orde moet zijn. Hoewel dit vanzelfsprekend is voor een professionele organisatie als de inspectie moet dit ook geborgd worden door voortdurende aandacht in de aansturing (３). Voorts is het noodzakelijk professionals van voldoende informatie te voorzien om het gesprek over IBB te voeren.
Een voldoende zorg voor de IBB dient naast bekende procedures als het meelezen van rapporten en escalatie bij de oordelen zwak en zeer zwak het volgende te omvatten:
• Alle beoordelingen worden (voor ze definitief in een rapport worden geplaatst) collegiaal doorgesproken zowel met collega’s die bij het bezoek aanwezig waren als collega’s die niet aanwezig waren. Ook aan mensen die niet aanwezig waren moet men kunnen duidelijk maken wat de grond was van een oordeel.
• Indien teams van inspecteurs bezoeken doen, rouleert de samenstelling van de teams regelmatig.
３ Uit reacties op het conceptrapport is ons inmiddels gebleken dat die zorg voor IBB helemaal niet zo
vanzelfsprekend is. Collega’s geven aan dat hiervoor continue inspanning en bijsturing nodig is. Ook gaf men aan dat de pilots onder hoge tijdsdruk moesten verlopen wat ten koste ging van de IBB. Daarnaast heeft men in gesprekken met ons aangegeven dat niet alleen aandacht moet zijn voor IBB bij de oordeelsvorming maar ook in de fase van het opstellen van het onderzoeksplan omdat dit in sterke mate de uitkomsten van het onderzoek stuurt.
• Inspecteurs doen jaarlijks één of meer bezoeken bij een ander team, zodat er ook aandacht is voor de interbeoordelaarsbetrouwbaarheid over de kantoren en teams heen. Ook wordt ervoor gezorgd dat inspecteurs regelmatig (bijv. eens in de twee jaar) met een andere sector meelopen.
• Er wordt geïnvesteerd in regelmatige scholing in het beoordelen van standaarden aan de hand van geschikte casussen. Dit moet voor een deel ook sectoroverstijgend georganiseerd worden.
• Informatie over de oordelen en de beoordelingen van onderliggende criteria bij een oordeel (zoals bij dit onderzoek is verzameld) wordt regelmatig teruggekoppeld aan inspecteurs.
• Door de teamleider wordt altijd de zorg voor de IBB aangestuurd en wordt hierover gerapporteerd.
Om in informatie voor de IBB te voorzien adviseren wij om dit type monitoring (namelijk het onder water scoren van afzonderlijke criteria) in de toekomst voort te zetten. Dit onder water scoren van elementen bij de standaarden heeft een aantal voordelen. Het verschaft op een goedkope manier aanvullende informatie over de oordeelsvorming en genereert vragen waarover het in het IBB-gesprek op in kan worden gegaan. Het laat de knelpunten bij de oordeelsvorming zien waarover het gesprek moet gaan en kan informatie geven waarop standaarden zo nodig moeten worden aangepast.
Zeer belangrijk is, dat dit onder water scoren low stake gebeurt. Dit betekent dat deze onder waterscores geen effect mogen hebben op het uiteindelijke oordeel, dat er geen verborgen criteria worden gehanteerd (over aantal items onvoldoende of items die strenger doortikken). Het doel van dit instrumentarium is niet om het oordelen te vervangen of om af te vinken maar om inzicht te krijgen in de overwegingen die tot het oordeel hebben geleid en aanleiding te geven voor het gesprek over de oorzaken van een bepaald oordeel.
Een kleiner nadeel van het invullen van onder waterscores zonder directe consequenties voor het uiteindelijke oordeel is dat het minder nauwkeurig gebeurt. In enkele gevallen hebben we dit inderdaad kunnen zien. Ook komt het voor dat het niet is ingevuld, maar dit nadeel is beperkt. Hier moet men steeds op de professionaliteit vertrouwen en zo nodig mensen er op aanspreken.
Een bijzonder punt van aandacht voor het IBB-overleg betreft het oordeel goed.
Het komt veel voor dat scholen op geen enkel criterium een onvoldoende krijgen en het oordeel goed scoren, maar er zijn veel scholen met het oordeel
voldoende, voor wie dit ook geldt. Dit roept dus de vraag op naar de
onderbouwing van het oordeel goed. Het IBB-overleg moet speciaal ook hier op gericht zijn.
Gebruik op stelselniveau
Onze analyse van de belangrijkste standaarden laat zien dat het
waarderingskader geschikt gemaakt kan worden is voor het toezicht op de afzonderlijke scholen, waarbij we opmerkingen hebben geplaatst over wat er nog beter zou kunnen of beter zou moeten.
Voor het verschaffen van systeeminformatie op het niveau van het stelsel levert het kader in deze vorm onvoldoende informatie. We zien bij de verschillende standaarden dat het wel een algemeen beeld geeft, maar dat men ook informatie mist.
Wil men voldoende stelselinformatie krijgen over de kwaliteit van afzonderlijke scholen dan zal men aanvullende maatregelen moeten nemen.