Schoolbesturen inzicht bieden in
de vereisten van het nieuwe
onderwijsresultatenmodel
Visualisaties van onderwijsresultaten
Abstract
Vanaf het schooljaar 2020/2021 geldt er een nieuw onderwijsresultatenmodel. Schoolbesturen worden in dit model op een andere manier beoordeeld. Dit model zorgt ervoor dat er op een andere manier inzicht moet komen in de onderwijsresultaten van een school. Vanuit het perspectief van
schoolbesturen heeft dit onderzoek als doel inzicht te geven aan de vereisten van het nieuwe
onderwijsresultatenmodel. Dit is gedaan door een visualisatie te ontwikkelen voor schoolbesturen. In de visualisatie worden onderwijsresultaten dusdanig weergegeven dat het inzicht geeft in de nieuwe vereisten van het onderwijsresultatenmodel.
Danny Thie
11052120
08-07-2020
Begeleider: Tjomme Schilstra
2e Examinator: Imke Brummer
Bachelorscriptie Informatiekunde
Faculteit der Natuurwetenschappen, Wiskunde en Informatica
Universiteit van Amsterdam
Introductie
Vanaf het schooljaar 2017/2018 geldt er een nieuw inspectiekader voor het primaire onderwijs. Met behulp van het kader wordt bepaald hoe scholen beoordeeld worden. Dit is deel van de missie om het niveau van het basisonderwijs in ons land te verbeteren. “Elk kind heeft recht op goed onderwijs. Leerlingen, studenten en ouders moeten erop kunnen vertrouwen dat het onderwijs op een school goed is.” luiden de eerste regels van het kader
(Ministerie van Onderwijs, Cultuur en Wetenschap, 2019). Natuurlijk omvat het kader nog steeds de bewaking van de basiskwaliteit en dat het financieel beheer van een school op orde is. Daarnaast wordt er grote nadruk gelegd op de nieuwe rol van de schoolbesturen.In Nederland is het schoolbestuur het eindverantwoordelijke orgaan voor de beslissingen die in verband met de school worden genomen. De beslissingen kunnen variëren van het kiezen van een lesmethode tot het beheren van het financieel beleid. In het waarderingskader (Figuur 1) staan alle kwaliteitsgebieden waar schoolbesturen beslissingen over moeten maken weergegeven. De kwaliteitsgebieden zijn opgebouwd uit meerdere standaarden. De schoolinspectie is een overheidsorgaan die toezicht houdt op de kwaliteit van het onderwijs. De standaarden in het kwaliteitskader zijn ook de maatstaven van de schoolinspectie voor het beoordelen van de scholen.
Figuur 1: Het waarderingskader primair onderwijs
Met ingang van het schooljaar 2020/2021 wordt er een uitbreiding op de beoordeling van het kwaliteitsgebied onderwijsresultaten van kracht. De inspectie gebruikt dit onderwijsresultatenmodel om de basiskwaliteit van dit gebied te beoordelen. In dit nieuwe model wordt er op een andere manier bepaald of leerlingen genoeg geleerd hebben. De belangrijkste verandering is de nieuwe maat voor de leerlingenpopulatie. Voorheen werd dit bepaald aan de hand van het opleidingsniveau van de ouders van een leerling. In het nieuwe model wordt ook rekening gehouden met de situatie thuis en op school.
In figuur 1 is te zien dat het kwaliteitsgebied onderwijsresultaten slechts een deel van het hele kader omvat. Echter zorgen de nieuwe eisen voor grote veranderingen binnen dit kwaliteitsgebied.
Het doel van dit onderzoek is schoolbesturen helpen bij het voldoen aan de nieuwe eisen van het onderwijsresultatenmodel. Er wordt geholpen door vanuit het perspectief van schoolbesturen visualisaties te ontwikkelen die inzicht geven in deze eisen.
Dit heeft geleid tot de volgende onderzoeksvraag
‘Welke visualisaties van onderwijsresultaten bieden schoolbesturen het inzicht dat door het nieuwe onderwijsresultatenmodel wordt vereist?’
Eerst wordt de context besproken waar dit onderzoek zich in plaatsvind. Er wordt besproken wat een schoolbestuur is, wat het nieuwe onderwijsresultatenmodel is en hoe wat de impact van dit model voor schoolbesturen is. Daarna wordt in het theoretisch kader een definitie gegeven van een grafisch ontwerp. Verder worden enkele methodes voor een ontwerponderzoek toegelicht. In de methodesectie wordt de besproken methode toegepast. Het onderzoek sluit af met de resultaten en discussie.
De context
Dit ontwerponderzoek is uitgevoerd vanuit het perspectief van schoolbesturen. Enkele definities van schoolbesturen zijn als volgt: ‘Het schoolbestuur is het orgaan dat de eindverantwoordelijkheid draagt voor beslissingen die te maken hebben met de school en het onderwijs dat gegeven wordt.’ (Kerpel, z.d.) en ‘Eindverantwoordelijk orgaan voor de beslissingen die in verband met de school worden genomen over het onderwijs dat wordt gegeven en over de school als geheel’ (Taalunie, z.d.).
Wat belangrijk is om op te merken is dat schoolbesturen eindverantwoordelijkzijn voor beslissingen die in verband met de school of het onderwijs gemaakt worden. Om die verantwoordelijkheid te kunnen nemen moet het schoolbestuur weten wat er op hun school of scholen gebeurt. Een interactief monitoring systeem is het belangrijkste instrument hierbij. In een interactief monitoring systeem wordt de data van scholen verzameld en verwerkt. De data wordt door de scholen verstrekt waarna het systeem dit omzet tot informatie. Deze informatie wordt vervolgens textueel of grafisch weergegeven. Door het nieuwe onderwijsresultatenmodel verandert de noodzakelijke informatie. Dit betekent dat de weergave in het systeem aangepast moet worden om als schoolbestuur hun eindverantwoordelijkheid te kunnen blijven dragen. Dit onderzoek richt zich op de veranderingen van de noodzakelijke informatie en de grafische weergave hiervan.
Het nieuwe onderwijsresultatenmodel
In de inleiding is besproken dat er nieuwe eisen gesteld worden aan schoolbesturen. In deze sectie worden de eisen van het nieuwe onderwijsresultatenmodel toegelicht. Daarnaast is er een inschatting gemaakt welke data er nodig is. Binnen de volgende vier punten zijn er nieuwe eisen waar schoolbesturen inzicht in moeten krijgen:
● De leerlingenpopulatie ● De indicator
● Een groter aantal waarnemingen ● De ontheffingsgronden
De leerlingenpopulatie
Het eerste verschil is een andere kijk naar de leerlingenpopulatie van een basisschool. In het oude model is de leerlingenpopulatie het percentage gewichtenleerlingen op een school. Een leerling heeft een positief gewicht als de ouders een laag opleidingsniveau hebben. Bij geen of alleen een basisniveau is het gewicht van een leerling het hoogst. Dit wordt steeds minder tot de ouders een opleidingsniveau van mavo of hoger hebben, waarna het gewicht van de leerling 0 is.
Het probleem van het percentage gewichtenleerlingen is dat er steeds minder leerlingen zijn die een gewicht hebben. Hierdoor wordt de maat voor de leerlingenpopulatie gemeten door een klein deel van de totaal aantal leerlingen. Vooral tussen scholen met een laag percentage gewichtenleerlingen is het moeilijk om onderscheid te maken. Een school met kinderen waar alle ouders een universitaire opleiding hebben afgerond krijgt dezelfde score als een school waar alle ouders een mbo opleiding hebben afgerond.
Om dit probleem op te lossen moet er naar meer dan alleen de intelligentiescores van leerlingen gekeken worden. De schoolweging is een nieuwe maat die ook de sociale omgeving van leerlingen analyseert om de schoolprestaties beter te voorspellen. Aan de hand van de intelligentiescore en vier omgevingskenmerken wordt er voor elke leerling een verwachte onderwijsscore berekend. De intelligentiescore wordt bepaald aan de hand van de opleidingsniveaus van de ouders. Hoe hoger de opleidingen hoe hoger de score voor het kind. Een hogere score van dit kenmerk draagt uiteindelijk bij aan een lagere schoolweging. De intelligentiescore heeft het meeste effect op de potentie van het kind. Het eerste omgevingskenmerk is het gemiddelde opleidingsniveau van alle moeders op de school. Het CBS heeft bepaald dat een hoger gemiddelde bijdraagt aan betere leerprestaties van de leerlingen. Het land van herkomst van de ouders is een ander belangrijk kenmerk in het nieuwe model. Het CBS heeft aangetoond dat etniciteit van de ouders invloed heeft op de resultaten van hun kind. De verblijfsduur van de moeder is het derde sociale kenmerk die nodig is om de schoolweging uit te rekenen. Een langere verblijfsduur betekent een positieve invloed op de leerprestaties van het kind. Ten slotte wordt er bepaald of de ouders in de schuldsanering zitten. Wanneer een van de ouders in de schuldsanering zit is de verwachte onderwijsscore lager.
De schoolweging wordt berekend met data die niet beschikbaar is voor scholen. Daarom publiceert het CBS elk jaar de schoolweging van alle scholen in Nederland.
Data en berekeningen
In het oude model staat de leerlingenpopulatie gelijk aan het percentage gewichtenleerlingen. Om dit percentage te berekenen moet bekend zijn wat de voorwaarden zijn voordat een leerling een gewichtenleerling is. Daarna moet er bepaald worden hoeveel leerlingen er op een school een gewicht hebben om dit vervolgens als percentage van het totaal te nemen.
In het nieuwe model wordt de leerlingenpopulatie bepaald aan de hand van de schoolweging. Het berekenen van de schoolweging is een ingewikkeld proces dat door het CBS uitgevoerd wordt. Voor schoolbesturen moet er bekend zijn wat de schoolweging van hun school of scholen zijn. De schoolweging heeft invloed hoe hoog de eisen zijn van de inspectie.
Een lagere schoolweging betekent een minder complexe leerlingenpopulatie. Bij een minder complexe leerlingenpopulatie worden hogere resultaten verwacht en zullen de eisen van de inspectie hoger zijn.
De indicator
Met de invoering van het nieuwe onderwijsresultatenmodel worden de scholen anders beoordeeld. In het oude model wordt er gekeken naar één indicator waarop de school beoordeeld wordt: de gemiddelde eindtoetsscore. Deze indicator toont de gemiddelde score op de eindtoets van leerlingen in leerjaar 8.
In het nieuwe model wordt de gemiddelde eindtoetsscore vervangen door twee indicatoren: Het percentage behaalde fundamentele referentieniveaus en het percentage behaalde streefniveaus. Voor elke Nederlandse basisschool geldt dat minimaal 85% van de leerlingen het fundamentele basisniveau moet beheersen. In de realiteit haalt 97% van alle leerlingen in Nederland dit niveau. Echter worden er per school verschillende eisen gesteld aan welk percentage leerlingen het streefniveau moet halen. Welk percentage leerlingen het streefniveau moet halen is afhankelijk van de schoolweging. Hoe hoger de schoolweging des te lager de eis van de inspectie.
Aangezien dit datapunt uiteindelijk de beoordeling bepaalt, wordt dit gezien als het belangrijkste datapunt.
Data en berekeningen
In het nieuwe model moeten de schoolbesturen zicht hebben op twee indicatoren. De eerste indicator betreft het percentage behaalde fundamentele referentieniveaus. Welke niveaus de leerlingen beheersen wordt bijgehouden door het leerlingvolgsysteem(LVS) dat sinds 2015 verplicht is voor elke school. Om inzicht te krijgen of er aan de eis van de inspectie voldaan wordt, moet de data uit het LVS omgerekend worden tot het percentage leerlingen dat het fundamentele referentieniveau beheerst. Hetzelfde geld voor de tweede indicator, het percentage behaalde streefniveaus. De data uit het LVS moet omgerekend worden tot een percentage leerlingen dat het streefniveau behaald heeft. Voor een schoolbestuur moet er bekend zijn wat de resultaten op hun scholen zijn. Het moet duidelijk zijn of er aan de eisen van de inspectie voldaan wordt. In deze context is het belangrijk dat het percentage behaalde referentieniveaus per jaar bekend zijn.
Een groter aantal waarnemingen
Voor de invoering van het nieuwe model werd de beoordeling van de school jaarlijks gebaseerd op elk van de drie referentieniveaus: Lezen, taalverzorging en rekenen. Er wordt bekeken hoe de resultaten zijn en of ze voldoen aan de eisen. Door het kleine aantal waarnemingen is de beoordeling vatbaarder voor externe factoren en wordt de kwaliteit van het onderwijs niet correct gemeten.
In het nieuwe model wordt de beoordeling van de school gebaseerd op de gecombineerde referentieniveaus van drie jaar samen. Door het grotere aantal waarnemingen kan er een betrouwbaardere uitspraak worden gedaan over de kwaliteit van het onderwijs. Vooral in kleine scholen maakt het een groot verschil. Bijvoorbeeld in een klas van tien leerlingen zijn er in het oude model tien waarnemingen per referentieniveau. In het nieuwe model zijn er in dezelfde klas 30
waarnemingen waardoor er over 3 jaar in totaal 90 waarnemingen zijn. Het aantal waarnemingen dat toeneemt met factor 9 zorgt voor een betrouwbaarder beeld van de kwaliteit van de school.
Data en berekeningen
In het nieuwe model worden de behaalde referentieniveaus niet meer los van elkaar beoordeeld. In de visualisatie moeten de gegevens over de behaalde niveaus uit het LVS omgerekend worden tot een percentage. Het beste is om dit per jaar te berekenen en uiteindelijk van drie jaar samen te visualiseren. Het is belangrijk om de berekening per jaar ook toegankelijk te maken vanuit de visualisatie. Als het bestuur zich moet verantwoorden voor de inspectie is het nodig om te kunnen inzoomen per jaar. Hierdoor komt er meer inzicht in mogelijke problemen van de resultaten.
De ontheffingsgronden
In het oude model worden veel resultaten van leerlingen buiten beschouwing van de beoordeling gehouden. Er zijn leerlingen waarvan het IQ lager is dan 80 of het uitstroomperspectief naar het speciaal onderwijs is. De resultaten van deze leerlingen zijn lager dan de gemiddelde leerling waardoor ze een negatieve invloed hebben op de algemene resultaten van de school. Omdat de school weinig invloed heeft op deze resultaten worden ze buiten beschouwing gehouden.
Het nieuwe model is ingericht om meer verantwoording tegenover de inspectie te kunnen geven. Leerlingen met een IQ lager dan 75 of met een uitstroomperspectief naar het speciaal onderwijs worden automatisch buiten beschouwing gehouden. Daarnaast kan elke school specifieke redenen hebben waarom ze onvoldoende scoren. De inspectie geeft schoolbesturen de kans om in gesprek te gaan om toch een voldoende oordeel te kunnen geven.
Data en berekeningen
Voor inzicht in het nieuwe model moet er bekend zijn welke leerlingen voldoen aan de ontheffingsgronden zodat deze buiten de berekeningen gelaten worden. De IQ-score moet bepaald worden aan de hand van een IQ-test, er moet elk jaar opnieuw bepaald worden of deze leerling nog voldoet aan dit ontheffingsgrond. Een leerling waarvan het ontwikkelingsperspectief aantoont dat de verwachte uitstroom naar speciaal onderwijs is wordt bepaald aan de hand van data uit het LVS. De resultaten van de leerling samen met gegevens die mogelijk het leerproces belemmeren zijn voldoende onderbouwing om het ontwikkelingsperspectief te bepalen.
De essentie van het model
Al de datapunten in het onderwijsresultatenmodel hebben invloed op de beoordeling van een school. Echter wordt de school beoordeeld op basis van het percentage behaalde referentieniveaus. De indicator is daarom het belangrijkste datapunt in het model. De andere datapunten hebben invloed op het bepalen van het percentage behaalde referentieniveaus of op de hoogte van de eis die hieraan gesteld wordt.
In de tabel hieronder staat de benodigde data en berekeningen voor de nieuwe eisen overzichtelijk weergegeven.
Tabel 1: De veranderingen van het nieuwe onderwijsresultaten, de data en berekeningen
Veranderingen Data Locatie van
Data
Berekening
De
leerlingenpopulatie
De schoolweging Het CBS De eis gekoppeld aan de schoolweging De indicator Behaalde fundamentele referentieniveaus, behaalde streefniveaus
Het LVS Percentage behaalde referentieniveaus
Een groter aantal waarnemingen
Resultaten v/d eindtoets, behaalde referentieniveaus
Het LVS De drie referentieniveaus tot één percentage, de resultaten over drie jaar
De ontheffings- gronden
Score IQ-test, Ontwikkelings- perspectief leerling Het LVS Bepalen of IQ < 75, bepalen of perspectief speciaal- of praktijkonderwijs is.
Theoretisch kader
In deze sectie wordt het domein waarin dit onderzoek zich afspeelt ingekaderd en toegelicht. Allereerst worden er definities gegeven van grafisch ontwerp. Vervolgens wordt er dieper ingegaan op het denkmodel design thinking dat is toegepast in dit onderzoek. Ten slotte wordt toegelicht wat een ontwerponderzoek inhoudt en hoe er invulling wordt gegeven aan de twee componenten van ontwerponderzoek, ontwerpfase en onderzoeksfase.
Grafisch ontwerp
Grafisch ontwerp is een begrip met veel verschillende definities en toepassingen. Ambrose, Haris & Ball (2019) beschrijven de vele toepassingen van dit begrip in hun definitie.
“Graphic design is a creative visual arts discipline that encompasses many areas. It may include art, direction, typography, page layout, information technology and other creative aspects”
In deze beschrijving valt direct op dat het begrip grafisch ontwerp in veel verschillende disciplines gebruikt wordt. Echter komt het doel van een grafisch ontwerp nog niet terug in deze definitie. Een andere definitie wordt gegeven door het amerikaanse instituut van grafische kunst.
“Also known as communication design, graphic design is the art and practice of planning and projecting ideas and experiences with visual and textual content.” (Cezzar, 2017)
In deze beschrijving valt het direct op dat grafisch ontwerp een combinatie is van visueel en textuele inhoud. Hierin wordt de link gelegd met grafisch ontwerp als communicatiemiddel.
Design thinking
Design thinking is een denkmodel dat zich karakteriseert door een cyclische aanpak waarbij de gebruiker centraal staat (Curedale, 2013). Het model bestaat uit vijf fases die in figuur 2 zijn weergegeven. In elke iteratie worden alle fases in dezelfde volgorde doorgelopen. Telkens wordt het belang van elke stap ingeschat waardoor er meer of minder tijd in gestoken wordt. De essentie van het iteratieve proces is het reflecteren op activiteiten eerder in het proces (Cooper, Junginger, & Lockwood, 2009). Het biedt een manier om perceptie, verwachtingen en mogelijkheden van ontwerpen te bestuderen.
Design thinking is geen onderzoeksmethode maar een mindset met als doel een praktische oplossing te vinden. Alleen het gebruik van design thinking is niet voldoende voor een wetenschappelijk onderzoek.
Figuur 2: Het design thinking model namens G. Kovalsky (2013)
Ontwerponderzoek
Ontwerponderzoek is een relatief nieuwe onderzoeksmethode. In het jaar 1992 is deze term geïntroduceerd door Brown (1992) en Collins (1992) als nieuwe methode om kennis over te dragen. Een noemenswaardige definitie van ontwerponderzoek wordt gegeven door Van den Berk & Kouwenhoven (2018).
‘Ontwerpen betekent op een systematische wijze bedenken en ontwikkelen van een oplossing voor een probleem. Onderzoek is in dit verband een systematische bestudering van de kwaliteiten van deze oplossing.’
Uit deze definitie wordt duidelijk dat ontwerponderzoek bestaat uit twee componenten: ontwerpen en onderzoeken. Door integratie van de twee componenten wordt een tweeledig doel nagestreefd: praktijkverbetering en kennisgroei (Van den Akker, 1999). Er moet in elk onderzoek een balans gevonden worden tussen de twee componenten. Hierbij zal de focus de ene keer op praktijkverbetering en de andere keer op kennisgroei liggen.
Een andere definitie wordt gegeven door Cobb, diSessa, Lehrer, & Schauble (2003).
‘Prototypically, design experiments entail both “engineering” particular forms of learning and systematically studying those forms of learning within the context defined by the means of supporting them. This designed context is subject to test and revision, and the successive iterations that result play a role similar to that of systematic variation in experiment.’
In deze definitie wordt de nadruk gelegd op het iteratieve proces dat een ontwerponderzoek is. Door het testen en herzien van het ontwerp wordt het beste resultaat bereikt. Dit iteratieve proces wordt ondersteunt door het duidelijk beschrijven van een context. Daarnaast worden er opnieuw twee fases in een ontwerponderzoek beschreven: het ontwerpen van manieren om te leren en het onderzoeken van deze manier van leren.
In de volgende sectie wordt het proces van ontwerponderzoek beschreven.
Ontwerponderzoek volgens Van den Berk & Kouwenhoven (2018)
Ontwerponderzoek kent een vooronderzoeksfase en een ontwerpfase. Het vooronderzoek bestaat uit twee delen: oriëntatie en analyse.
Het oriënteren geeft inzicht in het probleem, de oplossingsrichting en de context waarbinnen het probleem valt. Het is belangrijk dat alle onderdelen van het onderwerp aandacht krijgen zonder streven naar oplossing of veel diepgang. Deze fase is compleet wanneer het probleem helder is en mogelijke oplossingsrichtingen besproken zijn, zodat er een overzicht van het project is ontstaan. In de volgende fase, de analysefase, wordt er dieper ingegaan op het vooronderzoek. Allereerst wordt er een behoefte- en contextanalyse gemaakt. In de behoefteanalyse wordt er geformuleerd aan welke criteria de oplossing moet voldoen. Een behoefte is in dit geval een tekort aan kennis op een bepaald vlak. De contextanalyse schets een beschrijving van het grotere geheel waarin het probleem zich bevindt. Het duidelijk uitwerken van een theoretische basis aan de hand van literatuuronderzoek maakt een ontwerptraject een onderzoek. Het kader geeft richting aan het formuleren van keuzes in het proces. Als aspecten uit het kader in het onderzoek bevestigt worden dan draagt dit direct bij aan kennisontwikkeling. In een ontwerponderzoek is naast een literatuurstudie een praktijkgerichte oriëntatie zeer belangrijk. Het bestuderen van voorbeelden kan inspiratie opleveren voor het eigen ontwerp: hoe wil je het doen of hoe wil je het niet doen.
In de volgende fase wisselen ontwikkelen en evalueren elkaar af in een cyclisch proces. Het proces start met het ontwikkelen van een eerste prototype. Aan de hand van evaluatie gaan de prototypes gaandeweg meer op het uiteindelijk ontwerp lijken. Met het drie keer uitvoeren van deze cyclus zijn de meeste projecten zo ver om te werken aan een eindproduct.
Ontwerpproces volgens Kirk (2016)
Andy Kirk beschrijft het component ontwerpproces als vier stappen die iteratief doorgelopen worden (Figuur 3).
Figuur 3: Proces van het ontwikkelen van een visualisatie Kirk (2016)
De eerste stap van het process is het duidelijk beschrijven van de planning en definiëren van de opdracht. Hierdoor ontstaat er een duidelijke structuur in het proces zodat deze zo efficiënt mogelijk verloopt. De tweede stap is het werken met data, er moet data verzameld en voorbereid worden die later gebruikt wordt voor de visualisatie. Als derde stap wordt er gedefinieerd wat je wil laten zien aan je doelgroep. Welke kennis moet er overgedragen worden en welke mogelijkheden zijn er. In de laatste stap begint de ontwerpcyclus. Aan de hand van prototypes en feedback wordt er naar een definitief ontwerp toegewerkt.
Voor het bepalen van de kleuren binnen een ontwerp geeft Kirk (2016) richtlijnen. Aan de hand van de classificatie van variabelen zijn er kleurkeuzes die het doel van de variabele ondersteunen. Met nominale data wordt kleur voornamelijk gebruikt om contrast aan te tonen. Vaak worden hiervoor de kleuren zwart of grijs gebruikt omdat deze het beste een contrast genereren. Met ordinale data is er een natuurlijke rangorde waar gebruik van gemaakt kan worden. Bij de keuze van de kleur moet niet alleen een duidelijk verschil maar ook een gevoel van hiërarchie gecreëerd worden. Dit wordt bereikt door verschillen in lichtheid te gebruiken. Met interval en ratio data is het net als bij ordinale data belangrijk om een hiërarchie te laten zien. Bij mensen creëert een donkere kleur automatische een gevoel van een hogere waarde.
Binnen het proces zijn er drie principes waarmee je kan bepalen of een visualisatie ‘goed’ is. Kirk (2016) noemt betrouwbaarheid van de visualisatie als belangrijkste principe. Het ontwerp van een visualisatie moet vertrouwen creëren bij de lezer. Dit wordt gedaan door het ontwerp duidelijk en overzichtelijk te maken. Er zit een verschil tussen vertrouwen winnen en de waarheid laten zien. Ook als de data in een visualisatie niet waar is kan vertrouwen gewonnen worden door een duidelijk en overzichtelijk ontwerp. Het volgende principe helpt bij het winnen van vertrouwen, een goede visualisatie moet toegankelijk zijn. Het is toegankelijk als het ontwerp helpt bij het proces van het begrijpen van de getoonde informatie. In dit principe is de context van de opdracht zeer belangrijk. Als ontwerper moet het duidelijk zijn wat de kijkers weten. Het laatste principe is dat een goede visualisatie elegant moet zijn. Een elegant ontwerp spreekt zijn doelgroep aan en houdt die geïnteresseerd. Elke keuze in het ontwerp moet onderbouwd zijn en er moeten zo min mogelijk extra’s in staan. Door het ontwerp zo minimaal mogelijk te houden creëer je het meeste elegantie.
Methode
Dit onderzoek betreft een ontwerponderzoek in de context van schoolbesturen. Het werd opgedeeld in twee componenten zoals beschreven in het theoretisch kader: het ontwerpproces en de onderzoeksfase.
Design thinking
Tijdens het ontwerpproces is gebruik gemaakt van het design thinking denkmodel. Deze manier van denken zorgde voor voor een efficiënte werkwijze richting een praktische oplossing. Echter bleek dit model minder goed toepasbaar op de onderzoeksfase. Daarom is er net als in de masterscriptie van Wassenaar (2018) voor gekozen om het design thinking model aan te passen. Zoals in figuur 4 te zien is waren de stappen ‘Define’ en ‘Empathize’ omgedraaid. De stap ‘synthesis’ is toegevoegd om te voldoen aan het deel kennis genereren in een ontwerponderzoek.
Figuur 4: Het design thinking model volgens Wassenaar (2018)
Ontwerpproces
Tijdens het ontwerpproces is een grafisch ontwerp gemaakt van onderwijsresultaten. Dit ontwerp geeft schoolbesturen inzicht dat vereist is aan de hand van het nieuwe onderwijsresultatenmodel. Het proces is opgedeeld in vier fases zoals te zien in figuur 3: het formuleren van de opdracht, het werken met de data, ‘editorial thinking’ en het ontwerpen van een oplossing. Deze fases komen overeen met de eerste vijf fases van het design thinking model.
In de eerste fase is een beschrijving gemaakt van de opdracht. Op de website van de schoolinspectie staan de verschillen ten opzichte van het oude model (Ministerie van Onderwijs, Cultuur en Wetenschap, 2020a). Deze verschillen zijn het fundament voor de opdracht geweest.
In de tweede fase is een context geschetst waarin dit onderzoek heeft plaatsgevonden. In de context staan de veranderingen beschreven. Bij elke verandering is een beschrijving geplaatst van de benodigde data en wat de verandering voor schoolbesturen betekent. Er werd nog geen verband gelegd met mogelijke visualisaties om ervoor te zorgen dat de context objectief beschreven was. Bij het beschrijven van de context is er vanuit gegaan dat lezers bekend zijn met het oude
onderwijsresultatenmodel. Wanneer er wel aspecten van het oude model beschreven staan, was dit als nodig ervaren ter verduidelijking van het nieuwe model.
Na het beschrijven van de context werden verschillende mogelijke visualisaties overwogen in de ‘editorial thinking’ fase. Om een goede keuze te kunnen maken moesten een aantal dingen overwogen worden zoals beschreven door Kirk (2016). Allereerst waren alle datapunten gelabeld met een type variabelen. In het boek van Kirk (2016) staat een lijst met visualisaties waarin beschreven wordt welke type variabele er geschikt voor zijn. Er staan per visualisatie ook bijpassende doelen en toepassingen. Aan de hand van deze lijst waren potentiële visualisaties gekozen. Daarna is er bepaald aan welke eisen de visualisaties moeten voldoen. Er is antwoord gegeven op de vragen “Wil een schoolbestuur een visualisatie per school, onderwerp of jaar?” en “Biedt deze visualisatie inzicht in onderwijsresultaten zoals vereist in het nieuwe onderwijsresultatenmodel?”.
De laatste stap in het proces is het werken naar een uiteindelijke visualisatie. Allereerst is de manier gekozen hoe de data gevisualiseerd werd. Alle potentiële visualisaties zijn geschetst om inzichtelijk te maken hoe de informatie getoond wordt. Van de potentiële visualisaties is er één gekozen waarin alle datapunten op een overzichtelijke en schaalbare manier gevisualiseerd kunnen worden. De visualisatie is gekozen voor een interactieve omgeving.
Aan de hand van het type variabele van een datapunt is er een kleur bepaald voor elk datapunt. Dit is gedaan aan de hand van het stappenplan beschreven in het theoretisch kader.
Onderzoeksfase
In de onderzoeksfase is bepaald wat de kwaliteiten van het ontwerp zijn voor schoolbesturen.
Interviews
Aan het begin van het onderzoek zijn er semi-gestructureerde interviews met leden van schoolbesturen afgenomen. Alle interviews zijn telefonisch afgenomen en opgenomen met een opname app van een andere telefoon. Deze interviews hebben inzage gegeven in het perspectief van schoolbesturen ten opzichte van het nieuwe onderwijsresultatenmodel. Om dit inzicht te krijgen zijn er voorafgaand aan de interviews thema’s bepaald die besproken dienen te worden.
In het interview werd er allereerst gevraagd naar wat het onderwijsresultatenmodel voor hun als schoolbestuur betekent. De geïnterviewde kon door deze vraag zelf bepalen wat hij of zij wilde vertellen over het nieuwe model. Aan de hand van de antwoorden ontwikkelde zich het gesprek. De onderwerpen die in dit deel ter sprake kwamen waren als belangrijk beschouwd voor het beschrijven van de context. In het volgende deel van het interview werd gevraagd naar problemen die zich voordoen omtrent het nieuwe onderwijsresultatenmodel. Met deze vraag werd er inzicht gekregen hoe ingrijpend het nieuwe model is voor schoolbesturen. De antwoorden van deze vraag waren belangrijk voor ontwerpkeuzes later in het proces.
Test van kwaliteit
Na het ontwikkelen van een grafisch ontwerp werd de kwaliteit getest aan de hand van drie principes zoals beschreven in het theoretisch kader. De drie principes waarop getest werd zijn: betrouwbaarheid, toegankelijkheid en elegantie.
De betrouwbaarheid was getest door te bepalen of alle elementen van het ontwerp een functie hebben en onderbouwt zijn. De toegankelijkheid en elegantie waren getest aan de hand van de interviews. Er is bepaald of de informatie die het ontwerp laat zien aansluit bij de kennis die schoolbesturen hebben over het onderwerp.
Resultaten
De resultaten van dit ontwerponderzoek komen voort uit twee processen: het ontwerpproces en onderzoeksproces. In dit hoofdstuk worden de twee laatste stappen van het ontwerpproces en het onderzoeksproces besproken.
Editorial thinking
In deze fase is er toegewerkt naar een overzicht van de eisen waaraan de visualisatie moet voldoen en welke visualisaties aan deze eisen kunnen voldoen. De allereerste stap is bepalen welke elementen in de visualisatie zichtbaar moeten zijn. In de context is beschreven dat de behaalde referentieniveaus bepalend zijn voor de beoordeling van de school. Daarom is het belangrijkste element in de visualisatie het percentage behaalde referentieniveaus. Vervolgens is er per datapunt bepaald welk type variabele het is. Dit kan numeriek of categorisch zijn en is bepalend voor welke visualisaties later in het proces overwogen worden. In de tabel hieronder staan de datapunten met welk type variable dit is. Datapunten die hierboven niet besproken zijn maar wel in de visualisatie terugkomen zijn de naam van de school en de schooljaren, dit zijn beide textuele variabelen.
Tabel 2: Datapunten getypeerd per variabele
Datapunt Type variable
Schoolweging Nominaal → Categorisch
Behaalde referentieniveau Interval → Numeriek
Resultaten eindtoets Ratio → Numeriek
Score IQ test Interval → Numeriek
Ontwikkelingsperspectief Ordinaal → Categorisch
Met de types variabelen zijn er uit een lijst met voorbeelden mogelijke visualisatie opties gekozen. De mogelijke opties zijn als volgt: ‘connected dot plot’, ‘(stacked) bar chart’, ‘pie chart’ of een ‘waffle diagram’.
In de volgende stap zijn de eisen bepaald die schoolbesturen aan een dergelijke visualisatie stellen. Uit de interviews is gebleken dat schoolbesturen weinig moeite hebben met het begrijpen van het nieuwe model. Daarom kan er in de visualisatie vanuit gegaan worden dat de gebruikers goed bekend zijn met de informatie die getoond wordt. Deze kennis is gebruikt bij het ontwikkelen van een elegant en toegankelijk ontwerp.
Een andere eis is dat de visualisatie schaalbaar is om het ontwerp relevant te maken voor schoolbesturen van verschillende omvang. Het ontwerp is schaalbaar gemaakt door de visualisatie per school te ontwikkelen. Met behulp van een menu kan een schoolbestuur bepalen voor welke school de informatie in de visualisatie getoont wordt.
De volgende stap is het bepalen hoe de elementen getoond worden. De kleurkeuze is gemaakt aan de hand van de classificatie van de datapunten. Voor de schoolweging is een grijze kleur gekozen. De naam van de school en de schooljaren zijn zwart afgebeeld. Met het visualiseren van de behaalde referentieniveaus is gebruik gemaakt van de kleuren groen (behaald) en rood (niet behaald). De kleuren worden donkerder naarmate het verder van de eis af ligt.
In het volgende deel is eigen intuïtie nodig om de beschreven richtlijnen tot een ontwerp te maken. Zoals eerder beschreven is het percentage behaalde referentieniveaus het datapunt waar een bestuur op beoordeeld wordt en zijn de andere 4 datapunten factoren die hier invloed op hebben. Daarom ligt in het uiteindelijke ontwerp de focus op het percentage behaalde referentieniveaus. De overige datapunten zijn niet expliciet gevisualiseerd, maar hebben invloed op de waardes die weergegeven worden. In figuur 5 staat het resultaat van de toegepaste methode.
De visualisatie is daarna getest aan de hand van de drie principes die bepalen of een visualisatie ‘goed’ is. Het winnen van het vertrouwens is gedaan door het proces duidelijk te onderbouwen en dit terug te laten zien in het ontwerp. Er is bepaald dat de gebruikers van het ontwerp bekend zijn met de informatie die getoont wordt. Om deze reden is het ontwerp toegankelijk met minder toelichting van de elementen. Door minder elementen in het ontwerp te verwerken wordt het ontwerp ook eleganter. Daarnaast hebben alle elementen in het ontwerp een duidelijke functie.
Conclusie
In deze sectie is de vraag ‘Welke visualisaties van onderwijsresultaten bieden schoolbesturen het inzicht dat door het nieuwe onderwijsresultatenmodel wordt vereist?’ beantwoord.
Door de verandering in eisen die gesteld worden aan schoolbesturen is er een gat aan kennis ontstaan. Aan de hand van literatuur en interviews is er overzicht gemaakt van het perspectief van schoolbesturen richting het nieuwe onderwijsresultatenmodel. De nieuwe eisen die het onderwijsresultatenmodel van schoolbesturen eist zijn vanuit dit perspectief beschreven.
Met behulp van verdere literatuur is er een methode ontwikkeld om een visualisatie te ontwikkelen. De visualisatie biedt schoolbesturen het inzicht dat door het nieuwe onderwijsresultatenmodel wordt vereist.
De methode is toegepast vanuit het perspectief van schoolbesturen. Er is gebleken dat schoolbesturen al bekend zijn met de informatie die het nieuwe model vereist. Daarom is de visualisatie gericht op in de vereisten van het nieuwe onderwijsresultatenmodel. De elementen worden in het ontwerp niet verder toegelicht.
Discussie
Validiteit en betrouwbaarheid
In dit ontwerponderzoek is gebruik gemaakt van modellen uit verschillende studies. In deze modellen wordt beschreven dat een ontwerp nooit perfect kan zijn, er kan alleen maar gemeten worden of het een goed ontwerp is. Deze maatstaven zijn in het theoretisch kader beschreven en in de methode toegepast. Hierdoor is er geprobeerd een zo goed mogelijke visualisatie te maken aan de hand van de kennis en inzichten van wetenschappers in dit gebied. Er is specifiek voor deze modellen gekozen omdat ze allemaal hetzelfde proces beschrijven en onderbouwen in verschillende studies. Dit toont aan dat de modellen werken en geeft kracht aan deze studie.
Door de natuur van ontwerponderzoek zal er niet tot precies dezelfde resultaten gekomen worden mocht dit onderzoek opnieuw worden uitgevoerd. Echter zullen de meeste aspecten van de resultaten wel hetzelfde zijn. De processen die gevolgd worden en keuzes die gemaakt zijn hebben een onderbouwing van de literatuur. Echter bestaat de invulling van deze processen voor een deel uit eigen inbreng. In de resultaten staat beschreven wanneer eigen invulling genoodzaakt is en waarom bepaalde keuzes gemaakt zijn.
Limitations
Er is in dit onderzoek een gebrek aan data waardoor de link naar de werkelijkheid moeilijk te leggen is. Door een inschatting te maken welke data er in het beste geval beschikbaar is, is geprobeerd een situatie te creëren die zo dicht mogelijk bij de werkelijkheid ligt.
Door de impact van de corona maatregelen bleek het niet mogelijk om genoeg interviews met schoolbesturen af te nemen. De twee interviews die wel zijn afgenomen zijn zo goed mogelijk gebruikt in het proces.
Bronvermelding
van den Akker, J. (1999). Principles and methods of development research. In Design approaches and
tools in education and training (pp. 1-14). Dordrecht: Kluwer Academic Publishers.
Ambrose, G., Harris, P., & Ball, N. (2019). The fundamentals of graphic design. Bloomsbury
Publishing.
Barab, S., & Squire, K. (2004). Design-based research: Putting a stake in the ground. The journal of
the learning sciences, 13(1), 1-14.
van den Berg, E., & Kouwenhoven, W. (2008). Ontwerponderzoek in vogelvlucht. Tijdschrift voor
lerarenopleiders, 29(4), 20-26.
Brown, A. L. (1992). Design experiments: Theoretical and methodological challenges in creating
complex interventions in classroom settings. The Journal of The Learning Sciences, 2(2), 141–178.
Cezzar, J. (2017). What is graphic design? Geraadpleegd op 5 juli 2020 van
https://www.aiga.org/guide-whatisgraphicdesign
Cobb, P., diSessa, A., Lehrer, R., Schauble, L. (2003). Design experiments in educational research.
Educational Researcher, 32(1), 9–13.
Cooper, R., Junginger, S., & Lockwood, T. (2009). Design thinking and design management: A
research and practice perspective. Design Management Review, 20(2), 46-55.
Collins, A. (1992) Toward a design science of education. In E. Scanlon & T. O’Shea (Eds.), New directions in educational technology. Berlin: Springer-Verlag, 1992.
Curedale, R. (2013). Design Thinking. Process and methods manual. Design Community College Inc.
Kerpel, A. (z.d.). Schoolbestuur - uitleg begrippen onderwijs. Geraadpleegd op 3 juli 2020, van
https://wij-leren.nl/schoolbestuur.php
Kovalskys, G. (2013, 23 oktober). A design thinker’s cheat sheet. Geraadpleegd op 1 juli 2020,
van
http://whiteboard.stanford.edu/blog/2013/10/23/a-design-thinkers-cheat-sheet
Ministerie van Onderwijs, Cultuur en Wetenschap. (2019, 29 augustus). Onderzoekskader 2017 voor
het toezicht op voorschoolse educatie en het primair onderwijs. Geraadpleegd op 24 juni 2020, van
https://www.onderwijsinspectie.nl/onderwerpen/onderzoekskaders/documenten/rapporten/2019/06/06/
onderzoekskader-2017-po-en-vve
Ministerie van Onderwijs, Cultuur en Wetenschap. (2020a, 14 mei). Naar een nieuw onderwijsresultatenmodel primair onderwijs . Geraadpleegd op 29 mei 2020, van
https://www.onderwijsinspectie.nl/onderwerpen/onderwijsresultaten-primair-onderwijs/naar-een-nieu
w-onderwijsresultatenmodel
Ministerie van Onderwijs, Cultuur en Wetenschap. (2020b, 15 mei). De schoolweging: een nieuwe maat voor de leerlingenpopulatie . Geraadpleegd op 29 mei 2020, van
https://www.onderwijsinspectie.nl/onderwerpen/onderwijsresultaten-primair-onderwijs/naar-een-nieu
w-onderwijsresultatenmodel/de-schoolweging-een-nieuwe-maat-voor-de-leerlingenpopulatie
Ministerie van Onderwijs, Cultuur en Wetenschap. (2020c, 11 maart). Waarin verschilt het nieuwe
onderwijsresultatenmodel van het oude? Geraadpleegd op 28 juni 2020, van
https://www.onderwijsinspectie.nl/onderwerpen/onderwijsresultaten-primair-onderwijs/vraag-en-antw
oord/waarin-verschilt-het-nieuwe-onderwijsresultatenmodel-van-het-oude
Wassenaar, P. (2018). De ontwikkeling van een educatieve tool voor en door CMD studenten
(Masterscriptie). Geraadpleegd van
https://www.hanze.nl/assets/academie-minerva/master-kunsteducatie/Documents/Public/180816%20 Onderzoeksverslag%20MKE%20Peter%20Wassenaar.pdf
Taalunie. (z.d.). Zoek een onderwijsterm | Taalunieversum. Geraadpleegd op 3 juli 2020, van
