Ontwikkeling van de rapportages

De mening van de scholen over de begrijpelijkheid en inzichtelijkheid van de toegevoegde waarde modellen en discussies hierover binnen de projectgroep zijn de voornaamste drijfveer geweest voor de ontwikkeling die deze rapportages gedurende de looptijd van het project hebben doorgemaakt. In de kern zijn de statistische meerniveau regressiemodellen steeds gelijk gebleven. De set van fairness-kenmerken is wel aan verandering onderhevig geweest. Hetzelfde geldt voor de uitleg en weergave van de resultaten van de toegevoegde waarde modellen en de lay-out van het Schoolrapport Toegevoegde waarde.

In de eerste rapportageronde (september 2012) is de meest uitgebreide set van fairness- kenmerken toegepast om de netto toegevoegde waarde van een school te bepalen. Tabel 5 geeft een overzicht van de oorspronkelijke set kenmerken met hun categorie-indeling. In het eerste Schoolrapport Toegevoegde waarde werd per kenmerk uit tabel 5 de gemiddelde waarde of procentuele verdeling van de betreffende school én die van alle pilot-scholen samen

gepresenteerd. Dit stelde de school in de gelegenheid om de correctheid van hun fairness- kenmerken te checken. Voor enkele scholen was dit aanleiding om uit eigen beweging opnieuw data te verzamelen en de gegevens in hun schoolinformatiesystemen te herzien.

Tabel 5 Overzicht van de toegepaste ‘fairness’-kenmerken uit de eerste rapportageronde

‘Fairness’-kenmerk Categorieën

Schoolkenmerken

Aantal leerlingen --

Denominatie RK/PC/Bijzonder Neutraal/Openbaar/Hindoe Type basisschool SO/SBO/regulier

Schoolconcept (%) Jenaplan/Dalton/Montessori/Vrije school/Freinet

VVE deelname Ja/nee

Leerlingkenmerken

Sekse Jongen/Meisje

Gewichtenregeling: 0/0,3/1,2 Opleidingsniveau ouder 1 12 categorieën* Opleidingsniveau ouder 2 12 categorieën* Hoogste opleidingsniveau* ouders 12 categorieën*

Etniciteit leerling (CBS definitie) Autochtoon/ Niet-westers allochtoon/Westers allochtoon

Eenoudergezin Ja/nee

Gescheiden ouders Ja/nee

Dyslexie Ja, met indicatie/Vermoeden/ Nee Dyscalculie Ja, met indicatie/Vermoeden/ Nee ADHD of ADD Ja, met indicatie/Vermoeden/ Nee Autisme, ASS of PDD-NOS Ja, met indicatie/Vermoeden/ Nee Andere stoornis Ja, met indicatie/Vermoeden/ Nee * Het opleidingsniveau van de ouders/verzorgers is ingedeeld in 12 categorieën: 1 = geen onderwijs gevolgd

2 = 1-3 jaar basis onderwijs

3 = 4-6 jaar basis onderwijs/svo (=categorie 1 gewichtenregeling) 4 = 1-2 jaar lbo/vmbo bbl-kbl/(i(vbo)

5 = 3-4 jaar lbo/vmbo bbl-kbl/i(vbo) (=categorie 2 gewichtenregeling) 6 = 1-2 jaar mavo/vmbo tl-gl

7= 3-4 jaar mavo/vmbo tl-gl (=categorie 3 gewichtenregeling) 8 = 1-3 jaar havo/vwo

9 = 4-6 jaar havo/vwo 10 = mbo/leerlingwezen 11 = hbo

12 = universiteit

In de tweede schoolrapportageronde is een aantal fairness-kenmerken uit tabel 5 niet meer teruggekomen. De feedback van scholen en discussies binnen de projectgroep hebben hier aanleiding toe gegeven. De redenen waren divers: de schoolkenmerken bleken niet (statistisch) relevant, er was een beter alternatief kenmerk voorhanden (hoogste opleiding ouders is

nauwkeuriger gemeten dan de gewichtregeling) en correctie voor ‘sekse’ en ‘overige

die tot en met de laatste rapportageronde is toegepast: het hoogste opleidingsniveau van de ouders, de etnische herkomst van de leerling en het type zorgleerling (dyslexie, dyscalculie, adhd/add en autisme/ass/pdd-nos). De categorisering van deze fairness-kenmerken is gelijk gebleven aan de eerste rapportageronde, met uitzondering van de vier items over het type zorgleerling. De antwoordcategorie ‘vermoeden’ is niet langer gespecificeerd, omdat dit door de scholen te subjectief bevonden werd. Daardoor resteerde een tweedeling: een leerling heeft een indicatie voor een bepaald type zorg of niet.

Vanaf de tweede rapportageronde is een andere belangrijke verbetering doorgevoerd. Dit betreft de figuren met de resultaten van het vaardigheidsgroei-model. In deze figuren werden naast de gemiddelde groeilijnen van de school en alle pilotscholen samen ook de

onzekerheidsgrenzen van beide groeilijnen weergegeven in de vorm van dunne stippellijnen. De scholen vonden dit slecht leesbaar en bovendien lastig te begrijpen. Om dit te verbeteren zijn de resultaten van de vaardigheidsgroei-modellen in een andere statistisch pakket met een betere grafische ondersteuning ingelezen en bewerkt. De onzekerheidsgrenzen zijn vereenvoudigd. Er is alleen nog een gekleurde balk rondom de gemiddelde groeilijn van de school geprint. In hun feedback na de tweede rapportageronde hebben veel scholen aangegeven de figuren beduidend beter te vinden. Op enkele uitzonderingen na heeft men er geen negatief commentaar meer op. In de derde rapportageronde is veel aandacht besteed aan het verbeteren van de uitleg van de modellen, de beschrijving van de resultaten en de lay-out van het Schoolrapport Toegevoegde waarde. Dit heeft geresulteerd in een aparte algemene toelichting op de toegevoegde waarde modellen voor de scholen met daarin een volledig uitgewerkt voorbeeld van het verschil- en het groei-model. Daardoor kon het schoolspecifieke Schoolrapport Toegevoegde waarde compacter worden. Voor elke rapportageperiode en elk toetsdomein zijn de resultaten van het verschil- en het groei-model van een school direct onder elkaar geplaatst. Ook is weergegeven op hoeveel leerlingen de gepresenteerde resultaten zijn gebaseerd. Dit was in vorige versies van het schoolrapport niet het geval. Zo is het voor de betreffende school gemakkelijker geworden om de resultaten van de twee modellen te vergelijken en kan men beter beoordelen welk model het meest bruikbaar en inzichtelijk is.

In de vierde en laatste rapportageronde is een update van de data uit schoolinformatiesystemen gebruikt bij de berekeningen van de toegevoegde waarde van de scholen. De toelichting op het schoolrapport Toegevoegde waarde is ter beoordeling voorgelegd aan een