Toetsing van het onderzoeksmodel

In dit onderzoek wordt uitgegaan van de leerprestaties en het doorstroompercentage van leerlingen in de bovenbouw als indicatoren voor de effectiviteit van de school (zie hoofdstuk 5). Gegevens over de leerprestaties en het doorstroompercentage zijn ontleend aan databestanden die door de Inspectie van het Onderwijs zijn gebruikt voor de samenstelling van de opbrengstenkaarten. Deze databestanden zijn opgevraagd bij DANS (Data Archiving and Networked Services, www.dans.knaw.nl). Als maat voor de leerprestaties is uitgegaan van het gemiddelde cijfer voor alle vakken van het centraal schriftelijk eindexamen. Het gemiddelde eindexamencijfer, zoals dat wordt vermeld op de opbrengstenkaarten, is een gewogen gemiddelde, omdat de deelname van leerlingen aan de verschillende vakken varieert. Voor dit onderzoek is het gemiddelde eindexamencijfer voor alle vakken gemiddeld over drie jaar (2004, 2005 en 2006) gebruikt. Daarnaast is het doorstroompercentage van de derde klas naar het diploma gemiddeld over dezelfde drie jaren. Er wordt uitgegaan van een gemiddelde over drie jaar om de invloed van toevallige schommelingen te verminderen. De eindexamencijfers en het doorstroompercentage blijken redelijk stabiel te zijn van het ene jaar op het andere, maar minder stabiel over een langere periode (zie Maslowski, 2001, p. 104). Om het gemiddelde eindexamencijfer en het gemiddelde doorstroompercentage te kunnen berekenen voor de deelnemende scholen, zijn de bestanden met de gegevens van de opbrengstenkaarten gekoppeld aan het databestand met de latente variabele scores, waarbij een matchingsprocedure is uitgevoerd aan de hand van het BRIN-nummer (Basisregistratie Instellingen).

De toetsing van het causale onderzoeksmodel aan de data is uitgevoerd met behulp van

structural equation modeling (SEM, zie bijlage 2B) in LISREL versie 8.8. Bij het opstellen

van causale modellen zijn drie regels van toepassing (ontleend aan Saris & Stronkhorst, 1984, p.35):

1. Common causes of variables which are related by direct causal effects cannot be left out of the theory;

2. Intervening variables can be omitted from the theory without harming the test procedures of causal hypotheses in the theory;

3. Variables which influence either cause or effect variables but not both can be omitted without harming the test procedures of causal hypotheses in the theory.

Vanwege de eerste regel kunnen contextvariabelen die van invloed zijn op de leerprestaties en mogelijk ook op het gedrag van de schoolleider niet worden genegeerd. De derde regel geeft aan dat (context-) variabelen die van invloed zijn op hetzij de handelingen van schoolleiders, hetzij de uitkomstvariabelen, zonder problemen kunnen worden weggelaten. Uit de tweede regel valt af te leiden dat het niet nodig is om intermediaire variabelen aan het model toe te voegen om aan te tonen dat er een effect bestaat van de handelingen van schoolleiders op de uitkomstvariabelen. Dit is opmerkelijk omdat er in het onderzoek naar schoolleiderschap vanuit wordt gegaan dat indirecte effectmodellen (met ‘antecedente’ factoren) een beter resultaat zullen opleveren dan directe effectmodellen (zie bijv. Witziers, Bosker & Krüger, 2003). Als er geen correlatie is tussen twee variabelen, is er geen (direct of indirect) causaal verband, tenzij er sprake is van een zogenaamde suppressor variabele (zie Verschuren, 1991, p. 279), die negatief correleert met de ene variabele en positief met de andere. Uit het voorgaande kan worden opgemaakt, dat als er geen significant direct causaal verband aantoonbaar is tussen schoolleiderschap en leerprestaties, ook geen significante indirecte effecten gevonden zullen worden, tenzij er sprake is van positieve en negatieve effecten die elkaar neutraliseren. Een indirect-effect-model biedt de mogelijkheid om de invloed van handelingen van schoolleiders op verschillende variabelen in het onderzoeksmodel te ‘ontrafelen’.

3.6 Discussie

In dit hoofdstuk zijn achtereenvolgens de constructie van de onderzoeksinstrumenten, de dataverzameling, de representativiteit van de steekproef en de data-analyse methoden beschreven. Hieronder volgt een overzicht met een discussie van enkele resultaten.

Voor de constructie van de vragenlijsten voor het onderzoeken van het gedag van schoolleiders, de schoolcultuur, de schoolorganisatiepraktijk en de schoolbeleving van leerlingen (zie paragraaf 3.2), werd zoveel mogelijk gebruik gemaakt van bestaande onderzoeksinstrumenten. Voor het meten van de handelingen van schoolleiders werd een groot aantal items ontleend aan het instrument Onderwijskundige Gerichtheid van

Schoolleiders van Krüger (1994). De vragenlijsten voor het meten van de schoolcultuur en de

schoolorganisatiepraktijk werden gebaseerd op instrumenten van Houtveen et al. (1995) en Maslowski (2001). Voor de vragenlijst over schoolbeleving van leerlingen werden vooral items ontleend aan de Student Engagement and Family Educational Culture Survey van Leithwood et al. (Leithwood, Aitken & Jantzi, 2000). Waar nodig werden de schalen aangevuld met nieuwe items, waarbij gebruik werd gemaakt van diverse andere bronnen. Door zoveel mogelijk uit te gaan van bestaande en geteste instrumenten, werd ‘inhoudsvaliditeit’ nagestreefd (Swanborn, 1994, p.189). Schoolleiders en docenten controleerden de ‘validiteit-op-het-eerste-gezicht’ (face validity) van de items.

Bij de werving van scholen werd een aantal van 100 deelnemende scholen als doel gesteld (zie paragraaf 3.3). Dit aantal werd noodzakelijk geacht voor het uitvoeren van de benodigde analyses. Het onderzoek was gericht op de eindverantwoordelijke schoolleiders (locatiedirecteuren) van vestigingen voor voortgezet onderwijs met een havo-bovenbouw. Door het onderzoek te richten op de havo, werd gestreefd naar een overeenkomstige ‘context’ voor het onderzoeken van de invloed van de schoolleider. De havo kan worden beschouwd als een homogene opleiding met relatief geringe verschillen in aanleg tussen leerlingen. Het was de bedoeling om op deze manier ook schoolleiders te vinden met een vergelijkbaar takenpakket. De taken en verantwoordelijkheden van locatiedirecteuren blijken echter behoorlijk uiteen te lopen. Vanwege de verwachte respons van 20-30% voor dit soort

onderwijsonderzoek werden alle 484 locaties met een havo-bovenbouw uitgenodigd om deel te nemen. Uiteindelijk werden 103 scholen bereid gevonden om mee te werken aan het onderzoek, dit is een respons van 21%. Deze respons valt binnen de verwachting. Scholen die niet mee wilden doen aan, gaven aan dat zij selectief moeten zijn vanwege de vele verzoeken om mee te werken aan onderzoek. Verder kon ook de werkdruk van docenten, of speciale projecten die werden uitgevoerd binnen de school, aanleiding vormen om niet deel te nemen. Voor de dataverzameling werden op elke school vragenlijsten voorgelegd aan de schoolleider, 15 docenten van de havo-bovenbouw en twee havo-5 klassen. In totaal werkten 103 schoolleiders, 998 docenten en 4336 leerlingen mee aan het onderzoek.

De groep van deelnemende scholen is representatief voor de totale populatie wat betreft de verdeling over de provincies en de schoolgrootte (zie paragraaf 3.4). Het percentage rooms- katholieke scholen onder de deelnemende scholen is wat groter dan in de totale populatie. Katholieke scholen waren kennelijk wat vaker bereid om mee te werken aan het onderzoek dan andere bijzondere scholen. De deelnemende schoolleiders waren gemiddeld wat korter in functie dan in een vergelijkbaar onderzoek van Houtveen et al. (6.1 jaar vs. 8.6 jaar, zie Houtveen et al., 1993). Het is mogelijk dat schoolleiders met relatief weinig ervaring op de huidige school meer geïnteresseerd waren om deel te nemen aan dit onderzoek. Het is echter ook mogelijk dat schoolleiders tegenwoordig sneller wisselen van school. Dit is niet nader onderzocht.

In de voorlaatste paragraaf van dit hoofdstuk (3.5) wordt een overzicht gegeven van de methoden die zijn gebruikt voor de data-analyse. De uitkomsten van de data-analyse zijn beschreven in de volgende hoofdstukken. De kwaliteit van de onderzoeksinstrumenten is nader onderzocht met behulp van (meerniveau) confirmatieve factoranalyse. Hierbij is gebruik gemaakt van de multitrait multimethod benadering. De resultaten worden besproken in hoofdstuk 4 van dit proefschrift. In hoofdstuk 5 worden, aan de hand van de variabelen in het onderzoeksmodel, de relaties verkend tussen de kenmerken van scholen en de uitkomsten. De resultaten van de toetsing van het (causale) onderzoeksmodel worden beschreven in hoofdstuk 6. Hoofdstuk 7 geeft een overzicht van het gehele onderzoek en de conclusies.

Hoofdstuk 4