Dataverzameling en validering van de onderzoeksinstrumenten

Om gegevens te kunnen verzamelen voor de toetsing van het onderzoeksmodel, werden alle scholen voor voortgezet onderwijs met een havo-bovenbouw benaderd. Dit leverde een respons op van 21% van de havo-vestigingen. Een dergelijk responspercentage is normaal voor dit soort onderzoek. Schoolleiders geven aan dat zij vele verzoeken ontvangen om mee te werken aan onderzoek en dat zij dus selectief moeten zijn. Verder laat de situatie op school het niet altijd toe om deel te nemen, bijvoorbeeld als de school bezig is met ingrijpende onderwijsvernieuwingen of andere speciale projecten. In totaal werkten 103 schoolleiders, 998 docenten van de havo bovenbouw en 4336 leerlingen van havo-5 klassen mee aan het onderzoek. De groep van deelnemende scholen is representatief voor de totale populatie wat betreft de verdeling over de provincies en de schoolgrootte. Het percentage rooms-katholieke scholen onder de deelnemende scholen is groter dan in de totale populatie en het percentage overige bijzonder scholen kleiner. Het onderzoek is gericht op de havo, omdat dit een homogene opleiding is, met relatief geringe verschillen in aanleg tussen leerlingen. De schoolleider die centraal staat in dit onderzoek, is de eindverantwoordelijke schoolleider van de havo-locatie. Het streven was om het onderzoek uit te voeren onder schoolleiders met een vergelijkbaar takenpakket. De taken en verantwoordelijkheden van locatieleiders blijken echter toch nog behoorlijk te verschillen. Bovendien hebben niet alle locaties een locatiedirecteur, in sommige scholen is de schoolleiding bijvoorbeeld verdeeld over sectordirecteuren of afdelingsdirecteuren.

Zowel schoolleiders als docenten van de deelnemende scholen vulden een vragenlijst in over schoolleidersgedrag (42 items). Hiermee werd nagegaan in hoeverre schoolleiders handelingen uitvoeren die kenmerkend zijn voor een respectievelijk een rationele doel, interne proces, ‘human relations’, of open systeem benadering, volgens het concurrerende waarden model. Met behulp van vragenlijsten over de schoolcultuur en de schoolorganisatiepraktijk (elk 40 items) werd bij docenten geïnventariseerd in welke mate de schoolcultuur kan worden gekarakteriseerd door een rationele doel, interne proces, ‘human relations’ of open systeem oriëntatie en in hoeverre deze vier oriëntaties zijn terug te vinden in de schoolorganisatiepraktijk. Tenslotte vulden leerlingen een vragenlijst in over hun schoolbeleving (42 items). Van 97 van de 103 scholen die meewerkten aan het onderzoek werd een volledige dataset verkregen, met gegevens van de locatieleider, gemiddeld 10 docenten en gemiddeld 44 leerlingen per school.

Aan de hand van de verzamelde data werd eerst de kwaliteit van de onderzoeksinstrumenten vastgesteld. Hierbij werd aandacht besteed aan de constructvaliditeit en de betrouwbaarheid (of de interne consistentie), van de instrumenten. De constructvaliditeit is onder te verdelen in convergerende en discriminante validiteit. Voor een goede convergerende validiteit moeten correlaties tussen meetwaarden voor dezelfde concepten, gemeten met verschillende methodes, voldoende hoog zijn. De discriminante validiteit is in orde, als correlaties tussen meetwaarden voor verschillende concepten, gemeten met dezelfde methode, laag zijn. De constructvaliditeit en de betrouwbaarheid werden onderzocht met behulp van confirmatieve factoranalyse. Daartoe werd voor elk onderzoeksinstrument een meetmodel geconstrueerd, waarin de indicatoren (items) werden gekoppeld aan latente variabelen (schalen). Voor de toetsing van meetmodellen aan docenten- en leerlingendata werd meerniveau confirmatieve factoranalyse het meest geschikt geacht, vanwege de hiërarchische structuur van de data, met docenten en leerlingen ‘geclusterd’ in scholen (Hox, 2002; Snijders & Bosker, 1999). Met meerniveau confirmatieve factoranalyse kunnen (verschillende) meetmodellen tegelijkertijd worden getoetst op verschillende analyseniveaus (bijvoorbeeld schoolniveau en docentenniveau). Hierbij werd ervan uitgegaan, dat factorscores (latente variabele scores) op schoolniveau een zo zuiver mogelijke schatting van de schoolkenmerken zouden opleveren (zie De Maeyer & Rymenans, 2004, p. 260; De Maeyer, Rymenans, Van Petegem, van den Bergh & Rijlaarsdam, 2007).

Bij de uitvoering van meerniveau confirmatie factoranalyses met behulp van LISREL werd gebruik gemaakt van twee schattingsmethoden: Muthén’s approximate Maximum Likelihood (MUML, zie Muthén, 1990) en de meer geavanceerde Full Information Maximum Likelihood (FIML, zie bijv. Hox & Maas, 2001) methode. De eerste methode bleek robuuster voor de omvangrijke meetmodellen die werden getest, de tweede methode leverde minder accurate resultaten op. De beperkte steekproefgrootte op between groups niveau (het aantal scholen) en de relatief lage intraklassecorrelatie speelden hierbij wellicht een rol (zie 4.3.6). Omdat de LISREL software (versie 8.8) geen factorscores bleek te kunnen berekenen voor meerniveau modellen, werden uiteindelijk alleen voor docentendata (schoolleidersgedrag, schoolcultuur en schoolorganisatiepraktijk) meerniveau confirmatieve factoranalyses uitgevoerd, terwijl voor leerlingendata éénniveau analyse werd toegepast. Een voordeel van de meerniveau analyse was dat de modelpassing op schoolniveau kon worden bepaald. Dit was voor de leerlingvariabelen minder relevant.

Met behulp van de uitkomsten van de éénniveau en meerniveau confirmatieve factoranalyses zijn de meetmodellen geoptimaliseerd. Slecht ladende indicatoren werden verwijderd of verplaatst. Daarbij werd ook gebruik gemaakt van exploratieve factoranalyse. Voor

schoolleidersgedrag, de schoolcultuur en de schoolorganisatiepraktijk zijn de vier factoren, die de vier organisatiemodellen in het concurrerende waarden model vertegenwoordigen, in gewijzigde vorm gehandhaafd. Voor de schoolbeleving van leerlingen werden drie factoren gevonden: ‘waardering van de school’, ‘waardering van onderwijs’ en ‘werkklimaat’. De aangepaste meetmodellen vertonen een betere modelpassing dan de oorspronkelijke modellen. Door het verwijderen van items met lage factorladingen, is de interne consistentie (betrouwbaarheid) verhoogd. De interne consistentie kan worden gezien als een vorm van convergerende validiteit. Verder verminderde de correlatie tussen de schalen, zodat de discriminante validiteit werd bevorderd. Voor alle schalen is de betrouwbaarheid zoals bepaald door middel van Cronbach’s alpha voldoende (0.7 of hoger).

Op basis van de verbeterende meetmodellen werden factorscores gegenereerd en geaggregeerd naar schoolniveau. De betrouwbaarheid van de geaggregeerde scores (zie tabel 4.16) is voor de meeste schalen acceptabel (0.7-0.8), maar voor enkele schalen (interne proces en human relations schoolcultuur, waardering van onderwijs door leerlingen) aan de lage kant (0.4-0.6). De lage betrouwbaarheid van de naar schoolniveau geaggregeerde scores voor ‘waardering van onderwijs’ ligt voor de hand, omdat het hier meer gaat om een persoonlijke dan een schoolgebonden factor.

Nadat kwaliteit van de bijgestelde onderzoeksinstrumenten in principe was vastgesteld, werd de validiteit nader onderzocht aan de hand van de tweede onderzoeksvraag:

Is het concurrerende waarden model een geschikt kader om zowel het schoolleidersgedrag als de schoolcultuur en de schoolorganisatiepraktijk te karakteriseren en relaties tussen deze variabelen bloot te leggen?

Door sommige onderzoekers wordt verondersteld dat factoren die tegengestelde organisatiemodellen vertegenwoordigen in het concurrerende waarden model (rationele doel vs. ‘human relations’ en interne proces vs. open systeem), minder met elkaar zouden moeten correleren, dan factoren die gerelateerde organisatiemodellen representeren (Kalliath, Bluedorn & Gillespie, 1999; Lawrence, Quinn & Lenk, 2003). In dit onderzoek kon deze hypothese niet worden bevestigd. De correlaties tussen de schalen binnen de meetmodellen voor schoolleidersgedrag, schoolcultuur en schoolorganisatiepraktijk, vertonen niet het verwachte patroon. Andere onderzoekers menen echter dat het belang dat gehecht wordt aan de waarden die de vier organisatiemodellen vertegenwoordigen, kan afhangen van de specifieke kijk op de organisatie van de respondentengroep (Lamond 2003; van Muijen, Koopman & De Witte, 1998, p.109), de ontwikkelingsfase van de organisatie (Quinn, 1998), of actuele maatschappelijke ontwikkelingen (Kalliath, Bluedorn & Gillespie, 1999). Een afwijkend patroon van correlaties tussen de factoren dan op basis van overeenkomsten en verschillen tussen de vier kwadranten in het concurrerende waarden model zou worden verwacht, wordt dus wel vaker gevonden. De correlaties tussen de factoren geven daarom geen uitsluitsel over de validiteit van de onderzoeksinstrumenten.

De verbanden tussen schoolleidersgedrag, de schoolcultuur en de schoolorganisatiepraktijk werden nader onderzocht in een multitrait-multimethod matrix (Campbell & Fiske, 1959; zie ook Trochim, 2006). Tussen de scores van schoolleiders en docenten voor de vier typen handelingen blijken significante, maar matige correlaties te bestaan. De convergerende validiteit is dus acceptabel, maar er kan ook worden geconcludeerd dat schoolleiders en docenten (deels) verschillende percepties hebben van de uitgevoerde handelingen. Handelingen zoals die door docenten werden waargenomen, vertonen veel sterkere relaties

met respectievelijk schoolcultuur- en schoolorganisatievariabelen dan handelingen zoals die door schoolleiders zelf werden opgegeven. Tussen de schoolcultuur- en de schoolorganisatievariabelen onderling blijken ook aanzienlijke verbanden te bestaan. Dit zou kunnen wijzen op conceptuele overlap, hoewel volgens de literatuur pas bij een correlatie van .85 of hoger moet worden uitgegaan van onvoldoende discriminante validiteit (zie Garson, z.j., d, Kenny, 1998).

Met betrekking tot de tweede onderzoeksvraag kan worden geconcludeerd dat op basis van het concurrerende waarden model valide en betrouwbare onderzoeksinstrumenten zijn ontwikkeld voor het meten van schoolleidersgedrag, de schoolcultuur en de schoolorganisatiepraktijk. Tussen de schoolleiderschaps- schoolcultuur en schoolorganisatievariabelen bestaan de nodige relaties, het is daarbij echter de vraag of schoolcultuur en schoolorganisatiepraktijk voldoende van elkaar kunnen worden onderscheiden. In dit onderzoek wordt de schoolorganisatiepraktijk opgevat als een ‘manifestatie van de cultuur van de organisatie’ (zie ook Houtveen et al., 1995, p33). Overlap tussen schoolcultuur- en schoolorganisatievariabelen ligt dus voor de hand. Een principale componenten analyse van de acht variabelen voor schoolcultuur en schoolorganisatiepraktijk leverde op, dat twee componenten kunnen worden onderscheiden, die samen 82% van de variantie verklaren.

Hoewel de discriminante validiteit in principe voldoende was om alle variabelen te kunnen handhaven, werd om om inhoudelijke en praktische redenen gekozen voor het combineren van cultuur- en organisatievariabelen. Voor de toetsing van een structureel model was het voordelig om het aantal variabelen te verminderen, vanwege het relatief beperkte aantal cases. Een kleiner aantal variabelen zou bovendien de interpretatie van de uitkomsten vereenvoudigen. Met behulp van exploratieve factoranalyse zijn twee nieuwe ‘cultuur’ variabelen geconstrueerd: ‘prestatiegerichtheid’ en ‘ontwikkelingsgerichtheid’. De variabele prestatiegerichtheid wordt bepaald door de som van de scores voor rationele doel cultuur, interne proces cultuur en rationele doel praktijk. De variabele ‘ontwikkelingsgerichtheid’ wordt bepaald door de som van de scores voor human relations cultuur, open systeem cultuur, interne proces praktijk en human relations praktijk.