Betrouwbaarheid van de geaggregeerde variabelen en verbanden tussen de variabelen

Voor de handelingen van schoolleiders, de schoolcultuur, de schoolorganisatiepraktijk en de schoolbeleving van leerlingen werden latente variabele scores bepaald aan de hand van docenten- of leerlingengegevens, met behulp van éénniveau confirmatieve factoranalyse. Deze scores werden vervolgens geaggregeerd naar schoolniveau (zie 4.3.6). De betrouwbaarheid λj van de geaggregeerde variabelen op schoolniveau kan worden vastgesteld

aan de hand van de gemiddelde groepsgrootte nj (het gemiddelde aantal docenten of

leerlingen per school) en de intraklasse correlatie ρI. Hiervoor geldt de formule (zie 3.5.4):

λj = njρI/(1+ [nj-1]ρI)

In tabel 4.16 wordt wordt een overzicht gegeven van de intraklassecorrelatie en de betrouwbaarheid voor de geaggregeerde variabelen.

Tabel 4.16 Intraklassecorrelatie, gemiddelde groepsgrootte en betrouwbaarheid van de geaggregeerde variabelen op schoolniveau

Geaggregeerde variabele ρI nj¹ Reliability (λj)

Rationele doel handelingen .22 9.0 0.72

Interne proces handelingen .34 9.0 0.82

Human relations handelingen .31 9.0 0.80

Open systeem handelingen .22 9.0 0.72

Rationele doel schoolcultuur .17 9.7 0.67

Interne proces schoolcultuur .11 9.7 0.55

Human relations schoolcultuur .15 9.7 0.63

Open systeem schoolcultuur .22 9.7 0.73

Rationele doel organisatiepraktijk .18 9.5 0.68

Interne proces organisatiepraktijk .21 9.5 0.72

Human relations organisatiepraktijk .27 9.5 0.78

Open systeem organisatiepraktijk .17 9.5 0.66

Waardering school .07 38 0.74

Waardering onderwijs .02 38 0.44

Werkklimaat .09 38 0.79

¹ (harmonisch) gemiddelde van het aantal respondenten per school, gebaseerd op het aantal geldige waarnemingen

De betrouwbaarheid van de geaggregeerde variabelen is acceptabel, alleen bij de interne proces schaal voor schoolcultuur en de waardering van onderwijs door leerlingen is de betrouwbaarheid laag. De lage waarde voor de gemiddelde waardering van onderwijs in het algemeen ligt voor de hand, omdat het hier meer gaat om persoonlijke kenmerken van leerlingen dan om schoolkenmerken.

Uit de multitrait-multimethod matrix in tabel 4.15 kan worden opgemaakt dat de correlaties tussen de zelfbeoordeling van schoolleiders en de waarnemingen van docenten van schoolleidersgedrag significant zijn. Dit wijst op convergerende validiteit. Aan de hand van de correlaties kan worden geschat in hoeverre de docentscores voor de handelingen van schoolleiders zouden kunnen worden voorspeld uit de schoolleiderscores. Het kwadraat van de correlatiecoefficiënt is een maat voor het gedeelte van de variantie in een variabele dat wordt verklaard door een andere variabele (Field, 2000, p.90). Met behulp van meerniveau regressie analyse kan echter nog nauwkeuriger worden bepaald in hoeverre de variantie op schoolniveau in de docentenscores wordt verklaard door de schoolleidersscores. In tabel 4.17 wordt een overzicht gegeven van de verklaarde variantie in de docentscores op basis van de correlaties en op basis van meerniveau analyse.

Tabel 4.17 Correlaties tussen schoolleidersscores en docentscores en verklaarde variantie in de docentscores voor de handelingen van schoolleiders

Schaal Correlatie r Verklaarde variantie¹ R² Verklaarde variantie² schoolniveau Verklaarde variantie² totaal

Rationele doel handelingen 0.40 16% 20% 4%

Interne proces handelingen 0.40 16% 20% 7%

Human relations handelingen 0.37 14% 20% 6%

Open systeem handelingen 0.61 37% 53% 12%

¹ Op basis van correlaties (op schoolniveau) ² Op basis van meerniveau regressie analyse

Uit tabel 4.17 blijkt dat de verklaarde variantie in de docentscores voor de handelingen van schoolleiders wordt onderschat als wordt uitgegaan van de correlatie tussen de schoolleidersscores en de (geaggregeerde) docentscores. Het aggregeren van variabelen betekent een verlies aan variantie waardoor minder samenhang kan worden gevonden (zie Meelissen, 2005, p.88). Op basis van meerniveau regressie analyse worden hogere percentages verklaarde variantie gevonden op schoolniveau. Het effect van de schoolleidersscores is voor alle handelingen significant. Voor de rationele doel, interne proces en ‘human relations’ handelingen is het percentage van de variantie op schoolniveau dat wordt verklaard door de schoolleidersscores vrijwel gelijk. Het percentage verklaarde variantie voor de open systeem handelingen is erg hoog. De schoolleidersscores verklaren slechts een klein deel van de totale variantie in de docentscores voor de handelingen van schoolleiders. Dat komt doordat slechts een beperkt deel van de variantie in de docentscores is toe te schrijven aan verschillen tussen scholen. In hoofdstuk 5 wordt nader ingegaan op de verschillen tussen schoolleidersscores en docentscores voor schoolleidersgedrag.

De correlaties tussen de schoolcultuur schalen die werden gevonden in dit onderzoek (zie tabel 4.15) kunnen worden vergeleken met de uitkomsten van ander onderzoek. Maslowski (2001. p.81) vond bij de validering van de vragenlijst die hij ontwikkelde voor het meten van de schoolcultuur, met behulp van confirmatieve factoranalyse een redelijke correlatie (.54) tussen rationele doel en interne proces cultuur en daarnaast een bescheiden correlatie (.35) tussen de interne proces en ‘human relations’ cultuur. In het hier gerapporteerde onderzoek werden hogere waarden gevonden voor de correlaties tussen rationele doel en interne proces cultuur (.61) en tussen interne proces en ‘human relations’ cultuur (.58), terwijl er ook substantiële verbanden bestaan tussen open systeem cultuur en en interne proces cultuur (.42) en tussen open systeem cultuur en ‘human relations’ cultuur (.80). Een verband tussen de rationele doel en interne proces oriëntaties wordt vaker gevonden bij onderzoek naar het concurrerende waarden model (Quinn & Rohrbaugh, 1983; Van Muijen, 1994). Tussen de andere oriëntaties worden wisselende correlaties gevonden (zie paragraaf 4.2, zie ook Maslowski, 2001, p.79). Zoals ook in paragraaf 4.6 werd geconcludeerd is er enige conceptuele overlap tussen de kwadranten in het concurrerende waarden model en kunnen de correlaties tussen factoren die de kwadranten vertegenwoordigen bijvoorbeeld afhangen van de ontwikkelingsfase van de organisatie, de respondentengroep of actuele maatschappelijke omstandigheden.

Vanwege de relatief hoge correlaties die voorkomen tussen de schoolcultuur- en schoolorganisatieschalen (zie paragraaf 4.6) is het niet zeker of de schalen binnen de meetinstrumenten voldoende discrimineren en of de schoolcultuur en de schoolorganisatiepraktijk in dit onderzoek als onafhankelijke concepten kunnen worden beschouwd. Bij de samenstelling van de vragenlijst over de schoolorganisatiepraktijk werd al geconstateerd dat de schoolorganisatie, zoals die werd geoperationaliseerd, kon worden opgevat als een neerslag van de schoolcultuur in de schoolpraktijk (zie paragraaf 3.2). Om na te gaan in hoeverre de schalen voor schoolorganisatie en schoolcultuur inderdaad verschillende factoren vertegenwoordigen, werd een principale componenten analyse uitgevoerd (met varimax rotatie). Uit deze analyse komen twee factoren naar voren die samen 82% van de variantie verklaren. De uitkomsten staan in tabel 4.18.

Tabel 4.18 Uitkomsten van een principale componenten analyse (met varimax rotatie) voor schoolcultuur en schoolorganisatie schalen

Schaal Factor 1* Factor 2*

Rationele doel schoolcultuur .93

Interne proces schoolcultuur .50 .75

Human relations schoolcultuur .87

Open systeem schoolcultuur .88

Rationele doel organisatiepraktijk .34 .86

Interne proces organisatiepraktijk .87

Human relations organisatiepraktijk .85

Open systeem organisatiepraktijk .58 .31

*Waarden kleiner dan .03 zijn niet vermeld.

Op basis van de uitkomsten van de exploratieve factoranalyse in tabel 4.18, werd besloten om voor schoolcultuur en schoolorganisatie, in plaats van acht variabelen, twee factoren te onderscheiden: één factor die wordt bepaald door de som van de scores voor rationele doel schoolcultuur, interne proces schoolcultuur en rationele doel organisatiepraktijk en één factor die wordt bepaald door de som van de scores op ‘human relations’ schoolcultuur, open systeem schoolcultuur, interne proces organisatiepraktijk en ‘human relations’ organisatiepraktijk. De open systeem organisatiepraktijk is niet meegenomen, omdat deze variabele minder hoog laadt op de eerste factor dan de andere. De eerste factor wordt ‘prestatiegerichtheid’ genoemd. Deze factor vertegenwoordigt een gerichtheid op prestaties en een ordelijke werksfeer. De tweede factor wordt ‘ontwikkelingsgerichtheid’ genoemd. Deze factor is een maat voor de gerichtheid op samenwerking, professionele ontwikkeling, aanpassing en vernieuwing. In de tweede factor zijn kenmerken van de ’lerende organisatie’ te herkennen (zie paragraaf 2.3). De correlatie tussen deze twee factoren is .41, dit is een acceptabele waarde in verband met discriminante validiteit. Tabel 4.19 geeft een overzicht van de intraklassecorrelatie en de betrouwbaarheid van de nieuwe variabelen.

Tabel 4.19 Intraklassecorrelatie, gemiddelde groepsgrootte en betrouwbaarheid van de geaggregeerde variabelen op schoolniveau

variabele ρI nj reliability (λj)

Prestatiegerichtheid .16 9.5 0.64

Ontwikkelingsgerichtheid .24 9.5 0.75

De betrouwbaarheid van de variabele ‘prestatiegerichtheid’ is nog aan de lage kant, die voor ‘ontwikkelingsgerichtheid’ is goed. De nieuwe variabelen ‘prestatiegerichtheid’ en ’ontwikkelingsgerichtheid’ worden in hoofdstuk 5 nader beschreven.

4.8 Discussie

De eerste onderzoeksvraag bij dit hoofdstuk heeft betrekking op de psychometrische kwaliteit van de onderzoeksinstrumenten voor het meten van schoolleidersgedrag, de schoolcultuur, de schoolorganisatiepraktijk en de schoolbeleving van leerlingen. De validiteit en de betrouwbaarheid van de onderzoeksinstrumenten werden onderzocht met behulp van éénniveau en meerniveau confirmatieve factoranalyse (zie paragrafen 4.3 t/m 4.5).

Bij de uitvoering van zowel éénniveau (voor schoolleidersdata) als meerniveau confirmatieve factoranalyse met behulp van LISREL (versie 8.8) bleken problemen op te treden door de

omvang van de meetmodellen (zie 4.3.6). Bij de opzet van het onderzoek werd uitgegaan van een steekproef van 100 scholen met gemiddeld tien docenten per school, omdat dit zou voldoen voor meerniveau analyse (zie bijv. Muthén, 1997, Hox, 2002, p.175). Voor structural

equation modeling gelden echter andere vuistregels. Garson (z.j., b) stelt bijvoorbeeld dat bij

een model met meer dan tien variabelen een steekproefgrootte van minder dan 200 cases leidt tot onstabiele resultaten. Ander auteurs gaan uit van tien tot twintig keer zoveel cases als variabelen (Mitchell, 1993, Stevens, 1996). Aangezien alle onderzoeksinstrumenten tenminste 40 items bevatten, was de steekproefgrootte van 97 scholen dus eigenlijk ontoereikend om de opgestelde meetmodellen te kunnen toetsen.

Voor de meerniveau confirmatieve factoranalyses werden twee verschillende schattingsmethoden gebruikt: Muthén’s approximate Maximum Likelihood (MUML, Muthén, 1990) en Full Information Maximum Likelihood (FIML, du Toit,& du Toit, 2001) methode. MUML gaat uit van twee (onafhankelijke) groepen op schoolniveau en docentenniveau, terwijl FIML op schoolniveau meer groepen analyseert (zoveel als het aantal verschillende groepsgroottes, zie Muthén, 1990). Hoewel FIML accuratere schattingen zou moeten opleveren, bleek MUML robuuster te zijn en betere resultaten op te leveren voor de omvangrijke meermodellen die werden getest. Het is niet mogelijk om met behulp van LISREL (versie 8.8) latente variabele scores te berekenen voor meerniveau meetmodellen, daarom werden deze scores berekend aan de hand van éénniveau modellen en geaggregeerd naar schoolniveau.

Een voordeel van de toepassing van meerniveau confirmatieve factoranalyse was dat een beter inzicht werd verkregen in de passing van het model op schoolniveau, terwijl ook zwakke items op schoolniveau konden worden gedetecteerd. Hierdoor konden de meetmodellen beter worden toegesneden op de verschillen tussen scholen. Vanwege de omvang van de meetmodellen waren de databestanden te klein om kruisvalidering te kunnen toepassen. Door de ‘datagedreven’verbetering van de meetmodellen is kanskapitalisatie niet uit te sluiten (zie MacCallum, Roznowski en Necowitz, 1992). Voor de handelingen van schoolleiders is de modelverbetering echter uitgevoerd aan de hand van twee verschillende databestanden (van schoolleiders en docenten). Verder is bij de verbetering van de meetmodellen een behoudende aanpak gehanteerd, waarbij alleen slecht passende items (op schoolniveau) werden verwijderd of verplaatst. Hierdoor is het risico van kanskapitalisatie waarschijnlijk toch beperkt.

Door het aanpassen van de meetmodellen werd de constructvaliditeit verbeterd. Constructvaliditeit is onder te verdelen in convergerende en discriminante validiteit. Verschillende instrumenten om hetzelfde begrip te meten, moeten hetzelfde resultaat opleveren, ofwel convergeren. Als met een meetinstrument verschillende begrippen worden gemeten, moet de methode deze begrippen voldoende van elkaar onderscheiden (discrimineren). Uit de correlaties tussen de factoren in het meetmodel voor schoolbeleving blijkt dat de discriminante validiteit van dit instrument voldoende is (zie paragraaf 4.5). De convergerende en discriminante validiteit van de meetinstrumenten voor de handelingen van schoolleiders, de schoolcultuur en de schoolorganisatie werd nader geanalyseerd aan de hand van een multitrait-multimethod matrix van correlaties tussen factorscores (zie paragraaf 4.6). Hiertoe werden eerst latente variabele scores bepaald voor alle schalen, die (voor docenten- en leerlingengegevens) werden geaggregeerd naar schoolniveau. De betrouwbaarheid van de geaggregeerde scores voor schoolleidersgedrag, de schoolcultuur de schoolorganisatie en de schoolbeleving van leerlingen op schoolniveau is acceptabel (zie paragraaf 4.7).

Uit de multitrait-multimethod matrix kon worden opgemaakt dat de convergerende validiteit voor schoolleidersgedrag redelijk is, maar ook dat schoolleiders en docenten (deels) verschillende percepties hebben van de uitgevoerde handelingen (zie paragraaf 4.6). De scores van docenten worden slechts voor een beperkt deel voorspeld door de scores van schoolleiders (zie ook paragraaf 4.7). Verder correleren de handelingen zoals die door docenten werden waargenomen, sterker met schoolcultuur- en schoolorganisatievariabelen, dan de handelingen zoals die door schoolleiders zelf werden opgegeven. Vanwege de verschillen tussen de schoolleidersdata en de docentendata voor schoolleidersgedrag, is ervoor gekozen om bij de toetsing van het onderzoeksmodel de gegevens van beide groepen respondenten mee te nemen (zie hoofdstuk 6).

Tussen de schoolcultuur- en de schoolorganisatievariabelen onderling blijken aanzienlijke relaties te bestaan. Dit zou kunnen wijzen op een gebrek aan discriminante validiteit, hoewel werd voldaan aan het criterium dat de correlatie tussen twee variabelen niet hoger mag zijn dan .85 (Garson, z.j., d; Kenny, 1998). Uit een principale componenten analyse van de acht variabelen voor schoolcultuur en schoolorganisatiepraktijk bleek echter, dat twee componenten kunnen worden onderscheiden, die samen 82% van de variantie verklaren (zie paragraaf 4.7). Aan de hand van deze exploratieve factoranalyse zijn twee nieuwe variabelen geconstrueerd: ‘prestatiegerichtheid’ en ‘ontwikkelingsgerichtheid’. De variabele ‘prestatiegerichtheid’ geeft aan in hoeverre een school is gericht op prestaties en een ordelijke werksfeer. De variabele ‘ontwikkelingsgerichtheid’ geeft aan in hoeverre de school is gericht op samenwerking binnen de organisatie, professionele ontwikkeling, aanpassing en vernieuwing.

Met de vaststelling van de twee nieuwe variabelen is de tweede onderzoeksvraag voor dit hoofdstuk beantwoord. Het concurrerende waarden model vormt een geschikt kader om de handelingen van schoolleiders te karakteriseren, maar voor de schoolcultuur en de schoolorganisatiepraktijk is er teveel overlap tussen de factoren die de vier kwadranten in het model vertegenwoordigen. In het onderzoeksmodel (zie figuur 2.5) worden daarom de variabelen schoolcultuur en schoolorganisatiepraktijk vervangen door de twee nieuwe variabelen ‘prestatiegerichtheid’ en ‘ontwikkelingsgerichtheid’.

In het volgende hoofdstuk worden de kenmerken van scholen voor voortgezet onderwijs in Nederland beschreven aan de hand van de variabelen in het onderzoeksmodel. Vervolgens worden de relaties tussen deze kenmerken en de uitkomstvariabelen geëxploreerd. De toetsing van het gehele causale model wordt besproken in hoofdstuk 6.

Hoofdstuk 5