Verbetering van het meetmodel van schoolleidersgedrag

Wanneer de resultaten van de éénniveau confirmatieve factoranalyse voor schoolleidersdata en de drie meerniveau analyses voor de docentendata (zie tabel 4.5) nader worden beschouwd, valt op dat er op schoolniveau een vergelijkbaar patroon is van zwak ladende items (factorlading kleiner dan .4 en/of niet significant). De parameterschattingen van de éénniveau confirmatieve factoranalyse voor individuele docentendata leveren minder informatie op. Ervan uitgaande dat de zwakke items de interne consistentie en daarmee de betrouwbaarheid van het meetinstrument (op schoolniveau) ongunstig beïnvloeden, is het meetmodel bijgesteld.

Voor de aanpassing van het meetmodel werd niet alleen gebruik gemaakt van de parameterschattingen en de modificatie indices die LISREL genereert (zie bijlage 2D), maar ook van de uitkomsten van exploratieve factoranalyses (zie bijlage 2A). Veranderingen in het meetmodel werden alleen doorgevoerd wanneer deze inhoudelijk te verantwoorden waren. Hierbij was het concurrerende waarden model steeds het uitgangspunt. Uit de uitkomsten van de exploratieve factoranalyses bleek dat een model met vier factoren gehandhaafd kon worden, zowel voor schoolleidersdata als voor docentendata. De meeste zwak ladende items bleken inhoudelijk enigszins af te wijken van de overige items in de schaal. Andere items bleken op verschillende factoren te laden omdat ze niet eenduidig waren geformuleerd. De

afwijkende en niet eenduidige items werden verwijderd uit het meetmodel (rd7, rd8, ip1, ip7, ip9, hr4, hr6, hr7, hr9, hr11, hr13, hr14, os2, os4, os5). Twee items bleken beter te passen bij andere factoren (ip2 en ip11). Deze items zijn verplaatst. Tenslotte waren er nog twee items die inhoudelijk veel op elkaar leken (ip5 en ip6), waardoor de passing van het model negatief werd beïnvloed. Hier werd het meest eenduidige item gehandhaafd (ip5), terwijl het andere item werd verwijderd. In totaal zijn 16 (van de 42) items uit het model verwijderd.

Het nieuwe meetmodel dat werd geconstrueerd voor de handelingen van schoolleiders bevat 26 indicatoren. Een overzicht van de schalen (factoren) en de bijbehorende items is te vinden in bijlage 4A. De nieuwe rationele doel schaal (7 items) vertegenwoordigt een gerichtheid op productiviteit, waarbij het vooral gaat om het stellen van doelen. Bij de interne proces schaal (5 items) draait het om controle van de gang van zaken binnen de school. De ‘human relations’ schaal (8 items) gaat vooral over de ondersteuning van docenten bij hun werk. In de open systeem schaal (6 items) komt de externe gerichtheid in de vorm van contacten met partijen buiten de school aan de orde.

Voor het nieuwe meetmodel zijn weer met behulp van LISREL (versie 8.8) dezelfde éénniveau en meerniveau confirmatieve factoranalyses uitgevoerd als voor het oorspronkelijke model. In tabel 4.6 staat een overzicht van Cronbach’s alpha (α) en de passingswaarden die zijn verkregen bij een confirmatieve factoranalyse, voor het totale meetmodel en voor de vier schalen afzonderlijk, aan de hand van de schoolleidersdata.

Tabel 4.6 Passingsmaten en Cronbach’s alpha voor het nieuwe model van schoolleidersgedrag en afzonderlijke schalen, bij confirmatieve factoranalyse met schoolleidersdata (n = 103)

Nieuw meetmodel aantal items α Χ2 _{(df) RMSEA SRMR CFI AGFI}

Volledig model 26 .72 359.84 (293) .047 .094 .851 .744 Rationele doel 7 .67 25.86 (14) .091 .073 .875 .865 Interne proces 5 .70 5.58 (5) .034 .042 .996 .936 Human relations 8 .76 31.33 (20) .075 .065 .940 .872 Open systeem 6 .76 5.35 (9) .000 .033 1.00 .960

RMSEA = Root Mean Square Error of Approximation; SRMR = Standardized Root Mean square Residual; CFI = Comparative Fit Index; AGFI = Adjusted Goodness-of-Fit Index

Uit de resultaten in tabel 4.6 kan worden opgemaakt dat Cronbach’s alpha voor het complete nieuwe model (α = .72) is gedaald vergeleken met het oorspronkelijke model (α = .81, zie tabel 4.1). Het nieuwe model bevat echter aanzienlijk minder items en het is bekend dat Cronbach’s alpha gevoelig is voor het aantal items. Voor de rationele doel, interne proces en ‘human relations’ schaal is Cronbach’s alpha iets gestegen, ondanks het verwijderen van items. Voor de open systeem schaal is alpha min of meer gelijk gebleven. Ten opzichte van het oorspronkelijke model (zie tabel 4.1) is een duidelijke verbetering in de passingswaarden te zien, voor zowel het complete nieuwe model als de afzonderlijke schalen. Voor het complete model voldoet RMSEA aan het criterium (kleiner dan .06) van een goede fit. SRMR en CFI voldoen nog niet aan de criteria voor een goede modelpassing (SRMR kleiner dan of gelijk aan .08, CFI groter dan of gelijk aan .95), maar de waarden komen dichter in de buurt dan bij het oorspronkelijke model. De modelpassing van de nieuwe rationele doel schaal is matig, van de ‘human relations’ schaal redelijk en die van de interne proces schaal en de open systeem schaal goed. Het verschil in modelpassing met het oorspronkelijke model is alleen voor het complete model nagegaan: dit verschil is significant (Δχ2 = 868, Δdf = 520,

p < .001).

Tabel 4.7 geeft een overzicht van de passingswaarden die zijn verkregen bij een éénniveau confirmatieve factoranalyse voor het totale nieuwe meetmodel en voor de vier schalen afzonderlijk, aan de hand van docentenwaarnemingen. In de tabel zijn ook de waarden van Cronbach’s alpha (α) vermeld.

Tabel 4.7 Passingsmaten en Cronbach’s alpha voor het nieuwe model van schoolleidersgedrag en afzonderlijke schalen, bij éénniveau confirmatieve factoranalyse met docentendata (n = 896)

Nieuw meetmodel aantal items α χ2 _{(df) RMSEA SRMR CFI AGFI}

Volledig model 26 .91 1140.80 (293) .057 .054 .967 .893 Rationele doel 7 .85 49.93 (14) .054 .025 .990 .969

Interne proces 5 .76 3.22 (5) .000 .010 1.00 .996

Human relations 8 .84 129.66 (20) .078 .040 .973 .937

Open systeem 6 .73 30.76 (9) .052 .028 .984 .974

RMSEA = Root Mean Square Error of Approximation; SRMR = Standardized Root Mean square Residual; CFI = Comparative Fit Index; AGFI = Adjusted Goodness-of-Fit Index

De waarden voor Cronbach’s alpha van het complete nieuwe model en de afzonderlijke schalen zijn, zoals is af te lezen uit tabel 4.7, iets lager dan die van het oorspronkelijke model (zie tabel 4.2), met uitzondering van de waarde voor de rationele doel schaal. Bij vermindering van het aantal items in een schaal is een daling van Cronbach’s alpha te verwachten. De waarden voor alpha duiden echter nog steeds op een redelijke tot goede betrouwbaarheid van de schalen.

De passingswaarden van het nieuwe model zijn duidelijk beter dan die voor het oorspronkelijke model. Zowel het complete model als de afzonderlijke schalen voldoen aan de criteria voor een goede modelpassing (RMSEA kleiner dan .06, SRMR kleiner dan of gelijk aan .08, CFI groter dan of gelijk aan .95), alleen voor de human relation schaal schaal is RMSEA nog aan de hoge kant. Voor het complete nieuwe model is het verschil in passing met het oorspronkelijke model, op basis van individuele docentendata, significant (Δχ2 = 3519, Δdf = 520, p < .001).

Meerniveau confirmatieve factoranalyse met behulp van de Full Information Maximum

Likelihood (FIML) methode, zoals beschreven door du Toit en du Toit (2001; zie ook Mels,

2004), leverde voor het complete nieuwe meetmodel in eerste instantie geen goede oplossing op, vanwege een Heywood case. Een Heywood case houdt in dat er een negatieve meetfout variantie voorkomt in de parameterschattingen. Heywood cases kunnen bijvoorbeeld worden veroorzaakt door misspecificaties in het model, extreme waarden (outliers) in de dataset, weinig indicatoren per factor, of een te kleine steekproef (Chen, Bollen, Paxton, Curran & Kirby, 2001; zie ook Garson, z.j., b). Nadat alle cases met ontbrekende waarden voor de variabele met de negatieve meetfout variantie (item os1 in de open systeem schaal, zie bijlage 4A) uit de dataset waren verwijderd en daarnaast alle cases met meer dan vijf ontbrekende waarden, werd wel een goede oplossing verkregen. In tabel 4.8 staat een overzicht van de passingswaarden die zijn verkregen met de aangepaste dataset van 858 cases (docenten) voor het complete nieuwe meetmodel en met de volledige dataset voor de vier nieuwe schalen afzonderlijk. Uit tabel 4.8 blijkt dat de passingswaarden van het nieuwe model bij een meerniveau confirmatieve factoranalyse beter zijn dan die van het oorspronkelijke model (zie tabel 4.3). Zowel voor het complete model als voor de afzonderlijke schalen voldoet RMSEA aan het criterium voor een goede modelpassing (RMSEA kleiner dan .06 -.08).

Tabel 4.8 Passingsmaten met docentendata, voor het nieuwe model van schoolleidersgedrag (N=100, n = 858) en afzonderlijke schalen (N = 100, n = 997), bij een meerniveau confirmatieve factoranalyse met FIML

Nieuw meetmodel χ2 _{(df) RMSEA 90% C.I. RMSEA}

Volledig model 1246.72 (586) .051 .047 - .055

Rationele doel 73.42 (28) .057 .041 - .073

Interne proces 8.59 (10) .000 .000 - .043

Human relations 144.93 (40) .073 .060 - .085

Open systeem 47.52 (18) .058 .038 - .078

RMSEA = Root Mean Square Error of Approximation; 90% C.I. = 90% betrouwbaarheidsinterval

Om tenslotte ook nog inzicht te krijgen in de passingswaarden op schoolniveau en op docentenniveau is een meerniveau confirmatieve factoranalyse uitgevoerd met behulp van

Muthén’s approximate Maximum Likelihood solution (MUML). De uitkomsten staan in tabel

4.9. Bij vergelijking van de uitkomsten in tabel 4.9 met die in tabel 4.4 blijkt dat zowel voor het complete nieuwe model, als voor de afzonderlijke schalen, de passingswaarden op schoolniveau (between groups) en op docentenniveau (within groups) verbeterd zijn. Voor het complete nieuwe model geldt dat de modelpassing op schoolniveau nog matig is, maar voor de afzonderlijke schalen voldoen de passingswaarden op schoolniveau aan de criteria voor een goede modelpassing (RMR kleiner dan .05, SRMR kleiner dan .08). Op docentenniveau voldoen alle passingswaarden aan deze criteria. Voor de afzonderlijke schalen geldt op docentenniveau ook dat GFI groter is dan .95.

Tabel 4.9 Passingsmaten voor het nieuwe model van schoolleidersgedrag en afzonderlijke schalen, bij een meerniveau confirmatieve factoranalyse met MUML, voor docentendata (N= 100, n = 997)

Nieuw meetmodel χ2 (df) RMSEA CFI Niveau RMR SRMR GFI

Between .017 .189 .415 Volledig model 972.85 (586) .039 .954 Within .021 .044 .930 Between .003 .046 .809 Rationele doel 73.21 (28) .057 .985 Within .014 .031 .981 Between .004 .034 .916 Interne proces 3.68 (10) .000 1.00 Within .003 .007 .999 Between .007 .073 .753 Human relations 121.11 (40) .064 .974 Within .018 .038 .972 Between .007 .072 .898 Open systeem 52.83 (18) .062 .970 Within .017 .036 .983

RMSEA = Root Mean Square Error of Approximation; CFI = Comparative Fit Index; (S)RMR = (Standardized) Root Mean square Residual; GFI = Goodness-of-Fit Index

Uit de bovenstaande analyseresultaten is op te maken de passingswaarden van het nieuwe meetmodel van schoolleidersgedrag en van de afzonderlijke schalen beter zijn dan die van het oorspronkelijke meetmodel, zowel voor de schoolleidersdata, als de docentendata. Dit wijst erop dat zowel de discriminante validiteit als de interne consistentie van het meetinstrument verbeterd is.