Validering van de onderzoeksinstrumenten
4.6 Analyse van de multitrait-multimethod matr
De vragenlijsten voor het meten van de handelingen van schoolleiders, schoolcultuur en schoolorganisatie bevatten elk vier schalen die corresponderen met de vier kwadranten in het concurrerende waarden model: rationele doel (RD), interne proces (IP), ‘human relations’ (HR) en open systeem (OS). Om de convergerende en discriminante validiteit van de onderzoeksinstrumenten nader vast te stellen is een multitrait-multimethod matrix opgesteld van de correlaties tussen de schalen uit de verschillende onderzoeksinstrumenten. Daartoe werden eerst met behulp van LISREL latente variabele scores berekend voor elk meetmodel (Mels, 2004, p.22). De latente variabele scores (factorscores) voor de docenten werden geaggregeerd, zodat scores op schoolniveau werden verkregen (zie ook 4.3.6). Op basis van
deze geaggregeerde scores zijn de correlaties berekend tussen de verschillende schalen. Voor de handelingen van schoolleiders werden de correlaties berekend aan de hand van schoolleidersgegevens en docentengegevens, voor de schoolcultuur en de schoolorganisatiepraktijk waren alleen docentengegevens beschikbaar. De multitrait- multimethod matrix is afgebeeld in tabel 4.15.
Tabel 4.15 Multitrait-multimethod matrix van significante correlaties (α = .01) tussen de scores op de meetschalen voor schoolleidersgedrag, schoolcultuur en schoolorganisatiepraktijk, met op de diagonaal waarden van Cronbach’s alpha
Schalen Schoolleiders-
handelingen Schoolleiders- handelingen Schoolcultuur Schoolorganisatie- praktijk
schoolleiders docenten docenten docenten
RD IP HR OS RD IP HR OS RD IP HR OS RD IP HR OS Schoolleiders RDhandelingen .67 IPhandelingen .70 HRhandelingen 0.56 .77 OShandelingen 0.34 .76 Docenten RDhandelingen 0.40 .85 IPhandelingen 0.40 0.61 .76 HRhandelingen 0.27 0.37 0.77 0.74 .84 OShandelingen 0.26 0.61 0.56 0.28 .73 RDcultuur .80 IPcultuur 0.44 0.34 0.36 0.61 .80 HRcultuur 0.26 0.47 0.29 0.51 0.58 .86 OScultuur 0.26 0.39 0.52 0.42 0.80 .78 RDorganisatie 0.42 0.50 0.30 0.37 0.68 0.72 0.37 .74 IPorganisatie 0.31 0.28 0.67 0.29 0.40 0.55 0.65 0.70 0.67 0.52 .80 HRorganisatie 0.28 0.27 0.67 0.33 0.42 0.54 0.53 0.70 0.62 0.49 0.83 .78 OSorganisatie 0.29 0.50 0.31 0.31 0.58 0.41 0.40 0.45 0.47 0.51 0.47 .71 RD = rationele doel schaal, IP= interne proces schaal, HR = ‘human relations’ schaal, OS = open systeem schaal; In tabel 4.15 is te zien dat er een groot aantal significante correlaties (α = .01) bestaat tussen de scores op de schalen in de verschillende meetmodellen. De cursieve getallen op de diagonaal van de matrix zijn de waarden van Cronbach’s alpha voor de schalen. Cronbach’s alpha is een maat voor de betrouwbaarheid, die is gebaseerd op de gemiddelde correlatie tussen de items. De waarden op de diagonaal zouden hoger moeten zijn dan de andere waarden in de matrix, omdat elke schaal meer met zichzelf zou moeten correleren dan met andere schalen (Trochim, 2006). Dit klopt niet voor alle schalen in tabel 4.15, omdat enkele schalen een vrij lage alpha hebben, terwijl er buiten de diagonalen hoge correlaties voorkomen. De hoge correlaties tussen sommige schaalscores komen hieronder nog aan de orde.
Het gedrag van de schoolleiders werd zowel door de schoolleiders zelf beoordeeld, als door de docenten. Dit maakt het mogelijk om de convergerende validiteit te bepalen voor de onderzoeksinstrument. In het grijze blok linksboven in tabel 4.15 is op de diagonaal te zien dat er voor rationele doel, interne proces, ‘human relations’ en open systeem handelingen een significante correlatie bestaat tussen de zelfbeoordeling van de schoolleiders en de waarneming van de docenten. De correlaties op de diagonaal zijn bovendien hoger dan de andere correlaties in het blok. Dit wijst op convergerende validiteit. In de driehoeken boven
(zelfbeoordeling van schoolleiders) en naast het blok (waarneming van docenten) komen echter nog hogere correlaties voor. Verschillende handelingen die worden gemeten met dezelfde methode vertonen dus een groter verband, dan dezelfde handelingen die met verschillende methoden worden gemeten. Dat betekent dat de meetmethode een belangrijke invloed heeft op de uitkomsten (Trochim, 2006).
Uit de bovenste twee driehoeken onder de diagonaal is op te maken dat er voor de docentengegevens een behoorlijke correlatie is tussen de interne proces schaal en de ‘human relations’ schaal. Bij de docenten zijn er tevens vrij hoge correlaties tussen de rationele doel schaal en de andere drie schalen en tussen de interne proces en ‘human relations’ schaal. De correlaties in deze driehoeken stemmen in orde van grootte redelijk overeen met de schattingen van de (éénniveau) confirmatieve factoranalyse in tabel 4.10. Het patroon van de correlaties voor de schoolleiders wijkt af van het patroon voor de docenten. Dat wijst op een gebrek aan convergerende validiteit. Alleen tussen rationele doel en open systeem handelingen en tussen ‘human relations’ en interne proces handelingen is de correlatie min of meer consistent voor docenten en schoolleiders.
De onderste twee driehoeken onder de diagonaal geven de correlaties voor de cultuurschalen onderling en de organisatieschalen onderling. Bij de cultuurschalen correleren de interne proces, ‘human relations’ en open systeem schaal met elkaar, terwijl de rationele doel schaal alleen correleert met de interne proces schaal. De correlatie tussen ‘human relations’ en open systeem is hoog. De organisatieschalen correleren allemaal met elkaar, waarbij de correlatie tussen interne proces en ‘human relations’ het hoogst is.
Bij de analyse van de uitkomsten van de confirmatieve factoranalyses in de voorgaande paragrafen werd al geconstateerd dat de correlaties tussen de vier factoren binnen de meetmodellen voor schoolleidersgedrag, de schoolcultuur en de schoolorganisatie, niet in overeenstemming zijn met de hypothese, dat factoren die aangrenzende kwadranten in het concurrerende waarden model vertegenwoordigen, meer zouden moeten correleren, dan factoren die tegenoverliggende kwadranten representeren (zie paragraaf 4.2). Binnen het concurrerende waarden model is er tussen de kwadranten wel een zekere conceptuele overlap, maar de correlaties die optreden tussen de schalen kunnen bijvoorbeeld ook afhangen van de respondentengroep (Lamond, 2003), van de ontwikkelingsfase van de organisatie (Quinn, 1988) of van actuele maatschappelijke omstandigheden (Kalliath, Bluedorn & Gillespie, 1999). De correlaties die zijn gevonden tussen de schalen onderling voor respectievelijk schoolleidersgedrag, schoolcultuur en schoolorganisatie wijzen dus niet per se op een gebrekkige discriminante validiteit., behalve voor de hoogste waarden.
Nu is het nog de vraag in hoeverre de schalen voor schoolleidersgedrag, de schoolcultuur en de schoolorganisatie van elkaar verschillen. Worden deze concepten, die allemaal zijn gebaseerd op het concurrerende waarden model, voldoende van elkaar onderscheiden? In tabel 4.14 is te zien (in de twee blokken linksonder) dat er slechts lage correlaties zijn tussen de factorscores voor schoolleidersgedrag die zijn gebaseerd op de zelfbeoordeling van schoolleiders en de cultuur- en organisatieschalen. Tussen de factorscores voor schoolleidersgedrag die zijn gebaseerd op de waarnemingen van docenten en de cultuur- en organisatieschalen zijn er meer en hogere correlaties, zowel voor schalen die hetzelfde kwadrant vertegenwoordigen, als voor andere. De volgende vraag die dan gesteld kan worden, is in hoeverre de correlaties tussen de schalen zouden kunnen wijzen op een oorzakelijk verband tussen schoolleidersgedrag en de schoolcultuur en –organisatie of op conceptuele overlap (‘begripsmatige inclusie’). Het afkapcriterium voor discriminante validiteit is vrij
hoog: de correlatie tussen twee schalen moet kleiner zijn dan .85 (Garson, z.j., d; Kenny, 1998). Op basis van dit criterium is er voldoende onderscheid tussen de schalen voor de verschillende concepten. Het risico van begripsmatige inclusie is wellicht het kleinst wanneer voor het meten van schoolleidersgedrag wordt uitgegaan van de zelfbeoordeling van schoolleiders, omdat de factorscores voor schoolcultuur en schoolorganisatie zijn gebaseerd op docentengegevens. Daarbij moet worden opgemerkt dat de perceptie van de schoolleider van bepaalde activiteiten kan verschillen van die van docenten. Zowel schoolleiders als docenten kunnen sociaal wenselijke antwoorden gegeven hebben. Verder zullen niet alle docenten evenveel zicht hebben op de activiteiten van de schoolleider. In paragraaf 4.7 wordt besproken welke verbanden bestaan tussen de schoolleiderscores en de docentenscores voor de handelingen van schoolleiders.
Tenslotte dient te worden vastgesteld of er voldoende onderscheid is tussen de metingen van de schoolcultuur en de schoolorganisatiepraktijk. Dit is te zien in het grijze blok rechtsonder in tabel 4.15. Er is een aanzienlijke correlatie tussen de rationele doel schaal voor schoolorganisatie en de rationele doel en interne proces schaal voor schoolcultuur. De interne proces schaal en de ‘human relations’ schaal voor schoolorganisatie en in minder mate ook de open systeem schaal, vertonen een duidelijk verband met de interne proces, ‘human relations’ en open systeem schaal voor schoolcultuur. Hoewel de correlaties lager zijn dan het afkapcriterium voor discriminante validiteit (.85), is het hier vanwege de relatief hoge waarden toch de vraag of de concepten voldoende van elkaar worden onderscheiden. Daarbij zijn ook de correlaties tussen de schoolcultuurschalen onderling en de schoolorganisatieschalen onderling van belang. De verbanden tussen de schoolorganisatie- en schoolcultuurvariabelen zijn daarom nader onderzocht. De uitkomsten worden beschreven in de volgende paragraaf.
In paragraaf 4.7 komt eerst de betrouwbaarheid van de geaggregeerde variabelen aan de orde. Daarna worden de verbanden tussen de zelfbeoordeling van schoolleiders en de waarneming van docenten van schoolleidersgedrag besproken en tenslotte de verbanden tussen de schoolcultuur- en schoolorganisatievariabelen.