Validering van de onderzoeksinstrumenten
4.2 De validering van onderzoeksinstrumenten volgens het concurrerende waarden model
Bij de ontwikkeling van de onderzoeksinstrumenten voor de handelingen van schoolleiders, de schoolcultuur en de schoolorganisatiepraktijk is, zoals eerder aangegeven, uitgegaan van het concurrerende waarden model van Quinn en Rohrbaugh (1983). Dit raamwerk omvat vier organisatiemodellen, die voor een deel tegengesteld zijn aan elkaar (concurreren), maar elkaar ook aanvullen (zie bijv. Quinn, Faermann, Thompson & McGrath, 2003):
· het rationele doel (RD) model, gericht op productiviteit en winst, · het intern proces (IP) model, gericht op stabiliteit en continuïteit, · het human relations (HR) model, gericht op inzet, samenhang en moreel,
· het open systeem (OS) model, gericht op aanpassingsvermogen en externe ondersteuning.
De validiteit van instrumenten die zijn gebaseerd op het concurrerende waarden model is door diverse onderzoekers getoetst, in verschillende contexten en met verschillende methoden. Hieronder volgt een overzicht (gedeeltelijk ontleend aan Kalliath, Bluedorn & Gillespie, 1999).
Quinn en Rohrbaugh (1983) stelden het concurrerende waarden model op als raamwerk voor de criteria die worden gebruikt om organisatie effectiviteit te beoordelen. Zij maakten daarbij gebruik van meerdimensionale schaalanalyse. Bij meerdimensionale schaalanalyse worden de correlaties tussen variabelen vertaald in afstanden binnen een geometrische ruimte (Denison, Hooijberg & Quinn, 1995). Meestal gaat het hierbij om een twee- of driedimensionale ruimte. Oorspronkelijk kende het concurrerende waarden model drie dimensies: intern-extern, flexibiliteit-beheersing en doelen-middelen (Quinn & Rohrbaugh, 1983). Later toonde Quinn (1988, 1998) aan dat twee dimensies voldoende waren om het model te beschrijven: intern- extern en flexibiliteit-beheersing. Deze twee dimensies verdelen het model in vier kwadranten (de vier organisatiemodellen, zie ook paragraaf 2.5). Het rationele doel model en het open systeem model zijn extern gericht, in tegenstelling tot het interne proces model en het ‘human relations’ model, waarbij de aandacht uitgaat naar de interne organisatie. Bij het ‘human relations’ en het open systeem model ligt de nadruk op flexibiliteit, terwijl het rationele doel en interne proces model gericht zijn op beheersing. Bij de validering van instrumenten die zijn gebaseerd op het concurrende waarden model wordt vaak gebruik gemaakt van de (veronderstelde) relaties tussen de vier kwadranten. Dit wordt hieronder toegelicht.
Quinn en Spreitzer (1991; zie ook Kalliath, Bluedorn & Gillespie, 1999) onderzochten de psychometrische eigenschappen van een instrument om organisatiecultuur te meten, dat was gebaseerd op het concurrerende waarden model. Zij gebruikten meerdimensionale schaalanalyse en daarnaast de multitrait-multimethod benadering. Met behulp van meerdimensionale schaalanalyse kon het kwadrantenmodel worden bevestigd. In de multitrait-multimethod analyse werden de uitkomsten voor verschillende typen vraagstelling vergeleken. Hierbij bleek dat schaalscores binnen hetzelfde kwadrant behoorlijk met elkaar correleerden (convergerende validiteit) terwijl de schaalscores van verschillende kwadranten juist minder met elkaar correleerden (discriminante validiteit). Denison, Hooijberg en Quinn (1995) gebruikten meerdimensionale schaalanalyse om het concurrerende waarden model voor leiderschapsrollen (zie Quinn, 1998) te valideren. Zij constateerden dat effectievere leiders een grotere variëteit aan leiderschapsrollen vervullen. Daarnaast bleken de resultaten het kwadrantenmodel te ondersteunen.
Voortbouwend op het werk van Quinn en Spreitzer (1991), kozen Kalliath, Bluedorn & Gillespie (1999) voor structural equation modeling (SEM) als techniek om de validiteit van het concurrerende waarden model voor het meten van de organisatiecultuur vast te stellen. In dit onderzoek werd als uitgangspunt gehanteerd dat factoren die naast elkaar liggende kwadranten van het concurrerende waarden model vertegenwoordigen een gematigd positieve correlatie zouden moeten vertonen, omdat deze factoren een van de onderliggende dimensies delen. Dit geldt voor de volgende combinaties van kwadranten: rationele doel en interne proces, rationele doel en open systeem, interne proces en ‘human relations’, ‘human relations’ en open systeem (zie figuur 2.3). Factoren die tegenover elkaar liggende kwadranten representeren zouden daarentegen niet of nauwelijks met elkaar moeten correleren. Hierbij gaat het om twee combinaties: rationele doel en ‘human relations’, interne proces en open systeem.
Voor het onderzoek van Kalliath et al. werden data verzameld onder leidinggevenden in een groot ziekenhuis. De uitkomsten van het onderzoek bevestigden de hypothesen, op één na: er werd een hoge correlatie gevonden tussen de interne proces oriëntatie en de open systeem oriëntatie van organisaties. Dit werd verklaard door het feit dat de gezondheidszorg in de Verenigde Staten ten tijde van het onderzoek heftig in beweging was, waardoor er veel aandacht was voor noodzakelijke veranderingen, met als doel om uiteindelijk weer stabiliteit in de interne organisatie te bereiken.
Hooijberg en Choi (2000, 2001) gebruikten eveneens structural equation modeling om de validiteit van het concurrerende waarden model met acht leiderschapsrollen, zoals gedefinieerd door Quinn (1998), te onderzoeken bij verschillende groepen waarnemers en in zowel publieke als private organisaties. Zij constateerden dat er voor alle groepen waarnemers (managers, hun collega’s, ondergeschikten en superieuren) en voor beide typen organisaties hoge correlaties bestonden tussen twee van de rollen: de rationele doel en de interne proces rol. Zij combineerden deze rollen in één nieuwe rol: doelgerichtheid. Verder toonde het onderzoek van Hooijberg en Choi (2000, 2001) aan dat er verschillen bestonden tussen zowel de groepen waarnemers, als beide typen organisaties, in de mate waarin bepaalde leiderschapsrollen werden geassocieerd met effectiviteit.
Als vervolg op het werk van Denison, Hooijberg en Quinn (1995) is er door Lawrence, Quinn en Lenk (2003) een nieuw instrument ontwikkeld voor het meten van leiderschapsgedrag. De validiteit van dit instrument werd vastgesteld met behulp van structural equation modeling. De auteurs gaan uit van behavioral complexity, dat wil zeggen dat (goede) managers handelingen in alle vier kwadranten van het concurrerende waarden model zouden moeten uitvoeren. Lawrence et al. vonden een behoorlijke correlatie tussen de naast elkaar liggende kwadranten en lagere, maar nog wel significante, correlaties tussen tegenover elkaar liggende kwadranten. De resultaten ondersteunen het concept van behavioral complexity.
In een ander recent onderzoek werd de validiteit van het concurrerende waarden model getest voor het karakteriseren van de organisatiecultuur in Australische organisaties (Lamond, 2003). Hierbij werd opnieuw meerdimensionale schaalanalyse gebruikt. Lamond (2003) gaat ervan uit dat de vier verschillende organisatiemodellen naast elkaar kunnen bestaan in organisaties (zie ook Quinn, 1988). Het gaat er niet om welk model het meest wordt benadrukt in een organisatie, maar om de mate waarin iedere benadering aanwezig is. Uit de uitkomsten van dit onderzoek onder een grote groep managers van verschillende organisaties, blijkt dat alle kwadranten van het concurrerende waarden model matig tot redelijk correleren. Verschillen in de correlaties tussen de kwadranten worden in het artikel niet besproken. Bij nadere beschouwing van de uitkomsten blijkt dat de correlatie tussen de scores voor het rationele doel model en het ‘human relations’ model (tegenover elkaar liggende kwadranten) hoger is dan de correlatie tussen interne proces model en het ‘human relations’ model (naast elkaar liggende kwadranten). De andere naast elkaar gelegen kwadranten correleren redelijk. De correlatie tussen de scores voor het interne proces model en het open systeem model (tegenover elkaar liggende kwadranten) is lager dan de overige correlaties. Deze resultaten stemmen slechts gedeeltelijk overeen met de resultaten van Kalliath et al. en Quin et al., maar ze bevestigen het uitgangspunt van Lamond dat de vier organisatiemodellen naast elkaar kunnen voorkomen binnen een bepaalde organisatie. Lamond (2003) veronderstelt dat de combinatie van de vier schaalscores een indicatie geeft van de totale sterkte van de organisatiecultuur. Volgens de auteur moet er rekening mee worden gehouden dat de beoordeling van de sterkte van de organisatiecultuur beïnvloed kan worden door de specifieke rollen die de respondenten vervullen in de organisatie (Lamond, 2003). Respondenten die zich
bezig houden met human resource management zouden bijvoorbeeld vooral de interne gerichtheid kunnen waarnemen, terwijl marketing managers de externe gerichtheid beter zien.
Uit het bovenstaande kan worden opgemaakt dat de relaties tussen de vier kwadranten (organisatiemodellen) in het concurrerende waarden raamwerk, die op basis van de onderliggende dimensies verondersteld zouden kunnen worden, niet altijd ook daadwerkelijk worden gevonden bij de validering van de onderzoeksinstrumenten. De afwijkende uitkomsten kunnen veroorzaakt zijn door de verschillende rollen en taken die bepaalde groepen respondenten in hun organisatie vervullen, waardoor zij een specifieke kijk op de organisatie hebben, of door (interne of externe) ontwikkelingen waardoor de nadruk op de verschillende organisatiemodellen kan variëren met de tijd (zie ook paragraaf 2.5).