Met behulp van robustness checks wordt vastgesteld in welke mate de analyseresultaten afhankelijk zijn van de gemaakte keuzes in het onderzoeksmodel, de checks zijn in paragraaf 4.3.1 behandeld. Aanvullend presenteert paragraaf 4.3.2 de resultaten van een extra analyse ter verificatie van veronderstelling dat de gevonden ACT-variatie samenhangt met effecten op zowel de expliciete als op de impliciete dimensie (zie uitgangspunten paragraaf 2.4, 2.5 en 2.6). In de hypothese- onderbouwing is beargumenteerd waarom er geen onderscheid naar expliciet en impliciete control tightness is gemaakt. De aanvullende analyse controleert of er, ondanks de theoretische onderbouwing van de effecten op beide ACT-dimensies, een empirisch onderscheid kan worden herkend. Hiertoe zijn de regressieanalyses ook afzonderlijk voor de expliciete en impliciete ACT uitgevoerd.
4.3.1 Bias en Robustness
Onderzoeksbias kan ontstaan door (i) de surveykwaliteit; (ii) het respondentwervingsproces; (iii) het sampleselectieproces; (iv) het analyseproces. In deze paragraaf is per issue uiteengezet of er bias kan worden verondersteld, hoe dit is vastgesteld en of dit de reliability van het onderzoek beïnvloed.
Optimalisatie van de surveykwaliteit vond met twee pretesten plaats. De eerste pretest richtte zich op het toetsen van de constructopbouw van de controlevariabelen. In de vorm van een experiment beoordeelden 20 PSF-professionals de associatie tussen de constructdefinities en de onderliggende stellingen. In de tweede pretest werd in een pilotsessie door 20 respondenten een oordeel over de survey als geheel gevormd. De experimentuitkomsten en het pilotcommentaar op de constructsamenstelling en de stellingformulering zijn in de definitieve survey verwerkt. Bias vanuit survey design wordt hiermee beperkt.
De respondentselectie is uitgevoerd door studenten die uit hoofde van hun thesis in het project participeren. Een “aselecte trekking” van respondenten wordt door de beschikbaarheid van een groot aantal, van elkaar onafhankelijke, studentenselecteurs ondersteund. Selectiebias wordt hiermee voor een deel gemitigeerd, hoewel de gelijke studie-achtergrond van de selecteurs mogelijk het selectiedomein begrenzen. Respondentvalidatie wordt door separate deelnameconfirmatie door de respondent geborgd, dit creëert een voldoende credibility. Non responsbias kan door de wijze waarop de respondenten voor de survey zijn geselecteerd niet worden herkend, de impact van non respons op het thesisonderzoek kan daarom niet worden gewogen.
De sampleselectiecriteria zijn aan de wetenschappelijke literatuur getoetst. Hierbij wordt onder meer ruis vanuit internationale jurisdictieverschillen verwacht. Ter verificatie van deze veronderstelling is in een alternatief sample de nationale context betrokken. Dit resulteert in een sample-omvang van 262 respondenten. De regressie-uitkomsten zijn in bijlage D verwerkt en tonen eveneens een significant model, maar ook een minder hoge voorspellende waarde (adjusted R² 9,6% ten opzichte van het thesissample adjusted R² 16,5%) en minder grote significantie voor verschillende coëfficiënten. Als indicatie van het associatiepatroon per vestigingsnationaliteit is de impact van workforce professionalisatie op ACT in een grafiek gepresenteerd (zie bijlage D). Uit de grafiek blijkt met name voor de USA-locaties een afwijkend patroon. Vanwege de geringe aantallen kan hieraan geen empirisch bewijs worden ontleend. Wel geeft de grafiek aanleiding om ruis vanuit nationale jurisdictieverschillen te verwachten en grond om de sampleselectie tot een Nederlandse jurisdictionele omgeving te beperken.
Analysebias kan voortvloeien uit invoerfouten, volgtijdigheidskeuzes voor variabeleninvoer in SPSS en de acceptatie van outliers. De regressieanalyse vond met behulp van de SPSS-tool plaats. Bias uit invoerfouten is met een identieke re-run van de analyse ondervangen. Bias uit de regressie-opzet (volgtijdigheid invoer van de independent variabelen model 1 en model 2) is met een extra regressieanalyse getoetst waarbij de volgtijdigheid van modelinvoer is gewisseld (Field, 2013, pp. 321-323). Dit resulteerde niet in afwijkende waarden. Het aantal outliers past binnen de norm, hierom is niet tot datatrimming besloten. Beide modellen tonen 9 cases (respondenten) met een afwijking groter dan twee SDs. Dit aantal past bij het uitgangspunt dat 95% van de casussen binnen de range ‘– 2SD tot +2SD’ dienen te vallen. De resterende 5% (bij 150 casussen ca. 8) mag zich buiten de SD-range bevinden, het aantal van 9 ‘extremen’ ligt in deze lijn.
De impact van de controlevariabelen kan worden afgeleid uit de vergelijking tussen model 1 en model 2. Hieruit blijkt dat na toevoeging van de set controlevariabelen (model 2) het hoofdeffect van de independent variabelen op ACT in de kern niet wijzigt. De associaties met workforce professionalisatie en taakcomplexiteit zijn zowel in model 1 als in model 2 sterk significant en ook de richting van de associaties is identiek. Voor de overige hypotheses kan in beide modellen onvoldoende bewijs voor ondersteuning worden afgeleid, de uitkomsten van model een en twee volgen hiermee hetzelfde stramien. Afgemeten aan de controlevariabelen lijkt de interne validiteit van het model voldoende sterk.
Ter verificatie van een voldoende filtering van het voorspellend vermogen is een zogenoemde ‘residual check’ uitgevoerd, hiertoe is het verband tussen de residuals onderling getoetst. Na grafische verwerking bleek er geen onderlinge associatie aanwezig (volledig horizontale regressielijn), dit betekent dat er van de resterende data geen aanvullende bijdrage aan het voorspellend vermogen van het model kan worden verwacht.
Tenslotte is de robustness van de regressie-uitkomsten ook met behulp van een SPSS- bootstraptest gecontroleerd (Field, 2013, pp. 198-200 en pp. 350-351). De bootstraptest geeft een indicatie van de mate waarin de thesis regressieresultaten ook voor subsamples gelden en daarmee van de mate waarin de thesis regressieresultaten kunnen worden gegeneraliseerd. De bootstrapwaarden voor de independent en controlevariabelen zijn in bijlage E gepresenteerd. De bootstraptest toont voor de coëfficiënten van workforce professionalisatie (B = 0,2014; p = 0,002) en taakcomplexiteit (B = -0,325; p = 0,002) een licht lagere significantie dan het thesistestbeeld (p = 0,001) laat zien, maar het significatieniveau is nog steeds sterk (p < 0,01). Ook de aard van de associatie is gelijk aan het thesis regressieresultaat en de intervalkaders (95%
confidence interval) overschrijden de nullijn niet. Voor de overige independent en control variabelen toont de bootstrapstest geen significant verband met ACT, dit ligt in lijn met de thesis regressiebevindingen, zoals in paragraaf 4.2 gepresenteerd.
Samenvattend is onderzoeksbias waar mogelijk beperkt met behulp van de pretesten ter versterking van de surveykwaliteit, door de onafhankelijke respondentselectie, door de op theorie gebaseerde sampleselectie en door de aanvullende checks op de regressieanalyse. De robustness is met behulp van (i) een impacttoets van de controlevariabelen; (ii) een residual check en (iii) een bootstraptest geverifieerd. De aanvullende analyses bevestigen de aard van de bevindingen uit de thesisregressie naar significantie (associaties onder H1 en H2 significant; overige associaties niet significant) en naar richting (positieve associatie van workforce professionalisatie met ACT; negatieve associatie van taakcomplexiteit met ACT). De robustness checks vormen geen aanleiding om de analysemethodiek te herzien of om de bevindingen zoals in paragraaf 4.2 gepresenteerd te heroverwegen.
4.3.2 Aanvullende analyse
De hypotheses zijn opgesteld vanuit de theoretische veronderstelling dat de ACT-variatie door een combinatie van expliciete (formaliteit) en impliciete (autonomie) karakteristieken wordt gedragen. De ‘draagkracht-verdeling’ over de expliciete en impliciete karakteristiek kan niet uit de literatuur worden herleid. Om reden daarvan is in de hypotheses een effect op ACT als totaal verondersteld en is er geen onderscheid naar expliciete en impliciete control tightness gemaakt. Ter verificatie van deze veronderstelling is de originele dependent variabele ACT opgesplitst naar een expliciet (4 stellingen) en impliciet ACT-construct (3 stellingen, zie ook paragraaf 3.3.1).
De validiteit van beide nieuwe constructen is voldoende sterk, de factoranalyse ligt in lijn met de bevindingen in paragraaf 3.3 en de Cronbach’s alpha’s van beide nieuwe maatstaven zijn goed (respectievelijk 0,740 en 0,750). Hierbij wordt opgemerkt dat het aantal stellingen per construct niet hoog is, dit kan de betrouwbaarheid van de meting beïnvloeden. Voor beide subconstructen vond een re-run van de regressie-analyse plaats (voor resultaten zie bijlage F). In figuur 4.1 zijn de regressiecoëfficiënten van het basismodel en ook van de expliciete en impliciete submodellen verwerkt.
Uit de re-run gericht op de expliciete ACT-variabele blijkt een beeld dat in lijn ligt met de regressieanalyse voor ACT als totaal. Het voorspellend vermogen van het model (adjusted R²: 0,177; p < 0,01) is significant en ligt licht hoger dan het basismodel laat zien (adjusted R²: 0,165; p < 0,01, zie paragraaf 4.2). Ook de coëfficiënten van de independent variabelen tonen naar significantie en naar niveau een gelijkwaardig patroon aan de regressie voor ACT als totaal.
Uit de re-run gericht op de impliciete ACT-variabele komt voor zowel het model (adjusted R²: 0,035; p > 0,05) als voor de individuele coëfficiënten geen enkel significant verband naar voren. De gevonden associaties lijken daarmee enkel aan toeval te mogen worden toegeschreven.
De analyseresultaten voor de subregressies naar expliciete en impliciete ACT duiden er op dat de regressie-uitkomsten van het originele thesis model volledig door de variatie in de expliciete ACT-variabele worden verklaard. Deze bevinding wordt als onderdeel van hoofdstuk 5 nader bediscussieerd.
5 Discussie en conclusie
Deze thesis concentreert zich op de vraag of en in welke mate workforce professionalisatie,
taakcomplexiteit en clientafhankelijkheid bepalend zijn voor de control tightness in een PSF. De
thesisrapportage sluit in dit hoofdstuk af met een beschouwing over de empirische bevindingen en betrekt hier de theoretische implicaties bij, benoemt de limiteringen en verwerkt in de afsluitende conclusie de praktische implicaties. Zowel in het verlengde van de theoretische implicaties als in het verlengde van de limiteringen en van de praktische implicaties zijn samenhangende suggesties voor toekomstig onderzoek benoemd.