Bij de analyse van de modellen voor vertrouwen in de lokale overheid zijn drie aanpakken mogelijk: op basis van de losse items uit de vragenlijst, op basis van pakketjes items, of op basis van de geconstrueerde schalen als indicatoren voor de constructen in het model.
In SEM kan je de losse items opnemen als indicatoren voor de latente factoren (de schalen). Het voordeel van deze aanpak is, dat je alle informatie uit de items gebruikt. Nadeel kan het grote aantal items zijn, wat tot complexere modellen leidt. Verder geldt bij likertschalen het nadeel dat de afzonderlijke items “minder con- tinu” zijn dan de schalen, ofwel: schalen voldoen beter aan de voorwaarde van continuïteit dan afzonderlijke vijfpunts items. Zie Kline (2016, p. 332) voor een beknopte uitleg over waarom het gebruiken van parcels (pakketjes items) of schalen beter kan zijn dan dat van de losse items, maar ik bespreek de argumenten pro en contra pakketjes en de voorwaarden waaronder ze gebruikt mogen worden ook hieronder even kort.
Een belangrijk voordeel van het gebruik van pakketjes is dat ze betrouwbaarder zijn dan losse items (Coffman & MacCallum, 2005) en dat de data dan beter een normaalverdeling benaderen dan bij gebruik van afzonderlijke items (Bandalos, 2002; Rocha & Chelladurai, 2012). Daarmee verminderen ook problemen met ge- piektheid of scheefheid (kurtosis of skewness).
Verder heeft het gebruik van pakketjes het voordeel dat het aantal indicatoren in het model afneemt. Dat leidt tot een lagere orde correlatiematrix en daarmee tot een grotere kans op passendheid van het model (Coffman & MacCallum, 2005).
Een belangrijke voorwaarde voor het gebruiken van pakketjes is dat deze uni-dimensionaal moeten zijn (Bandalos, 2002; Rocha & Chelladurai, 2012; Kline, 2016). Voor de data van 2016 heb ik een aantal schalen geconstrueerd, gebaseerd op de analyses uit de voorgaande jaren. Deze schalen zijn uni-dimensionaal, zoals blijkt uit factoranalyses, en hebben een goede betrouwbaarheid zoals aangegeven door Cronbachs α. Aan deze belangrijke voorwaarde kan ik derhalve zonder pro- blemen voldoen als ik schalen in de analyses zou willen gebruiken. En voor pak- ketjes, samengesteld uit items van de schalen, geldt dan hetzelfde.
Gegeven de discussie in SEM-land over het al dan niet gebruiken van geaggre- geerde items in analyses, en om mijn aanpak bij de analyses toe te lichten, sta ik
Hoofdstuk 6
hier nog even stil bij twee uitstekende artikelen van SEM-autoriteit Todd D. Little en collega’s: To Parcel or Not to Parcel: Exploring the Question, Weighing the Merits (Little, Cunningham, Shahar & Widaman, 2002), en Why the Items versus Parcels
Controversy Needn’t Be One (Little, Rhemtulla, Gibson & Schoemann, 2013). Om
maar met de conclusie te beginnen: zowel voor- als tegenstanders van parceling (pakketjesvorming) hebben een deel van de tijd gelijk, maar geen van beide hebben altijd gelijk. Het hangt van het doel van de onderzoeker af. Als de onderzoeker geïnteresseerd is in de effecten van een latente variabele op een bepaald niveau van generalisatie, zoals bijvoorbeeld bij intelligentie, dan kunnen schalen of pak- ketjes items verstorende factoren uitmiddelen. In die gevallen zijn schalen of pakketjes toegestaan. Als het daarentegen gaat om de dimensionaliteit van meting op het niveau van individuele items, dan kan dat uitmiddelen juist de effecten maskeren die de onderzoeker bestudeert (Little et al., 2002). In mijn onderzoek gaat het bij antecedenten als responsiviteit en beeldvorming om meer gegenera- liseerde concepten en niet om de specifieke inhoud van de afzonderlijke items. Schalen en pakketjes zijn daarom bruikbaar in de analyses.
Little et al. (2002, 2013) onderscheiden twee filosofische posities in het debat over schalen en pakketjes: de empirisch-conservatieve en de pragmatisch-liberale. Empirisch-conservatieven vinden dat alle bronnen van variantie in ieder indivi- dueel item vertegenwoordigd moeten zijn in multivariate statistische modellen die een bepaalde schaal betreffen. Het niet-vertegenwoordigen van een of meer bronnen van variantie, hoe klein dan ook, in het model kan leiden tot afwijkingen in schattingen van andere belangrijke parameters in het model. Pragmatisch li- beralen daarentegen stellen dat het representeren van iedere en elke bron van variantie in ieder item, vooral op een a priori basis, onmogelijk is. Onderzoekers kunnen niet iedere bron van variantie in elk item kennen. Je kan alleen maar hopen dat je model de belangrijke gemeenschappelijke bronnen van variantie over sam- ples van items vertegenwoordigt. Als kleine invloeden die inhoudelijk triviaal maar empirisch significant zijn niet op a prioribasis kunnen worden voorspeld, zijn ze moeilijk of onmogelijk te onderscheiden van toeval. In plaats van zich bezighouden met “datasnooping” zouden onderzoekers volgens pragmatisch liberalen zich moeten concentreren op het bouwen van repliceerbare modellen gebaseerd op solide en betekenisvolle indicatoren van kernconstructen (Little et al., 2002). En dat betekent dat je pakketjes mag gebruiken.
Vervolgens gaan Little en collega’s in op de empirische voor- en nadelen van pakketjes en schalen. Een belangrijke in het kader van mijn onderzoek is, hier- boven ook al aangehaald, dat pakketjes onder meer betrouwbaarder zijn en minder gevoelig voor distributieproblemen (afwijking van normaliteit). Het maken van
Methoden en data onderzoek 2016
pakketjes leidt tot behoud van de tussen de items gedeelde (gemeenschappelijke) variantie, en reductie van de ongedeelde (unieke) variantie (Little et al., 2013). Losse items hebben ook grotere en minder gelijke intervallen tussen de schaal- punten dan pakketjes of schalen, waardoor je met pakketjes nauwkeuriger meet (Little et al., 2002). Met name Kline (2016) vindt vijfpunts likertschalen niet continu genoeg om Maximum Likelihood Estimation te gebruiken. Met pakketjes kom je aan dat bezwaar tegemoet. Overigens kijken anderen daar wat genuanceerder tegenaan en leggen de grens bij minder dan vijf of zelfs vier punten per item. Een belangrijk effect van minder punten per item is, dat Pearsoncorrelaties lager worden dan bij continu gescoorde items, en ook wordt scheefheid een groter pro- bleem. Maar bij vier of meer categorieën kunnen analysemethoden voor continue data zonder problemen worden gebruikt, zoals ook uit Monte Carlo simulaties blijkt (Byrne, 2010, p. 143, p.148). Dit laat onverlet dat meer continue en normaal verdeelde data natuurlijk te prefereren zijn, wat het gebruik van pakketjes aantrek- kelijk maakt.
Psychometrische overwegingen pleiten derhalve sterk voor het gebruik van schalen of pakketjes in plaats van afzonderlijke items. Ik verwijs voor verdere ge- detailleerde uitleg graag naar Little et al. (2002, 2013), maar ook de daarvoor al aangehaalde auteurs. Hoewel de argumenten pro parceling volgens Little en col- lega’s verreweg de nadelen overschaduwen, is aandacht voor die nadelen uiteraard wel belangrijk. De argumenten contra schalen hebben vooral met dimensionaliteit te maken. Het gaat er dan om dat als een construct multidimensionaal is, de schalen of pakketjes dat ook zijn. Dat levert grote interpretatieproblemen op. Bij de concepten en schalen die ik gebruik is evenwel de dimensionaliteit vooraf al vastgesteld door middel van exploratieve factoranalyses; de concepten en schalen zijn allemaal ééndimensionaal.
Hoewel schalen dezelfde voordelen hebben als pakketjes als het gaat om be- trouwbaarheid, normaalverdeling, et cetera, valt volgens Coffman en MacCallum (2005) het gebruik van pakketjes te prefereren. Dat heeft vooral te maken met het feit dat er bij het gebruik van pakketjes sprake is van latente variabelen, waardoor ook de errorvariantie van de indicatoren wordt geschat. Dat gebeurt niet bij het gebruik van schalen, omdat dan een gemeten variabele de plaats inneemt van een latent construct. Er is dan feitelijk sprake van padanalyse.
De argumenten pro en contra het gebruik van items, pakketjes items en schalen overziend, gaat mijn voorkeur uit naar het gebruik van pakketjes items als indica- toren, gevolgd door het gebruik van schalen, en als minder aantrekkelijke optie de afzonderlijke items. Met name de betere psychometrische eigenschappen van pakketjes en schalen geven daarbij de doorslag, maar ook het terugdringen van
Hoofdstuk 6
het aantal indicatoren in de modellen en het positief effect dat dat heeft op pas- sendheid. Om te kijken of deze drie technieken daadwerkelijk verschil maken, pas ik ze alle drie toe. De resultaten van de analyses met pakketjes items presenteer ik in hoofdstuk 8, de uitkomsten van de analyses met losse items en met schalen in Appendix F.
Meetmodellen
Söllner en Leimeister (2013) wijzen op het belang van de keuze voor het juiste meetmodel (formatief versus reflectief) als het gaat om onderzoek naar vertrouwen. In een bespreking van 77 artikelen over het vertrouwen in informatiesystemen komen ze tot de conclusie dat misspecificatie van het meetmodel zeer frequent voorkomt. Verkeerd gespecificeerde meetmodellen hebben vervelende gevolgen als het gaat om de uitkomst van statistische analyses. Je krijgt type I fouten (er wordt een statistische relatie aangetoond terwijl die in werkelijkheid niet bestaat) dan wel type II fouten (een in werkelijkheid statistisch significant pad tussen con- structen lijkt niet significant te zijn) (Söllner & Leimeister, 2013).
Als onderzoekers de reflectieve meetmethode gebruiken, is de onderliggende aanname dat de afzonderlijke indicatoren hoog met elkaar correleren en dat de onderliggende latente variabele deze correlatie veroorzaakt. Dat betekent dat een verandering in het latente construct weerspiegeld wordt door een verandering in
alle afzonderlijke indicatoren. Als onderzoekers een formatief meetmodel ge-
bruiken, gaan zij uit van de aanname dat de indicatoren de latente variabele defi- niëren en dus veroorzaken. In het formatieve model leiden veranderingen in een of meer van de onderliggende indicatoren tot een verandering in de latente varia- bele. De indicatoren hoeven onderling niet te correleren. Zie Figuur 6.1:
Figuur 6.1: Reflectief en Formatief meetmodel
(Uit: Söllner en Leimeister (2013), p. 133)
Aan de hand van vier regels kan je vaststellen of een meetmodel als reflectief of formatief moet worden beschouwd:
Methoden en data onderzoek 2016
1. Stel vast wat de causaliteitsrichting is tussen de latente variabele en de indicatoren.
2. Stel vast of de indicatoren inwisselbaar zijn of dat het vervallen van een indi- cator tot een conceptueel probleem leidt.
3. Stel vast of de indicatoren met elkaar horen te correleren of niet.
4. Onderzoek de antecedenten en gevolgen van de afzonderlijke indicatoren. Reflectieve indicatoren moeten allemaal dezelfde antecedenten en gevolgen hebben omdat ze inwisselbaar zijn en de hele variabele weerspiegelen. Forma- tieve indicatoren weerspiegelen verschillende aspecten van de hele latente variabele en hoeven dus niet dezelfde antecedenten en gevolgen te hebben (Söllner & Leimeister, 2013; Jarvis, MacKenzie & Podsakoff, 2003).
In het vertrouwensmodel van Mayer et al. (1995) wordt vertrouwen (of eigenlijk de betrouwbaarheid) formatief gemeten. De vier criteria toepassend: de causaliteit loopt van de antecedenten (of indicatoren) competentie, welwillendheid en inte- griteit naar vertrouwen; het weglaten van één van de antecedenten/indicatoren leidt tot een andere definitie van vertrouwen; de antecedenten hoeven niet hoog te correleren, want een hoge competentie hoeft niet noodzakelijkerwijs samen te gaan met een hoge mate van welwillendheid of integriteit; de antecedenten of indicatoren hebben zelf niet gelijke antecedenten, want een antecedent van com- petentie is niet noodzakelijkerwijs een antecedent van bijvoorbeeld welwillendheid (Söllner & Leimeister, 2013). Een mengvorm van formatief en reflectief meten is op zich geen bezwaar, mits dat maar is onderkend voordat de analyses van het uit- eindelijke model plaatsvinden.
Formatief meten heeft belangrijke consequenties bij het toepassen van Struc- tural Equation Modeling (SEM). Een probleem bij het toetsen van formatieve modellen met SEM is de identificatie. Een dergelijk model is alleen geïdentificeerd als van de latente variabele twee effecten uitgaan (de “2+ emitted paths rule”). Zie voor uitleg daarover: Kline (2016, p. 354); zie verder Jarvis et al. (2003, pp. 213-215).