Statistische analyses voor de beschrijving en beoordeling van de instrumenten in de vragenlijst

In deze paragraaf komen de statistische analyses aan bod, die nodig zijn voor de beschrijving en beoordeling van de instrumenten uit de vragenlijst. Het gaat om factoranalyse en analyse van de betrouwbaarheid, de uitgangspunten daarvan en de gehanteerde software. Voor de statistische analyses wordt gebruik gemaakt van het programma Mplus. We maken geen gebruik van principale componentenanalyse maar van (exploratieve en confirmatieve) factoranalyse. Voor de betrouwbaarheid van de factormodellen hanteren we McDonald’s omega (naast Cronbach’s alpha).

4.6.1 Factoranalyse

Om de constructvaliditeit van de concepten van de bestaande instrumenten te toetsen is gebruik gemaakt van exploratieve factoranalyse (EFA) en confirmatieve factoranalyse (CFA). Bij het onderzoeken van de factorstructuur van twee instrumenten – de Brief COPE (zie pagina 181vv.) en de Spirituele Coping Lijst (zie pagina 190vv.) – is gebruik gemaakt van EFA om tot itemreductie te komen. Voor de overige instrumenten is CFA toegepast, omdat de itemindeling naar concepten bij voorbaat vastlag. Factoranalyse op bestaande (oudere) instrumenten is noodzakelijk om na te gaan of het instrument nog steeds, en in deze specifieke responsgroep, doet wat het beoogt en of de fit van het factormodel aanvaardbaar of goed is. Voor de factoranalyses is gebruik gemaakt van het programma Mplus 6.12 (L. K. Muthén & Muthén, 1998-2010). De items van alle instrumenten hebben een 4-punts (bijna nooit – soms – vaak – bijna altijd) of een 5-punts (van helemaal mee oneens tot helemaal mee eens) antwoordschaal, zijn vaak scheef verdeeld en dienen daarom als ordinale variabelen (ordinal categorical) beschouwd te worden (Holgado-Tello, Charón-Moscoso, Barbero-García, & Vila-Abad, 2010; Rhemtulla, Brosseau-Liard, & Savalei, 2010).

Factoranalyse kan opgevat worden als een vorm van multivariate lineaire regressieanalyse, waarbij factoren voorspellers zijn van de scores op de items. De sterkte van de relatie tussen factor en item is het regressiegewicht, maar wordt in deze context factorlading genoemd. Ook bij ordinale items wordt gebruik gemaakt van lineaire regressieanalyse, maar eerst worden de scores van de ordinale items op een bepaalde wijze getransformeerd om lineaire regressieanalyse mogelijk te maken. Afhankelijk van de uitgevoerde transformatie wordt dan gesproken van een logistische of probit regressieanalyse. Bij logistische regressie wordt gebruik gemaakt van een logaritmische

transformatie, bij probit regressie van een transformatie via de inverse cumulatieve normale verdeling. Mplus maakt bij factoranalyse gebruik van probit regressie. Hiertoe worden de percentages behorende bij elk van de vier (of 5) categorieën van een item getransformeerd tot oppervlakten onder de normale verdeling, waarbij de waarde tussen twee opeenvolgende categorieën wordt vervangen door de z-waarde die bij de betreffende cumulatieve oppervlakte hoort. De vier (of 5) percentages leiden dus tot 3 (of 4) z-waarden. Deze z- of drempelwaarden representeren dus de respectievelijke percentages op een adequate wijze en vervangen zodoende de 4 (of 5) categorieën onder een normaalverdeling. Vervolgens worden op basis van deze drempelwaarden de zogenaamde polychorische correlaties45 van elk paar items bepaald. De matrix van polychorische correlaties en de drempelwaarden vormen de input voor de factoranalyse. De schattingsmethode die wordt gebruikt om de parameters van het factormodel (ladingen, errorvarianties, covarianties tussen factoren) te schatten, is de Weighted Least Square methode met een Mean and Variance adjusted chi-square test statistic (WLSMV), die met name geschikt is als de steekproefomvang 200 of groter is (B. O. Muthén, du Toit, & Spisic, 1997; Flora & Curran, 2004; Vermulst, Kroes, De Meyer, Nguyen, & Veerman, 2012).

Factoranalyse (FA) moet duidelijk onderscheiden worden van Principale Componenten Analyse (PCA). Bij FA wordt een model verondersteld, waarbij de latente variabele (factor) bestaat uit een verklaard gedeelte (waar gedeelte) en een niet verklaard gedeelte (uniek gedeelte). Het verklaard gedeelte is de regressiecoëfficiënt (factorlading) tussen factor en item, het niet verklaarde gedeelte is de error term. FA sluit dus naadloos aan bij de beginselen van de klassieke testtheorie (zie bijvoorbeeld: McDonald, 1999), waarbij de score op een variabele bestaat uit een waar (true) gedeelte en een fout gedeelte (error). PCA maakt dat onderscheid niet en gaat er vanuit dat er geen error gedeelte bestaat. PCA heet daarom ook componentenanalyse in plaats van factoranalyse. In vergelijking met FA geeft PCA hogere schattingen van de ladingen, omdat deze ladingen een mix zijn van de echte lading en de error. PCA geeft een vertekend beeld en wordt daarom afgeraden om de factorstructuur van een instrument te onderzoeken en te toetsen (Bentler & Kano, 1990; Borsboom, 2006).

45Polychorische correlaties zijn gebaseerd op de gestandaardiseerde bivariate normaalverdeling. Deze correlaties veronderstellen dat waargenomen categorische variabelen in feite indicatoren zijn van onderliggende continue en normaalverdeelde latente variabelen. Polychorische correlaties worden gebruikt, wanneer beide variabelen categorisch zijn (Van Rossem, 2007, p. 62).

De fit van de FA-modellen is bepaald met behulp van de χ2-toets en de daarbij horende p-waarde, de Comparative Fit Index (CFI) en de Root Mean Square Error of Approximation (RMSEA). Bij de CFI wordt de fit of passing van de factorstructuur vergeleken met de fit van een baseline model waarin complete onafhankelijkheid tussen de waargenomen variabelen wordt verondersteld. De fit is optimaal als CFI=1, terwijl volgens algemeen aanvaarde cutoff criteria voor fitindices waarden boven .90 een aanvaardbare fit en waarden boven .95 een uitstekende fit representeren (Bentler, 1990; Cheung & Rensvold, 2002). De RMSEA geeft juist weer in welke mate de getoetste factorstructuur niet bij de data past. De fit is optimaal als RMSEA=0, waarbij waarden kleiner dan .08 een aanvaardbare fit tussen data en model suggereren en waarden kleiner dan .05 een goede fit (Steiger, 1990; Hu & Bentler, 1999).

4.6.2 Betrouwbaarheid

Sinds de jaren 1950 is vrijwel uitsluitend Cronbach’s alpha in gebruik als indicatie voor de interne consistentie van de items van een test of concept, hoewel statistici geregeld hebben gewezen op de beperkte bruikbaarheid van de alpha (Schmitt, 1996; Sijtsma, 2009a, 2009b). Cronbach’s alpha geeft een ondergrens aan van de betrouwbaarheid. De echte betrouwbaarheid kan in werkelijkheid hoger uitvallen. De voorbije decennia zijn alternatieven gesuggereerd voor de Cronbach’s alpha. Met name betrouwbaarheids-maten die gebaseerd zijn op factormodellen, blijken betere schatters te zijn voor de betrouwbaarheid (Revelle & Zinbarg, 2009). Naast de Cronbach’s alpha is in deze studie gebruik gemaakt van de betrouwbaarheidsmaat rho van Jöreskog (Jöreskog, 1971), ook bekend als de McDonald’s omega, een maat die de verhouding weergeeft tussen de verklaarde variantie door de factor en de totale hoeveelheid te verklaren variantie van deze factor. Met name deze omega lijkt de betrouwbaarheid van een factor accurater te schatten, hoewel ook omega een ondergrens aangeeft van de echte betrouwbaarheid. De ondergrens van omega ligt dichter bij de echte betrouwbaarheid dan alpha en kan – onder bepaalde voorwaarden – gelijk zijn aan alpha (McDonald, 1978, 1999; Revelle & Zinbarg, 2009; L. Stone et al., 2013). De hoofdredacteur van het tijdschrift European Journal of Psychological Assessment pleit uitdrukkelijk voor het gebruik van de omega en stelt zelfs dat het gebruik van Cronbach’s alpha niet meer als state of the art kan worden beschouwd (Schweizer, 2011).

Omega dient met de hand te worden uitgerekend, omdat deze maat niet ter beschikking is in Mplus (noch in SPSS). Voor elk concept moet een 1-factoroplossing worden gedraaid, waaruit omega moet worden berekend (Gignac, 2009). Deze

betrouwbaarheidsindex ω van een factor met k indicatoren (items) is als volgt gedefinieerd:

waarbij λjstaat voor de gestandaardiseerde factorlading van indicator/item j van een latente variabele, en δj2voor de gestandaardiseerde unieke variantie (= 1 – λj2).