De Psychometrische Kwaliteit van de Forensische Klachtenlijst Milou Bisschop
Universiteit van Amsterdam
Studentnummer: 10556311
Masterthesis Klinische Forensische Psychologie
Supervisor Universiteit van Amsterdam: Prof. dr. Paul Emmelkamp Supervisor De Waag Amsterdam: Mw. dr. Joan van Horn
Universiteit van Amsterdam 19 December 2014
Samenvatting
In dit onderzoek stond de ontwikkeling en validering van de Forensische Klachtenlijst (FKL) centraal: een zelfrapportagelijst om (veranderingen in) de meest voorkomende (psychische) klachten op het gebied van: Agressie, Impulsiviteit, Aandachtstekort, Sociale steun, Middelengebruik, Stemming, Zelfregulatie en Seksualiteit te meten bij volwassen cliënten in een forensische polikliniek. De onderzoeksgroep bestond uit 760 volwassen cliënten van de Waag, een poliklinisch forensisch behandelcentrum. In een Confirmatieve Factor Analyse (CFA) werd de factorstructuur van de FKL onderzocht en verbeterd. De theoretische concepten van de FKL werden bevestigd in een CFA met voor het merendeel goede fit indices. Betrouwbaarheidsanalyses (Cronbach’s Alpha) wezen uit dat met uitzondering van de subschalen Impulsiviteit (α = .73) en Aandachtstekort (α = .79), bij alle subschalen een hoge betrouwbaarheid (α > .80) werd gevonden. Correlatie coëfficiënten (r < .70) wezen uit dat de FKL andere concepten meet dan de HoNOS, terwijl de HoNOS in forensische instellingen door justitie verplicht is gesteld om klachten te meten in een forensische populatie. Wat betreft de convergente validiteit werd daarom verwacht dat de FKL en de HoNOS vergelijkbare concepten zouden meten. Correlatie coëfficiënten (r < .20) wezen daarnaast uit dat de FKL andere concepten meet dan de MANSA, een instrument dat de kwaliteit van leven meet bij patiënten met psychische problematiek. Wat betreft de divergente validiteit is dit in lijn met de verwachtingen aangezien de FKL andere concepten meet dan de MANSA.
Keywords: ontwikkeling, validering, Forensische Klachtenlijst, Confirmatieve Factor Analyse, betrouwbaarheidsanalyses, convergente validiteit, HoNOS, divergente validiteit, MANSA
De Psychometrische Kwaliteit van de Forensische Klachtenlijst Om de voortgang in de behandeling goed te kunnen monitoren, is het
noodzakelijk om gedurende de behandeling op regelmatige basis metingen te verrichten bij cliënten. Het routinematig meten, of te wel Routine Outcome Monitoring (ROM), is sinds enkele jaren bij de Waag geïntroduceerd met de volgende vier uitkomstmaten: 1) het recidiverisico en 2) de dynamische risicofactoren (beide gemeten met het
Risicotaxatie-instrument voor de Ambulante Forensische GGZ volwassenen (RAF GGZ; Van Horn, Wilpert, Eisenberg, Scholing & Mulder, 2012)), 3) het dagelijks functioneren (gemeten met de Health of the Nation Outcome Scales (HoNOS; Nederlandse vertaling: Mulder et al., 2004b)) en 4) de kwaliteit van leven (gemeten met de Manchester Short Assessment of Quality of Life (MANSA; Nederlandse vertaling: van Nieuwenhuizen, Schene, & Koetier, 2000)). Deze uitkomstmaten, ook wel prestatie-indicatoren genoemd, worden door inkopers van (forensische) zorg gebruikt als graadmeter voor de kwaliteit van de zorg die cliënten ontvangen.
De HoNOS is door justitie recentelijk verplicht gesteld om (veranderingen in) (psychische) klachten te meten (Directie Forensische Zorg, 2014). Deze lijst meet problemen in het dagelijks functioneren op 15 gebieden, waaronder problemen met relaties, woonomstandigheden, lichamelijke problemen of handicaps en problematisch alcohol- en drugsgebruik. De HoNOS wordt veel gebruikt in de reguliere ggz en is gevalideerd voor de reguliere ggz (Mulder et al., 2004a), maar niet voor de forensische ggz. Andere lijsten die in de reguliere ggz vaak worden gebruikt om (psychische)
klachten te meten zijn de Symptom Checklist (SCL-90; Nederlandse vertaling: Arrindell & Ettema, 2003), de Outcome Questionnaire 45 (OQ-45; Nederlandse vertaling: de Beurs, Hollander-Gijsman, Den Buwalda, Trijsburg, & Zitman, 2005) en de General Health Questionnaire (GHQ; Nederlandse Vertaling: Koeter & Ormel, 1991).
Genoemde instrumenten zijn gevalideerd voor cliënten in de reguliere ggz en (nog) niet voor cliënten in de ambulante forensische ggz. Inhoudelijk bevatten genoemde lijsten subschalen die klachten meten die niet of veel minder vaak bij een forensische populatie worden gevonden, zoals angst- en stemmingsstoornissen (OQ-45; GHQ) en algemene psychiatrische ziektebeelden (SCL-90) (Buwalda, Draisma, Smit, Swinkels & Van Tilburg, 2011; Koeter & Ormel, 1991).
Bij gebrek aan relevante en gevalideerde instrumenten ontwikkelde de Waag in dit onderzoek de Forensische Klachtenlijst (FKL). Over de ontwikkeling van de FKL en de validering ervan wordt in de huidige studie verslag gedaan. Meer specifiek is het doel van het onderzoek om te komen tot een betrouwbare en valide zelfrapportagelijst om veranderingen te meten in de (psychische) klachten van volwassen cliënten die
behandeld worden in een forensische polikliniek. Met een dergelijk instrument kan in de toekomst de behandeling van de cliënt beter worden gemonitord en afgestemd op diens zorgbehoeften. Tevens krijgt de cliënt op deze manier beter zicht op zijn of haar
vorderingen in de behandeling.
In wetenschappelijk onderzoek wordt het monitoren van middelengebruik, agressieproblematiek en seksuele problematiek bij forensische cliënten aangeraden (Goethals & Van Marle, 2012). Deze bevinding wordt ook ondersteund door diverse behandelaars van de Waag (persoonlijke communicatie, 11 december 2013; 21 januari 2014). Behandelaren voegden daaraan nog de volgende veelvoorkomende klachten toe: Impulsiviteit, Aandachtstekort, Sociale steun, Stemming en Zelfregulatie. Deze in totaal acht klachtengebieden vormen de basis van de FKL, waarbij in de formulering van de items per klacht zoveel mogelijk onderscheid werd gemaakt in attitude, gevoel en gedrag. De rationale hierachter is dat een attitude (een geleerde, globale, meestal
gevoelens en gedrag (Perlof, 2003). Bij een persoon met bijvoorbeeld een negatieve attitude ten opzichte van autoriteiten zullen in een hinderlijke situatie met een autoriteit negatieve gedachten, gevoelens en gedrag sneller worden opgeroepen dan bij iemand met een neutrale attitude ten opzichte van autoriteiten. Hoe sterker de attitude, hoe groter de invloed deze attitude heeft op het gedrag (Bohner & Wänke, 2002).
Aan de FKL liggen een aantal theoretische en praktische uitgangspunten ten grondslag. Per klacht of probleem worden deze gedefinieerd, beschreven en wordt de relevantie ervan voor een ambulante forensische populatie onderbouwd.
Agressie. Glassman en Geluk (1998) definiëren agressie als gedrag dat
doelbewust schade toebrengt aan een ander persoon of object. Gedragsmatig kan agressie op drie manieren tot uiting komen: fysiek, verbaal en psychisch. Bij fysieke agressie gaat het om het fysiek beschadigen van een ander wat frequent gepaard gaat met woede en het wegvallen van het verstand (De Graaf, 2009). Onder verbale agressie verstaat men het verbaal uitdrukken van gevoelens, bijvoorbeeld schelden. Met psychische agressie wordt onder andere bedoeld het emotioneel chanteren of intimideren van iemand (Taghon, 2008). Voorafgaand aan het gedrag kunnen ook agressieve attitudes en gevoelens ten grondslag liggen. Bij agressieve attitudes gaat het om de vijandige
cognities waarbij je de ander iets aan wil doen, en het waarnemen van vijandigheid kan een agressief gevoel opwekken, hetgeen tot uiting kan komen in agressief gedrag. Geweld is een van de meest voorkomende probleemgedragingen in de forensische populatie, niet alleen als reden voor opname in (poli)klinische zorg, maar ook wat betreft geweldsincidenten gedurende de behandeling. Onderzoek (Nicholls, Brink, Greaves, Lussier & Verdun-Jones, 2009) toont bijvoorbeeld aan dat ongeveer 60% van de
onderzochte forensisch psychiatrische patiënten (N = 526) in een jaar tijd tenminste een agressieve gedraging vertoonde. Bij ongeveer 20% van deze groep patiënten ging het om
fysieke agressie naar een ander persoon. Het indexdelict van deze patiënten betrof in ongeveer 70% van de gevallen een agressie delict. Dit komt ongeveer overeen met de bevindingen uit een eerdere studie (Hildebrand, Hesper, Spreen, & Nijman, 2005) waarin werd gevonden dat tijdens de behandeling van forensische psychiatrische patiënten ongeveer 15 tot 30% agressief gedrag vertoont tijdens de klinische opname.
Impulsiviteit. Met impulsiviteit duidt Evenden (1999) een mengvorm aan van een aantal meer fundamentele persoonlijkheidseigenschappen, waaronder een motorische factor (overhaast reageren), een cognitieve factor (onvermogen tot het plannen van gedrag) en een aandachtsfactor (gauw verveeld zijn). De aandachtsfactor die Evenden (1999) noemt, wordt besproken bij de factor Aandachtstekort.
Impulsiviteit uit zich in ondoordacht en onvoorspelbaar gedrag waardoor er geen rekening wordt gehouden met de consequenties die aan dit gedrag verbonden zijn. Volgens Vanderschuren, Matthys en Van den Brink (2009) is het mogelijk impulsief gedrag in drie verschillende klassen op te delen, te weten: impulsief handelen
(verminderde controle over het gedrag), impulsief keuzes maken (snelle kleine beloning verkiezen boven een grotere beloning op lange termijn) en impulsief reflecteren
(handelen zonder na te denken over de strategie/consequenties).
Daarnaast wordt ook onderscheid gemaakt in impulsieve cognities en gevoelens.
Wanneer iemands gedachten onderbroken worden door andere gedachten, kan dit duiden op impulsieve cognities, en wanneer iemand zich onrustig voelt, kan dit duiden op impulsieve gevoelens.
Forensisch psychiatrische patiënten blijken hoog te scoren op een niet-planmatige aanpak en op motorische impulsiviteit (Haden & Shiva, 2008), gemeten met de Barrat Impulsiveness Scale, een zelfrapportagelijst voor impulsiviteit (BIS-11; Spinella 2007).
Aandachtstekort. Aandachtstekort kenmerkt zich door een gebrek om de aandacht te kunnen behouden bij een taak. Ook kan men snel verveeld raken. Zoals eerder genoemd, beschouwt Evenden (1999) de aandachtsfactor als onderdeel van impulsiviteit.
Uit onderzoek van Haden en Shiva (2008) blijkt dat forensisch psychiatrische patiënten hoog scoren op attentionele impulsiviteit, gemeten met de BIS-11.
De factor Aandachtstekort komt overeen met een van de drie basisvormen van de ADHD vragenlijst, namelijk de basisvorm aandachtstekort (snel afgeleid en weinig taakgericht) (Avl; Scholte & van der Ploeg, 2005).
Sociale steun. Binnen sociale steun kunnen de volgende drie aspecten onderscheiden worden: alledaagse steun, de mate van verkregen steun en de tevredenheid over de ontvangen steun (Van Sonderen & Ormel, 1997). Met de behoefte aan alledaagse steun kan een compliment worden bedoeld, deze behoefte verschilt per persoon. Bij de mate van verkregen steun gaat het om het aantal ondersteunende interacties die plaatsvinden binnen het netwerk van een persoon. Tevredenheid ontstaat wanneer de ontvangen sociale steun overeenkomt met de behoefte aan sociale steun.
Een gebrek aan sociale steun heeft invloed op zowel het welzijn als de gezondheid van een individu. Sociale steun zorgt er namelijk juist voor dat een individu een betere kijk krijgt op problemen en het helpt bij het oplossen daarvan (Van Sonderen & Ormel, 1997). Wanneer een individu een gebrek aan sociale steun ervaart, kan dit ertoe leiden dat hij of zij (te) weinig hulp in kan roepen bij het ervaren en/of oplossen van een probleem, hetgeen in een forensische context terugval in delictgedrag kan betekenen (Gates, Dowden & Brown, 1998). Tantam (1988) onderzocht 60 personen die vanwege hun chronische vorm van sociale isolatie psychiatrische hulp hadden
gezocht. Uit dit onderzoek bleek dat 50% van de groep weleens betrokken was bij antisociaal gedrag en dat ongeveer 25% van de groep een delict had gepleegd. Uit onderzoek van Meadows (2007) bleek dat een te kort aan sociale steun van familie samenhangt met delinquentie in adolescente jongens.
Middelengebruik. Van misbruik wordt gesproken wanneer het gebruik van het middel problemen oplevert in het dagelijks leven. Wanneer er een lichamelijke en geestelijke afhankelijkheid ontstaat omdat een middel zo frequent wordt gebruikt, wordt er gesproken van afhankelijkheid/verslaving. Het gebruik van middelen kan invloed hebben op het functioneren en kan gepaard gaan met sociale en/of
maatschappelijke problemen (denk bijvoorbeeld aan het verlies van relaties met vrienden en/of met familieleden) (Blansjaar, Beukers & van Kordelaar, 2008; Newcomb & Bentler, 1988).
Onderzoek van De Graaf, Ten Have en Van Dorselaar (2010) stelt dat in Nederland naar schatting vijf tot zes procent van de bevolking kampt met problematisch middelengebruik. In de forensische poliklinische populatie ligt dit percentage
aanmerkelijk hoger; uit de studie van Kraanen (2014) blijkt dat tussen de 21% en 27% werd gediagnosticeerd met een aan middelengebonden stoornis en ongeveer
tweederde van de totale groep (alcohol en/of drugs) was ten tijde van het indexdelict tevens onder invloed van een middel.
Stemming. Bij stemmingsklachten kan het gaan om het verlies van plezier in dagelijkse bezigheden die in het verleden als prettig werden ervaren, sombere
gevoelens en/of juist wisselende gevoelens, een verminderde eetlust, slechte nachtrust, angst, het hebben van weinig energie en/of gedachten aan de dood. Het Nederlands Instituut voor Forensische Psychiatrie en Psychologie (NIFP) registreerde in de periode van 2004 tot 2006 bij 1533 onderzochte volwassenen een
stemmingsstoornis, ruim 11% van alle pro justitia rapportages bij volwassenen (Blansjaar, Beukers & Van Kordelaar, 2008). Daarnaast vonden Nederlandse onderzoekers bij gedetineerden vaker een depressie dan in de algemene bevolking (Schoenmaker & Van Zessen, 1997).
Zelfregulatie. Zelfregulatie is het vermogen van de mens om zich aan te kunnen passen aan de eisen van een veranderende omgeving (Schmitz, Schmidt, Landmann & Spiel, 2007). Een individu met zelfregulatie problemen heeft moeite om problemen functioneel en adequaat op te lossen, met als gevolg stress.
Zelfregulatie problemen hangen samen met inflexibiliteit in het denkvermogen (Pekrun, Goetz, Titz, & Perry, 2002) en kunnen leiden tot primaire impulsieve (strafbare) handelingen (Oei & Groenhuijsen, 2009). Volgens Gottfredson en Hirschi (1990) speelt een laag niveau van zelfregulatie een belangrijke rol in het voorspellen van criminaliteit.
Seksualiteit. Seksuele problemen kunnen zich uiten in seksuele gedachten, gevoelens of gedragingen die het individu zelf en/of anderen als ongewenst zien, bijvoorbeeld er aan denken om iemand tot seks te dwingen, een seksueel gefrustreerd gevoel hebben en/of moeite hebben met het stoppen met het kijken van porno. Een aantal factoren draagt bij aan dergelijke seksuele problemen, bijvoorbeeld het hebben van bepaalde seksuele opvattingen, problemen met zelfcontrole, het niet goed kunnen omgaan met intimiteit, hyperseksualiteit of het hebben van een parafilie (Ten Hag, 2012). Uit cijfers van het NIFP bleek dat in de periode van 2002 tot en met 2006 16,9% van alle pro Justitia rapportages een zedendelict werd geregistreerd, waarvan bij 21,4% van de zedendelinquenten een parafilie.
Doel van het onderzoek
Forensische Klachtenlijst (FKL) in een ambulant behandelde forensische populatie. In een Confirmatieve Factor Analyse werd de factorstructuur onderzocht en verbeterd. Verwacht werd dat de theoretische concepten Agressie, Impulsiviteit,
Aandachtstekort, Sociale steun, Middelengebruik, Stemming, Zelfregulatie en Seksualiteit met een CFA werden ondersteund. De betrouwbaarheid per subschaal werd tevens onderzocht aan de hand van de Cronbach’s Alpha (α). Verwacht werd dat de betrouwbaarheid per subschaal hoog (α > .80) was. Eveneens werd de convergente validiteit (FKL versus HoNOS) en de divergente validiteit (FKL versus MANSA) onderzocht. Verwacht werd dat zowel de HoNOS als de MANSA niet hetzelfde meet als de FKL.
Methode Instelling
Het onderzoek werd uitgevoerd op de Waag, een poliklinisch forensisch behandelcentrum, en onderdeel van de Forensische Zorgspecialisten (voorheen Dr. H. Van der Hoevenstichting). De Waag biedt behandelingen aan volwassenen en aan jongeren (vanaf twaalf jaar), die door strafbaar gedrag of grensoverschrijdend gedrag met politie en justitie in aanraking zijn gekomen of dreigen te komen. Het gaat dan voornamelijk om huiselijk geweld of andere agressieve delicten, vermogensdelicten of seksueel grensoverschrijdend gedrag. Het primaire doel van de behandeling is het voorkomen dan wel het verminderen van een terugval in delictgedrag (recidive). Onderzoeksgroep
In totaal werd door 816 cliënten de Forensische Klachtenlijst (FKL) ingevuld. Van deze groep werden de volgende cliëntgroepen niet meegenomen in verdere analyses: Leeftijd beneden 18 jaar oud (n = 3), nevencliënten (vaak partners van cliënten) (n = 7), FKL niet ingevuld (n = 6), FKL door de behandelaar ingevuld (n =
2), geen toestemming gegeven voor het gebruik van data voor het onderzoek (n = 14) en cliënten in detentie (n = 24). Besloten werd om cliënten in detentie niet mee te nemen in de analyses omdat uit feedback van behandelaren en gedetineerden bleek dat de FKL niet goed in te vullen was voor de situatie in detentie. Het totaal aantal geëxcludeerde FKL’s was 56. Op basis van de overgebleven lijsten (n = 760) was het responsepercentage 97%. Dit hoge responspercentage werd vooral bereikt doordat de FKL standaard onderdeel uitmaakte van de ROM en door het verplicht stellen van de beantwoording van alle items.
De overgebleven 760 cliënten bestond uit 651 volwassen mannen (86%) en 109 vrouwen (14%). Deze cliënten waren in behandeling bij de Waag in de periode van februari tot en met juni 2014. De gemiddelde leeftijd van de totale groep was 39.18 jaar (SD = 12.30). Ten tijde van het invullen van de FKL bevonden de cliënten zich in diverse fasen van de behandeling: 365 cliënten waren net begonnen met de behandeling (Start Behandeling), 368 waren halverwege de behandeling
(Behandeling) en 66 waren aan het eind van de behandeling (Einde Behandeling). In tabel 1 staat een gedetailleerde beschrijving van de onderzoeksgroep wat betreft het opleidingsniveau, het behandelkader en het indexdelict van de cliënt. Het (hoogst behaalde) opleidingsniveau is verdeeld over 10 categorieën, opgesteld door Stichting Benchmark GGZ (2013). Daaraan is een 11e categorie ‘Voortgezet onderwijs afgerond, niveau onbekend’ toegevoegd op basis van informatie uit het Elektronisch Patiëntendossier (EPD).
Tabel 1
Gedetailleerde Beschrijving van de Onderzoeksgroep
(N = 760) n % Opleidingsniveau Kleuteronderwijs (Groep 1 en 2) 6 .8 Basis onderwijs 161 21.2 VMBO praktijk 100 13.2
LBO, VMBO theorie, MAVO 121 15.9
Voortgezet onderwijs afgerond; niveau onbekend 57 7.5
MBO 1 en 2 jaar 11 1.4
HAVO, VWO, MBO 3 en 4 jaar 176 23.2
HBO Bachelor 61 8.0
WO Bachelor 2 .3
HBO Master/WO Master 25 3.3
Post doctoraal 1 .1
Onbekend 39 5.1
Behandelkader
Vrijwillig 469 61.7
Verplicht 291 38.3
Indexdelict (delict waarvoor cliënt werd aangemeld)
Agressie 282 37.7
Vermogen Huiselijk geweld
Seksueel grensoverschrijdend gedrag
58 261 159 7.6 34.3 20.9
Bij de meeste cliënten (23.2%) is het hoogst behaalde opleidingsniveau ‘HAVO, VWO, MBO 3 en 4 jaar’. Opmerkelijk is dat relatief veel cliënten (21.2%) alleen basisonderwijs heeft gehad.
Het percentage cliënten dat in een vrijwillig kader in behandeling komt (61.7%) is groter dan het percentage dat in een verplicht kader in behandeling komt (38.3%).
Het indexdelict dat in verhouding het meest voorkomt, is gerelateerd aan agressie (37.7%).
Meetinstrumenten
FKL staat in dit onderzoek centraal. De FKL is een zelfrapportage vragenlijst die door cliënten wordt ingevuld. De FKL meet (psychische) klachten over de afgelopen 2 weken en bestaat uit 109 items, verdeeld over acht subschalen: Agressie (19 items, bv. ‘Ik gebruikte lichamelijk geweld naar anderen’), Impulsiviteit (5 items, bv. ‘Ik flapte er dingen uit’), Aandachtstekort (9 items, bv. ‘Ik maakte dingen niet af’), Sociale steun (14 items, bv. ‘Ik heb steun ervaren van anderen’), Middelengebruik (11 items, bv. ‘Ik heb drugs gebruikt’), Stemming (23 items, bv. ‘Ik had geen plezier in de dingen die ik deed’), Zelfregulatie (14 items, bv. ‘Ik was door problemen nergens toe in staat’) en Seksualiteit (14 items, bv. ‘Ik dacht er aan iemand tot seks te dwingen’). De antwoordcategorieën variëren op een 5-puntsschaal van (1) ‘nooit’ tot (5) ‘altijd’. Een hoge score op een subschaal betekent dat de klacht in hoge mate aanwezig is. De laatste subschaal ‘Seksualiteit’ hoeft alleen ingevuld te worden door cliënten die in het heden en/of verleden klachten of negatieve ervaringen hebben gehad op seksueel gebied en/of bij bij de Waag zijn aangemeld vanwege seksueel
grensoverschrijdend gedrag. De subschaal Seksualiteit werd in dit onderzoek niet meegenomen zodat de focus kon worden gelegd op de subschalen die voor alle cliënten golden. In een ander onderzoek wordt de structuur van de Seksualiteitsschaal bekeken voor de desbetreffende subgroep.
In totaal worden er 23 items gespiegeld (zie bijlage 3).
Health of the Nation Outcome Scales (HoNOS). De HoNOS is een beoordelingsvragenlijst die door de behandelaar werd ingevuld (Nederlandse vertaling: Mulder, Loos, Wiedsma & Poodt, 2001). De HoNOS meet, over de
afgelopen twee weken, problemen in het dagelijks functioneren en bestaat uit 12 items die elk een gebied bestrijken in de vorm van vier subschalen: gedragsproblemen (item 1-3), cognitieve en lichamelijke beperkingen (item 4-5), symptomatologie (item 6-8)
en sociale problemen (item 9-12). De auteurs voegden drie items toe (HoNOS-addendum): compliance en medicatie, maniforme ontremming en motivatie voor behandeling. Over deze extra items is nog niet gepubliceerd (Mulder et al., 2004b). De Waag maakt gebruik van de 15-items versie. De antwoordcategorieën variëren op een 5-puntenschaal van 1 ‘geen probleem’ tot 5 ‘ernstig tot zeer ernstig probleem’. De afnameduur bedraagt circa 5 tot 15 minuten, afhankelijk van hoe goed de hulpverlener de cliënt kent.
De 12-itemversie van de HoNOS is enkel gevalideerd voor de reguliere ggz. De bevindingen zijn wisselend wat betreft de interbeoordelaarsbetrouwbaarheid en de interne consistentie. In een Britse studie van Wing et al. (1998) wordt de
interbeoordelaarsbetrouwbaarheid voldoende tot goed beschouwd (ICC = .77 - .86). Een andere Britse studie (Orrel et al., 1999) beschrijft dat deze genoemde
betrouwbaarheid geldt voor acht van de 12 items. De
interbeoordelaarsbetrouwbaarheid is goed volgens Nederlands onderzoek van Mulder et al. (2004a) voor de totaalscore (ICC = 0.92) en voldoende voor alle subschalen (ICC = - .76 - .86), met uitzondering van de subschaal ‘cognitieve en lichamelijke beperkingen’ (ICC = 0.53). De interne consistentie is volgens een Brits onderzoek onvoldoende (α = .65; Orrell et al., 1999) en volgens een Nederlandse studie goed (α = .78; Mulder et al., 2004a). De constructvaliditeit wordt als matig tot goed
beschouwd in een Nederlandse studie (r = .51 - .85; Van Beljouw & Verhaak, 2010). In een Britse studie concludeerden Audin et al. (2001) dat de HoNOS onvoldoende responsief is wat betreft de bruikbaarheid van de HoNOS als uitkomstmaat in
psychotherapeutische behandelingen: slechts drie van de twaalf items zijn voldoende in staat veranderingen in functioneren te registreren.
een verkorte versie van de Lancashire Quality of Life Profile (LQLP; Oliver, 1991) en is ontwikkeld om de kwaliteit van leven te meten bij patiënten met psychische
problematiek. De MANSA werd ingevuld door de cliënt en bestaat uit 16 items die elk een gebied bestrijken: tevredenheid met werk/ werkeloosheid, psychische
gezondheid en de kwaliteit van vriendschappen. De antwoordcategorieën variëren op een 7-puntenschaal van 1 ‘kan niet slechter’ tot 7 ‘kan niet beter’. Daarnaast is er een viertal vragen (zoals de aanwezigheid van een goede vriend of vriendin), dat met ‘ja’ of ‘nee’ beantwoord wordt. De afnameduur bedraagt circa 10 minuten. De MANSA is enkel gevalideerd voor de reguliere ggz.
De interne consistentie van de MANSA wordt in internationaal onderzoek voldoende (α = .74; Priebe et al., 1999) tot goed (α = .81; Bjorkman et al., 2005) beschouwd. In Nederlands onderzoek (Van Beljouw & Verhaak, 2010) is er een sterke relatie gevonden tussen de MANSA en de LQLP (r = .82) hetgeen de construct validiteit hoog maakt. Er is nog geen studie gepubliceerd over de veranderingsgevoeligheid van de MANSA.
Procedure ontwikkeling van de FKL
In vier fasen werd de FKL ontwikkeld. De uitkomsten van de validatie van deze versie van de FKL wordt in dit onderzoek besproken.
De eerste opzet en de formulering van items kwam tot stand na drie expertmeetings met twee hoogleraren van de Universiteit van Amsterdam/ Vrije Universiteit Amsterdam, hoofd Behandelzaken Jeugd van de Waag, en met het hoofd Onderzoek van de Waag. Er werden 73 items geformuleerd voor de volgende acht concepten die relevant werden geacht voor het meten van forensische klachten: Agressie, Impulsiviteit, Aandachtstekort, Sociale steun, Middelengebruik, Stemming, Zelfregulatie en Seksualiteit. Na een gesprek met een forensische behandelaar van de
Waag werden er 61 items toegevoegd, waarmee het aantal items van de FKL kwam op 134. Er werd een 5-punts Likert Scale gehanteerd als meetschaal (Likert, 1932). De 5-punts Likert Scale is de meest gebruikte schaal en is makkelijker te begrijpen voor participanten dan een Likert Scale met meer dan 5 antwoordmogelijkheden; de beschrijvende termen voor ieder punt worden dan moeilijker te begrijpen (Tullis & Albert, 2008).
Deze tweede versie van de FKL werd ter aanvulling en feedback naar de expertgroep verstuurd en naar de programmamanager van de Waag en een tweede forensische behandelaar van de Waag. Het resultaat was het formuleren van 20 extra items, waarmee het aantal items van de FKL kwam op 154.
In de derde fase werd de FKL voorgelegd aan alle betrokkenen (in totaal acht personen) met de vraag om items van voorkeur aan te vinken. Items die door
minimaal vier personen werden aangemerkt als voorkeursitem werden opgenomen in de nieuwe versie van de FKL (111 items).
In de laatste fase werd de aangepaste FKL opnieuw verstuurd naar alle experts (in totaal acht personen). De belangrijkste wijziging in deze fase betrof de subschaal ‘Seksualiteit’. Deze schaal was oorspronkelijk bedoeld voor afname bij alle cliënten. De verwachting was echter dat de items op weerstand zouden stuiten bij cliënten zonder seksueel grensoverschrijdend gedrag. Daarom werd besloten om deze subschaal te laten invullen bij de groep cliënten met problemen op het gebied van seksualiteit.
De uiteindelijke versie van de FKL bestaat uit 109 items (zie bijlage 2). Procedure afname meetinstrumenten
De Forensische Klachtenlijst (FKL) werd – naast de HoNOS en de MANSA – via het ROM-systeem van de Waag aangeboden. De HoNOS werd door behandelaars
ingevuld, en de MANSA en de FKL door cliënten. Cliënten ontvingen een e-mail met de vraag of zij de FKL in een beveiligde omgeving in QuestManager (een ROM-systeem) digitaal wilden invullen. Voorafgaand aan het invullen van de FKL kreeg de cliënt een instructie (zie bijlage 1) waarin, naast informatie over het doel van de vragenlijst, werd uitgelegd dat de vragenlijst uit 109 items bestaat en dat het invullen ongeveer 20 minuten duurt. De cliënt had acht weken de tijd om de FKL in te vullen. Wanneer de cliënt de FKL had ingevuld, werd dit zichtbaar in QM.
Analyses
Om de psychometrische kwaliteit van de FKL te onderzoeken werden de volgende analyses uitgevoerd. Wegens de korte onderzoeksperiode (10 maanden) werd de test-hertest betrouwbaarheid en de veranderingsgevoeligheid van de FKL niet onderzocht in dit onderzoek, hetgeen aanvankelijk wel de bedoeling was. Deze
psychometrische kwaliteiten worden onderzocht met de verkorte versie van de FKL. Factoranalyse (onderdeel van de constructvaliditeit). De onderliggende factorstructuur van de FKL werd onderzocht middels een Confirmatieve Factor Analyse (CFA) met oblique rotatie (SPSS AMOS versie 21). Het aantal factoren werd vastgesteld op zeven (exclusief de subschaal Seksualiteit), waarbij elke factor een van de zeven concepten van de FKL vertegenwoordigt. Er werd voor een oblique rotatie gekozen omdat verondersteld wordt dat de psychische klachten met elkaar
samenhangen.
In de literatuur bestaat er geen eenduidigheid over enkele afkapwaarden van de fit indices. Volgens Hair, Black, Babin en Anderson (2010) leveren de fit indices enkel richtlijnen op en geen harde regels. Een combinatie van drie tot vier verschillende fit indices is dan ook voldoende om een uitspraak te kunnen doen over de fit van het model. In navolging van Gaskin (2011), Hu en Bentler (1999) en Hair et al. (2010)
werden de volgende fit indices bekeken: Chi Square/Degrees of freedom (CMIN/Df), p, Comparative Fit Index (CFI), Root Mean Square Error of Approximation
(RMSEA), Pclose en Standarized Root Mean squared Residual (SRMR). In tabel 2 is de afkapwaarde per fit index weergegeven.
Tabel 2
Afkapwaarden Fit Indices Fit Index Afkapwaarde
CMIN/Df < 3 = goed (Hair et al., 2010), < 5 = goed (Gaskin, 2011) p > .05 = goed (Gaskin, 2011)
CFI > .95 = goed (Gaskin, 2011; Hu & Bentler, 1999), > .90 = goed (Hair et al., 2010)
RMSEA < .06 = goed (Hu & Bentler, 1999)
.05 - .08 = goed (Gaskin, 2011; Hair et al., 2010) Pclose > .05 = goed (Gaskin, 2011)
SRMR < .08 = goed (Hair et al., 2010; Hu & Bentler, 1999)
De volgende stappen in de CFA werden in chronologische volgorde uitgevoerd. Bij elke stap werd bekeken welke zwakke items verwijderd konden worden en er werd bekeken of de fit van het model verbeterde.
Model 1 Oorspronkelijk model. Het eerste model is gebaseerd op het oorspronkelijke model van de FKL.
Model 2 Factorladingen en face validity. Per factor werden de hoogste factorladingen inhoudelijk bekeken. In de literatuur (Ellis, 2012) wordt genoemd dat er vooral geen grote verschillen tussen ladingen per factor moeten zijn. Er bestaan geen harde regels voor de hoogte van de factorladingen in eenzelfde factor. Als richtlijn werd de grens van 0.70 aangehouden (Ellis, 2012). Items werden verwijderd indien factorladingen ≤ .70 waren en behouden als de lading > .70, tenzij op basis van face validity anders werd besloten. Uitspraken op basis van face validity waren
mogelijk omdat aan het eind van de vragenlijst de volgende twee vragen aan de cliënten werden voorgelegd: ’Hoe heeft u het invullen van de lijst ervaren? Waren er bijvoorbeeld woorden of zinnen die u niet begreep of onduidelijk vond?’, ‘Heeft u voor ons nog tips om de lijst te verbeteren? Heeft u bijvoorbeeld onderwerpen
gemist?’. Ook behandelaars werden gevraagd om de FKL te evalueren op formulering en relevantie.
Model 3 Inter-item correlaties. Wanneer meer dan de helft van de inter-item correlaties binnen een subschaal ≤ r = .20 of ≥ r = .70, werd het item verwijderd. Inter-item correlaties lager dan of gelijk aan r = .20 duiden mogelijk op het meten van een ander concept dan het concept van de betreffende subschaal. Bij te hoge inter-item correlaties (r ≥ .70) is het mogelijk dat de inter-items hetzelfde meten (Gregory, 2011).
Op het niveau van de FKL gold dat de correlaties tussen de subschalen niet lager mochten zijn dan, of gelijk aan r = .20 en ook niet hoger dan of gelijk aan r = .70 (Gregory, 2011). Correlatie coëfficiënten lager dan of gelijk aan r = .20 duiden mogelijk op het meten van andere begrippen dan het overkoepelende begrip ‘Forensische Klachten’. Bij te hoge correlaties tussen subschalen (r ≥ .70) is het mogelijk dat de verschillende subschalen hetzelfde meten. Wanneer een correlatie tussen twee factoren ≤ r = .20 of ≥ r = .70 was, werd naar de correlaties tussen de items van deze twee factoren gekeken. Wanneer in meer dan de helft van de gevallen de correlaties ≤ r = .20 waren of ≥ r = .70 waren, werd het item verwijderd.
Model 4 Modificatie indices: Meetfouten. Modificatie indices bieden oplossingen voor de verschillen tussen het uitgangsmodel en het geschatte model, bijvoorbeeld middels het weergeven van meetfouten. Een meetfout geeft aan dat het model onvoldoende accuraat is met de werkelijkheid. Door covarianties aan te
brengen tussen meetfouten (criterium: de meetfout is in verhouding groot (> 100) ten opzichte van andere meetfouten in het model) van items binnen een factor, werd het model verbeterd. (Gaskin, 2011).
Model 5 Gestandaardiseerde Residuele Covarianties: Residuen. Gestandaardiseerde residuele covarianties zijn te vergelijken met de modificatie indices; ze geven aan waar de verschillen zijn tussen het uitgangsmodel en het geschatte model. De gestandaardiseerde residuele covarianties geven echter ook aan of deze verschillen significant zijn. Een residu met een absolute waarde hoger dan 0.4 is significant te noemen en zal het model verslechteren (Gaskin, 2011). Wanneer residuen in verhouding groot (en significant) waren ten opzichte van andere residuen, werd het item verwijderd om het model te verbeteren.
Naast modelverbeteringen werden eveneens de volgende analyses uitgevoerd.
Interne consistentie subschaalniveau. De betrouwbaarheid werd geanalyseerd met behulp Cronbach’s Alpha (α) met als criterium α > .80 (Gregory, 2011). Wanneer α < .80 was, werd gekeken of de betrouwbaarheid van de subschaal verhoogd kon worden middels het verwijderen van items. Wanneer dit niet mogelijk bleek te zijn of wanneer dit er niet toe leidde dat α > .80 werd, bleef de subschaal toch bestaan.
Convergente en divergente validiteit. De convergente validiteit van de FKL werd onderzocht door (items van) de FKL te correleren met (items van) de HoNOS. Wanneer in meer dan de helft van de gevallen de (Pearson) correlatie coëfficiënten r > .70 liggen tussen de subschalen van de HoNOS en de FKL, duidt dit er op dat beide lijsten dezelfde begrippen meten (Gregory, 2011).
De divergente validiteit van de FKL werd onderzocht door (items van) de FKL te correleren met (items van) de MANSA. Wanneer in meer dan de helft van de gevallen de (Pearson) correlatie coëfficiënten lager dan r = .20 liggen tussen de
MANSA en de FKL, duidt dit er op dat beide lijsten andere begrippen meten (Gregory, 2011).
Resultaten
Factoranalyse (onderdeel van de constructvaliditeit). In tabel 3 staan per model de CFA-resultaten (fit indices) van de modificaties weergegeven. Voor een gedetailleerd overzicht van de verwijderde items wordt verwezen naar bijlage C.
Tabel 3
Fit Indices per Model
n = 760 Aantal items CMIN/Df p CFI RMSEA Pclose SRMR
Model 1 95 4.227 0.000 0.689 0.065 0.000 0.096 Model 2 Model 3 54 53 4.740 4.752 0.000 0.000 0.812 0.817 0.070 0.070 0.000 0.000 0.096 0.096 Model 4 53 3.646 0.000 0.872 0.059 0.000 0.092 Model 5 41 3.132 0.000 0.920 0.053 0.000 0.050
Model 1 Oorspronkelijk model. Het oorspronkelijk model leverde geen acceptabele fit op gezien de fit indices (p = .000; CFI = .689; Pclose = .000; SRMR = .096). De CMIN/Df (4.227) is volgens Gaskin (2011) goed te noemen. De RMSEA (.065) is volgens Gaskin (2011) en Hair et al. (2010) goed te noemen.
Model 2 Factorladingen en face validity. Geen van de items in de subschalen ‘Sociale steun’, ‘Impulsiviteit’ en ‘Aandachtstekort’ hadden een factorlading van hoger dan .70. Op basis van de aanname van Ellis (2012) om alle items ≤ .70 te verwijderen bleef er geen enkel item over. Daarom werd besloten om enkel op face validity items te verwijderen. Van de andere subschalen werden 26 items verwijderd met een factorlading ≤ .70. Vier van deze items werden behouden omdat ze inhoudelijk relevant worden geacht voor de forensische populatie (zie ook bijlage C). Er werden 19 items op basis van face validity verwijderd omdat deze items
door cliënten en behandelaars te moeilijk of verwarrend werden gevonden. De fit-indices in model 2 behaalden in onvoldoende mate de kritische afkapwaarden: p = .000; CFI = .812; Pclose = .000; SRMR = .096. De CMIN/Df (4.740) is volgens Gaskin (2011) goed te noemen. De RMSEA (.070) is volgens Gaskin (2011) en Hair et al. (2010) goed te noemen. De CFI isten opzichte van het oorspronkelijke model aanzienlijk verbeterd.
Model 3 Inter-item correlaties. In dit model werden items verwijderd op basis van inter-item correlaties (r ≤ .20 of r ≥ .70) binnen een subschaal. Op een item na, werden bij de overige 53 items inter-item correlatie coëfficiënten gevonden die voldeden aan het criterium.
Het derde model leverde geen acceptabele fit op gezien de fit indices (p = .000; CFI = .817; Pclose = .000; SRMR = .096). De CMIN/Df (4.752) is volgens Gaskin (2011) goed te noemen. De RMSEA (.070) is volgens Gaskin (2011) en Hair et al. (2010) goed te noemen.
Model 4 Modificatie indices: Meetfouten. Tussen 12 meetfouten (met een waarde > 100) van items binnen een factor werden covarianties aangebracht om het model te verbeteren.
Het vierde model leverde geen acceptabele fit op gezien de fit indices (p = .000; CFI = .872; Pclose = .000; SRMR = .092). De CMIN/Df (3.646) is volgens Gaskin (2011) goed te noemen.
De RMSEA (.059) is goed te noemen volgens zowel Hu en Bentler (1999) als Gaskin (2011) en Hair et al. (2010) en is daarmee verbeterd ten opzichte van het vorige model.
Model 5 Gestandaardiseerde Residuele Covarianties: Residuen. 12 Residuen van items waren in verhouding groot (en significant) ten opzichte van
andere residuen van items. Deze items werden verwijderd.
Door het verwijderen van items op basis van de residuen werden enkele covarianties tussen meetfouten van items irrelevant.
Het vijfde, definitieve model leverde de volgende goede fit indices op: De CFI (.920) is goed te noemen volgens Hair et al. (2010); de RMSEA (.053) is goed en de SRMR (.050) is goed. De SRMR is aanzienlijk verbeterd ten opzichte van de eerdere modellen. De CMIN/Df (3.132) is goed te noemen volgens Gaskin (2011). Gekeken naar het gehele model levert het geen complete acceptabele fit op gezien enkele fit indices (p = .000; Pclose = .000). Fit index p dient namelijk groter te zijn dan .05 (Gaskin, 2011) en Pclose dient eveneens groter te zijn dan .05 (Gaskin, 2011).
In tabel 4 zijn de definitieve items (n = 41) opgenomen van de FKL waarbij de nummering correspondeert met de nummering van de oorspronkelijke versie van de FKL. In bijlage D staat de factorstructuur van het definitieve model weergegeven.
Tabel 4
Definitieve items FKL FKL# Agressie
008 Anderen vonden dat ik agressief deed 015 Ik werd om het minste of geringste boos 024 Ik bedreigde anderen
045 Ik schreeuwde naar anderen of schold hen uit 057 Ik sloeg met deuren
060 Ik gooide met spullen 064 Ik voelde me geïrriteerd 067 Ik was opgefokt
068 Ik begon te trillen en/of zweten van boosheid 071 Ik had de neiging iemand te slaan
Impulsiviteit
002 Ik had moeite met stilzitten 009 Iemand vond dat ik te druk ben 010 Ik flapte dingen eruit
025 Ik dacht eerst na voordat ik iets deed of zei R Aandachtstekort
Tabel 4 (vervolg) Definitieve items FKL FKL# Aandachtstekort 034 Ik voelde me opgejaagd 040 Ik voelde me rustig R
053 Ik kon me goed concentreren R Sociale steun
003 Er waren mensen die mij steunden R 018 Ik nam hulp van anderen aan R
033 Ik dacht: ‘als het echt nodig is, is er iemand waar ik terecht kan voor steun’ R
035 Íemand luisterde naar me toen ik dat nodig had R 047 Ik heb steun ervaren van anderen R
012 Ik dronk meer dan goed voor mij was
020 Anderen vinden dat ik meer dronk dan goed voor me was 036 Ik gebruikte meer drugs dan goed voor mij was
042 Anderen vonden dat ik meer drugs gebruikte dan goed voor me was 048 Ik voelde de drang om alcohol en/of drugs te gebruiken
055 Ik had problemen door mijn alcohol en/of drugsgebruik Stemming
031 Ik voelde me de hele tijd gespannen 037 Ik voelde me somber
049 Ik voelde me in de steek gelaten 063 Alles wat ik deed, kostte me moeite 061 Ik voelde me eenzaam
074 Ik had stemmingswisselingen 082 Ik voelde me wanhopig 094 Ik piekerde
Zelfregulatie
007 Ik raakte gestrest als ik met lastige situaties te maken kreeg 051 Ik was te veel van streek of gestrest om het probleem op te lossen 059 Ik was door problemen nergens toe in staat
090 Ik was meer bezig met piekeren over het probleem dan dat ik tot een oplossing kwam
R = Gespiegeld item
Interne consistentie subschaalniveau. In tabel 5 is de betrouwbaarheid middels Cronbach’s Alpha (α) weergegeven per subschaal. De Cronbach’s Alpha (α) kon bij geen enkele subschaal worden verhoogd middels het verwijderen van items. Vijf van de zeven subschalen hebben een hoge betrouwbaarheid (α > .80).
Tabel 5
Betrouwbaarheden per subschaal
Cronbach’s Alpha (α) Agressie .934 Impulsiviteit .730 Aandachtstekort .787 Sociale steun .828 Middelengebruik .820 Stemming .925 Zelfregulatie .857
Convergente en divergente validiteit. De correlatie coëfficiënten tussen de (items van de) HoNOS en de (items van de) FKL waren in geen enkel geval hoger dan r = .70.
De correlatie coëfficiënten tussen de (items van de) MANSA en de (items van de) FKL waren in meer dan de helft van de gevallen lager dan r = .20.
Discussie
In dit onderzoek stond de ontwikkeling en validering van de Forensische Klachtenlijst (FKL) in een ambulant behandelde forensische populatie centraal. In een
Confirmatieve Factor Analyse werd de factorstructuur onderzocht en verbeterd. Verwacht werd dat de theoretische concepten Agressie, Impulsiviteit,
Aandachtstekort, Sociale steun, Middelengebruik, Stemming, Zelfregulatie en Seksualiteit met een CFA werden ondersteund. De betrouwbaarheid per subschaal werd tevens onderzocht aan de hand van de Cronbach’s Alpha (α). Verwacht werd dat de betrouwbaarheid per subschaal hoog was (α > .80). Eveneens werd de convergente validiteit (FKL versus HoNOS) en de divergente validiteit (FKL versus MANSA) onderzocht. Verwacht werd dat zowel met de HoNOS als met de MANSA niet hetzelfde gemeten werd als met de FKL.
Aandachtstekort, Sociale steun, Middelengebruik, Stemming en Zelfregulatie met een CFA werden ondersteund.
Afhankelijk van welke richtlijnen er werden gehanteerd, ondersteunden de meeste fit indices het definitieve model. Met name over de fit indices CMIN/Df en CFI is enige discussie over de te hanteren afkapwaarden. Zo variëren voor de CMIN/Df de
waarden die een goede fit weergeven tussen de 3 (Hair et al., 2010) en de 5 (Gaskin, 2011). Voor de CFI variëren de waarden tussen de .95 en de .90 (Hu & Bentler, 1999; Hair et al., 2010). En voor de RMSEA variëren de waarden tussen de .05 en de .08 (Hair et al., 2010; Hu & Bentler, 1999).
Onderbouwingen die meer pleiten voor het een dan voor het andere zijn er niet. Ook over de voorkeur voor het rapporteren over combinaties van fit indices is men verdeeld. Zoals eerder genoemd zijn er voor de te hanteren fit indices alleen
richtlijnen opgesteld en zijn er geen harde regels. Een combinatie van drie tot vier fit indices levert evidentie op over de fit van het model (Hair et al., 2010). Zo hanteren Hair et al. (2010) de volgende fit indices: CMIN/Df, CFI of de Tucker Lewis Index (TLI), RMSEA, SRMR en de Parsimony Normed Fit Index (PNFI).
Hu en Bentler (1999) maken gebruik van de Tucker Lewis Index (TLI), de Bollen’s 1989 Fit Index (BL89), de Relative Noncentrality Index (RNI), de CFI, de Gamma Hat, de McDonald’s Centrality Index (Mc), de RMSEA en de SRMR. Ten slotte hanteert Gaskin (2011) de volgende combinatie: CMIN/Df, p, Goodness of Fit Index (GFI), Adjusted Goodness of Fit Index (AGFI), CFI, Parsimony Comparative Fit Index (PCFI), Pclose en RMSEA.
In dit onderzoek werd een aantal van de meest genoemde fit indices gecombineerd. Hoewel het definitieve model voor het merendeel goede fit indices opleverde, deels afhankelijk van welke richtlijnen er werden gehanteerd, bevat het model geen
complete acceptabele fit. Dit komt door enkele onacceptabele maten (p = .000; Pclose = .000). Fit index p dient namelijk groter te zijn dan .05 (Gaskin, 2011) en Pclose dient eveneens groter te zijn dan .05 (Gaskin, 2011).
De p en de Pclose zijn echter mogelijk significant wegens de grootte van de onderzoeksgroep (N = 760). Gaskin (2011) noemt dat deze twee fit indices (p en Pclose) bijna onmogelijk groter dan .05 kunnen zijn wanneer de onderzoeksgroep groot is; in zijn onderzoek noemt hij een onderzoeksgroep van 360 participanten groot. Eigenlijk is er dus sprake van een goede overall fit.
Alle subschalen hadden een hoge betrouwbaarheid (α > .80) met uitzondering van de subschalen Impulsiviteit en Aandachtstekort (beide een alpha van net onder de .80). Dit komt mogelijk door het feit dat bij deze twee subschalen geen items
verwijderd zijn op basis van de hoogte van de factorladingen, maar enkel op basis van face validity. Hoewel de betrouwbaarheden van deze twee subschalen niet ver
afwijken van een hoge betrouwbaarheid, wordt aangeraden om nogmaals kritisch de inhoud van deze subschalen te onderzoeken en wellicht nieuwe items eraan toe te voegen. Mogelijk wordt er nog een ander construct gemeten en zijn de twee subschalen onvoldoende homogeen (Ellis, 2012).
Gekeken naar de convergente en de divergente validiteit kan geconcludeerd worden dat zowel de HoNOS als de MANSA niet hetzelfde meten als de FKL. Dit resultaat is in lijn met de verwachtingen.
De conclusie dat de HoNOS niet hetzelfde meet als de FKL betekent dat de HoNOS niet in staat is (veranderingen in) de psychische klachten van cliënten in een ambulante forensische behandelsetting te meten. Cliënten in deze behandelsetting ervaren andere klachten dan de klachten die zijn opgenomen in de HoNOS. Deze bevinding leidt tot een discussiepunt: justitie heeft de HoNOS namelijk recentelijk
verplicht gesteld als ROM-instrument in de forensische zorgdomeinen (ambulant en klinisch) om (veranderingen in) psychische klachten te meten (Directie Forensische Zorg, 2014). Naar aanleiding van dit onderzoek wordt aangeraden om bij een ambulante forensische behandelsetting een instrument te hanteren dat specifiek in gaat op de psychische klachten die worden ervaren bij deze doelgroep (zoals
bijvoorbeeld de FKL). Met een dergelijk instrument kan de behandeling van de cliënt beter afgestemd worden op diens zorgbehoeften.
De HoNOS verschilt echter op een punt van de FKL. De HoNOS is namelijk geen zelfrapportage instrument; dit instrument wordt ingevuld door de behandelaar. Het is mogelijk dat de behandelaar een andere visie heeft over de (psychische) klachten die de cliënt ervaart dan de cliënt zelf. Bij een zelfrapportagelijst (zoals de FKL) is het namelijk mogelijk dat de cliënt sociaal wenselijk antwoordt of weinig zelfinzicht heeft. Hoewel dit tot een verschil in antwoorden met de HoNOS kan leiden, wordt niet verwacht dat dit verschil verklaart dat de HoNOS als
meetinstrument niet gelijk is aan de FKL.
De conclusie dat de MANSA niet hetzelfde meet als de FKL betekent dat de FKL niet in staat is om de kwaliteit van leven te onderzoeken. Omdat de FKL dit ook niet beoogt te meten (het beoogt namelijk (psychische) klachten te meten), is dit resultaat in lijn met de verwachtingen.
Beperkingen van het onderzoek en suggesties voor vervolgonderzoek
Geconcludeerd kan worden dat de FKL de vooraf vastgestelde theoretische concepten meet. Voor een eerste versie is de fit van het model goed te noemen. In vervolgonderzoek dient de huidige versie van de FKL verder onderzocht te worden wat betreft de Aandachtstekort- en de Impulsiviteitsschaal, om de betrouwbaarheid van deze twee subschalen te kunnen verhogen. Daarnaast dient de huidige FKL
nogmaals (herhaaldelijk) te worden afgenomen om onderzoek te kunnen doen naar de test-hertest betrouwbaarheid en de veranderingsgevoeligheid van de FKL. De
veranderingsgevoeligheid is een belangrijk concept omdat dit verklaart of de FKL in staat is om de veranderingen in (psychische) klachten te meten om zo de vorderingen in de behandeling te kunnen monitoren.
Tevens dient de Seksualiteitsschaal, welke in dit onderzoek niet is onderzocht zodat de focus gelegd kon worden op de subschalen die voor alle cliënten golden, nog gevalideerd te worden. Deze subschaal is belangrijk omdat gebleken is dat bij de huidige onderzoeksgroep een behoorlijk percentage cliënten (20.9%) met een indexdelict binnen seksueel grensoverschrijdend gedrag werd aangemeld.
De huidige versie van de FKL verschilt ten slotte dusdanig van de HoNOS dat wordt aangeraden om kritisch te blijven naar de resultaten van de HoNOS. De (psychische) klachten die de HoNOS namelijk meet, komen niet overeen met de (psychische) klachten die door cliënten in de ambulante forensische behandelsetting worden ervaren. Met een dergelijk instrument als de HoNOS is het mogelijk dat de behandeling van de cliënt niet volledig kan worden afgestemd op diens
zorgbehoeften. Meer onderzoek naar de FKL levert mogelijk in de toekomst een valide instrument op dat de HoNOS kan vervangen.
Referentielijst
Arrindell, W. A., & Ettema, J. H. M. (2003). SCL-90. Handleiding bij een
multidimensionele psychopathologie-indicator. Lisse: Swets Test Publishers. Audin, K., Margison, F. R., Clark, J. M., & Barkham, M. (2001). Value of HoNOS in
assessing patient change in NHS psychotherapy and psychological treatment services. The British Journal of Psychiatry, 178, p.561-566.
Barrett, P. (2007). Structural equation modelling: Adjudging model fit. Personality and Individual Differences, 42, 815-824.
Beljouw, I. M. J. van & Verhaak, P. F. M. (2010). Geschikte uitkomstmaten voor routinematige registratie door eerstelijnspsychologen. NIVEL: Utrecht. Beurs, E. de, Hollander-Gijsman, M. den, Buwalda, V., Trijsburg, W. & Zitman, F.
(2005). De Outcome Questionnaire OQ-45. Psychodiagnostisch gereedschap. De Psycholoog, 40, 393-400.
Bjorkman, T., Svensson, B. (2005). Quality of life in people with severe mental illness. Reliability and validity of the Manchester Short Assessment of Quality of Life (MANSA). The Nord Journal of Psychiatry, 59(4): p.302-306.
Blansjaar, B. A., Beukers, M. M., & van Kordelaar, W. F. (2008). Stoornis en delict. De Tijdstroom, Utrecht.
Bohner, G. & Wänke, M. (2002). Attitudes and Attitudes Change. Hove, UK: Psychology Press.
Buwalda, V. J. A., Draisma, S., Smit, J. H., Swinkels, J. A. & Tilburg, W. van. (2011). Validering van twee meetinstrumenten voor routine outcome monitoring in de psychiatrie: de HORVAN-studie. Tijdschrift voor de Psychiatrie, 53(10), 715-726.
Erlbaum.
Directie Forensische Zorg (2014). Kernset prestatie-indicatoren Forensische Psychiatrie Verslagjaar 2014. Forensische geestelijke gezondheidszorg en verslavingszorg. Den Haag: Dienst Justitiële Inrichtingen, Ministerie van Veiligheid en Justitie.
Ellis, J. L. (2012). Inleiding op klassieke latente variabelen modellen. Radboud Universiteit Nijmegen, Nijmegen.
Evenden, J. L. (1999): Varieties of impulsivity. Psychopharmacology, 146, 348-361. Gaskin, J. (2011). Model fit during a Confirmatory Factor Analysis (CFA) in AMOS.
Gaskination's Statistics. http://youtube.com/Gaskination.
Gates, M., Dowden, C., & Brown, S. L. (1998). Case need domain: Community f unctioning. Forum on Corrections Research, 10, 24-27.
Glassman, W. E. & Geluk, H. (1998). Stromingen in de psychologie. Baarn: Uitgeverij Intro.
Gottfredson, M. R., & Hirschi, T. (1990). A general theory of crime. Stanford, CA: Stanford University Press.
Goethals, K. & Marle, H. J. C. van. (2012). ROM in de forensische psychiatrie: werk voor pioniers. In Mulder C. L. et al. (2012). ROM, handreiking voor de psychiater. Utrecht: Nederlandse Vereniging voor Psychiatrie.
Graaf, Y. de. (2009). Gevaarlijk? De forensische psychiatrie in het teken van agressie. Hogeschool Utrecht, Amersfoort.
Gregory, R. J. (2011). Psychological Testing: History, Principles and Applications (6th edition). Boston: Pearson Education.
Guttman, L. (1945). A basis for analyzing test-retest reliability. Psychometrika, 10, 255-282.
Haden, S. C. & Shiva, A. (2008). Trait impulsivity in a forensic inpatient sample: An evaluation of the Barrat Impulsiveness Scale. Behavioral Sciences and the Law, 26, 675-690.
Hair, J., Black, W., Babin, B., & Anderson, R. (2010). Multivariate Data Analysis (7th ed.). Prentice-Hall, Inc. Upper Saddle River, NJ, USA.
Hag, B. ten. (2012) Parafiele en niet-parafiele seksualiteit bij cliënten met seksueel grensoverschrijdend gedrag. Overwegingen en therapeutische mogelijkheden. Tijdschrift voor Seksuologie, 36(3), 183-190.
Hildebrand, M., Hesper, B., Spreen, M., & Nijman, H. L. I. (2005). De waarde van gestructureerde risicotaxatie en van de diagnose psychopathie: Een onderzoek naar de betrouwbaarheid en predictieve validiteit van de HCR-20, HKT-30 en PCL-R. Utrecht: Experisecentrum Forensische Psychiatrie.
Hoogsteder, L. (2012). Theoretische Handleiding. AR Ambulant voor volwassenen. Utrecht: De Waag.
Hooper, D., Coughlan, J. & Mullen, M. R. (2008). Structural Equation Modelling: Guidelines for Determining Model Fit. The Electronic Journal of Business Research Methods, 6 (1), 53-60.
Horn, J. E. van. (2013). De Waag ROM-Procedure & QM Handleiding. Utrecht: De Waag.
Horn, J. E. van, Wilpert, J., Eisenberg, M., Scholing, A. & Mulder, J. (2012). Risicotaxatie-instrument voor de Ambulante Forensische GGZ – RAF GGZ volwassenen. Handleiding. Versie 2012. De Waag: Utrecht.
Hu, L., & Bentler, P. M. (1999). Cutoff criteria for Fit Indexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6 (1), 1-55.
Koeter, M. W. J. & Ormel, J. (1991). General Health Questionnaire, Nederlandse bewerking: Handleiding. Lisse: Swets, Test Services.
Kraanen, F. (2014) When things are getting out of hand. Prevalence, assessment, and treatment of substance use disorder(s) and violent behavior (Doctoral
Dissertation). Universiteit van Amsterdam, Amsterdam.
Likert, R. (1932). A technique for the measurement of attitudes, Archives of Psychology, 140.
MacCallum, R. C., Browne, M. W. & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modelling.
Psychological Methods, 1, 130 – 149.
MacCallum, R. C., Widaman, K. F., Zhang, S., & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4, 84-99.
Meadows, S. O. (2007). Evidence of parallel pathways: Gender similarity in the impact of social support on adolescent depression and delinquency. Social Forces, 85(3).
Mulder, C. L., Staring, A. B. P., Loos, J., Buwalda, V., Kuijpers, D., Sytema, S. & Wierdsma, A. I. (2004a). De Health of the Nation Outcome Scale (HoNOS) als instrument voor 'routine outcome assessment'. Tijdschrift voor Psychiatrie, 46(5), 273-284.
Mulder C. L., Staring, A. B. P., Loos, J., Buwalda, V. J. A., Kuijpers, D. & Sytema, S. (2004b) De Health of the Nation Outcome Scales (HoNOS) in Nederlandse bewerking. Rotterdam.
Newcomb, M. D., & Bentler, P. M. (1988). Impact of adolescent drug use and social support on problems of young adults: A longitudinal study. Journal of Abnormal Psychology, 1, 64-75.
Nicholls, T. L., Brink, J., Greaves, C., Lussier, P., & Verdun-Jones, S. (2009). Forensic psychiatric inpatients and aggression: An exploration of incedence, prevalence, severity, and interventions by gender. International Journal of Law and Psychiatry, 32, 23-30.
Nieuwenhuizen, Ch. van, Schene, A. H. & Koetier, M. W. J. (2000). Manchester verkorte Kwaliteit van Leven meting. Forensische Jeugdpsychiatrische Kliniek de Catamaran: Eindhoven.
Oei, T. I. & Groenhuijsen, M. S. (2009). Forensische Psychiatrie en haar
grensgebieden. Actualiteit, geschiedenis en toekomst. Alphen aan den Rijn: Kluwer.
Oliver, J. P. J. (1991). The social care directive: Development of a quality of life profile for use in the community services for the mentally ill. Social Work & Social Sciences Review, 3: p.5-45.
Ong, A. D. & Dulmen, M. H. M. van. (2006). Oxford handbook of methods in positive psychology. New York: Oxford University Press.
Orrell M, Yard P, Handysides J, Schapira R. (1999). Validity and reliability of the Health of the Nation Outcome Scales in psychiatric patients in the community. The British Journal of Psychiatry, 174: p.409-412.
Pekrun, R., Goetz, T., Titz, W. & Perry, R. P. (2002). Academic emotions in students’ self-regulated learning and achievement: A program of qualitative and
quantitative research. Educational Psychologist, 37, 91-105.
Perloff, R. M. (2003). The dynamics of persuasion, communication and attitudes in the 21st century. Mahwah, NJ/London: Lawrence Erlbaum Associates. Ping, R. A. (2004). On assuring valid measures for theoretical models using survey
Priebe S, Huxley P, Knight S, Evans S. (1999). Application and results of the Manchester Short Assessment of Quality of Life (MANSA). International Journal of Social Psychiatry, 45(1): p.7-12.
Scholte, E. M. & van der Ploeg, J. D. (2005). Handleiding ADHD-vragenlijst (Avl). Houten: Bohn Stafleu Van Loghum.
Schreurs, P. J. G., Tellegen, B., & van de Willige, G. (1984). Gezondheid, stress en coping: de ontwikkeling van de Utrechtse Coping Lijst. Gedrag: tijdschrift voor psychologie, 12, 101-117.
Schmitz, B., Schmidt, M., Landmann, M. & Spiel, C. (2007). New developments in the field of self-regulated learning. Journal of Psychology, 215, 153-156. Schoenmaker, C. & Zessen, G. van (1997). Psychische stoornissen bij gedetineerden.
Houten: Bohn Stafleu Van Loghum.
Sharpe, W. N. (2008). Springer handbook of experimental solid mechanics. New York: Springer.
Sonderen, E. van. (2012). Het meten van sociale steun met de Sociale Steun Lijst – Interacties (SSL-I) en Sociale Steun Lijst – Discrepanties (SSL-D), een handleiding. Noordelijk Centrum voor Gezondheidsvraagstukken, Rijksuniversiteit Groningen.
Sonderen, E. van. & Ormel, J. (1997). Het meten van aspecten van sociale steun en hun relatie met welbevinden: Een onderzoek naar de bruikbaarheid van de SSL-I en de SSL-D. Tijdschrift voor Psychologie en Gezondheid, 25, 190-200. Spinella, M. (2007). Normative data and a short form of the Barratt Impulsiveness
Scale. International Journal of Neuroscience, 117, 359-268.
Stichting Benchmark GGZ (2013). SBG Dataprotocol 20130101: Bijlage A Minimale Dataset.
Taghon, G. (2008). Loop naar de maan: praktijkgids omgaan met verbale agressie in onderwijs en opvoeding. Apeldoorn, Antwerpen: Garant.
Tantam, D. (1988). Lifelong eccentricity and social isolation. I. Psychiatric, social, and forensic aspects. British Journal of Psychiatry, 153, 777-782.
Tullis, T. & Albert, W. (2008). Measuring the user experience: Collecting, analyzing, and presenting usability metrics. Burlington, MA: Morgan Kaufmann.
Vanderschuren, L. J. M. J., Matthys, W. & Brink, W. van den. (2009). Stand van zaken Stoornissen van de impulsregulatie Pathofysiologie en behandeling. Nederlands Tijdschrift voor Geneeskunde, 7, 153.
Webb, D. J., Mohr, L. A., & Harris, K. E. (2008). A re-examination of socially responsible consumption and its measurement. Journal of Business Research, 61, 91-98.
White, J. L., Moffit, T. E., Caspi, A., Bartusch, D. J., Needles, D. J., & Stouthamer-Loeber, M. (1994). Measuring impulsivity an examining its relationship to delinquency. Journal of Abnormal Psychology, 103, 192-205.
Wing, J. K., Curtis, R. H. & Beevor, A. S. (1996) HoNOS: Health of the Nation Outcome Scales: Report on Research and Development July 1993-December 1995. London: Royal College of Psychiatrists.
Wing, J. K., Beevor, A. S., Curtis, R. H., Park, S. B., Hadden, S. & Burns, A. (1998). Health of the Nation Outcome Scales (HoNOS). Research and development. The British Journal of Psychiatry, 172: p.11-18.
Bijlage A
Instructie Forensische Klachtenlijst Forensische Klachtenlijst (FKL)
Voor u ligt de Forensische Klachtenlijst, kortweg FKL genoemd. De FKL meet een aantal (psychische) klachten of problemen die kunnen voorkomen bij mensen die worden behandeld in een forensische (poli)kliniek.
Om uw behandeling nog beter te kunnen afstemmen op uw behoeften, vragen wij u om alle items uit de lijst in te vullen.
De vragenlijst bestaat uit 109 items. Het invullen duurt ongeveer 20 minuten.
U kunt bij elke vraag aangeven hoe vaak u in de afgelopen 2 weken iets dacht, voelde of deed.
Bij elke vraag kunt u kiezen uit vijf antwoordmogelijkheden: Nooit, Zelden, Regelmatig, Bijna altijd of Altijd.
Vink het antwoord aan dat het beste bij u past. Er zijn geen goede of verkeerde antwoorden. Het gaat om uw mening. Denk niet te lang na over uw keuze.
Bijvoorbeeld:
Hoe vaak in de afgelopen 2 weken dacht, voelde of deed u het volgende:
Nooit Zelden Regelmatig Bijna altijd Altijd 1. Ik voelde me vrolijk X
Aan het eind van de lijst kunt u aangegeven hoe u het invullen heeft ervaren en of u nog zaken heeft gemist.
Wij bedanken u alvast voor het invullen van de vragenlijst.
Bijlage B
Forensische Klachtenlijst (FKL) De Forensische Klachtenlijst (FKL)
Voor u ligt de Forensische Klachtenlijst, kortweg FKL genoemd. De FKL meet een aantal (psychische) klachten of problemen die kunnen voorkomen bij mensen die worden behandeld in een forensische (poli)kliniek.
Om uw behandeling nog beter te kunnen afstemmen op uw behoeften, vragen wij u om alle items uit de lijst in te vullen.
De vragenlijst bestaat uit 109 items. Het invullen duurt ongeveer 20 minuten.
U kunt bij elke vraag aangeven hoe vaak u in de afgelopen 2 weken iets dacht, voelde of deed.
Bij elke vraag kunt u kiezen uit vijf antwoordmogelijkheden: Nooit, Zelden, Regelmatig, Bijna altijd of Altijd.
Vink het antwoord aan dat het beste bij u past. Er zijn geen goede of verkeerde antwoorden. Het gaat om uw mening. Denk niet te lang na over uw keuze.
Bijvoorbeeld:
Hoe vaak in de afgelopen 2 weken dacht, voelde of deed u het volgende:
Nooit Zelden Regelmatig Bijna
altijd
Altijd
2. Ik voelde me vrolijk X
Aan het eind van de lijst kunt u aangegeven hoe u het invullen heeft ervaren en of u nog zaken heeft gemist.
Wij bedanken u alvast voor het invullen van de vragenlijst
Hoe vaak in de afgelopen 2 weken dacht, voelde of deed u het volgende:
Nooit Zeld
en Regelmatig Bijna altijd Altijd
1. Ik kon mijn woede beheersen
2. Ik had moeite met stilzitten
3. Er waren mensen die mij steunden
4. Ik heb alcohol gedronken
5. Iemand zei tegen me dat ik goed bezig was
6. Ik schrok snel
7. Ik raakte gestrest als ik met lastige situaties te maken
kreeg
8. Anderen vonden dat ik agressief deed
9. Iemand vond dat ik te druk ben
10. Ik flapte dingen eruit
11. Ik vroeg hulp aan anderen
12. Ik dronk meer dan goed voor mij was
13. Ik sliep slecht
14. Ik deed mijn best om het probleem op een goede
manier op te lossen
15. Ik werd om het minste of geringste boos
16. Ik gaf te veel geld uit
17. Ik at minder dan normaal
18. Ik nam hulp aan van anderen
19. Ik moest zo erg huilen dat ik niet meer kon stoppen 20. Anderen vinden dat ik meer dronk dan goed voor me
was
21. Ik probeerde greep te krijgen op het probleem
22. Ik probeerde een einde aan mijn leven te maken
23. Ik maakte dingen niet af
24. Ik bedreigde anderen
25. Ik dacht eerst na voordat ik iets deed of zei
26. Ik heb drugs gebruikt
27. Ik zat lekker in mijn vel
28. Ik zocht contact met een vriend(in) toen ik het moeilijk had
29. Het lukte me niet om me te ontspannen als ik
problemen had
30. Ik huilde opeens zonder dat ik wist waarom
31. Ik voelde me de hele tijd gespannen
32. Ik verwondde mezelf uit wanhoop
33. Ik dacht: ‘als het echt nodig is, is er iemand waar ik
terecht kan voor steun’
34. Ik voelde me opgejaagd
35. Iemand luisterde naar me toen ik dat nodig had
36. Ik gebruikte meer drugs dan goed voor mij was
37. Ik voelde me somber
38. Ik zocht op een positieve manier naar afleiding
39. Ik gebruikte lichamelijk geweld naar anderen
