Werkwijze
Onderzoeksvraag 3 luidde: Komen de beoogde veranderingen tot stand? Hoe kunnen deze gemeten worden? Om vragenlijsten te kiezen is een internationale literatuurstudie gedaan naar geschikte vragenlijsten voor de beoogde voor-, tussen- en nametingen van Kies voor Verandering. Daarnaast is nagegaan of de Reflector, een vragenlijst die deelnemers aan Kies voor Verandering momenteel al invullen, geschikt zou zijn. De Reflector bleek echter niet bruikbaar te zijn voor de voorgenomen evaluatie, ten eerste wegens copyright en ten tweede omdat de Reflector niet geheel tegemoet komt aan de verwachtingen van de Dienst Justitiële Inrichtingen, met name doordat de vragenlijst vermoedelijk te veel sociaal wenselijke antwoordtendensen oplevert. De Reflector wordt dus verder buiten beschouwing gelaten. Op sociaal wenselijke antwoorden komen we terug aan het eind van dit hoofdstuk.
Bij het zoeken naar literatuur zijn de volgende factoren in overweging genomen: 1. Aantal verwijzingen naar het artikel
2. Psychometrische kwaliteit. a. Interne consistentie. b. Test-hertestbetrouwbaarheid. c. Constructvaliditeit. d. Factoriele validiteit. e. Predictieve validiteit.
3. Aantal items (eventueel factoriele informatie om de hoogste factorladingen te kunnen selecteren)
4. Taal van de items (is er een Nederlandse versie beschikbaar)
5. Normeringsgroep (al dan niet gevalideerd in een gedetineerde populatie) 6. Theoretische overwegingen
7. Of de items daadwerkelijk beschikbaar zijn in de literatuur
8. Correlaties met de Marlow-Crowne Social Desirability Scale. Deze MCSDS is een valide en betrouwbare meting van sociaal wenselijke antwoordtendensen (Tatman, Swogger, Love & Crook, 2009)
Het aantal hits en verwijzingen kregen veel gewicht in de keuze voor de vragenlijsten, omdat veel gebruikte schalen vaak een hoge gebruiksvriendelijkheid hebben en in verschillende groepen zijn genormeerd en aangepast, vaak ten gunste van de psychometrische kwaliteit. De psychometrische kwaliteit volgt vaak automatisch uit het vorige, maar uiteraard werd hier ook bewust op
gecontroleerd. De interne consistentie moest minimaal goed zijn. Daarnaast werd gekeken naar de test-hertestbetrouwbaarheid, de factoriele validiteit, de predictieve validiteit en de
constructvaliditeit (convergent en divergent), als deze informatie beschikbaar was.
Tevens kreeg de lengte van de schalen veel gewicht in de selectie, opdat er een korte en efficiënte vragenlijst zou ontstaan, die met het minimale aantal items alle elementen van het verandermodel dekt.
Gebruikte (items uit) vragenlijsten
Hieronder wordt beschreven voor welke (items uit) vragenlijsten is gekozen. Een uitgebreid verslag van de vergelijkingen tussen verschillende vragenlijsten en de gemaakte afwegingen is besproken met de begeleidingscommissie en is op te vragen bij Impact R&D. Alle gekozen items zijn opgenomen in bijlage 3.
1) Cognitieve transformatie: Dit valt niet goed direct gemeten omdat het een veranderproces op zichzelf betreft. Voor het vaststellen van de mate waarin cognitieve transformatie zich voordoet is daarom sprake van een indirecte meting, namelijk door de aspecten die erdoor zouden moeten veranderen te meten:
a) zingeving: de Purpose of Life, PIL-S (Steger, Frazier, Oishi & Kaler, 2006). b) criminele attitude: de Antisociale Intentie schaal (AI) van de Measures of Criminal
Attitudes and Associates (MCAA) (Mills, Kroner & Hemmati, 2004).
2) Persoonlijke effectiviteit: de Dutch General Self-Efficacy Scale (GSE-Dutch) (Scholz, Dona, Sud & Schwarzer, 2002 ; Schwarzer, 1999 ; Schwarzer & Born, 1997).
3) Positief en negatief affect: de PANAS (Leue & Beauducel, 2011).
4) Sociale steun: de Nederlandse versie van de Multidimensional Scale of Perceived Social Support (MSPSS) (Pedersen, Spinder, Erdman & Denollet, 2009).
5) Motivatie voor verandering: de University of Rhode Island Change Assessment (Yong, Williams, Provan, Clarke & Sinclair, 2015).
Daarnaast is vanwege het risico op toegenomen criminele effectiviteit na de training een schaal geconstrueerd op basis van de GSE-Dutch die ook gebruikt wordt voor het meten van persoonlijke effectiviteit.
Moment van meting
Op basis van de opbouw van de training zoals in de vorige hoofdstukken beschreven konden hypothesen worden opgesteld over wanneer er verandering in een variabele verwacht mag worden en wanneer het afnemen van vragenlijsten zinvol zou zijn.
In het eerste deel van de training komt zelfreflectie aan de orde en de vraag wel of niet te stoppen met criminaliteit. Hieronder vallen de eerste vier bijeenkomsten waarin de deelnemers reflecteren op het verleden, het heden, en de toekomst. Ook worden de waarden besproken evenals welke doelen gesteld kunnen worden om hen daarbij te helpen. Het is dan ook te verwachten dat na de 4e bijeenkomst de ervaren zingeving in het leven is toegenomen vergeleken met de mate van ervaren zingeving voorafgaande aan de training. Ook zal na de vierde bijeenkomst de attitude ten opzichte van criminaliteit negatiever zijn geworden. Op basis van het verandermodel valt tenslotte te verwachten dat de motivatie om te stoppen met criminaliteit hoger is na de vierde bijeenkomst door de toegenomen ervaren zingeving en een negatieve attitude ten opzichte van criminaliteit. Om die reden is na de vierde bijeenkomst een meetmoment (t1) in het onderzoek ingebouwd waarin deze drie zaken gemeten zijn.
In de vijfde en zesde bijeenkomst wordt gewerkt aan hoe de deelnemers doelen kunnen stellen op de langere termijn, na te gaan wie hen hierbij kan helpen, en hoe om te gaan met tegenslagen. In het terugkeeractiviteitenplan wordt dit concreet gemaakt, door de doelen te formuleren. Het is dan ook de verwachting dat na de vijfde en zesde bijeenkomst de waargenomen persoonlijke
effectiviteit en waargenomen sociale steun toenemen. De motivatie zal naar verwachting verder toenemen na de vijfde en zesde bijeenkomst door de toegenomen waargenomen sociale steun en
persoonlijke effectiviteit. Daarom is na de zesde bijeenkomst een meting (t2) ingebouwd waarin alle aspecten uit het theoretisch model uitgevraagd worden.
Tot slot is 6 tot 9 weken een laatste meting gedaan, om na te kunnen gaan of veranderingen zichtbaar worden, standhouden of verdwijnen. De wijze waarop de deelnemers aan de slag gaan met hun terugkeeractiviteitenplan en de begeleiding die daarbij wordt geboden, is hierop waarschijnlijk van invloed.
Risico’s bij het gebruik van vragenlijsten
In gedetineerde populaties wordt de kans op sociaal wenselijke antwoordtendensen groter geacht. Daarom is het van belang dat de geselecteerde schalen minimaal sociaal wenselijke
antwoordentendensen uitlokken. Hierbij is gekeken naar de correlaties tussen de geselecteerde schalen en sociale wenselijkheidsschalen, met name de Marlowe-Crown Social Desirability Scale (MCSDS). Deze schaal meet de mate waarin iemand geneigd is tot de Deceptie van Anderen, ook bekend als Impressie Management (Mills & Kroner, 2006). Deceptie van Anderen onderscheidt zich van Zelf-Deceptie, waar in het laatste geval de respondent zich niet bewust is van deze sociaal wenselijke antwoordtendentie. Gekozen is voor vragenlijsten waarvan duidelijk is dat er minimale sociaal wenselijke antwoordtendensen uitgelokt werden, ook bij gedetineerdenpopulaties (voor zover gemeten).
De kans op sociaal wenselijke antwoorden geldt in het voorgenomen onderzoek maar gedeeltelijk want een deel van de gebruikte schalen hangt niet samen met sociale wenselijkheid. Hoewel sociale wenselijkheid bij uitstek wordt beïnvloed door de inhoud van de items, zijn er ook andere variabelen die de sociale wenselijkheid kunnen beperken (Drenth & Sijtsma, 2012). De titel van de test, de wijze van testafname en eventuele correcties achteraf. We hebben hier uiteraard rekening mee gehouden.
In de begeleidingscommissie zijn de risico’s bij het afnemen van vragenlijsten besproken. Het risico op sociaal wenselijk of op andere wijze onbetrouwbaar invullen van vragenlijsten is uitgebreid besproken. Ook is onderzoeksmoeheid bij herhaalde vragenlijsten besproken en daarmee kans op uitval van deelnemers. Toch was het streven om vragenlijsten te gebruiken in combinatie met interviews. Vanwege de risico’s, in combinatie met de korte duur van de training is voorgesteld het aantal metingen te beperken tot vier (voormeting, tussenmeting na 4 sessies, nameting, follow up na 6 á 8 weken).
Met instemming van de begeleidingscommissie is de ruimte genomen om de gekozen schalen en vragen aan te passen, met als doel een zo kort mogelijke en zo begrijpelijk mogelijke vragenlijst samen te stellen. Daarbij is gekozen voor schalen met niet minder dan vijf items die tezamen de universe of content dekken. Dat wil zeggen dat het gehele concept wordt gedekt, los van de betrouwbaarheid van de schaal, waarbij de frequentieverdeling van de oorspronkelijke items meegewogen wordt.
Daarnaast is aandacht besteed aan 1) dubbele ontkenningen, 2) dubbele vragen (meerdere vragen ineen), 3) moeilijke en beladen termen, 4) antwoordmogelijkheden conform de oorspronkelijke schalen, 5) waar mogelijk de vraag meer toespitsen op het criminele/probleemgedrag (maar dan in andere woorden). De vragen zijn bij de herhaalde versies gehusseld. Voorafgaand aan de eerste meting is een test van de vragenlijst gedaan bij een groep gedetineerden in een Penitentiaire Inrichting die verder niet bij het onderzoek betrokken was. Op grond daarvan zijn nog enkele formuleringen verduidelijkt.