Evaluatie training potentieel
gewelddadige eenlingen (PGE)
Onderzoek in opdracht van het Ministerie
van Veiligheid en Justitie, NCTV
CIP-gegevens KONINKLIJKE BIBLIOTHEEK, DEN HAAG
Glaudé, M., Meijer, J., Breetvelt, I., Felix, C.
Evaluatie training potentieel gewelddadige eenlingen (PGE). Onderzoek in opdracht van het Ministerie van Veiligheid en Justitie, NCTV.
Amsterdam: Kohnstamm Instituut. (Rapport 917, projectnummer 40626)
ISBN 978-90-6813-977-8
Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, zonder voorafgaande schriftelijke toestemming van het WODC.
All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the WODC
Uitgave en verspreiding: Kohnstamm Instituut
Plantage Muidergracht 24, Postbus 94208, 1090 GE Amsterdam Tel.: 020-525 1226
Inhoudsopgave
Managementsamenvatting 1
Executive summary 5
1 Inleiding 9
2 Probleemstelling en theoretisch kader 11
2.1 Uitwerking probleemstelling en theoretisch kader 11
2.2 Conceptueel model 13
2.3 Vraagstelling en doel van het onderzoek 17
3 Opzet van het onderzoek 19
3.1 Dataverzameling, bronnen, onderzoeksgroepen en methode 19
3.2 Onderzoeksvragen 1 en 2 19
3.3 Onderzoeksvragen 3a en 4 21
3.4 Onderzoeksvraag 3b 23
3.5 Onderzoeksvragen 5a, 5b, en 5c 26
3.6 Onderzoeksvraag 6 27
3.7 Organisatie van het onderzoek: de begeleidingscommissie 28
4 Het fenomeen potentieel gewelddadige eenling en constructie van de
vignetten 29
4.1 Potentieel gewelddadige eenlingen 29
4.2 Kader voor ontwikkeling van de vignetten, de vier casussen van
PGE 32
5 Resultaten: de reikwijdte van de training PGE 41
5.1 Inleiding 41
5.2 De hoofddoelen en globale inhoud van de training PGE 42 5.3 De manier waarop de deelnemers zijn geworven 42
5.4 De reikwijdte van de training PGE 44
5.5 De reikwijdte van de wachtlijstgroep 47
5.6 Een vergelijking tussen de trainingsgroep en de wachtlijstgroep 48
6 Resultaten van de training PGE: tevredenheid en effect op leren 51
6.1 Inleiding 51
6.2 De evaluatieformulieren van RadarAdvies 51
6.3 Respondenten en respons 52
6.4 Resultaten: tevredenheid over de training PGE (evaluatieniveau 1) 54 6.5 Effect van training PGE op het leren (evaluatieniveau 2) 55
7 Resultaten van de training PGE: toepassing van het geleerde op casuïstiek
en in het werk 59
7.1 Inleiding 59
7.2 De elektronische vragenlijsten 59
7.3 Onderzoeksgroep, respondenten en respons 60
7.4 Toepassing van het geleerde in het werkgedrag (evaluatieniveau 3) 62 7.5 Doorwerking training PGE in het werk en werkcontext (team,
organisatie) (evaluatieniveau 4) 72
7.6 Vergelijking tussen deelnemers en niet-deelnemers; casuïstiek
(evaluatieniveau 3) 77
8 Resultaten: doorontwikkeling van de training PGE; verbetersuggesties 85
8.1 Inleiding 85
8.2 Doorontwikkeling van de training PGE vanuit de optiek van de
ontwikkelaars/trainers 85
8.3 Doorontwikkeling van de training PGE vanuit de optiek van de
cursisten 88
9 Conclusies en aanbevelingen 95
9.1 Inleiding 95
9.2 Beantwoording onderzoeksvraag 1 en 2: tevredenheid en leren 95 9.3 Beantwoording onderzoeksvraag 3 en 4: werkgedrag en werkcontext 96 9.4 Beantwoording onderzoeksvraag 5: doorontwikkeling van de training
PGE 99
9.5 Beantwoording onderzoeksvraag 6: het bereik van de training PGE 103
Geraadpleegde literatuur 105
Bijlagen 109
Bijlage 1 De dataverzamelingsmatrix 109
Bijlage 2 Overzicht hoofdvragen en deelvragen 111 Bijlage 3 Tabellen bij evaluatieniveaus 1 en 2 116 Bijlage 4 Voorbeelden van interventies in omgang met PGE 121
Bijlage 5 Elektronische vragenlijsten 122
Bijlage 6 Afzonderlijke aspecten van de training: resultaten 142
Bijlage 7 Topicvragenlijst en resultaten 150
1
Managementsamenvatting
Naar aanleiding van enkele ernstige geweldsincidenten in Nederland, heeft de Nationale Coördinator Terrorisme en Veiligheid (NCTV) aan bureau
RadarAdvies de opdracht gegeven een training te ontwikkelen die gericht is op het onderkennen van potentieel gewelddadige eenlingen (PGE). De training is bedoeld voor al diegenen die beroepshalve met PGE in contact kunnen komen, zoals politiefunctionarissen, hulpverleners, dienstverleners, welzijnswerkers et cetera. De training duurt één dag.
De NCTV had behoefte aan een evaluatieonderzoek naar de training en heeft daartoe het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het Ministerie van Veiligheid en Justitie ingeschakeld, die het onderzoek na een aanbestedingsprocedure aan het Kohnstamm Instituut heeft gegund. Er is tevens een begeleidingscommissie ingesteld.
Er waren de volgende onderzoeksvraagstellingen:
1. In hoeverre zijn de deelnemers aan de training PGE tevreden over de training?
2. In hoeverre zijn de leerdoelen van de training PGE bereikt?
3. a. In hoeverre wordt de geleerde kennis en kunde toegepast in het dagelijks werk van de voormalige deelnemers?
b. In hoeverre verschillen deelnemers en niet-deelnemers in het kunnen signaleren, kwalificeren en handelen met betrekking tot PGE’s?
4. In hoeverre werkt de training PGE door in een team of organisatie/instelling van de voormalige deelnemers?
5. a. Op welke punten is verbetering van de training PGE wenselijk?
b. In hoeverre is de training PGE intern consistent, dat wil zeggen: waar in de opleidingscyclus zitten zwakke plekken en waar is verbetering
2
c. In hoeverre is de training PGE extern consistent (homogeen), dat wil zeggen: waar zitten zwakke plekken en waar is verbetering mogelijk als het gaat om opvattingen over de doelen en het bereiken ervan?
6 Wat is het bereik van de training PGE?
Het onderzoek bestond uit een aantal verschillende onderdelen. Ten eerste zijn de evaluatieformulieren die sommige deelnemers direct na afloop van de training hebben ingevuld, aan een eenvoudige analyse onderworpen.
RadarAdvies heeft deze formulieren ontworpen. De formulieren zijn anoniem ingevuld.
Ten tweede zijn er gesprekken gevoerd met de ontwikkelaars van de training. Ten slotte is er een elektronische vragenlijst uitgezet onder 278 cursisten en 278 personen die op een wachtlijst voor het volgen van de training stonden. Deze laatste groep diende min of meer als controlegroep. De respons was respectievelijk 81 cursisten (34%) en 68 personen op de wachtlijst (25%). De evaluatieformulieren van RadarAdvies bevatten een aantal vragen met betrekking tot de waardering voor de training en de waargenomen leereffecten. De elektronische vragenlijst bevatte een aantal vragen waarmee de
tevredenheid ten aanzien van de training werd gepeild. Daarnaast is aan de respondenten een viertal zogenaamde vignetten of casussen voorgelegd. De vignetten bestonden uit de beschrijving van een casus, die al dan niet als PGE kon worden opgevat. Aan de respondent werd gevraagd om aan te geven in hoeverre hij of zij de casus alarmerend vond. Daarnaast werd gevraagd welke handelingen de respondent zou verrichten, zoals meer informatie over de casus verzamelen of de zorg delen met andere professionals. Verondersteld werd dat cursisten een PGE adequater zouden onderkennen en meer/andere handelingsalternatieven zouden aangeven dan personen op de wachtlijst. In het volgende worden de resultaten aan de hand van de onderzoeksvragen toegelicht.
Ad 1
De waardering voor de training van de cursisten is goed te noemen: het gemiddelde rapportcijfer op de formulieren van RadarAdvies schommelt rond de 8. Ook uit de elektronische vragenlijst blijkt dat de cursisten in het
3
Ad 2
De doelen van de training lijken bereikt; na de training zijn de cursisten in hun eigen optiek in staat de signalen van mogelijk gewelddadige eenlingen eerder te herkennen en ze begrijpen beter waarom en hoe individuen kunnen ontsporen en mogelijk toewerken naar een gewelddadige daad. Ook zeggen respondenten na de training de beschikking te hebben over bruikbare
handreikingen over wat zij kunnen doen en bij wie zij terecht kunnen voor het delen en melden van zorgen om een persoon. Daarnaast vindt men zichzelf nu in staat om met verworven inzichten de ketensamenwerking(en) effectiever en/of bewuster te maken voor wat betreft vroeg-signalering van PGE’s.
Ad 3a
De voormalige deelnemers aan de training geven aan dat zij het geleerde in de praktijk toepassen waar het signaleren van een PGE betreft. Hun handelen (informatie inwinnen, zorg delen et cetera) na het signaal wordt echter niet beïnvloed door de training. De voormalig cursisten zeggen dat ze niet anders hadden gehandeld als ze de training niet hadden gevolgd.
Ad 3b
De casussen worden door beide groepen verschillend beoordeeld. Het blijkt dat, in tegenstelling tot de verwachting, de voormalig cursisten de vier
voorgelegde casussen gemiddeld minder alarmerend vinden dan de mensen die op de wachtlijst staan. Een mogelijke verklaring hiervoor is dat cursisten hebben geleerd nuances aan te brengen en daardoor minder snel oordelen dat een bepaalde casus een PGE is. Het aantal aangegeven handelingsalternatieven verschilt echter niet tussen deelnemers aan de training en personen op de wachtlijst. Ook het type handeling maakt geen onderscheid tussen beide groepen. Wel worden de handelingen ‘risicotaxatie instrumenten gebruiken’ en ‘aangifte doen’ significant minder vaak aangekruist dan de handelingen ‘informatie inwinnen en ‘zorg delen’ door zowel cursisten als niet-cursisten. De casus waarin een gewelddadige persoonlijkheidsstoornis wordt geschetst, wordt door zowel cursisten als personen op de wachtlijst als significant minder alarmerend beoordeeld.
Ad 4
4
anderen te spreken over de training PGE, wordt een verandering van werkwijze door veel minder cursisten genoemd. Zo geeft slechts een kwart aan dat de training heeft geleid tot een betere samenwerking met de ketenpartners met betrekking tot PGE. Al met al is transfer van de tijdens de training opgedane kennis en kunde naar de werksituatie niet spectaculair.
Ad 5a en 5b
Ten eerste is er sprake van een vraag naar een vervolgaanbod in de zin dat er ook na de training sprake is van een professionaliseringsbehoefte op het gebied van PGE. Bij een follow- up kan bijvoorbeeld ook worden vastgesteld of het geleerde beklijft en in hoeverre er sprake is van transfer naar de
werksituatie. Vervolgens kan aandacht worden besteed aan het formuleren van doelen van de training, het vaststellen van evaluatiecriteria en het construeren van een evaluatie-instrumentarium. Op deze wijze worden de leerdoelen helder voor de cursisten, en kan worden nagegaan in hoeverre deze doelen worden bereikt. Doelen geven bovendien richting aan de selectie van de doelgroep en de inhoud van de training. Ook kan de leersituatie worden herinricht door interactiever te werk te gaan. Er zou daarnaast meer aandacht kunnen worden besteed aan de samenstelling van het cursusmateriaal, bijvoorbeeld door het aan de orde stellen van risicotaxatie instrumenten. Ten slotte dient er bij de selectie van toekomstige cursisten gelet te worden op diversiteit: een gemengde groepssamenstelling blijkt een succesfactor.
Ad 5c
Ten aanzien van de externe consistentie van de cursus zijn geen verbeteringen nodig. De opdrachtgever, de uitvoerder en overige betrokkenen zijn het eens over de doelen van de training en het traject naar het bereiken van die doelen.
Ad 6
In de periode tussen maart en december 2012 zijn in totaal 68 trainingen gegeven aan 907 deelnemers. De best vertegenwoordigde beroepsgroepen zijn de politie en het onderwijs. Hulpverleners en dienstverleners, zoals de
5
Executive summary
Following a number of seriously violent incidents in the Netherlands, the National Coordinator Terrorism and Security (NCTS) commissioned Radar Consultancy bureau to develop a training course on identifying potentially violent loners (PVL). The training course is meant for everyone who may encounter PVL in their professional work, such as police officers, counsellors, service personnel and social workers. The course lasts one day. NCTS needed to evaluate the training and to this aim contacted the Scientific Research and Documentation Centre (SRDC) of the Netherlands Ministry of Justice and Security. SRDC commissioned the Kohnstamm Institute of the University of Amsterdam to do the evaluation research. A supervisory committee was also installed.
The evaluation research addressed the following research questions:
1. To what extent are participants of the PVL training course satisfied with it?
2. To what extent are the learning goals of the PVL training course achieved? 3. 3a. To what extent do former participants apply learned knowledge and
skills in their daily practice?
3b. To what extent are there differences between participants and non-participants in signalling, qualifying and dealing with PVL?
4. To what extent is the PVL training transferred to other members of former participants’ teams, organizations and institutes?
5. 5a. Are there PVL training topics which can be improved?
5b. To what extent is the PVL training course internally consistent, i.e., are there weak spots in the HRD cycle and where is there room for
6
5c. To what extent is the PVL training course externally consistent (homogeneous), i.e., where are weak spots located and where is there room for improvement when considering ideas about the goals and their achievement?
6. What is the reach of the PVL training course?
The evaluation research project consisted of a number of activities. First, the evaluation forms completed by some participants immediately after the training course were analysed. Radar Consultancy designed these forms. They were completed anonymously. Second, interviews were held with the course developers. Two random samples of 278 persons in each sample were drawn from the list of former participants and the waiting list of future participants. Some persons had to be removed from the samples because they were closely involved in either the training course or the evaluation research itself. An invitation to participate in an internet survey was therefore sent to 238 former participants as well as 272 persons on the waiting list. The latter group functioned as the control group in the research. Response rates were 81 (34%) and 68 (25%), respectively.
The evaluation forms, which were designed by Radar Consultancy, included a number of questions related to whether participants enjoyed the training course and to the perceived learning effects. The internet survey included some questions which assessed participants’ satisfaction with the training course in the sense of whether it was useful. All the respondents, i.e.,
participants as well as persons on the waiting list, were also given a description of four cases which could be considered to be PVL to a greater or lesser degree. Respondents were asked to what extent they found each case alarming. They were also asked what they would do if confronted with the case. For example, would they gather more information about the person in question or share their concerns about the individual with other professionals.
The supposition was that participants would be better able to identify PVL and suggest more and varied actions to be taken compared to persons on the waiting list. Below the results of the evaluation research are explained in relation to the research questions.
Ad 1
7
the internet survey also indicate that participants are generally satisfied with the course in the sense of whether it is useful: more than 80% of respondents are satisfied or very satisfied.
Ad 2
The goals of the training course appear to have been achieved. Participants think that they are able to recognize PVL signals quicker after the course and understand better why and how individuals become derailed and possibly work towards a violent act. Respondents also claimed that the training course provided them with useful guidelines on what to do and with whom they can share their concerns about a particular person. Apart from this, they find that they can use the insights they have acquired to make the cooperation with their partner organizations more effective regarding the early signalling of PVL.
Ad 3a
Participants indicated that they apply what they have learned about signalling PVL in their daily practice. The training does not influence, however, their actions after the signalling (gathering information, sharing concerns and so on). Participants stated that they would not have acted differently had they not followed the training course.
Ad 3b
The two groups judged the four case descriptions differently. Contrary to expectation, it appears that former participants found the four cases presented to the respondents less alarming than the persons on the waiting list. A possible explanation for this is that participants have learned to fine tune their judgment and therefore are less prone to decide that a particular case is indeed a PVL. However, the number of action alternatives indicated, as well as the types of action alternatives, do not differ between participants and persons on the waiting list. Participants as well as persons on the waiting list
mentioned the action alternatives using risk taxation instruments and reporting
someone to the police significantly less than gathering information and sharing concerns. The case depicting a violent personality disorder (no PVL) is judged
as less alarming by former participants as well as persons on the waiting list.
Ad 4
8
indicated that they talked about the training course with others working in the same organization, far fewer participants mentioned changing their method of working. For example, only a quarter of participants indicate that the training course has led to an improvement in the cooperation regarding PVL with their partner organizations. All in all, the transfer of knowledge and skills acquired during the course to the working situation is not spectacular.
Ad 5a and 5b
First of all, a follow-up appears to be required as there is still a need for professionalization regarding PVL after the training course. Such a follow-up could establish whether the acquired knowledge and skills are sustained and to what extent they are transferred to the work situation. Attention could be paid to formulating training course goals and evaluation criteria and constructing an evaluation instrument. In this way, learning goals would become
transparent to participants, and the extent to which these goals are attained could be investigated. Moreover, goals would also provide indications for the selection of target groups for the training course and its content. The learning situation could also be improved by working more interactively. More attention could be paid to the composition of course materials, for instance by including risk taxation instruments. Finally, the selection of future participants should be guided by the diversity principle: a mixed group composition appears to be a success factor.
Ad 5c
There are no improvements needed concerning the external consistency of the training course. The client, the researchers and other stakeholders agree about the goals of the training course and the trajectory leading to these goals.
Ad 6
From March to December 2012, a total of 907 persons participated in 68 training courses. The police and education were the best represented
professions. Counsellors, service personnel, as in mental health care and youth care, as well as social workers and community workers were less well
9
1
Inleiding
Twee incidenten die in Nederland de laatste jaren opschudding hebben veroorzaakt, zijn de aanslag in Apeldoorn op Koninginnedag 2009 en de schietpartij in een winkelcentrum in Alphen aan de Rijn in 2011. Achteraf kon worden geconstateerd dat deze incidenten gepleegd werden door zogenaamde ‘gewelddadige eenlingen’. Dat wil zeggen dat deze geweldsuitbarstingen gepleegd werden zonder medewerking van anderen.
De minister van Veiligheid en Justitie zegde op 5 oktober 2011 toe aan de Tweede Kamercommissie voor Veiligheid en Justitie, dat eerstelijnswerkers die in een positie zijn om signalen over geradicaliseerde eenlingen op te pikken, hier beter op worden toegerust middels ‘scholing en educatie’.1 Conform deze
toezegging zijn in het jaar 2012 en 2013 honderden trainingen ‘Potentieel
gewelddadige eenlingen. Leed voorkomen & zorg organiseren’ gegeven.
10
Potentieel gewelddadige eenlingen worden omschreven als personen die, zonder medewerking van anderen, een dreiging vormen in woord of gedrag als gevolg van een individueel doorlopen proces richting geweld (bron: NCTV).
De training is aangeboden door de Rijksoverheid; aan deelname zijn geen kosten verbonden. De training duurt één dag. De trainingen PGE zijn georganiseerd en uitgevoerd door het bureau RadarAdvies.
De NCTV (Nationaal Coördinator Terrorismebestrijding en Veiligheid) heeft behoefte aan een evaluatie van deze trainingsinspanning. Daarom is het Kohnstamm Instituut gevraagd dat te doen. In voorliggend rapport doen we daar verslag van.
Leeswijzer
In het volgende hoofdstuk gaan we in op de probleemstelling en het
11
2
Probleemstelling en theoretisch kader
2.1 Uitwerking probleemstelling en theoretisch kader
2.1.1 Probleemanalyse
Voordat leertrajecten geëvalueerd kunnen worden, is het nodig op een aantal fundamentele vragen een antwoord te krijgen. In deze paragraaf gaan we daarom allereerst in op de volgende vragen.
Opdrachtgever : wie wil iets over de waarde van de trainingen PGE
weten?
Reden : waarom wordt evaluatie nodig geacht?
Object : wat is het object van onderzoek (de ‘focus of interest’)?
Evaluator : wie verricht de evaluatie (in-/extern)?
Tijd : wanneer moet de evaluatie worden uitgevoerd?
Methode/techniek : op welke wijze wordt de evaluatie uitgevoerd?
Gaande de bespreking van deze vragen presenteren we een conceptueel model; dit model geeft richting aan de wijze waarop we de evaluatie van de trainingen PGE hebben uitgevoerd. Maar we beginnen eerst met een korte omschrijving van wat we onder evaluatie verstaan.
Wat is evaluatie?
Leeractiviteiten als opleidingen en trainingen worden lang niet altijd
12
Van Loo & De Grip (2011) geven aan dat daar langzamerhand wel verandering in is gekomen omdat organisaties meer en meer investeren in de ontwikkeling van personeel; het is dan logisch dat men een goed inzicht wil hebben in de waarde van bedrijfsopleidingen en trainingen.
Onder het evalueren van een training verstaan we in voorliggend onderzoek het bepalen van de waarde van de trainingsmaatregel op grond van een systematische verzameling van gegevens.
Opdrachtgever: wie wil iets over de waarde van de training weten?
De NCTV van het Ministerie van Veiligheid en Justitie wil de waarde van de training PGE weten. In 2012 zijn trainingen gegeven aan honderden eerstelijnsprofessionals met het doel potentieel gewelddadige eenlingen te herkennen en de handelingsmogelijkheden te kennen. De NCTV heeft daarom aan het WODC gevraagd om hier onderzoek naar te laten uitvoeren.
Reden: waarom wordt evaluatie nodig geacht?
Evaluatie dient informatie op te leveren op basis waarvan men beslissingen kan nemen. De vraag is dan waarover een beslissing genomen moet worden. De opdrachtgever wil nagaan of de training in de huidige vorm leidt tot de beoogde leerdoelen en waar verbetering van de training nodig is. De evaluatie moet dan vooral gegevens opleveren waarmee een bijstellingsbeslissing genomen kan worden (formatieve evaluatie). Met andere woorden: zijn wenselijke aanvullende maatregelen nodig; is verbetering van de training PGE wenselijk.
Object: wat is het object van onderzoek, de ‘focus of interest’?
Er kunnen heel wat zaken worden geëvalueerd. In voorliggend onderzoek is het object van evaluatie waarover een oordeel geveld moet worden primair het product; het gaat namelijk om de resultaten, de opbrengsten bij de deelnemers aan de PGE-trainingen. De focus ligt dan op een productevaluatie en in mindere mate is sprake van een procesevaluatie (het verloop van het
trainings-programma zelf).
Evaluator: wie verricht de evaluatie?
13
Veiligheid en Justitie - trainingen over (groepsgewijze) radicalisering. De trainingen PGE zijn daarop geïnspireerd.
De trainingen zijn door het bureau zelf na afloop geëvalueerd. Na elke training is door de cursist een evaluatieformulier ingevuld. RadarAdvies heeft op basis daarvan en op basis van eigen indrukken op twee momenten evaluatiememo’s2
opgesteld, namelijk halverwege de eerste reeks trainingen (dd. 18 april 2012) en aan het eind van de tweede reeks trainingen (dd. 12 november 2012). De opdrachtgever ziet ook graag de trainingen door een externe partij
geëvalueerd; daartoe dient voorliggend onderzoek dat is uitgevoerd door het Kohnstamm Instituut UvA BV; een instituut met ervaring op gebied van onderwijsevaluatie, maar dat niet betrokken is geweest bij de opzet van deze training en dus een onafhankelijke positie inneemt.
2.2 Conceptueel model
In voorliggend onderzoek hanteren we het model van Kirkpatrick (1994) als conceptueel kader voor trainingsevaluatie. Dit kader is een basisindeling en het bestaat uit vier typen opleidings- of trainingseffecten, te weten:
1. reacties die trainingsprogramma’s oproepen bij de deelnemers aan de training;
2. leerresultaten die de deelnemers door het volgen van de training bereiken; 3. het werkgedrag van de deelnemers dat wordt beïnvloed door de training; 4. de resultaten voor het team of de organisaties/ instelling.
Deze vier typen trainingseffecten worden veelal ook aangeduid als de ‘niveaus van evaluatie’; trainingsmaatregelen beïnvloeden de vier niveaus. We gaan er wat uitgebreider op in.
Niveau 1: reactieniveau of satisfactieniveau
Dit niveau heeft betrekking op evaluatie van de reacties van cursisten op gevolgde training en gaat in op bijvoorbeeld de vraag hoe men het programma, de docenten, het materiaal, de accommodatie heeft ervaren en welke mening
14
men hierover heeft. Evaluatie op dit niveau verschaft essentiële informatie over de vorm en de inhoud van het programma (mate van acceptatie van het
trainingsprogramma).
Niveau 2: leerniveau
Dit niveau betreft het leren zelf en heeft betrekking op de leerresultaten van een training: wat is er aan kennis en vaardigheden verworven tijdens de training. Nagegaan wordt of cursisten de beoogde leerdoelen hebben bereikt. Het gaat om het individuele weten en kunnen.
Evaluatie gaat hier nog niet na of het geleerde is toegepast in de praktijk. Het is namelijk helemaal niet vanzelfsprekend dat kennis en vaardigheden die tijdens de training zijn verworven daadwerkelijk op de werkplek i.c. tijdens het werken (kunnen) worden toegepast.
Niveau 3: werkgedragniveau
Het derde niveau waarop wordt geëvalueerd betreft het gedrag van de cursist: is het werkgedrag van de ex-cursist veranderd als gevolg van de training? Het gaat dus om de vraag of dat wat is geleerd ook wordt toegepast in de
werksituatie. Hier is sprake van transfer van kennis en vaardigheden vanuit een opleidings- of trainingssituatie naar een werksituatie.
Niveau 4: organisatieniveau
Het vierde niveau waarop wordt geëvalueerd betreft de vraag of en in hoeverre de effecten op het niveau van het werkgedrag bijdragen aan realisatie van teamdoelen of organisatiedoelen. Een doel kan bijvoorbeeld zijn effectiever met de problematiek ‘PGE’ binnen een instelling om te gaan of in beleid de problematiek nader uit te werken in bijvoorbeeld handelingsprotocollen. De vraag op dit niveau is dan in hoeverre dergelijke doelen als gevolg van de training zijn bereikt?
De vraag wanneer een evaluatie moet worden uitgevoerd kan worden
15
training op het niveau van de organisatie gebeurt nog weer na een langere periode (6 á 18 maanden).
Interessant maar ook wel iets complicerend overigens is de zogenoemde
effectmetingsparadox die vooral op niveau 4 speelt. ‘Tijd’ is zowel een
noodzaak voor doorwerking van effecten als een verstoring voor vaststelling van het ‘ultieme’ effect. Met andere woorden: de tijd tussen een training en de meting van de resultaten moet enerzijds lang genoeg zijn om van een min of meer blijvend effect op het werk(proces) te kunnen spreken. Anderzijds mag de tijd tussen de training en de meting niet te lang zijn, want dan is
toeschrijving van het gevonden effect aan een training twijfelachtig; immers: andere factoren kunnen dan een rol spelen.
Kortom: hoe hoger het niveau van evaluatie, hoe minder objectiviteit i.c hoe minder het gevonden effect is toe te schrijven aan de trainingsinvestering. De uitdaging voor onderzoekers is vooral om aannemelijk te maken dat de gevonden effecten zijn toe te schrijven aan een training.
Er is kritiek op het model van Kirkpatrick (zie bijvoorbeeld Holton, 1996, 2005; Van Zolingen, e.a., 2004). Zo zou het model niet gebaseerd zijn op empirisch onderzoek, incompleet zijn omdat het meten van een zogenoemde ‘return on investment’ ontbreekt. Ook de vraag naar de hiërarchische afhankelijkheid tussen de evaluatieniveaus staat vaak ter discussie; zijn goede resultaten op de lagere niveaus nou wel of niet een noodzakelijke voorwaarde voor goede resultaten op hogere evaluatieniveaus. In de praktijk blijkt dat overigens lang niet altijd zo te zijn; een training kan als niet leuk worden ervaren, maar kan toch tot leerresultaten leiden.
Hoe dan ook, de discussie erover heeft niet geleid tot een breed geaccepteerd alternatief (Van Zolingen, e.a., 2004). Bovendien geven Van Loo & De Grip (2011) aan dat het model van Kirckpatrick een goed concreet instrument is om opleidingsinspanningen op een systematische manier te evalueren; ‘het model
biedt ook handvatten voor het soort vragen dat gesteld moet worden en vanwege het feit dat het de informatie die verzameld moet worden beperkt tot enkele steutelindicatoren’ (p. 510).
Het model van Kirckpatrick is als uitgangspunt genomen voor de opzet van het evaluatieonderzoek waarover we rapporteren. Maar we plaatsen daar in
16
resultaten of effecten van opleidings- of trainingsinspanningen automatisch aan die inspanningen worden toegeschreven. Het is maar de vraag of dat mag. Er zijn namelijk op diverse evaluatieniveaus factoren die een rol kunnen spelen bij de vraag of een opleidingseffect zich voordoet, denk bijvoorbeeld aan factoren als de motivatie van een cursist, aan de mogelijkheid om het geleerde toe te passen in het werk, etc. Ook bij evaluatie van de training PGE zal het de vraag zijn of het de training is geweest die zorgde voor de resultaten of speelden (ook) andere factoren een rol.
Het WODC meldt namelijk in de opdracht de volgende omissies die een zuiver experimenteel onderzoeksontwerp verstoren.
De training is doorlopend bijgesteld op diverse punten, bijvoorbeeld inhoudelijk, naar aanleiding van nieuwe (internationale) inzichten van experts en wetenschappers. Een overzicht van de momenten en aard van de bijstellingen ontbreekt. Dit compliceert de evaluatie van de training.
RadarAdvies heeft geen concrete leerdoelen voor de training
geformuleerd, maar hierover in verschillende documenten wel informatie gegeven. Ten behoeve van de startnotitie zijn op basis van die
documenten leerdoelen geformuleerd.
Enerzijds bemoeilijken de genoemde omissies de waarde van de uitkomst van het evaluatieonderzoek; anderzijds grijpen we deze omissies voor zover mogelijk aan als mogelijke verklaring voor gevonden resultaten maar vooral ook als handvatten voor verbetering van de training PGE. Doel is de NCTV hierover te adviseren. Ergo, voor de evaluatie van de training van PGE benutten we belangrijke theoretische inzichten uit de opleidingskunde i.c. de
consistentietheorie van Kessels (1993). Aan de hand van deze theorie kunnen we gefundeerd en systematisch inzoomen op mogelijke verbeterpunten. We gaan er op in.
Consistentietheorie
Het begrip ‘opleidingscyclus’ is een kernbegrip in de opleidingskunde en het duidt op een systematische aanpak van opleidingsvraagstukken, waarbinnen evaluatie overigens ook een plaats toekomt (Glaude, 1997). Een systematische benadering heeft, zoals uit het onderzoek van Kessels (1993) blijkt, als eindproduct een intern consistent curriculum. Kessel (1996) zegt: ‘De
systematische benadering van het ontwerpen veronderstelt een logische
17
en (…) ‘leidt tot een goed gestructureerd en logisch geordend programma op papier’ (p. 23). Kessels (1993) onderscheidt in de cyclus de volgende
ontwerpstappen: het vaststellen van een opleidingsnoodzaak, het vaststellen van de hoofddoelen van een leertraject, een uitvoeren van een taakanalyse (het verzamelen van informatie asl input voor de vraag welke kennis en kunde de doelgroep moet leren), het formuleren van concrete leerdoelen, het vaststellen van evaluatiecriteria, het construeren van evaluatie-instrumenten, ontwerpen van de leersituatie, selectie van de docenten, het samenstellen van
leermateriaal, planning van de uitvoering van het leertraject, selectie van de cursisten, uitvoering van het leertraject, evaluatie (op verschillende niveaus). Daarnaast duidt Kessels (1993) op het belang van de externe consistentie van een leertraject. Dit is het product van wat hij noemt de relationele benadering. Deze benadering omvat activiteiten die er voor zorgen dat er bij het
ontwikkelproces en het implementatieproces overeenstemming is tussen de opvattingen van de direct betrokkenen bij de training, Met andere woorden: er zal idealiter sprake zijn van homogene opvattingen van de betrokkenen over wat het beoogde doel is en over de wijze waarop dat doel te bereiken is. Volgens deze consistentietheorie van Kessels zal een training succesvol zijn als beide typen consistenties – intern en extern – aanwezig zijn.
Het was in voorliggend onderzoek niet de bedoeling om alle ontwerpstappen die bepalend zijn voor de interne consistentie aan een grondige analyse te onderwerpen. Centraal stond niet zozeer de vraag of de ontwerpstappen uit de opleidingscyclus zijn genomen, maar eerder is ingegaan op eventuele
knelpunten bij de ontwerpstappen en op de suggesties voor verbetering. Ook bij onze focus op de externe consistentie was het niet de bedoeling de (diverse) opvattingen van de ontwikkelaars/docenten van de training PGE in kaart te brengen, maar eerder na te gaan of er knelpunten waren die de opvattingen over de doelen en hoe die te bereiken raakten en of er suggesties voor verbetering zijn op dit punt.
2.3 Vraagstelling en doel van het onderzoek
Onderzoeksvragen
18
hoofdonderzoeksvragen, overeenkomstig de vier evaluatieniveaus en uitgaande van de consistentietheorie.
Kwaliteit van de trainingsactiviteit
1. In hoeverre zijn de deelnemers3 aan de training PGE tevreden over de
training? (niveau 1)
2. In hoeverre zijn de leerdoelen van de training PGE bereikt? (niveau 2) 3. a. In hoeverre wordt de geleerde kennis en kunde toegepast in het
dagelijks werk van de voormalige deelnemers ? (niveau 3)
b. In hoeverre verschillen deelnemers en niet-deelnemers in het kunnen signaleren, kwalificeren en handelen met betrekking tot PGE’s? (niveau 3) 4. In hoeverre werkt de training PGE door in een team of organisatie/
instelling van de voormalige deelnemers (niveau 4).
5. a. Op welke punten is verbetering van de training PGE wenselijk?
b. In hoeverre is de training PGE intern consistent, dat wil zeggen: waar in de opleidingscyclus zitten zwakke plekken en waar is verbetering
mogelijk?
c. In hoeverre is de training PGE extern consistent (homogeen), dat wil zeggen: waar zitten zwakke plekken en waar is verbetering mogelijk als het gaat om opvattingen over de doelen en het bereiken ervan?
Kwantiteit van de training
6 Wat is het bereik van de training PGE?
Doelstelling van het onderzoek
Primair doel van het onderzoek is het verwerven van inzicht in de opbrengst van de training PGE (product-evaluatie). Belangrijk doel van het onderzoek is ook het genereren van verbetersuggesties voor de training PGE op grond van systematisch verzamelde en op de opleidingskunde gefundeerde gegevens. Het onderzoek levert dan input voor een verbeterbeslissing (formatieve evaluatie).
19
3
Opzet van het onderzoek
3.1 Dataverzameling, bronnen, onderzoeksgroepen en methode
De dataverzamelingsmatrix (zie bijlage 1) vormt het kader op basis waarvan het onderzoek is opgezet. De hoofdonderzoeksvragen geven richting aan de vraag waar we de data hebben verzameld en op welke wijze dat is gebeurd. In dit hoofdstuk worden de zes hoofdonderzoeksvragen stuk voor stuk
toegelicht.
3.2 Onderzoeksvragen 1 en 2
In hoeverre zijn de deelnemers aan de training PGE tevreden over de training? (niveau 1)
In hoeverre zijn de leerdoelen van de training PGE bereikt? (niveau 2)
Bronnen, onderzoeksgroep en methode
Om onderzoeksvraag 1 en 2 te kunnen beantwoorden, hebben we gebruik gemaakt van de data die al zijn verzameld door het bureau RadarAdvies; dit zijn de gegevens uit de evaluatieformulieren die na afloop van de trainingen zijn ingevuld door de deelnemers en de evaluatiememo’s die het bureau op basis daarvan heeft gemaakt.
Werving/selectie
20
uit de training ‘train-de-trainer’ te betrekken; dat waren er totaal 31. Deze aantallen zouden het mogelijk maken beide populaties geheel te betrekken (N=616; tweede lichting en train-de-trainer); een steekproef zou niet aan de orde zijn.
De feitelijke onderzoeksgroep is echter minder groot gebleken dan verwacht; niet alle evaluatieformulieren waren beschikbaar, noch de evaluatieformulieren van de train-de-trainer-groepen. Uiteindelijk zijn 159 evaluatieformulieren in het onderzoek betrokken.
Instrumentarium
Voor beantwoording van onderzoeksvragen 1 en 2 is geen nieuw
instrumentarium ontwikkeld, omdat we gebruik hebben gemaakt van de data die zijn verzameld met het evaluatieformulier van RadarAdvies. De algemene regel is dat evaluatiegegevens op niveau 1 (het reactieniveau) en niveau 2 (het bereiken van de leerdoelen) idealiter direct na afloop van een training worden verzameld. Gebeurt dat later, dan is de kans groot dat andere zaken dan de trainingsinterventie het oordeel van de respondent beïnvloeden. Hoewel het dan niet opportuun is in een later stadium aanvullende informatie te verzamelen over evaluatieniveau 1 en 2, hebben we toch enige aanvullende informatie verzameld met drie korte vragen. De reden daartoe is dat in het evaluatieformulier van RadarAdvies geen vraag gedaan wordt naar de beroepsgroep waartoe de cursist behoort. De onderzoeksresultaten op deze evaluatieniveaus konden zo worden uitgesplitst naar begroepsgroep.
Verwerking en analyse
De gegevens zijn ingevoerd in en geanalyseerd met behulp van SPSS. De data betreffen door het veelal gesloten antwoordkarakter van de vragen
voornamelijk kwantitatieve data; de analyse is gericht op het berekenen van frequenties, gemiddelden en percentages.
De vragenlijstgegevens zijn anoniem en zijn daardoor geen persoonsgegevens; er hoefde daarom geen toestemming aan de respondenten gevraagd voor deze secundaire analyse.
Opbrengst
21 Doordat de stellingen uit het evaluatieformulier van RadarAdvies positief
zijn geformuleerd, induceren ze makkelijk een sociale wenselijkheids-bias.
In de evaluatieformulieren zijn geen kenmerken van de cursist gevraagd, zoals waar hij/zij werkt (waarschijnlijk met oog op de anonimiteit). Hierdoor kunnen de resultaten niet worden uitgesplitst naar bijvoorbeeld beroepsgroep of functie.
RadarAdvies heeft op twee momenten een evaluatiememo met betrekking tot de training opgesteld, Deze zijn gebaseerd op eigen indrukken en de evaluatieformulieren die na elke training zijn afgenomen. Een analyse van de formulieren ontbreekt evenwel in deze documenten.
Aan de hand van de deelnemerslijsten is het aantal deelnemers gereconstrueerd.
Uitspraken van de respondentengroep over de acceptatie van de training (niveau 1) en het bereiken van de leerdoelen (niveau 2) die ontleend zijn aan de gegevens uit de evalautieformulieren van RadarAdvies moeten bezien worden in het licht van genoemde beperkingen.
3.3 Onderzoeksvragen 3a en 4
3a. In hoeverre wordt de geleerde kennis en kunde toegepast in het dagelijks werk van de voormalige deelnemers? (niveau 3).
4. In hoeverre werkt de training PGE door in een team of organisatie/ instelling van de voormalige deelnemers? (niveau 4).
Bronnen, onderzoeksgroep
De hoofdonderzoeksvragen 3a en 4 gaan respectievelijk in op evaluatie op het niveau van het werkgedrag (cursist en cursist train-de-trainer) en op het organisatieniveau.
Er zijn door het Bureau RadarAdvies geen data verzameld op het niveau van het werkgedrag, noch over de doorwerking van het geleerde in een team of een organisatie/instelling van de voormalige cursisten.
22
We hebben daarom data verzameld bij de voormalige cursisten en voor zover van toepassing hebben we de evaluatiememo’s benut, ook al zijn die kort na de training opgesteld.
Steekproef en werving
Voor beantwoording van onderzoeksvragen 3a en 4 hebben we een a-selecte steekproef getrokken uit de groep cursisten (cursist en cursist train-de-trainer) die hebben deelgenomen aan de tweede reeks trainingen. Dit is gedaan omdat we nieuwe data hebben moeten verzamelen; onderzoek bij de gehele populatie cursisten was niet haalbaar en ook niet noodzakelijk. De steekproef is
getrokken uit de deelnemerslijsten en ingeperkt tot cursisten van wie een mailadres beschikbaar was; de voormalige cursisten zijn benaderd via hun e-mailadres zoals vermeld op de deelnemerslijsten.
De steekproef diende daarnaast als groep die vergeleken wordt met de groep niet-cursisten. We beschrijven de steekproeftrekking voor beide groepen (cursisten en niet-cursisten) uitgebreid bij onderzoeksvraag 3b (zie hierna).
Instrumentarium
We hebben een elektronische vragenlijst ontwikkeld waarmee data zijn verzameld over het werkgedrag en de doorwerking ervan in de instelling van de voormalige cursisten (resp. evaluatieniveau 3 en 4) (zie bijlage 5). Als input voor de constructie van de vragenlijst gebruiken we onder meer de
onderzoeksvragen die het WODC stelt en die betrekking hebben op deze evaluatieniveaus, zoals de vraag: zijn de opgedane kennis/vaardigheden in de bijeenkomsten gebruikt in de eigen organisatie? (zie bijlage 2 voor de
onderzoeksvragen van het WODC). Maar de kern van de vragenlijst voor evaluatie op deze twee niveaus vormen de zogenoemde vignetten (zie hierna onderzoeksvraag 3b).
De elektronische vragenlijst omvatte zoveel mogelijk gesloten vragen, maar een deel was open.
Verwerking en analyse
23
De kwalitatieve data die zijn verkregen uit de open antwoorden zijn voor zover nodig systematisch verwerkt in zogenoemde descriptive matrices, conform de richtlijnen voor kwalitatieve analyse van Miles & Huberman (1994). Waar nodig zijn de kwalitatieve data gekwantificeerd.
Opbrengst
De opbrengst van dit deel van het onderzoek is een precieze uitspraak in hoeverre beide voormalige cursistengroepen (cursist en train-de-trainer) de cursusinhoud in hun dagelijks werk hebben toegepast en in hoeverre sprake is van doorwerking ervan in de eigen organisatie.
3.4 Onderzoeksvraag 3b
3b. In hoeverre verschillen deelnemers en niet-deelnemers in het kunnen signaleren, kwalificeren en handelen met betrekking tot PGE’s? (niveau 3)
Bronnen
In onderzoeksvraag 3b vindt een vergelijking plaats tussen het werkgedrag van de voormalige cursist en het werkgedrag van degenen die niet aan de training hebben deel genomen (de niet-cursisten, i.e., personen die op de wachtlijst voor een cursus staan). Bij beide groepen zijn data verzameld over het werkgedrag (niveau 3); we hebben dat gedaan door hen zogenoemde vignetten voor te leggen. Een vignetten is een korte beschrijving van een persoon of situatie. We gaan in op wat deze vignetmethode behelst.
Methode en instrumentarium
Leerdoel van de training is dat de cursist beter dan voorheen in staat is om potentieel gewelddadige eenlingen te signaleren en beter weet hoe hij in dat geval zou moeten handelen. Om de resultaten van de training na te gaan, is gebruik gemaakt van de vignetmethode (Veenma, Batenburg & Breedveld, 2004). Deze methode is al eerder ingezet om het vermogen tot signaleren van psychologische problematiek bij twee groepen professionals te onderzoeken (Noort, Braam, Van Gool, Verhagen, Beekman, 2012). De vignetmethode leent zich ertoe om een complexe beoordelingstaak terug te brengen tot een
24
behelzen, terwijl ze vergeleken met vragenlijsten waarin gevraagd zou worden naar de onderliggende dimensies, minder ontvankelijk zijn voor
antwoordtendenties. Daar staat tegenover dat de ecologische validiteit te wensen kan overlaten doordat het hypothetische casussen betreft, voortkomend uit systematische variatie in waarden op relevant geachte onderliggende factoren of dimensies. De vignetten van eventuele PGE’s werden gebaseerd op enkele onafhankelijke factoren waarop een beperkt aantal waarden zijn onderscheiden. Om vignetten van PGE’s te kunnen construeren was het nodig om op basis van literatuurstudie en expertkennis relevante factoren en waarden op die factoren te identificeren. In hoofdstuk 4 gaan we uitgebreid in op de constructie van de vignetten.
In de vorm van vignetten zijn fictieve casussen aan zowel de voormalige cursisten als aan degenen die niet aan een training konden deelnemen
(controlegroep) ter beoordeling voorgelegd. In de vorm van een keuze geeft de respondent aan of betreffende casus wel of niet signalering verdient en zo ja, welke van een aantal mogelijke handelingen aan de orde zouden zijn. De vignetten zijn geïntegreerd in de elektronische vragenlijst en voorgelegd aan zowel cursisten als aan de controlegroep van niet-cursisten.
Steekproeven voor de vergelijking tussen cursisten en niet – cursisten
25
termen van het verschil in standaardafwijking (effectgrootte d, Cohen, 1988), overschrijdingskans α en de grootte van de kans op een fout van de tweede soort β kan de gewenste steekproefgrootte worden berekend. De volgende tabel geeft de benodigde steekproefgroottes bij een α van .05 en een power (1- β) van .80 bij verschillende waarden van d.
Tabel 3.1 Steekproefgroottes bij een α van .05 en een power (1- β) van .80
d N cursisten N niet- cursisten
.20 310 310
.30 139 139
.40 78 78
.50 51 51
.80 21 21
De reden waarom de fout van de tweede soort niet net zoals α op .05 maar op .20 wordt gesteld is pragmatisch; bij een kleinere β lopen de gewenste steekproefgroottes al snel nog hoger op. Voor het kunnen detecteren van een klein effect (.20) zijn de benodigde steekproeven erg groot. Voor het kunnen vaststellen van een middelmatig (.50) of groot effect (.80) hoeven de
steekproeven helemaal niet zo groot te zijn. Het lijkt ons echter nauwelijks plausibel dat er sprake is van een middelmatig of groot effect, omdat de cursus slechts een dag duurt. De beste keuze lijkt de steekproefgrootte te zijn,
behorend bij een hypothetische effectgrootte van .30. In verband met non-respons zullen in beide groepen (cursisten en niet-cursisten) 278 personen worden benaderd voor deelname aan het vragenlijstonderzoek.
Opbrengst
26
3.5 Onderzoeksvragen 5a, 5b, en 5c
5a. Op welke punten is verbetering van de training PGE wenselijk?
5b. In hoeverre is de training PGE intern consistent, dat wil zeggen: waar in de opleidingscyclus zitten zwakke plekken en waar is verbetering mogelijk? 5c. In hoeverre is de training PGE extern consistent (homogeen), dat wil zeggen:
waar zitten zwakke plekken en waar is verbetering mogelijk als het gaat om opvattingen over de doelen en het bereiken ervan?
Bronnen en methode
Voor beantwoording van onderzoeksvraag 5a, 5b,5c zijn data vezameld door middel van een interview bij de ontwikkelaars/docenten van de training van het bureau RadarAdvies. Voor zover relevant voor deze twee onderzoeksvragen is ook gebruik gemaakt van gegevens afkomstig uit hun evaluatieformulieren en evaluatiememo’s.
Instrumentarium
Voor het interview is een interviewtopiclijst ontwikkeld die als leidraad heeft gediend in het gesprek met de ontwikkelaars/docenten bij het achterhalen van knelpunten en verbetersuggesties (zie bijlage 7 topiclijst).
Selectie
De interviews zijn gehouden met de twee docenten van RadarAdvies; het gaat om individuele gesprekken.
Verwerking en analyse
De data-analyse is voornamelijk kwalitatief van aard en verloopt aan de hand van de stappen uit de opleidingscyclus.
Opbrengst
27
3.6 Onderzoeksvraag 6
6. Wat is het bereik van de training PGE?
Bronnen en methode
Voor het bepalen van het bereik ofwel reikwijdte van de training is de gehanteerde wervingsmethode kort beschreven op basis van informatie van RadarAdvies.
Op basis van inschrijvingsoverzichten en deelnemersoverzichten van het trainingsbureau is een overzicht gemaakt van de inschrijvers (zowel cursisten als degenen die op de wachtlijst zijn geplaatst) naar de eerstelijns
beroepsgroep (onderwijs, welzijn, politie, GGZ en gemeente) waartoe zij behoren. Het gaat om overzichten van het aantal en type
deelnemers/organisaties. Ook is gekeken naar verschillen tussen de groepen inschrijvers (deelnemers en personen op de wachtlijst).
Verwerking en analyse
Beide groepen (deelnemers en personen op de wachtlijst) zijn vergeleken op het relevante achtergrondkenmerk ‘geleding’ (beroepsgroep). Met een χ2-toets
is vervolgens onderzocht of er een eventueel betekenisvol verschil tussen beide groepen is. Voor wat betreft de training worden frequentieverdelingen,
gemiddelden en spreidingsmaat bepaald voor het aantal deelnemers per beroepsgroep.
Opbrengst
28
3.7 Organisatie van het onderzoek: de begeleidingscommissie
Ten behoeve van de uitvoering van het onderzoek is een begeleidings-commissie samengesteld. De begeleidings-commissie bestaat uit de volgende leden.
Prof. Dr. Wilfried Admiraal Universiteit Leiden; hoogleraar Onderwijskunde; voorzitter van de begeleidingscommissie.
Mr. Drs Paul van den Eshof Korps Landelijke Politiediensten (KLPD). Roderick Jansen R.B.L. Jansen Consultancy.
Mr. Joost van Rossum/
Mr. Menno Donia Ministerie van Veiligheid en Justitie; Nationaal Coördinator Terrorismebestrijding en
Veiligheid (NCTV); dhr. Donia vervangt dhr. Van Rossum indien nodig.
Drs Essy van Dijk Extern Wetenschappelijke betrekkingen (EWB) van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC).
In de begeleidingscommissie zijn diverse expertisegebieden vertegenwoordigd. De begeleidingscommissie heeft onder meer een (dubbele) adviserende rol: de leden geven advies aan het WODC en aan de onderzoekers en staan hen bij op essentiele beslismomenten in het onderzoek. De commissie is bijeengeweest op 2 oktober 2013, 21 november 2013 en op 10 april 2014.
29
4
Het fenomeen potentieel gewelddadige eenling en
constructie van de vignetten
4.1 Potentieel gewelddadige eenlingen
Definitie
‘Potentieel gewelddadige eenlingen zijn personen die, zonder medewerking van anderen en vanuit een persoonlijke krenking of grief, een dreiging vormen richting de maatschappij of diens vertegenwoordigers, als gevolg van een individueel doorlopen proces richting geweld’ (Van Elk & Van Rossum, 2013). Voor dit onderzoek is uitgegaan van deze definitie van een PGE. Deze definitie komt overeen met de typering die Gielen (2012) geeft. Wil sprake zijn van een PGE dan moet voldaan zijn aan de volgende drie condities.
1. Opererend als eenling, dat wil zeggen: zonder deel uit te maken van een groep of netwerk en zonder bevelen van andere reëel bestaande personen op te volgen;
2. Vanuit een vorm van onvrede of grief bestaat een gerichtheid tegen delen of groepen in de maatschappij of vertegenwoordigers van de maatschappij of instellingen;
3. Er is sprake van een veiligheidsrisico vanwege dreigend geweld met een ontwrichtende werking.
30
Graaf, 2010; Spaaij, 2010). Een gedeeltelijke overlap in omschrijving is er met de ‘solistische dreiger’ bij wie sprake is van een fixatie op een of meerdere publieke personen in het rijksdomein. Het gaat om individuen die een dreiging vormen door woord of gedrag, die solistisch handelen, bij wie er aanwijzingen zijn van een of meerdere psychiatrische stoornissen en maatschappelijk disfunctioneren en waarbij sprake is van een patroon van overlast (Bogaerts, Okur, Willems & Knaap, 2012).
Duidelijk is dat een heldere afbakening lastig is. Mede daardoor is het kunnen herkennen van een PGE niet eenvoudig.
Typen, dimensies en factoren
Er kunnen verschillende typologieën, dimensies en factoren van PGE en verwante begrippen worden onderscheiden4. NCTV kiest voor de indeling van
de gefixeerde eenlingen, systeemhaters, school/spreehooters en
geradicaliseerde eenlingen. In de wetenschappelijk literatuur worden ook andere indelingen besproken. Zo wordt bijvoorbeeld in het threat assessment-intervention model dat betrekking heeft op de ‘school shooter’, als één van de verschijningsvormen van een PGE, onderscheid gemaakt naar vier typen bedreigingen (O'Toole, 2001), te weten: directe bedreiging (specifieke handeling gericht op een specifiek doelwit en duidelijk en expliciet geformuleerd), een
indirecte bedreiging (vaag, onduidelijk of ambigu), een verholen bedreiging
(duidelijk maar impliceert niet evident geweld) en een voorwaardelijke
bedreiging of afpersing (daad van geweld als niet aan bepaalde voorwaarden
wordt voldaan).
Weer een ander voorbeeld beteft de ‘lone wolve’ die wordt beschreven aan de hand van drie kenmerken (Bakker & De Graaf, 2010): te weten:
gebrek aan sociale aansluiting, maar wel betrokkenheid bij of identificatie met extremistische organisaties;
verspreiden hun ideeën of manifesten in de buitenwereld voorafgaand aan de aanslag;
psychiatrische stoornissen en gebrek aan sociale inpassing.
31
Bates (2012) bijvoorbeeld onderscheidt in zijn algemene model voor ‘lone wolf terrorism’ enkele dimensies, te weten:
de mate van het radicaliseringproces (zich blootstellen aan extremistische ideologie via literatuur of websites);
dimensie is het continuüm van egoïstisch naar altruïstisch (eigen superioriteit versus de overtuiging een plicht te hebben of te moeten redden;
de vorm van het terrorisme (eenmalige chaos creërend of seriële aanslagen);
de mate van risico nemen (risico zoeken of risico vermijden).
Voorkomende typen op basis van posities op elk van deze vier dimensies zijn dan:
The lone wolf avenger;
The lone wolf vigilante;
The lone wolf revenger;
The lone wolf guerrilla.
Al met al valt een grens tussen definities, typologieën, dimensies of factoren niet steeds scherp te trekken.
Meetinstrumenten
De vraag is dan of er instrumenten zijn die zouden kunnen helpen bij het vaststellen of men van doen heeft met een PGE. In ieder geval zijn er verschillende risicotaxatie instrumenten5 voorhanden om bedreigingen of
risico’s op geweld te kunnen inschatten. Dit zijn instrumenten die onder meer zijn ontwikkeld en gebruikt in de forensische psychiatrie om het risico op recidive te bepalen. In verband met PGE’s gaat het veelal minstens zozeer om
first offenders als om recidivisten. Een voorbeeld van zo’n instrument dat voor
dit type gedragskundige dreigingsinschatting is ontwikkeld, is de
risicotaxatielijst die bestaat uit negen items ofwel risicofactoren. Betrokkenen
32
worden beoordeeld op een drie-puntsschaal (Voerman, 2008). De risicofactoren uit deze gedragskundige analyse zijn:
1. geweld in het verleden;
2. belangrijke levensgebeurtenissen; 3. omgang met stress;
4. intimiteit relatie met slachtoffer; 5. eerdere bedreigingen;
6. gedrag inzake uitvoering van de bedreiging (fasen in de weg naar geweld);
7. kennis over doelwit; 8. sociale omgeving dreiger;
9. aanwezigheid van psychische stoornis.
Een ander voorbeeld is de nieuwe persoonskaart voor risicotaxatie van solistische dreigers, ontwikkeld in opdracht van het WODC. Deze kaart omvat factoren die zijn vertaald naar meer observeerbaar gedrag (Bogaerts, et al., 2012). Deze factoren zijn:
Psychotische symptomen (onder meer: er is sprake van incoherent, moeilijk te volgen verhaal, sprake van buitensporige hoeveelheid communicatie; ziet, hoort, denkt, voelt de persoon zaken die niet realistisch zijn?);
persoonlijkheidskenmerken (onder meer: emotionele instabiliteit; zelfmoordgevoelens; depressieve gevoelens; grote boosheid, woede of frustratie);
Gedrag en attitude (uiten van doodsbedreiging of extreem geweld, impulsief reageren);
Voorwaarden en behandeling (schending justitiële voorwaarden, behandelproblemen, verleden van hulpverlening, medicatietrouw);
Relaties (relatieproblemen, geïsoleerde levenswijze, gebrekkig sociaal netwerk);
Arbeid en wonen (langdurige werkloosheid, instabiele woonomgeving).
4.2 Kader voor ontwikkeling van de vignetten, de vier casussen van PGE
33
In het trainingsmateriaal gaat men uit van drie typen PGE, gecombineerd met zes fasen in de ontwikkelingsgang naar de aanslag (Lenos & Leeuw, 2012; Radaradvies/NCTV, 2012).
De drie typen zijn:
Gegriefden, gekwetsten, gefrustreerden;
Psychisch verwarden of kwetsbaren;
Radicaliserenden.
De typen kunnen elkaar overlappen en kunnen elkaar versterken.
De fasen in het proces naar gewelddadige eenling zijn: Grief:
Bij de persoon bestaat het idee dat hem of haar onrecht aangedaan is, of meer algemeen er is sprake van grote ontevredenheid of frustratie. Er is vaak behoefte aan wraak, erkenning en bekendheid.
Indicator hiervoor: verstoorde omgang met autoriteit, woede en agressie, gedragsverandering.
Gewelddadige ideeënvorming:
De potentiële dader kan de grief niet achter zich laten: de grief wordt een obsessie. Het idee ontstaat om geweld te gebruiken en geweld wordt beschouwd als oplossing van hun probleem.
Indicator hiervoor: geweldsfantasieën, gefascineerd door wapens, hebben discussies met anderen over bedreigingen.
Onderzoek en planning van de aanslag:
Plannen worden meer concreet. Er wordt informatie verzameld over het doelwit, bekend of onbekend gebied wordt verkend en een vluchtplan gemaakt.
Indicator hiervoor: uitlekken van plannen. Voorbereiding van aanslag:
Voorbereiding van de bewapeningsfase, tijdschema’s worden opgesteld, plattegronden gemaakt.
Indicator hiervoor: concrete bewapening. Uitvoering van aanslag:
34
Verder geven Lenos & Leeuw (2012) aan dat bepaalde omstandigheden, gebeurtenissen en ervaringen risicofactoren (triggerevents) kunnen vormen voor gewelddadig gedrag of juist beschermende factoren kunnen zijn. Deze zijn gelegen in de persoon zelf, zijn relaties, zijn wereldbeeld en zijn ervaring en beleving van geweld. Meer specifiek laten deze factoren zich als volgt uitwerken:
Persoon
Grief of krenking waaraan persoon vasthoudt; verbittering Opwaardering van eigen persoon
Psychiatrische problemen of verleden daarmee
Sterk de overtuiging gelijk te hebben, gelijk willen opeisen Monomaan gedrag (obsessie)
Een daad willen stellen
Verandering uiterlijke manifestatie Middelengebruik
Relaties
Eenzaamheid, sociaal isolement Zorgmijdend
Verstoorde omgang met autoriteit Woede en agressie
Gedragsverandering
‘Leakage’, communicatie aan derden
Wereldbeeld
Dichotoom: goed versus slecht, gelovig versus ongelovig Complotdenkend
Fixatie of obsessie richting publiek persoon of groep in samenleving Radicale/extreme ideologie
Geweld/dreiging
Fascinatie voor geweld. Wapens
Toegang tot wapens Bekend met vechtsporten
35
Huiselijk geweld
Aankondiging geweldsdaad
Gewelddadige games: first shooter games
Voor constructie van de vignetten, de vier casussen van PGE is mede op basis van de onderzoeksliteratuur uitgegaan van dimensionaliteit (met scheidslijnen per dimensie waardoor waarden per dimensie ontstaan) en niet van een typologie. Elke combinatie van waarden op dimensies levert in principe uitgangspunt voor een vignet van een PGE.
Eén relevante dimensie is die van de gefaseerde ontwikkeling tot een PGE: 1. Grieven 2. Ideeënvorming 3. Planning 4. Voorbereiding 5. Start uitvoering 6. Aanslag
Als tweede relevante dimensie gelden de risicofactoren: a. Persoon (inclusief psychopathologie)
b. Relaties (inclusief grieven, solisme, lekken) c. Wereldbeeld (inclusief radicalisering)
d. Affiniteit met geweld (inclusief geweldsincidenten, wapens)
Elk vignet heeft een waarde op de dimensie ontwikkeling tot PGE, dat wil zeggen: verkeert in een van de zes fasen. Elk vignet heeft in theorie waarden op elk van de risicofactoren persoon, relaties, wereldbeeld en affiniteit tot geweld. We hanteren dan het volgende raamwerk voor de vignetconstructie.
Fasen Persoon Relaties Wereldbeeld Affiniteit geweld
36
Aangezien het bij de risicofactoren om abstracte noties gaat, is per factor een vertaling naar specifieke subaspecten nodig. Daarvoor zijn elementen gebruikt die volgens het cursusmateriaal van RadarAdvies wijzen op zorgelijke signalen (presentatie sheet 81; de handreiking voor de cursus van RadarAdvies, p.29). Het gaat om de volgende vertaling.
1. Persoon:
a. Geslacht (M,V), leeftijd, nationaliteit (Nederlands, anders), etniciteit (blank, andere etnische groep)
b. Psychiatrische stoornissen (wanen, obsessies, emotionele instabiliteit, ontwikkelingsstoornis, persoonlijkheidsstoornis; diagnose of
gedragssymptomen)
c. GGZ-verleden (geen, afgebroken of niet-passende behandeling) d. Middelengebruik of gedragsverslaving (geen, alcohol, drugs, internet) e. Energieniveau (laag, normaal, hoog) en dag/nachtritme
(normaal/gestoord)
f. Uiterlijke manifestaties (aangepast, onaangepast)
2. Relaties:
a. Opleidings- of arbeidsrelatie (geen, onder niveau, op passend niveau) b. Gezinsverband (geen, onvolledig, normaal gezin of relatie)
c. Grieven, ervaring van onrecht dat obsessieve vorm heeft (geen, wel) d. Contacten, netwerken en communicatie (internet)
e. Sociaal isolement (sociaal geaccepteerd, sociaal geïsoleerd) f. Lekken van gewelddadige intenties (niet, wel)
3. Wereldbeeld:
a. Religiositeit (afwezig, zwak, sterk)
b. Extreme maatschappelijke ideologie (radicalisering) c. Rechtvaardigheidsbeleving (niet, wel)
d. Complottheorie (niet, wel)
e. Visie op de rechtstaat/rechtsorde en haar middelen tot conflictoplossing (positief, negatief)
4. Affiniteit met geweld
37
c. Intensief gebruik van gewelddadige games (niet, wel)
d. Kennis over gebruik van wapens of gevaarlijke agentia (niet, wel) e. Toegang tot wapens of gevaarlijke agentia (niet, wel)
f. Dreiging met geweld (niet, wel)
4.3 Casusconstructie
Idealiter wordt elke waarde op de ene factor gecombineerd met elke waarde op elke andere factor zodat een vol factorieel model ontstaat. Elke casus krijgt invulling op (een van zes) fasen en op de factoren persoon, relaties,
wereldbeeld en affiniteit met geweld. Het conceptuele probleem dat zich daarbij aandient, is de multidimensionaliteit van elk van de factoren (persoon, relaties, wereldbeeld en affiniteit met geweld). Dit leidt tot een zeer groot aantal combinaties, hetgeen in de praktijk onhanteerbaar wordt.
Daarom is besloten de casusconstructie anders aan te pakken. Het raamwerk vormt weliswaar het concpetueelmodel maar wordt nu vooral benut als kader om variatie in de casus te krijgen. Mede omwille van de ecologische validiteit is gebruik gemaakt van enkele ingekorte casusbeschrijvingen die zijn aangereikt door een recherchepsycholoog van de KLPD die gespecialiseerd in dit
onderwerp en enkele door de onderzoekers bedachte casussen. Ze zijn voorgelegd aan de begeleidingscommissie van het onderzoek.
We komen dan tot de volgende casussen. Casus 1 en 2 voldoen aan criteria voor PGE. Casus 3 mist een historie aan geweld, maar heeft enige kenmerken van een Syrië-ganger. Casus 4 is de minst uitgesproken PGE; het gaat hier eerder om een psychopaat (antisociale persoonlijkheidsstoornis) dan om een PGE.
In het volgende schema worden de vier casussen gekenschetst. Voorbereiding, start uitvoering en aanslag zijn buiten de casussen gelaten, omdat dat
38
Persoon Relaties Wereldbeeld Affiniteit geweld
Grieven M, 33 jaar (casus 1
Danny) Verleden van Angststoornis en paranoïde psychotische symptomen Zonder partner Werkzaam als ICT-er Imponeert met lege hulzen en verhalen over wapens Collega’s en personeelsmanager bezorgd Is lid van schietvereniging Vraagt wapenverlof aan M, 21 jaar (casus 4 John) Geringe impulscontrole; Driftig Dominant: speelt de baas Meerdere vriendinnen gehad Wraakzucht vanwege afgetuigde vriend Motto: de sterkste wint Geen maatschappelijke of politieke betrokkenheid
Van kinds af vaak betrokken bij vechtpartijen Fysiek getraind door sportschool
Ideeënvorming M, 21 jaar (casus 2
Barend) Asperger syndroom en agressie uitbarstingen Dreigende en suïcidale uitlatingen Middelengebruik (wiet, speed) gameverslaving Veel schoolwisselingen, vanaf 16 jaar zonder opleiding of werk Haat studerende zus Verlies van vriend(en)
Gewelddadige games Intimideert en bedreigt gezinsleden
Planning M, 40 jaar (casus 3
Ahmed)
Zonder partner; geen vrienden
Enkele reis Turkije
39
In voorliggend onderzoek zijn de volgende casussen aan de respondenten voorgelegd.
Case 1 Danny
Een personeelsmanager van een opleidingsinstituut hoort dat een van de werknemers, de 33 jarige Danny, een wapenvergunning wil aanvragen. Het is de personeelsmanager opgevallen dat Danny op de werkplek met lege hulzen zat te spelen. Ook vertelt Danny zijn collegae regelmatig over wapens en over zijn fascinatie daarvoor. Onder de collegae en de personeelsmanager bestaat enige zorg omdat Danny niet zo stabiel zou zijn. In het verleden had hij een angststoornis, hoorde stemmen en waande zich achtervolgd door de KGB.
Danny is werkzaam als IT-er; heeft geen relatie en woont alleen. Hij is lid van een schietvereniging.
Case 2 Barend
Barend is 21 jaar en heeft gedragsstoornissen en het Aspergersyndroom. Tussen zijn 12e en 16e jaar werd hij van diverse scholen verwijderd vanwege agressief gedrag. Vanaf zijn 12e jaar gebruikt hij wiet en speed. Vanaf zijn 16e zit hij thuis, zonder opleiding of werk. Zijn voornaamste activiteiten zijn het spelen van oorlogsgames, blowen en speed gebruiken en vrienden bezoeken. Zijn dag-nachtritme is omgekeerd.
Sinds de aanschaf van de gewelddadige oorlogsgame ‘call of duty’ speelt hij dit spel vrijwel voortdurend online met anderen. Daarbij gaat hij zeer op in het spel, getuige het voor de gezinsleden hoorbare schreeuwen en schelden tijdens het gamen. Onderwijl gebruikt hij drugs. Met twee vrienden raakt het contact verbroken: met de een door een conflict en met de ander doordat deze hem niet meer herkent.
Gezinsleden, met name zijn moeder en zijn studerende zus, die hem aanspreken of hulp bieden, brengen hem in staat van razernij. Hij intimideert hen in hoge mate met verbale bedreigingen door zijn gewelddadig gedrag heeft de inventaris in de woning het zwaar te verduren. Zijn uitlatingen wijzen ook op een suïcidale intentie.
Case 3 Ahmed
Ahmed is een veertiger. Hij was tijdens het conflict in Tsjetsjenië een aanhanger van Islamitische rebellen, maar niet heel fanatiek. Wel kwam hij op het werk enkele malen in conflict met collega’s uit voormalig Oost-Europa.
Ahmed heeft op een gematigd Islamitische basisschool gezeten. Zijn ouders zijn wel praktiserende moslims, maar zijn net als Ahmed niet streng. Hij is ongetrouwd, heeft geen vriendin.
