De dataverzamelingsmatrix (zie bijlage 1) vormt het kader op basis waarvan het onderzoek is opgezet. De hoofdonderzoeksvragen geven richting aan de vraag waar we de data hebben verzameld en op welke wijze dat is gebeurd. In dit hoofdstuk worden de zes hoofdonderzoeksvragen stuk voor stuk
toegelicht.
3.2 Onderzoeksvragen 1 en 2
In hoeverre zijn de deelnemers aan de training PGE tevreden over de training? (niveau 1)
In hoeverre zijn de leerdoelen van de training PGE bereikt? (niveau 2)
Bronnen, onderzoeksgroep en methode
Om onderzoeksvraag 1 en 2 te kunnen beantwoorden, hebben we gebruik gemaakt van de data die al zijn verzameld door het bureau RadarAdvies; dit zijn de gegevens uit de evaluatieformulieren die na afloop van de trainingen zijn ingevuld door de deelnemers en de evaluatiememo’s die het bureau op basis daarvan heeft gemaakt.
Werving/selectie
Als populatie van cursisten beschouwen we de tweede lichting cursisten. Dit zijn cursisten die aan de tweede reeks trainingen hebben deelgenomen (periode oktober – december 2012). Zij hebben immers de meest recent bijgestelde vorm van de training doorlopen. De omvang van die populatie zou idealiter ongeveer 39 trainingsgroepen bedragen maal gemiddeld 15 cursisten per groep en dat betekent 585 cursisten. Daarnaast was het idee alle cursisten
20
uit de training ‘train-de-trainer’ te betrekken; dat waren er totaal 31. Deze aantallen zouden het mogelijk maken beide populaties geheel te betrekken (N=616; tweede lichting en train-de-trainer); een steekproef zou niet aan de orde zijn.
De feitelijke onderzoeksgroep is echter minder groot gebleken dan verwacht; niet alle evaluatieformulieren waren beschikbaar, noch de evaluatieformulieren van de train-de-trainer-groepen. Uiteindelijk zijn 159 evaluatieformulieren in het onderzoek betrokken.
Instrumentarium
Voor beantwoording van onderzoeksvragen 1 en 2 is geen nieuw
instrumentarium ontwikkeld, omdat we gebruik hebben gemaakt van de data die zijn verzameld met het evaluatieformulier van RadarAdvies. De algemene regel is dat evaluatiegegevens op niveau 1 (het reactieniveau) en niveau 2 (het bereiken van de leerdoelen) idealiter direct na afloop van een training worden verzameld. Gebeurt dat later, dan is de kans groot dat andere zaken dan de trainingsinterventie het oordeel van de respondent beïnvloeden. Hoewel het dan niet opportuun is in een later stadium aanvullende informatie te verzamelen over evaluatieniveau 1 en 2, hebben we toch enige aanvullende informatie verzameld met drie korte vragen. De reden daartoe is dat in het evaluatieformulier van RadarAdvies geen vraag gedaan wordt naar de beroepsgroep waartoe de cursist behoort. De onderzoeksresultaten op deze evaluatieniveaus konden zo worden uitgesplitst naar begroepsgroep.
Verwerking en analyse
De gegevens zijn ingevoerd in en geanalyseerd met behulp van SPSS. De data betreffen door het veelal gesloten antwoordkarakter van de vragen
voornamelijk kwantitatieve data; de analyse is gericht op het berekenen van frequenties, gemiddelden en percentages.
De vragenlijstgegevens zijn anoniem en zijn daardoor geen persoonsgegevens; er hoefde daarom geen toestemming aan de respondenten gevraagd voor deze secundaire analyse.
Opbrengst
Het WODC signaleert omissies in de training en plaatst methodologische kanttekeningen bij het evaluatieformulier dat door RadarAdvies is gebruikt.
21 Doordat de stellingen uit het evaluatieformulier van RadarAdvies positief
zijn geformuleerd, induceren ze makkelijk een sociale wenselijkheids-bias.
In de evaluatieformulieren zijn geen kenmerken van de cursist gevraagd, zoals waar hij/zij werkt (waarschijnlijk met oog op de anonimiteit). Hierdoor kunnen de resultaten niet worden uitgesplitst naar bijvoorbeeld beroepsgroep of functie.
RadarAdvies heeft op twee momenten een evaluatiememo met betrekking tot de training opgesteld, Deze zijn gebaseerd op eigen indrukken en de evaluatieformulieren die na elke training zijn afgenomen. Een analyse van de formulieren ontbreekt evenwel in deze documenten.
Aan de hand van de deelnemerslijsten is het aantal deelnemers gereconstrueerd.
Uitspraken van de respondentengroep over de acceptatie van de training (niveau 1) en het bereiken van de leerdoelen (niveau 2) die ontleend zijn aan de gegevens uit de evalautieformulieren van RadarAdvies moeten bezien worden in het licht van genoemde beperkingen.
3.3 Onderzoeksvragen 3a en 4
3a. In hoeverre wordt de geleerde kennis en kunde toegepast in het dagelijks werk van de voormalige deelnemers? (niveau 3).
4. In hoeverre werkt de training PGE door in een team of organisatie/ instelling van de voormalige deelnemers? (niveau 4).
Bronnen, onderzoeksgroep
De hoofdonderzoeksvragen 3a en 4 gaan respectievelijk in op evaluatie op het niveau van het werkgedrag (cursist en cursist train-de-trainer) en op het organisatieniveau.
Er zijn door het Bureau RadarAdvies geen data verzameld op het niveau van het werkgedrag, noch over de doorwerking van het geleerde in een team of een organisatie/instelling van de voormalige cursisten.
Dat is ook logisch omdat dergelijke evaluatiegegevens pas verzameld kunnen worden na enige tijd. De tweede reeks trainingen is afgerond in december 2012. Voor verzameling van data over niveau 3 en 4 was het najaar van 2013 een redelijk goed moment.
22
We hebben daarom data verzameld bij de voormalige cursisten en voor zover van toepassing hebben we de evaluatiememo’s benut, ook al zijn die kort na de training opgesteld.
Steekproef en werving
Voor beantwoording van onderzoeksvragen 3a en 4 hebben we een a-selecte steekproef getrokken uit de groep cursisten (cursist en cursist train-de-trainer) die hebben deelgenomen aan de tweede reeks trainingen. Dit is gedaan omdat we nieuwe data hebben moeten verzamelen; onderzoek bij de gehele populatie cursisten was niet haalbaar en ook niet noodzakelijk. De steekproef is
getrokken uit de deelnemerslijsten en ingeperkt tot cursisten van wie een mailadres beschikbaar was; de voormalige cursisten zijn benaderd via hun e-mailadres zoals vermeld op de deelnemerslijsten.
De steekproef diende daarnaast als groep die vergeleken wordt met de groep niet-cursisten. We beschrijven de steekproeftrekking voor beide groepen (cursisten en niet-cursisten) uitgebreid bij onderzoeksvraag 3b (zie hierna).
Instrumentarium
We hebben een elektronische vragenlijst ontwikkeld waarmee data zijn verzameld over het werkgedrag en de doorwerking ervan in de instelling van de voormalige cursisten (resp. evaluatieniveau 3 en 4) (zie bijlage 5). Als input voor de constructie van de vragenlijst gebruiken we onder meer de
onderzoeksvragen die het WODC stelt en die betrekking hebben op deze evaluatieniveaus, zoals de vraag: zijn de opgedane kennis/vaardigheden in de bijeenkomsten gebruikt in de eigen organisatie? (zie bijlage 2 voor de
onderzoeksvragen van het WODC). Maar de kern van de vragenlijst voor evaluatie op deze twee niveaus vormen de zogenoemde vignetten (zie hierna onderzoeksvraag 3b).
De elektronische vragenlijst omvatte zoveel mogelijk gesloten vragen, maar een deel was open.
Verwerking en analyse
De data zijn hoofdzakelijk kwantitatief van aard en deels kwalitatief. De gegevens zijn ingevoerd in en geanalyseerd met behulp van SPSS. De analyse is gericht op het berekenen van voornamelijk frequenties, gemiddelden en percentages.
23
De kwalitatieve data die zijn verkregen uit de open antwoorden zijn voor zover nodig systematisch verwerkt in zogenoemde descriptive matrices, conform de richtlijnen voor kwalitatieve analyse van Miles & Huberman (1994). Waar nodig zijn de kwalitatieve data gekwantificeerd.
Opbrengst
De opbrengst van dit deel van het onderzoek is een precieze uitspraak in hoeverre beide voormalige cursistengroepen (cursist en train-de-trainer) de cursusinhoud in hun dagelijks werk hebben toegepast en in hoeverre sprake is van doorwerking ervan in de eigen organisatie.
3.4 Onderzoeksvraag 3b
3b. In hoeverre verschillen deelnemers en niet-deelnemers in het kunnen signaleren, kwalificeren en handelen met betrekking tot PGE’s? (niveau 3)
Bronnen
In onderzoeksvraag 3b vindt een vergelijking plaats tussen het werkgedrag van de voormalige cursist en het werkgedrag van degenen die niet aan de training hebben deel genomen (de niet-cursisten, i.e., personen die op de wachtlijst voor een cursus staan). Bij beide groepen zijn data verzameld over het werkgedrag (niveau 3); we hebben dat gedaan door hen zogenoemde vignetten voor te leggen. Een vignetten is een korte beschrijving van een persoon of situatie. We gaan in op wat deze vignetmethode behelst.
Methode en instrumentarium
Leerdoel van de training is dat de cursist beter dan voorheen in staat is om potentieel gewelddadige eenlingen te signaleren en beter weet hoe hij in dat geval zou moeten handelen. Om de resultaten van de training na te gaan, is gebruik gemaakt van de vignetmethode (Veenma, Batenburg & Breedveld, 2004). Deze methode is al eerder ingezet om het vermogen tot signaleren van psychologische problematiek bij twee groepen professionals te onderzoeken (Noort, Braam, Van Gool, Verhagen, Beekman, 2012). De vignetmethode leent zich ertoe om een complexe beoordelingstaak terug te brengen tot een
overzichtelijke situatie en in een systematisch gevarieerde vorm voor te leggen. Daarmee hebben vignetten het voordeel dat ze, vergeleken met experimentele onderzoekscondities, een grote experimentele variatie in stimulusmateriaal
24
behelzen, terwijl ze vergeleken met vragenlijsten waarin gevraagd zou worden naar de onderliggende dimensies, minder ontvankelijk zijn voor
antwoordtendenties. Daar staat tegenover dat de ecologische validiteit te wensen kan overlaten doordat het hypothetische casussen betreft, voortkomend uit systematische variatie in waarden op relevant geachte onderliggende factoren of dimensies. De vignetten van eventuele PGE’s werden gebaseerd op enkele onafhankelijke factoren waarop een beperkt aantal waarden zijn onderscheiden. Om vignetten van PGE’s te kunnen construeren was het nodig om op basis van literatuurstudie en expertkennis relevante factoren en waarden op die factoren te identificeren. In hoofdstuk 4 gaan we uitgebreid in op de constructie van de vignetten.
In de vorm van vignetten zijn fictieve casussen aan zowel de voormalige cursisten als aan degenen die niet aan een training konden deelnemen
(controlegroep) ter beoordeling voorgelegd. In de vorm van een keuze geeft de respondent aan of betreffende casus wel of niet signalering verdient en zo ja, welke van een aantal mogelijke handelingen aan de orde zouden zijn. De vignetten zijn geïntegreerd in de elektronische vragenlijst en voorgelegd aan zowel cursisten als aan de controlegroep van niet-cursisten.
Steekproeven voor de vergelijking tussen cursisten en niet – cursisten
Om cursisten en niet-cursisten te vergelijken zijn twee aselecte steekproeven getrokken. De eerste steekproef (cursisten) is uit de deelnemerslijst getrokken, de tweede steekproef (niet-cursisten) uit de wachtlijst. Er is vooraf berekend hoe groot deze steekproeven moesten zijn, als we een verschil van een bepaalde grootte tussen cursisten en niet-cursisten op de effectvariabele in de populaties willen kunnen vaststellen. Het verschil tussen beide groepen wordt geanalyseerd met behulp van t-toetsen. De overschrijdingskans van de in de steekproef gevonden waarde van deze statistische toets geeft aan welke kans er is dat het gevonden verschil op toeval berust. Is die kans kleiner dan 5%, dan neemt men in de sociale wetenschappen meestal aan, dat het verschil ook in de populatie bestaat; het effect is statistisch significant. Er bestaat echter ook een kans dat er een effect in de populatie bestaat, dat niet in de steekproef wordt teruggevonden. Dan wordt de nulhypothese – dat er tussen beide groepen geen verschil zou bestaan - ten onrechte geaccepteerd. Dit wordt ook wel een fout van de tweede soort genoemd. De kans op die fout is groter, naarmate de steekproef kleiner is. Gegeven een hypothetisch effect in de populatie in
25
termen van het verschil in standaardafwijking (effectgrootte d, Cohen, 1988), overschrijdingskans α en de grootte van de kans op een fout van de tweede soort β kan de gewenste steekproefgrootte worden berekend. De volgende tabel geeft de benodigde steekproefgroottes bij een α van .05 en een power (1- β) van .80 bij verschillende waarden van d.
Tabel 3.1 Steekproefgroottes bij een α van .05 en een power (1- β) van .80
d N cursisten N niet- cursisten
.20 310 310
.30 139 139
.40 78 78
.50 51 51
.80 21 21
De reden waarom de fout van de tweede soort niet net zoals α op .05 maar op .20 wordt gesteld is pragmatisch; bij een kleinere β lopen de gewenste steekproefgroottes al snel nog hoger op. Voor het kunnen detecteren van een klein effect (.20) zijn de benodigde steekproeven erg groot. Voor het kunnen vaststellen van een middelmatig (.50) of groot effect (.80) hoeven de
steekproeven helemaal niet zo groot te zijn. Het lijkt ons echter nauwelijks plausibel dat er sprake is van een middelmatig of groot effect, omdat de cursus slechts een dag duurt. De beste keuze lijkt de steekproefgrootte te zijn,
behorend bij een hypothetische effectgrootte van .30. In verband met non-respons zullen in beide groepen (cursisten en niet-cursisten) 278 personen worden benaderd voor deelname aan het vragenlijstonderzoek.
Opbrengst
Door een vergelijking te maken tussen de voormalige cursisten en de niet-cursisten is zicht verworven op de mate waarin het geleerde kan worden of is toegepast in het dagelijks werk van de voormalige cursist en of daarmee transfer naar de werksituatie heeft plaatsgevonden. De veronderstelling daarbij is dat voormalige cursisten PGE’s beter herkennen en beter weten te handelen, dan niet-cursisten. Uitgangspunt bij het laatste is dat cursisten over een uitgebreider handelingsrepertoire beschikken dan niet-cursisten.
26
3.5 Onderzoeksvragen 5a, 5b, en 5c
5a. Op welke punten is verbetering van de training PGE wenselijk?
5b. In hoeverre is de training PGE intern consistent, dat wil zeggen: waar in de opleidingscyclus zitten zwakke plekken en waar is verbetering mogelijk? 5c. In hoeverre is de training PGE extern consistent (homogeen), dat wil zeggen:
waar zitten zwakke plekken en waar is verbetering mogelijk als het gaat om opvattingen over de doelen en het bereiken ervan?
Bronnen en methode
Voor beantwoording van onderzoeksvraag 5a, 5b,5c zijn data vezameld door middel van een interview bij de ontwikkelaars/docenten van de training van het bureau RadarAdvies. Voor zover relevant voor deze twee onderzoeksvragen is ook gebruik gemaakt van gegevens afkomstig uit hun evaluatieformulieren en evaluatiememo’s.
Instrumentarium
Voor het interview is een interviewtopiclijst ontwikkeld die als leidraad heeft gediend in het gesprek met de ontwikkelaars/docenten bij het achterhalen van knelpunten en verbetersuggesties (zie bijlage 7 topiclijst).
Selectie
De interviews zijn gehouden met de twee docenten van RadarAdvies; het gaat om individuele gesprekken.
Verwerking en analyse
De data-analyse is voornamelijk kwalitatief van aard en verloopt aan de hand van de stappen uit de opleidingscyclus.
Opbrengst
Er is zicht verworven op knelpunten die de interne en externe consistentie van de training mogelijk hebben belemmerd en die bij herhaalde training wederom zouden kunnen belemmeren. Knelpunten hebben aanwijzingen opgeleverd voor verbetering van de training.
27
3.6 Onderzoeksvraag 6