Nu de verschillende soorten effectiviteit in de vorige paragraaf beschreven zijn, dient nog in te worden gegaan op de verschillende manieren van onderzoek naar effectiviteit. Ook hierin wordt de theorie van Van Yperen en Veerman (2007) neergezet en wordt daarnaast gekeken naar wat het Nederlands Jeugdinstituut hierover zegt. In deze paragraaf zal tevens een koppeling worden gemaakt met de effectladder die door beide partijen gebruikt en aangereikt wordt.
3.4.1 Van Yperen & Veerman
Van Yperen en Veerman (2007) beschrijven de verschillende soorten onderzoek (in figuur 3.1) parallel lopend aan de vier niveaus. In deze paragraaf zullen de manieren van onderzoek naar effectiviteit worden langsgelopen en toegelicht.
Niveau 1. Potentieel
Om op de effectladder tot potentiële effectiviteit te komen, is onderzoek van descriptieve (beschrijvend) aard van belang. Hierbij valt te denken aan het bestuderen en analyseren van
documenten, het observeren van interventies wanneer deze worden uitgevoerd, of het interviewen van professionals binnen de beroepspraktijk.
29
Niveau 2. Veelbelovend
Onderzoek dat kan helpen de mogelijke effectiviteit van het product aannemelijk te maken, bestaat enerzijds uit het ontsluiten van databestanden van effectieve interventies en daarin werkzame factoren via literatuurstudie en meta-analyse. Anderzijds bestaat deze uit het gericht zijn op de ervaringskennis van behandelaars.
Niveau 3. Doeltreffend & Niveau 4. Werkzaam
De soorten onderzoek zijn bij niveau 3 en 4 niet zo gemakkelijk te scheiden, zoals wel het geval is bij de laagste twee niveaus.
Belangrijk bij niveau 3 is dat empirisch kan worden aangetoond dat de doelen zijn bereikt, problemen zijn afgenomen, competenties zijn toegenomen en cliënten tevreden zijn.
Onderzoek om aan te tonen dat de bedoelde meetinstrumenten volledig zijn ingebed in het hulpverlenend handelen, kunnen de vorm aannemen van:
Het verrichten van voor- en nametingen om verandering op het spoor te komen (veranderingsonderzoek)
Het evalueren van de mate van waarin gestelde doelen worden bereikt (doelrealisatie-onderzoek)
Het vaststellen van de tevredenheid van de geboden hulp (cliënttevredenheidsonderzoek) Om niveau 4 te behalen moet kunnen worden aangetoond dat positieve uitkomsten veroorzaakt worden door de interventie en is er zicht op de werkzame ingrediënten. Experimenteel onderzoek met behulp van een controlegroep is het meest ideale effectonderzoek. Echter is al eerder benoemd dat een controle groep in praktijkonderzoek vaak lastig te verkrijgen is.
Toch zijn er mogelijkheden die benut kunnen worden:
Het benutten van wachtlijsten voor het formeren van een wachtlijstcontrole groep (quasi-experimenteel onderzoek)
Vooraf specificeren van een interventietheorie of normen en via het verzamelen van gegevens nagaan of de theorie klopt en de normen bereikt worden (veranderingstheoretisch en
respectievelijk normgerelateerd onderzoek)
Deze uitkomsten zijn minder hard dan die uit experimenteel onderzoek. Vandaar dat in figuur 3.1 een geleidelijke overgang is gemaakt van niveau 3 en 4.
3.4.2 Nederlands Jeugdinstituut (NJI)
Op de website van het Nederlands Jeugdinstituut wordt er onderscheid gemaakt tussen de
verschillende soorten van effectiviteitonderzoek. In deze paragraaf zullen de verschillende manieren van onderzoek kort worden beschreven. Vervolgens zal er een vergelijking gemaakt worden met de manier van onderzoek die Van Yperen en Veerman in hun boek beschrijven.
Niet-experimenteel kwaliteitsonderzoek
De vraag die centraal staat binnen het niet-experimenteel kwaliteitsonderzoek is: „Wat is de kwaliteit van een interventie?‟ Hierbij wordt geen vergelijking gemaakt met een andere cliënt of groep waarbij geen interventie wordt toegepast. Dit soort onderzoek wordt in de praktijk vaak uitgevoerd.
Niet-experimenteel veranderingsonderzoek
Een bijzondere vorm van kwaliteitsonderzoek wat tevens in de praktijk wordt uitgevoerd is het niet-experimenteel veranderingsonderzoek. Hierbij worden kenmerken van cliënten voor en na de interventie gemeten. Het verschil tussen deze metingen geeft dan een eerste indicatie van de effectiviteit van een interventie.
Binnen het veranderingsonderzoek wordt er gezocht naar een verband tussen de uitkomsten in een groep.
30
Casestudies
Een van de belangrijke kenmerken van een casestudie is dat er maar één onderzoeksobject op
verschillende momenten wordt beschreven. De metingen vinden meerdere malen plaats om het verloop van de verandering goed in kaart te kunnen brengen. De „herhaalde casestudie‟ is een variant waarbij resultaten uit eerdere studies worden getoetst door het onderzoek te herhalen bij nieuwe gevallen. Een
„herhaalde casestudie‟ kan een krachtig bewijs leveren voor de effectiviteit.
Experimenteel onderzoek
Bij het experimenteel onderzoek worden de uitkomsten van een interventie binnen groep vergeleken met een controlegroep. Hierbij kan het gaan om een groep die een andere interventie aangeboden heeft gekregen of een groep zonder interventie. In de praktijk van de hulpverlening wordt zelden een
dergelijk onderzoek uitgevoerd.
Metastudies
Metastudies zetten resultaten uit verschillende onderzoeken op een rij. De uitkomsten worden met verschillende procedures en technieken vergeleken, en factoren die eventuele verschillen kunnen verklaren worden onderzocht. Hiermee wordt duidelijk of een interventie over het algemeen wel of niet effectief is.
Naast het verschillende onderzoek naar effectiviteit, beschrijft NJI een drietal kenmerken van een goed effectiviteitonderzoek15:
Een hoge interne validiteit. Het onderzoek geeft zo zuiver mogelijk het effect van de interventie weer, zonder allerlei storende invloeden.
Een hoge externe validiteit of representativiteit. De onderzoekssituatie is een betrouwbare afspiegeling van de toepassing van de interventie in de praktijk.
Een fallow-up. De effecten worden niet alleen direct na het beëindigen van de interventie gemeten, maar ook in de periode daarna om te zien of de resultaten blijvend zijn.
Het komt zelden voor dat effectstudies aan alle criteria voldoen.
Ook binnen de verschillende soorten van onderzoek zijn overeenkomsten te zien tussen de theorie van Van Yperen en Veerman en de theorie die het Nederlands Jeugdinstituut aanreikt. Beide bronnen geven aan dat experimenteel onderzoek in de praktijk van de hulpverlening tot noch toe weinig wordt uitgevoerd. Een van de redenen hiervoor is het moeilijk verkrijgen van een controlegroep. Tevens beschrijven zij beide het belang van veranderingsonderzoek zonder een vergelijking te maken met een andere interventie. Dit kan een opstap zijn naar een effectiviteitonderzoek naar een hoger niveau.
Zoals in dit hoofdstuk beschreven is effectiviteit geen vaststaand begrip, maar zijn hier gradaties in aan te brengen. Van Yperen en Veerman beschrijven dit in de effectladder. Hierbij kunnen verschillende stappen worden genomen om uiteindelijk een interventie als werkzaam te kunnen betitelen. Om de effectiviteit te kunnen meten zijn veel verschillende manieren van onderzoek beschreven. Vaak komen deze manieren, beschreven door Van Yperen & Veerman en het NJI, overeen maar worden zij anders betiteld. Een voorbeeld hiervan is veranderingsonderzoek. Een reden van deze overeenkomsten kan zijn dat Van Yperen werkt voor het NJI. Wanneer gekeken wordt naar de vraag „Wat maakt een training effectief?‟ kan naar onze mening gezegd worden dat dit een proces betreft welke doorlopen dient te worden. Door stappen te ondernemen welke elkaar opvolgen, zoals in de effectladder zichtbaar gemaakt, wordt een interventie effectiever bevonden. Van Yperen en Veerman geven in hun boek, zicht op effectiviteit, praktische handvatten om een interventie effectief te maken en te behouden. De tweede vraag die in dit hoofdstuk centraal staat luidt: „Welke manieren van effectiviteitonderzoek zijn
15 www.nji.nl
31
er mogelijk?‟. Zowel NJI als van Yperen en Veerman (2007), beschrijven verschillende manieren van onderzoek. Hierin zijn zoals beschreven veel overeenkomsten in te ontdekken. Kijkend naar de bruikbaarheid van deze soorten onderzoek, zal ons inziens het te verrichten onderzoek het meest aansluiting vinden bij het punt „veelbelovend‟ in figuur 3.1. De beschreven manieren van onderzoek zoals literatuurstudie, kennisontlokkend onderzoek en meta-analyse sluiten goed aan bij deze
afstudeeropdracht. De verantwoording van deze keuze tot het te verrichtte onderzoek zal in hoofdstuk 4 beschreven worden. Daarnaast zullen overige keuzes en beslissingen worden toegelicht.
32
4. Onderzoeksverantwoording
Zoals u heeft kunnen lezen, is in het voorgaande hoofdstuk aandacht besteed aan de verschillende gradaties van het begrip effectiviteit. In het laatste deel van het vorige hoofdstuk is kort aandacht besteed aan het soort effectiviteitonderzoek welke relevant is voor deze opdracht. In dit hoofdstuk zullen deze en andere keuzes ten aanzien van het onderzoek worden verantwoord en toegelicht.
Allereerst wordt teruggegrepen naar de beginfase van het onderzoek.
Voorafgaand aan het onderzoek is een plan van aanpak opgesteld, met daarin de stappen welke binnen het onderzoek doorlopen zullen worden. In het plan van aanpak zijn keuzes gemaakt en grenzen gesteld met betrekking tot het onderzoek. Ons inziens is het van groot belang dat deze worden
verantwoord. „Welke onderzoeksmethodes worden gehanteerd en welke keuzes zijn er gemaakt?‟ is de vraag welke centraal staat in dit hoofdstuk. Deze vraag ligt ten grondslag aan de probleemstelling.
Deze luidt als volgt: „Welk trainingsaanbod is er en welke uitbreiding is noodzakelijk naar aanleiding van effectiviteitonderzoek van het bestaande trainingsaanbod oor de doelgroep kinderen en jongeren binnen de setting dagbehandeling en gezinsbegeleiding van Stichting Lindenhof?‟
In de eerste paragraaf zal de nadruk komen te liggen op het inventarisatieonderzoek. Het resultaat van deze inventarisatie is het gebundelde document. Vervolgens zal verantwoording worden afgelegd met betrekking tot het effectiviteitonderzoek. Ook zullen hierin keuzes voor diverse middelen binnen het effectiviteitonderzoek worden verantwoord. Tot slot zullen de keuzes, welke gemaakt zijn binnen de theoretische verantwoording aan de orde komen.
4.1 Inventarisatie
Zoals eerder in de probleemanalyse aan de orde is gesteld, is het voor Stichting Lindenhof van groot belang overzicht te verkrijgen betreffende het bestaande trainingsaanbod. Het ontbreken van dit overzicht leidt ertoe dat er niet optimaal kan worden aangesloten bij de hulpvraag van de cliënt. Ons inziens is dit een belangrijke reden tot inventarisatie van de trainingen per locatie, om zo antwoord te kunnen geven op de vraag tot overzicht van het bestaande trainingsaanbod. Binnen het onderzoek is een enquête opgesteld waarin zowel het inventarisatieonderzoek als het effectiviteitonderzoek aan de orde komt. Wat betreft het onderdeel inventarisatie is gekozen voor een lijst van meest bekende trainingen binnen Stichting Lindenhof. Hierop aansluitend is ruimte opengelaten voor eventuele niet genoemde trainingen. Op deze manier kan worden aangegeven welke trainingen beschikbaar zijn en hoe deze genoemd worden.
De uitkomsten van dit inventarisatieonderzoek zijn gebundeld in een document. Echter zullen in deze theoretische verantwoording 47 trainingen geanalyseerd worden, terwijl er in de bundel 45 trainingen benoemd worden. Dit omdat er enkele trainingen voor een groot deel met elkaar overeenkomen waardoor deze samengenomen zijn. Tijdens het verwerken van de gegevens in de bundel is nogmaals telefonisch contact opgenomen met verschillende locaties. Reden hiertoe is het ontbreken van
verschillende gegevens omtrent de trainingen en beoordelingen. Gezien het feit dat de bundel op de werkvloer gebruikt zal worden, is er voor gekozen deze zo volledig mogelijk af te leveren, waarvoor deze extra handelingen noodzakelijk waren. In de bundel treft u alle beschikbare trainingen aan onderverdeeld per thema. Per training wordt ingegaan op de inhoud en vormgeving, in hoeverre de training effectief is, met welk cijfer het beoordeeld is en op welke locaties deze wordt aangeboden.
4.2 Effectiviteitonderzoek
Parallellopend aan het inventarisatieonderzoek heeft een onderzoek naar de effectiviteit van het bestaande trainingsaanbod plaats gevonden. In hoofdstuk drie van dit theoretisch verslag is aandacht besteed aan de verschillende soorten effectiviteitonderzoek. In deze paragraaf wordt de keuze voor het onderzoek verantwoord, waarbij gebruik gemaakt wordt van de literatuur beschreven in hoofdstuk drie. Zoals eerder genoemd beschrijven Van Yperen en Veerman, parallellopend aan de verschillende soorten effectiviteit, verschillende manieren van onderzoek. De onderzoeken die staan beschreven bij
“doeltreffend” en “veelbelovend” (zie figuur 3.1) komen meer in de richting van universitair niveau.
33
Op basis van het feit dat de uitvoerende studenten een HBO-opleiding afronden, en gezien de beschikbare periode is gekozen voor een combinatie van literatuurstudie en kennisontlokkend onderzoek. Ons inziens sluit deze manier van onderzoek het best aan bij de wensen en vragen vanuit de opdrachtgever. Dit onderzoek kan gezien worden als een opstapje naar verder onderzoek
betreffende de effectiviteit van bepaalde interventies. Tevens is het belangrijk te benoemen dat er gekeken is naar het totale aanbod van trainingen en niet naar een specifieke training. Het kijken naar een specifieke training met behulp van de literatuur van Van Yperen en Veerman zou een
mogelijkheid tot verder onderzoek kunnen zijn.
In de hierop volgende deelparagrafen zullen de verschillende middelen beschreven worden welke gebruikt zijn binnen het effectiviteitonderzoek.
4.2.1 Enquête
Om antwoord te kunnen geven op de vraag in hoeverre het trainingsaanbod effectief is, is een
effectiviteitonderzoek uitgevoerd aan de hand van een enquête. Naar onze mening is in dit onderzoek het gebruik van een enquête het meest effectief. Argumenten hiervoor zijn:
Binnen het onderzoek zijn alle settings dagbehandeling en gezinsbegeleiding van Stichting Lindenhof betrokken.
Door middel van enquête zijn alle medewerkers binnen een setting uitgenodigd mee te werken.
Enquêteren is tijdbesparend ten opzichte van bijvoorbeeld het afnemen van interviews, waardoor effectief gewerkt wordt.
De enquête, welke gebruikt is binnen het onderzoek is opgesteld met behulp van voorbeelden uit het boek Onderzoek met SPSS en Excel (Johan Smits & Ronald Edens, 2006). Gekozen is voor een korte en bondige enquête. Ons inziens is het invullen van de enquête voor derden op deze manier
gemakkelijk en laagdrempelig. Om dit na te streven is er gekozen voor een aantal vragen, welke de vorm aannemen van meerkeuzevragen. Het verwerken en dus het toetsen van de onderzoeksgegevens wordt op deze manier gemakkelijker. Naar onze mening wordt de betrouwbaarheid van resultaten verhoogd naar mate de vragen concreet te beantwoorden zijn.
Door stil te staan bij numerieke variabelen zijn ook enkele open vragen toegevoegd aan de enquête. Bij het analyseren van de antwoorden worden deze vervolgens gesorteerd en genummerd. Door te kijken naar nummers in plaats van woorden, is het mogelijk de verschillende antwoorden te koppelen. Het voordeel van het stellen van open vragen binnen een enquête is dat men naar vrijheid kan antwoorden, zonder hierin gestuurd te worden. Dit laatste is wel het geval bij meerkeuzevragen.
Om een zo groot mogelijke respons te creëren is er voor gekozen de enquête naar iedere locatie dagbehandeling en gezinsbegeleiding te versturen met de vraag deze door zoveel mogelijk
medewerkers te laten invullen. Op deze manier worden zoveel mogelijk medewerkers gevraagd mee te werken aan dit onderzoek. Wanneer gekeken wordt naar de respons op de enquête, wordt erkend dat de verspreiding wellicht op een andere manier aangepakt had kunnen worden. Zo zou naar iedere
medewerker persoonlijk een enquête gestuurd kunnen worden, waardoor iedereen deze in handen krijgt met als mogelijk gevolg dat er meer enquêtes worden teruggestuurd.
4.2.1.1 Kruisverbanden
Binnen het opstellen van de enquête is getracht om kruisverbanden te verwerken. Dit is gedaan door vragen op te stellen welke terug slaan op de voorgaande vraag. Op deze manier kan onderzocht worden welke verbanden gelegd kunnen worden tussen de gegeven antwoorden binnen bijvoorbeeld een bepaald thema. Ons inziens is het een waardevolle aanvulling wanneer in de analyse van de uitkomsten, indien mogelijk, onderscheid gemaakt wordt tussen de setting dagbehandeling en gezinsbegeleiding, om ook hierin een kruisverband te vinden.
34
4.2.1.2 Proces
Alvorens de enquêtes te hebben verstuurd, zijn de locaties dagbehandeling en gezinsbegeleiding zowel telefonisch door de uitvoerende studenten, als door de opdrachtgever ingelicht. Op deze manier was iedereen voorbereid op de enquête die via mail verstuurd zou worden.
Gezien het feit dat de enquêtes niet allen voor afgesproken tijd werden geretourneerd, is telefonisch contact opgenomen met de locaties en gezinsbegeleiders. Dit om erop aan te dringen dat het van groot belang is dat de enquête ingevuld wordt teruggestuurd. Tevens is er veel mailcontact geweest om het proces te versnellen.
4.2.2 Interviews
In het plan van aanpak is de keuze gemaakt interviews te houden met mensen bij wie de enquête een onduidelijk of niet compleet beeld gaf. Uiteindelijk is met één pedagogisch medewerker een
telefonisch gesprek gevoerd, om de door haar ingevulde enquête te verhelderen. Op deze manier zijn de antwoorden van de enquête tijdens het gesprek nader toegelicht en aangevuld, waardoor deze enquête bruikbaar is.
Wel is er sprake geweest van telefonisch contact, waarin nadere toelichting is gevraagd met betrekking tot aangeboden trainingen om de informatie in de bundel zo waarheidsgetrouw te kunnen verwerken.
4.2.3 SPSS
SPSS (Statistical Package for the Social Sciences) is een computerprogramma voor statistische analyse. Met SPSS kan data worden gemaakt, bewerkt en geanalyseerd. Binnen het kader van afstuderen is door de afstudeerbegeleider geadviseerd gebruikt te maken van dit programma. In vergelijking met het voor de studenten herkenbare programma Excel, houdt SPSS in haar verwerking van gegevens rekening met de omgevingsfactoren. Gezien het feit dat de studenten binnen de
opleiding niet zijn opgeleid in het werken met het programma SPSS, is de hulp van derden ingeschakeld. Hieronder volgt kort een beschrijving hoe er met SPSS gewerkt is.
Na het invoeren van de gegevens en het verkrijgen van frequentietabellen en figuren, is gebruik gemaakt van kruistabellen. Hierbij worden twee categorale variabelen tegen elkaar afgezet. De ene variabele wordt in rijen gezet en de andere in kolommen. Elke combinatie van een rij en kolom wordt een cel genoemd. De celfrequentie is het aantal waarnemingen in iedere cel, en geeft aan hoe vaak de combinatie van beide variabelen voorkomt. In het boek: basishandboek SPSS 11 voor Windows (2005), wordt erg duidelijk beschreven hoe je deze kruistabellen het best kunt maken. Er is gekozen om gebruik te maken van dit handboek, omdat de uitvoerder binnen de studie niet zijn opgeleidt in het gebruik van het programma SPSS. Door middel van dit handboek is het mogelijk de tabellen te maken welke nodig zijn om antwoord te kunnen geven op de vragen. In het handboek worden de schermen, welke op de computer naar voren komen afgebeeld. Hierdoor is precies te zien wat waar ingevoerd dient te worden16.