Zoals vaker benoemd, is effectiviteit een breed begrip dat door een ieder anders kan worden opgevat.
Om een duidelijk beeld te verschaffen betreffende soorten effectiviteit met betrekking tot interventies in de jeugdzorg, wordt in deze paragraaf ingegaan op visies van verschillende auteurs en het
Nederlands jeugdinstituut.
Er is allereerst gekozen voor de bron „Zicht op effectiviteit‟ van Van Yperen en Veerman (2007). Naar onze mening is dit een bron waarin het begrip effectiviteit duidelijk en concreet wordt beschreven.
Deze bron werpt haar blik op het beschrijven van het begrip effectiviteit. Tevens zoekt het haar verdieping in mogelijkheden tot het opstellen van een effectieve interventie. Vervolgens leggen de schrijvers heel duidelijk uit welke soorten effectiviteitonderzoek er mogelijk zijn en hoe deze hun vormen aannemen in de praktijk. Ons inziens is deze bron bruikbaar en relevant voor het theoretische onderzoek.
11 Zicht op effectiviteit, Yperen en Veerman
25
Vervolgens is er gekozen voor de bron NJI (Nederlands Jeugdinstituut)12. Naar onze mening biedt deze bron een overzicht van jeugdinterventies en de effectiviteit hiervan. Het is tevens een bron waarmee eerder in de studie uitvoerig kennis mee is gemaakt. NJI biedt vergelijkbare informatie als welke Van Yperen en Veerman aanbieden in hun boek. Een reden hiertoe is het feit dat Van Yperen werkzaam is bij het NJI.
Naar onze mening is het echter van belang beide bronnen uit te diepen en naast elkaar te leggen, om zo een realistisch beeld te schetsen betreffende de bovenstaande begrippen.
3.3.1 Van Yperen & Veerman
Van Yperen en Veerman (2007) beschrijven in hun boek twee manieren om meer kennis over de effecten van jeugdzorg te verkrijgen. Dit betreft achtereenvolgens top down en Bottom up.
Met top down wordt bedoeld het eerst op kleine schaal experimenteel onderzoeken en daarna op grotere schaal in de praktijk implementeren. “Hierbij gaat het om een methodegestuurde benadering, waarbij de realisering van eisen waar effectiviteitonderzoek aan moet voldoen, voorop staan.” (Van Yperen & Veerman, 2007, p. 13) Dit soort onderzoek draagt bij aan het ontwikkelen van een evidence-based practice.
De tweede manier is beginnen bij wat er is en dat uitbouwen. Het gaat hier om het creëren van een practice-based evidence. Volgens van Yperen en Veerman wordt deze manier nog te weinig benut om wetenschappelijke kennis over effectieve interventies te verkrijgen, terwijl het voordeel is dat deze weg snel is in te slaan.
De hierboven beschreven tweede manier neemt in het handboek van Yperen en Veerman „Zicht op effectiviteit‟, een belangrijke plaats in. Zij spreken over praktijkgestuurd effectonderzoek.
De definitie voor praktijkgestuurd onderzoek die zij ontlenen aan Hermans (1993) geeft de volgende 3 kenmerken voor praktijkgestuurd effectiviteitonderzoek13:
Aansluiting. Onderzoek naar het effect van de interventies moet aansluiten bij het
ontwikkelingsniveau van de interventies. Met ontwikkelingsniveau wordt bedoeld, de mate waarin de te onderzoeken interventie te omschrijven, te onderbouwen en over te dragen is.
Inbedding. Onderzoek naar het effect van interventies moet procedureel worden ingebed in de uitvoering van de interventie. Onderzoeksinstrumenten zouden deel uit moeten maken van het hulpverlenend handelen.
Benutting. Het is de bedoeling dat onderzoek naar het effect van interventies benut wordt. Het onderzoek wordt dan opgenomen in een cyclus gericht op praktijkverbetering.
Van Yperen en Veerman stellen dat deze drie kenmerken gezien kunnen worden als de werkzame principes van praktijkgestuurd effectiviteitonderzoek.
Van Yperen en Veerman (2007) beschrijven in hun boek vier verschillende niveaus van zekerheid met betrekking tot de effectiviteit van een interventie. Hieraan parallel lopen verschillende soorten van effectiviteitonderzoek (zie figuur 3.1) De soorten effectiviteitonderzoek zullen in paragraaf 3.4.
worden behandeld.
Allereerst worden de 4 verschillende niveaus van effectiviteit nader toegelicht.
12 www.nji.nl
13 Van Yperen & Veerman, 2007, p. 11
26
Figuur 3.1 Niveaus van onderzoek in praktijkgestuurd effectiviteitonderzoek voor zicht op effectiviteit.
(Van Yperen & Veerman, 2007, p.13)
Zoals te zien is in figuur 3.1 geeft het model aan hoe men via onderzoek meer te weten kan komen over effectiviteit. Dit figuur toont als het ware een effectlader, waarmee vanuit een toestand van geen of weinig kennis over effecten naar een toestand van ware kennis over effecten geklommen kan worden. Hoe hoger het niveau, hoe meer graden van zekerheid het effectbewijs levert.
Op alle niveaus gaat het over het effect van een bepaalde interventie. Hiermee gaat het om de verzameling gecoördineerde en geplande activiteiten gericht op het bereiken van bepaalde doelen.
Voorbeelden hiervan zijn: methodiek, zorgaanbod, module, behandelvormen en trainingen.
Niveau 1: Potentieel
Op dit niveau gaat het voornamelijk over de specificatie van het product. Hoe meer de inhoud van een interventie de nieuwste inzichten in een vakgebied weerspiegelt, en hoe duidelijker de interventie in een stappenplan of handleiding uitgelegd kan worden, hoe meer potentie hij in zich heeft om effectief te zijn. Begrippen die belangrijk zijn in het opstellen van een interventie, om deze potentieel effectief te maken zijn: het doel, de doelgroep, de aanpak en de randvoorwaarden. Deze potentie is op te vatten als een eerste minimale indicatie voor de effectiviteit van de interventie.
Niveau 2. Veelbelovend
Belangrijk binnen dit niveau is dat men van een interventie aannemelijk kan maken dat deze werkt.
Het gaat om het maken van een interventietheorie, die zowel gebaseerd is op praktijkervaringen als wetenschappelijke bevindingen. Een goede interventietheorie maakt een interventie veelbelovend.
Vragen waar een antwoord op gegeven moet worden zijn: „Hoe wordt door het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep bereikt?‟ en „Welke rol spelen algemene werkzame factoren om de doelen te bereiken en welke specifiek werkzame factoren voegt de interventie hieraan toe?‟
Niveau 3. Doeltreffend
Op dit niveau gaat de nieuwsgierigheid uit naar de empirische gegevens over de elementen van de interventie. Vragen die hierbij centraal staan, zijn: Wordt de interventie uitgevoerd zoals bedoeld?
Worden de gewenste uitkomsten ook behaald en wordt de beoogde doelgroep bereikt? Als het ware wordt de praktijk ingericht als meetlaboratorium. Als vastgesteld kan worden dat de geformuleerde doelen of gewenste veranderingen bereikt zijn, en men bovendien heeft kunnen vaststellen dat de bedoelde interventies ook volgens plan verstrekt zijn aan de beoogde doelgroep, dan is de
bewijsvoering van een effectieve interventie weer een stapje verder gebracht.
27
Niveau 4. Werkzaam
Een interventie is werkzaam als men de causaliteit van een interventie kan aantonen. Causaliteit betekend een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Daarnaast wordt bewezen dat de onderzochte interventie beter is dan geen interventie of een andere interventie. Om dit te kunnen bewijzen is vergelijking met een controlegroep noodzakelijk.
Dit is het meest ideale model effectiviteitonderzoek. Wel is een controle groep vanwege praktische en ethische problemen in praktijkonderzoek vaak lastig te verkrijgen.
Bovenstaande is een opklimmende reeks van mogelijke bewijzen voor effectiviteit van een bepaalde interventie. Het belang van het maken van deze onderscheiding is volgens Van Yperen en Veerman (2007) het besef dat effectiviteit geen “alles of niets” begrip is, maar dat er graden van effectiviteit te onderscheiden zijn die de evidentie steeds overtuigender maken.
“Vanuit een streng wetenschappelijk gezichtspunt geredeneerd is alleen het bereiken van de het vierde stadium, echt effectiviteitbewijs.” (Van Yperen en Veerman, 2007, p.7) Van Yperen en Veerman vinden dit te beperkend en geven in hun inleiding al aan dat veel interventies de komende jaren, misschien nooit op dat punt aankomen. Met praktijkgestuurd effectiviteitonderzoek trachten zij het gat tussen “alles weten” en “niets weten” te dichten.
Tot slot zijn bovengenoemde auteurs van mening dat waar men ook op de effectlader staat, men zonder het te merken bezig is de kwaliteit van de praktijk te verbeteren met behulp van uiteenlopende typen van wetenschappelijk onderzoek.
In de volgende deelparagraaf zal worden weergegeven welke soorten effectiviteit het Nederlands Jeugdinstituut onderscheidt.
3.3.2 Nederlands Jeugdinstituut (NJI)
Het Nederlands Jeugdinstituut is een instituut gesubsidieerd door Ministerie van Volksgezondheid, Welzijn en Sport om kennis te verzamelen, valideren, verrijken en verspreiden.14 De activiteiten worden ondergebracht in het kenniscentrum. Daarnaast worden opdrachten uit derden op het gebied van advisering, implementatie, onderzoek en innovatie uitgevoerd.
Het NJI biedt een overzicht van uitgangspunten en kwaliteitskaders die bij de ontwikkeling van de effectieve praktijk van belang zijn. Het doel hierbij is antwoord te geven op de vraag: Langs welke weg kan effectief werken in de praktijk gestalte krijgen?
NJI maakt allereerst onderscheid in drie verschillende soorten effectiviteit. Dit zijn achtereenvolgens:
in theorie effectief, bewezen effectief en kosteneffectief.
In theorie effectief
Een training is in theorie effectief wanneer het op basis van theorie en onderzoek aannemelijk is dat de training werkzaam is, terwijl dit nog niet voldoende is aangetoond. Met werkzaam wordt bedoeld dat de training aansluit bij de hulpvraag van de cliënt en verbetering te zien is in het gedrag van de cliënt.
Indien een training als „goed‟ beoordeeld wordt, betekend dit dat zij beschikken over een expliciete theoretische onderbouwing. Deze onderbouwing bestaat uit:
Een analyse van mechanismen en de factoren die bij een probleem of risico een rol spelen.
Een aanduiding van de werkzame bestanddelen van de interventie
Vervolgens geeft de theorie aan op welke risico‟s of problemen de interventie gericht is en welke beïnvloedende factoren hierbij een rol spelen. Dit zijn de zogeheten beschermende- en risicofactoren.
De theorie maakt hierbij duidelijk hoe deze factoren het risico of probleem veroorzaken, in stand houden, verzwaren of juist verzachten. Ook wordt er een prognose beschreven in de theorie. Deze luidt als volgt: „Wat zou er gebeuren als er niet wordt ingegrepen?‟
14 www.nji.nl
28
Tot slot wordt gekeken naar de werkzame bestanddelen in theorie. Uit veel onderzoek is gebleken dat het van belang is wanneer een training duidelijke en doelgerichte activiteiten bevat. Deze behoren planmatig te verlopen en sluiten goed aan bij de motivatie en verwachtingen van de cliënt. De trainingen worden uitgevoerd door hiervoor getrainde professionals. Vanuit de theorie moet vervolgens blijken welke specifieke aanpak noodzakelijk is bij de gewenste training.
Bewezen effectief
Een training is bewezen effectief indien dit met onderzoek voldoende is aangetoond. Hierbij wordt voornamelijk aandacht besteed aan empirisch bewezen effecten.
De vaststelling van de normen voor effectiviteit is geen exclusieve aangelegenheid van
wetenschappers. Deels is dit het geval vanwege de zekerheid welke te verkrijgen is middels een wetenschappelijk onderzoek. Echter spelen hierin ook ethische en economische motieven een rol. De ervaring leert dat er geen universele criteria zijn te formuleren voor „bewezen effectiviteit‟.
Ten grondslag aan een onderzoek naar effectiviteit ligt dan ook een expliciete formulering van het begrip „effectiviteit‟.
Kosteneffectief
Aan het begrip „kosteneffectief‟ wordt de volgende betekenis verleend: de verhouding tussen de effecten en de kosten van een interventie.
De kosteneffectiviteit wordt uitgedrukt in het aantal euro‟s dat nodig is om een bepaald effect te bereiken. Hierbij dient rekening gehouden te worden met de kosten en baten van een training.
De hierboven beschreven soorten effectiviteit vertonen veel overeenkomsten met de niveaus
beschreven door Van Yperen en Veerman (2007). De eerste twee niveaus van hun effectladder worden als het ware beschreven in het begrip “in theorie effectief” van het NJI. Onder “Bewezen effectief”
beschrijven zij veel gelijkenissen met de hoogste twee niveaus van Van Yperen en Veerman. Evenals eerdergenoemde auteurs wordt sinds kort de door hen beschreven en toegelichte effectladder door NJI aangereikt. Ons inziens reiken de auteurs Van Yperen en Veerman meer praktische handvatten aan met betrekking tot het effectief maken van een bepaalde interventie. Zij beschrijven puntsgewijs hoe in de praktijk een stap omhoog gezet kan worden op de effectladder. Het NJI daarentegen geeft korte beschrijvingen van definities. Naar onze mening is het NJI een bron welke overkoepelende informatie verstrekt betreffende onder andere het begrip effectiviteit, ontstaan vanuit verschillende bronnen en visies.