Deze paragraaf gaat in op de sterke kanten en beperkingen van dit onderzoek.
Zeer sterk aan dit onderzoek is dat het was opgebouwd uit verschillende deelstudies, waarmee de besluitvorming op verschillende manieren onder de loep is genomen. De bevindingen op de deelstudies vullen elkaar aan en versterken elkaar. Bovendien is het onderzoek uitgevoerd in verschillende typen organisaties die elk hun eigen rol vervullen in de jeugdsector. Doordat het onderzoek grotendeels in de praktijk is uitgevoerd, geeft het bovendien een realistisch beeld van de dagelijkse praktijk.
87 Een beperking van het onderzoek is dat er geen zuivere experimentele en controlegroep samengesteld kon worden. Het bleek lastig de vraag te beantwoorden in hoeverre het
instrument door de professionals in beide groepen daadwerkelijk wordt gebruikt. De verschillende deelonderzoeken laten tegenstrijdige uitkomsten zien.
Elk van de uitgevoerde deelstudies kent zijn beperkingen. Ten eerste is een belangrijke beperking van het vignetonderzoek het gebruik van vignetten. Vignetonderzoeken zijn een veelgebruikte methode om betrouwbaarheid van beslissingen en diagnoses te onderzoeken (zie bijv. Bartelink et al., 2014; Bartelink et al., 2017; Lekkerkerker, Bartelink & Eijgenraam, 2011; Mezzich, Mezzich, & Coffman, 1985). Hoewel het een veelgebruikte methode is om
interbeoordelaarsbetrouwbaarheid te onderzoek, bestaat er twijfel of vignetten voldoende overeenkomen met de werkelijkheid. Waar professionals normaal gesproken beschikken over mondelinge en non-verbale informatie, naast schriftelijke informatie, hadden ze nu alleen korte schriftelijke informatie. Om de beschikbare informatie in de vignetten zo veel mogelijk conform de werkelijkheid te krijgen, is informatie uit dossiers gebruikt voor het opstellen van de vignetten.
Ten tweede zijn er kanttekeningen te plaatsen bij het inzetten van een expertpanel voor het meten van validiteit. De werkwijze met een onafhankelijk panel in het praktijkonderzoek roept discussie op in de praktijk. Voor zover bekend was in de jeugdhulp niet eerder een onafhankelijk panel ingezet om de validiteit van besluiten te onderzoeken, hoewel vaker voor deze methode wordt gekozen bij onderzoek naar een instrument als er geen valide instrumenten beschikbaar zijn om de uitkomsten van het onderzochte instrument mee te vergelijken (zie Bertens et al., 2013). Er is discussie over de mate waarin deelnemers aan het panel werkelijk experts zijn. De gedragswetenschappers die onderdeel zijn van de teams hadden vaak evenveel ervaring als de leden van het onafhankelijke panel. Een ander zwak punt van het
praktijkonderzoek was dat het onafhankelijk panel alleen beschikte over (summiere) dossiers. Het panel gaf in zijn terugkoppeling regelmatig terug dat het essentiële informatie in de dossiers miste, waardoor het lastig was een zorgvuldig besluit te nemen over de noodzaak van een uithuisplaatsing. Het was wenselijk noch uitvoerbaar om het panel direct in contact te brengen met de betreffende ouders en kinderen. Het was niet wenselijk omdat dit te belastend zou zijn voor gezinnen. Het zou de kosten van het onderzoek ook te veel opdrijven als het panel een of meerdere contacten met het gezin zou hebben alvorens een besluit te nemen. Enerzijds mag verwacht worden dat cliëntdossiers een redelijk beeld geven van de situatie in gezinnen, aangezien dergelijke dossiers regelmatig overgedragen worden aan collega’s of andere
organisaties. Anderzijds werd duidelijk dat de besluitvorming over uithuisplaatsing in de praktijk vaak een proces is waarin met het gezin, collega’s en andere partners gaandeweg tot een besluit wordt gekomen. Het papieren dossier dat door het panel werd gebruikt kon daarin niet volledig zijn.
Ten derde is een duidelijke beperking van de exploratieve studie het kleine aantal geluidsopnames dat gemaakt is, wat voor een eerste verkenning passend is, maar de
generaliseerbaarheid beperkt. Hoewel uit de focusgroepen blijkt dat uitvoerend professionals zich deels herkennen in de resultaten, vraagt het kleine aantal geluidsopnames om enige voorzichtigheid bij het trekken van conclusies. Daarnaast heeft het gebruik van geluidsopnames voordelen en nadelen. Aan de ene kant geeft een geluidsopname een beeld van de praktijk zonder inmenging van een onderzoeker. Aan de andere kant kan het maken van een opname ook het gedrag van de teamleden beïnvloeden en ontbreekt de mogelijkheid om verdiepende vragen te stellen. Bijvoorbeeld om te achterhalen of bepaalde argumenten in eerdere bespreking
88 aan bod zijn gekomen of zo voor de hand liggen dat ze daarom niet besproken worden, terwijl professionals ze in hun hoofd wel meegewogen hebben. Ook ontbreekt non-verbale informatie, wat nog een beter zicht had kunnen opleveren op het verloop van interacties binnen de teams. Toch heeft dit verkennend onderzoek belangrijke inzichten opgeleverd die om verder en
verdiepend onderzoek vragen. Bij vervolgonderzoek zou daarom een groter aantal opnames op verschillende momenten (over verschillende maar ook over dezelfde casussen) gemaakt kunnen worden om de generaliseerbaarheid te vergroten (Baarda et al., 2005).
Tot slot had de zelfrapportage voor de integriteit van de toepassing van de Richtlijn Uithuisplaatsing duidelijke beperkingen. In de eerste plaats is professionals gevraagd de vragenlijst in te vullen voor één casus. Daardoor zijn met name over de mate van gedeelde besluitvorming met kinderen bij veel cases geen gegevens bekend. Daarnaast heeft
zelfrapportage over toegepast gedrag als nadeel dat mensen mogelijk zichzelf overschatten of sociaal wenselijk antwoorden. Dat kan ook een mogelijke verklaring zijn voor het verschil met de bevindingen uit andere deelstudies.