8.2.1 Mate van overeenstemming tussen professionals en stabiliteit van
oordelen
Met het vignetonderzoek is onderzocht in hoeverre de betrouwbaarheid van beslissingen (de interbeoordelaarsbetrouwbaarheid en test-hertestbetrouwbaarheid) genomen met het instrument 'Beslissen over uithuisplaatsing' hoger ligt dan die van beslissingen zonder het instrument. Daarbij zijn vignetten (fictieve gevalsbeschrijvingen) gebruikt die door meerdere professionals zijn beoordeeld.
Gebleken is dat de interbeoordelaarsovereenstemming in beide groepen laag is; bij veel vignetten waren er grote verschillen tussen professionals in het besluit over uithuisplaatsing. Op beide meetmomenten waren deze verschillen zichtbaar. De verschillen tussen professionals in de experimentele groep zijn niet kleiner dan die tussen professionals in de controlegroep. Ook uit eerder onderzoek komt herhaaldelijk naar voren dat er grote verschillen zijn tussen professionals in de besluiten die genomen worden over uithuisplaatsing (Bartelink et al., 2014; Bartelink et al., 2017; D’Andrade et al., 2005).
Wat betreft de test-hertestbetrouwbaarheid blijkt dat professionals na verloop van tijd geregeld een andere beslissing te nemen dan dat zij eerder deden. In een op vier situaties bleken professionals na gemiddeld vijf maanden een ander besluit te nemen dan op het eerste
meetmoment. De experimentele groep verschilde niet van de controlegroep. Er lijkt geen eerder onderzoek te zijn naar de test-hertestbetrouwbaarheid van instrumenten ter ondersteuning van de besluitvorming.
8.2.2 Onderbouwing van beslissingen
De onderbouwing van besluiten die genomen zijn over de vignetten is nader geanalyseerd om inzicht te krijgen in de argumenten die professionals gebruiken voor de beslissingen over uithuisplaatsing. Centraal stond de vraag: Hoe ziet de onderbouwing van besluiten eruit van professionals die met en die zonder het beslisinstrument uit de Richtlijn Uithuisplaatsing werken? Voor elk besluit op een vignet gaven professionals een onderbouwing. Daarvan is aan de hand van een vooraf bepaald codeerschema een analyse gemaakt.
82 Zoals ook in eerder onderzoek is geconstateerd (zie Bartelink e.a., 2018) noemen
professionals over het geheel genomen een brede range aan argumenten, maar onderbouwen ze hun besluit maar met een beperkt aantal argumenten (zie ook Actieplan Verbetering
Feitenonderzoek in de Jeugdbeschermingsketen). Daarbij valt op dat geen van de argumenten heel vaak genoemd wordt (hoogstens 40% en bij de meeste ruimschoots minder). Opvallend weinig genoemd zijn argumenten met betrekking tot de opvoeding en ontwikkeling van het kind. Er lijkt meer aandacht te zijn voor gezinsomstandigheden dan voor de balans tussen de
ontwikkelingsbehoefte van kinderen en opvoedingscapaciteiten van ouders. Hoewel verschillende aspecten van de Richtlijn Uithuisplaatsing in enige mate in de argumentatie zichtbaar zijn, komen de kernoverwegingen niet systematisch en expliciet in de onderbouwing naar voren. De onderbouwing van professionals die wel besluiten tot een uithuisplaatsing en die van professionals die niet besluiten tot een uithuisplaatsing blijken aanzienlijk van elkaar te verschillen. Ook eerder onderzoek liet dat al zien (Bartelink e.a., 2018).
Gekeken naar de stabiliteit in het gebruik van argumenten bij vergelijkbare vignetten op twee meetmomenten constateren we dat professionals niet consequent dezelfde argumenten gebruiken, maar dat ze op de twee momenten juist verschillende argumenten gebruiken.
8.2.3 Mate van overeenstemming tussen uitvoerend professionals en
onafhankelijk panel
Met het praktijkonderzoek is de criteriumvaliditeit onderzocht. Onderzoeksvraag voor deze deelstudie was: Verschillen de beslissingen over uithuisplaatsing van professionals (regulier en met instrument plus ondersteuning) van de beslissingen van een onafhankelijk panel?
Beslissingen van professionals in hun reguliere zaken zijn afgezet tegen de beslissingen door een onafhankelijk panel.
De belangrijkste bevinding uit dit deelonderzoek is dat de beslissingen door professionals en het panel slechts beperkt overeenkomen (kappa = 0,21). Uit deze deelstudie blijkt dat in ongeveer de helft van de zaken het besluit tussen professionals en panel overeenkomt.
Sensitiviteit (overeenstemming over uithuisplaatsen) was 60% en specificiteit (overeenstemming over thuis laten wonen) was 70%. Voor een ingrijpende beslissing als wel/niet uithuisplaatsen zijn de overeenstemming, de sensitiviteit en de specificiteit laag. De sensitiviteit is bij de
experimentele groep iets hoger. Er is geen verschil tussen de twee groepen ten aanzien van de specificiteit en de mate waarin besloten wordt om uit huis te plaatsen.
Voor zover bekend is niet eerder soortgelijk onderzoek gedaan waarin beslissingen door praktijkprofessionals vergeleken werden met een panel. De bevindingen van het
praktijkonderzoek sluiten echter wel aan bij die van het vignetonderzoek: er zijn aanzienlijke verschillen tussen professionals in beslissingen over uithuisplaatsing.
8.2.4 Teambesluitvorming
Om meer inzicht te krijgen in de inhoud en het verloop van teambesluitvorming over zaken waar een uithuisplaatsing overwogen wordt, is in een kleine exploratieve studie verkend hoe de teambesluitvorming eruitziet qua inhoud en proces in teams die met en die zonder het instrument uit de Richtlijn Uithuisplaatsing werken.
83 Bij zes teamoverleggen is gekeken naar de inhoud en het proces van de
teambesluitvorming. Wat betreft de inhoud ligt bij de zes teamoverleggen de focus op gezins- en omgevingsfactoren en op de verwachte uitkomsten (met name voordelen van de voorgestelde interventie). Dit is ook in eerder onderzoek is geconstateerd (Bartelink et al., 2018; Benbenishty et al., 2003). De ontwikkeling van het kind en opvoedingscapaciteiten komen in mindere mate aan bod. De veiligheid van het kind en eventuele mishandeling of verwaarlozing zijn niet expliciet genoemd. Daarnaast is er in de zes teamoverleggen weinig aandacht voor de voor- en nadelen van een uithuisplaatsing en de nadelen van ambulante interventies. De Richtlijn Uithuisplaatsing kwam niet expliciet naar voren in de teambesprekingen, hoewel inhoudelijke gerelateerde wel werden genoemd.
Wat betreft het verloop van de zes teambesprekingen is het meest opvallend dat slechts een beperkt aantal deelnemers aan het woord kwam. De rol van de gedragswetenschapper of teamcoach was prominent. Daarnaast werd in niet alle teambesprekingen een helder besluit genomen. Er was weinig zichtbaar van het bespreken van voors en tegens van verschillende opties voor het vervolg. Vergelijkbare bevindingen zijn ook in eerder onderzoek gedaan (Benbenishty et al., 2003; Mannion & Thompson, 2014; Van den Bossche, Gijselaers, Segers & Kirschner, 2006). De bevindingen van deze verkenning sluiten aan bij de analyse van de geschreven onderbouwing van besluiten in het vignetonderzoek.
In een aantal teams wordt inmiddels gewerkt met een gestructureerde methodiek om casuïstiek te bespreken. Professionals ervaren dit als ondersteunend voor een zorgvuldige en gestructureerde besluitvorming.
Er is meer onderzoek nodig om na te gaan of de uitkomsten van deze verkenning representatief zijn voor teambesluitvorming in de dagelijkse praktijk.
8.2.5 Integriteit van gebruik van het instrument
Het instrument ‘Beslissen over uithuisplaatsen’ is onderdeel van de Richtlijn Uithuisplaatsing, die voor elke instelling vrij beschikbaar en te gebruiken is. In dit onderzoek was een zuivere
controlegroep daardoor niet mogelijk. Het is te verwachten dat alle professionals, ook in de controlegroep, in meer of mindere mate kennis hebben over de Richtlijn Uithuisplaatsing. Op verschillende manier is in dit onderzoek gekeken of en hoe professionals in beide groepen de Richtlijn Uithuisplaatsing en het instrument 'Beslissen over uithuisplaatsing' gebruiken, namelijk door zelfrapportage, analyse van de onderbouwing van besluiten en een klein verkennend onderzoek naar teambesluitvorming.
Kijkend naar de toepassing van de Richtlijn Uithuisplaatsing en het instrument 'Beslissen over uithuisplaatsing' komen er tegenstrijdige bevindingen uit deze deelstudies naar voren. De zelfrapportage wijst op een hoge mate van handelen conform het instrument en de richtlijn. Tegelijkertijd geeft slechts een klein aantal professionals expliciet aan dat zij het instrument als hulpmiddel hebben ingezet bij hun besluit. Ook de analyses van de onderbouwing geven een ander beeld. Deze deelstudie laat zien dat kernelementen juist vaak ontbreken, zoals de
veiligheid en ontwikkeling van het kind en opvoedingscapaciteiten van ouders. De verkenning van de teambesluitvorming lijkt in dezelfde richting te wijzen. Ook op basis van de focusgroepen ontstaat de indruk dat het instrument uithuisplaatsing weinig systematisch wordt ingezet. Het verschil tussen de bevindingen uit de zelfrapportage en de andere deelstudies roept vragen op
84 over de mate waarin en de manier waarop het instrument daadwerkelijk is gebruikt door
professionals in de experimentele groep.
8.2.6 Verschillen tussen experimentele en controlegroep
Het doel van het onderzoek is na te gaan in hoeverre professionals die werken met het
instrument 'Beslissen over uithuisplaatsing' anders beslissen dan professionals die dat niet doen. Concluderend blijkt dat er weinig verschillen zijn tussen beide groepen.
De overeenstemming tussen professionals in de experimentele groep was vrijwel gelijk aan die tussen professionals in de controlegroep, zo blijkt uit het vignetonderzoek. Ook de argumentatie van professionals in de experimentele groep en in de controlegroep leek sterk op elkaar: in beide ontbraken structureel kernelementen van het instrument in de onderbouwing en werden argumenten na verloop van tijd niet consequent gebruikt.
In het praktijkonderzoek bleek de overstemming tussen de experimentele groep en het panel iets hoger te liggen dan die tussen de controlegroep en het panel, maar het verschil is niet significant. In de experimentele groep is de overeenstemming over zaken waarin besloten is om het kind uit huis te plaatsen (sensitiviteit) hoger dan in de controlegroep. De overeenstemming over casussen waarin besloten is om het kind niet uit huis te plaatsen (specificiteit) is
vergelijkbaar in de controle- en de experimentele groep.
Daarnaast is in het praktijkonderzoek onderzocht of professionals in de experimentele groep even vaak tot een uithuisplaatsing overgaan als professionals in de controlegroep. Hypothese hierbij was dat het beslisinstrument bijdraagt aan het overwegen van alternatieven voor uithuisplaatsing, alvorens te besluiten tot een uithuisplaatsing. De controle- en de
experimentele groep blijken even vaak tot een uithuisplaatsing te beslissen.
Uit de zelfrapportage blijkt dat professionals uit de experimentele en de controlegroep in vergelijkbare mate handelingen rapporteren conform de elementen uit de Richtlijn
Uithuisplaatsing. Dit lijkt erop te wijzen dat in het praktijkonderzoek de professionals uit de controlegroep bij de besluitvorming niet anders hebben gehandeld dan die uit de experimentele groep.