De convergente validiteit van de ARIJ-Veiligheidstaxatie: De overeenkomst tussen
beoordelingen van directe kindveiligheid door expertpanels en met de ARIJ-Veiligheidstaxatie
Masterscriptie Forensische Orthopedagogiek Graduate School of Child Development and Education
Universiteit van Amsterdam N. F. (Nina) den Otter Studentnummer: 11132507 Begeleider: A. (Annemiek) Vial, Msc Tweede beoordelaar: dr. C. E. (Claudia) van der Put
Abstract
The purpose of this study was to investigate the convergent validity of the ARIJ-Safety Assessment instrument. This instrument helps determining immediate child safety in a structured way. The convergent validity was investigated by assessing immediate child safety by comparing focus groups with assessments of immediate child safety by youth protectors through the ARIJ-Safety Assessment instrument. 26 professionals assessed in four of 24 cases immediate child safety. Then they made consensus judgments in seven focus groups, consisting of two to five experienced professionals (focus group-assessments). 63 workers from two child welfare organizations in Amsterdam assessed the same cases using the ARIJ-Safety Assessment instrument (ARIJ-assessments). The comparison between the focus group-assessments and the ARIJ-assessments showed that the ARIJ-assessments more often indicated immediate child risk. This doesn’t conform the convergent validity of the instrument when compared with focus groups. Therefore, it is recommended to be careful with the outcome of the instrument.
Keywords: ARIJ-Safety Assessment, focus groups, convergent validity, immediate child safety, child welfare
Samenvatting
Het doel van deze studie was de convergente validiteit te onderzoeken van de ARIJ-veiligheidstaxatie. Middels de ARIJ-Veiligheidstaxatie kan op een gestructureerde wijze directe kindveiligheid worden beoordeeld. De convergente validiteit werd onderzocht door beoordelingen van directe kindveiligheid door expertpanels te vergelijken met beoordelingen van directe kindveiligheid door jeugdbeschermers middels de ARIJ-Veiligheidstaxatie. 26 professionals beoordeelden voor vier van de 24 praktijkcasussen of sprake was van directe kindonveiligheid, conform hun werkwijze in de praktijk. Vervolgens werden in zeven expertpanels van twee tot vijf professionals consensusoordelen gevormd (expertpanel-beoordelingen). Daarnaast beoordeelden 63 jeugdbeschermers van de Jeugdbescherming Regio Amsterdam en Spirit dezelfde casussen middels de ARIJ-Veiligheidstaxatie (beoordelingen). Uit de vergelijking tussen de expertpanel-beoordelingen en de ARIJ-beoordelingen bleek dat de ARIJ-ARIJ-beoordelingen vaker aangaven dat er sprake was van directe kindonveiligheid. Deze resultaten worden bediscussieerd en er worden aanbevelingen voor het gebruik van de ARIJ-Veiligheidstaxatie in de praktijk gedaan.
Keywords: ARIJ-Veiligheidstaxatie, expertpanels, convergente validiteit, directe kindveiligheid, jeugdbescherming
De convergente validiteit van de veiligheidstaxatie van het Actuarieel Risicotaxatie Instrument voor de Jeugdbescherming (ARIJ)
De toegenomen aandacht voor kindermishandeling in de afgelopen jaren heeft geleid tot een toename in het aantal meldingen van kindermishandeling, maar niet tot een aanzienlijke daling in het aantal slachtoffers, zo luidt de opvallende conclusie van het prevalentieonderzoek naar kindermishandeling (Alink et al., 2013). De afgelopen jaren zijn in de jeugdbeschermingssector naast aanpassingen in beleid, aanpak (i.e. de invoering van de meldcode Kindermishandeling) en wetgeving (i.e. de invoering van de Jeugdwet in 2015), ook ontwikkelingen op het gebied van instrumenten die ingezet kunnen worden om kinderen te beschermen. Valide instrumenten zijn belangrijk voor het inschatten van kindveiligheid. Dit kan bijvoorbeeld door veiligheidstaxatie instrumenten. Echter, er is nog weinig onderzoek gedaan naar dit soort instrumenten (Cuccaro-Alamin, Foust, Vaithianathan, & Putnam-Hornstein, 2017). Een voorbeeld van een veiligheidstaxatie instrument is de veiligheidstaxatie van het Actuarieel Risicotaxatie Instrument voor de Jeugdbescherming (ARIJ; Van der Put, Assink, & Stams, 2015). Ten aanzien van de ARIJ-Veiligheidstaxatie heeft slechts één validiteitsonderzoek plaatsgevonden, namelijk onderzoek naar de inhoudsvaliditeit. In het huidige onderzoek werd een bijdrage geleverd aan het validiteitsbegrip van het instrument door de convergente validiteit van de ARIJ-Veiligheidstaxatie te onderzoeken.
Met de ARIJ kan zowel een veiligheidstaxatie als een risicotaxatie van een situatie van een kind gemaakt worden. De ARIJ-Risicotaxatie geeft een inschatting van mogelijke toekomstige kindonveiligheid. De eerste versie van de ARIJ-Risicotaxatie is in 2015 ontwikkeld en gebaseerd op de Licht Instrument Risico Instrument Kind Veiligheid (LIRIK; Ten Berge & Eijgenraam, 2009; Van der Put et al., 2015). De LIRIK bleek niet beter dan toeval de toekomstige kindveiligheid te voorspellen en moest daarom verbeterd worden. Een manier om dit te doen was er een actuarieel instrument van te maken (Van der Put et al., 2015). Actuariële methoden zijn statistische berekeningen van de samenhang tussen risicofactoren en forensisch
relevante uitkomstmaten (Donker & Bosker, 2018). Bij dit nieuwe risicotaxatie instrument moest ook een nieuw veiligheidstaxatie instrument ontwikkeld worden. Een veiligheidstaxatie instrument ondersteund bij het vaststellen van de veiligheidssituatie van een kind op dit moment, om al dan niet direct te kunnen ingrijpen (Knoke & Trocmé, 2005; Bartelink & Kooijman, 2013). Het ARIJ-Veiligheidstaxatie instrument ondersteund professionals voornamelijk bij het gestructureerd onderscheiden van essentiële informatie (Ten Berge & Bartelink, 2014). Het ARIJ-Veiligheidstaxatie instrument bestaat uit acht items die zijn ontstaan op basis van visies van professionals van de Jeugdbescherming regio Amsterdam (JBRA; Van der Put et al., 2015). Ook kan met de ARIJ een dynamisch risicoprofiel opgesteld worden. Door op deze gestructureerde wijze een overzicht van de huidige veiligheidssituatie en de risicofactoren te creëren kan hulpverlening gericht te werk gaan in haar aanpak tegen kindermishandeling, waarbij eerst gefocust wordt op de directe veiligheid van het kind (Knoke & Trocmé, 2005). Daar de ARIJ-Veiligheidstaxatie de directe kindonveiligheid beoordeeld, is het van belang dat dit begrip helder is voor de gebruiker van het instrument. Onder directe kindonveiligheid wordt in de huidige ARIJ verstaan: ‘het gevaar van fysieke of emotionele schade bij het kind op (zeer) korte termijn. Dit gevaar kan veroorzaakt worden door (nalatigheid van) een verzorger, een ander gezinslid, een familielid, het kind zelf of iemand buiten het gezin. Het is nodig om direct veiligheidsafspraken te maken, zodat het kind (weer) veilig wordt gesteld’ (Vial et al., 2018). Echter, uit literatuur blijkt dat er geen eenduidige overeenstemming is in de definitie van kindonveiligheid (Ten Berge & Bakker, 2005; Alink et al., 2011; Vial et al., 2018). Zo wordt door een organisatie als Veilig Thuis de smalle definitie gehanteerd, waarbij de nadruk op fysiek direct gevaar ligt (Vogtländer, Van Arum, Lünnemann, 2015). In huidige studie wordt logischerwijs de brede definitie van kindonveiligheid van de ARIJ aangehouden.
De ARIJ wordt op dit moment in de praktijk voornamelijk gebruikt door jeugdbeschermers. Zo wordt het instrument gebruikt door JBRA om de directe kindonveiligheid in een lopend zorgtraject opnieuw te evalueren (Vial et al., 2018). De uitkomst van de
ARIJ-Veiligheidstaxatie kan zijn dat er sprake is van directe kindonveiligheid, er meer onderzoek nodig is of dat er geen zorgen over de directe kindveiligheid zijn. In het eerste geval is ten minste één item met ‘ja’ beantwoord en moet het kind direct in veiligheid worden gesteld. Dat kan bijvoorbeeld met behulp van een spoeduithuisplaatsing bewerkstelligd worden (Bartelink, Ten Berge, & Van Vianen, 2017). Ook kan een veiligheidsplan met veiligheidsafspraken gemaakt worden om de veiligheid van een kind te waarborgen, zoals een contactverbod tussen pleger en het kind. Op die manier wordt de situatie gestabiliseerd en kan verder gewerkt worden aan de veiligheid rondom het kind (Knoke & Trocmé).
De ARIJ is op dit moment in doorontwikkeling (Vial et al., 2018). Inmiddels is een tweede versie van de ARIJ ontwikkeld op basis van recent onderzoek. In het huidige onderzoek staat de eerste versie van de ARIJ-Veiligheidstaxatie centraal, omdat deze op dit moment in de praktijk gebruikt wordt. De ARIJ-Veiligheidstaxatie is een gestandaardiseerd instrument. Oftewel, voor elk kind wordt op eenzelfde wijze dezelfde vragen ingevuld. Van Rooijen en Bartelink (2010) zien dat jeugdbeschermers een gestructureerd en objectief besluit kunnen maken in de veiligheidssituatie van het kind, door gebruik te maken van gestandaardiseerde instrumenten. Het is de bedoeling dat gebruik van de ARIJ-Veiligheidstaxatie leidt tot betere inschatting van veiligheidssituaties waardoor kinderen eerder veilig zijn en er minder onnodige uithuisplaatsingen zijn. Zo laat de Inspectie van de Jeugdzorg in haar jaarrapportage van 2014 weten dat waarheidsvinding door jeugdbeschermers in rapportages te kort schiet en dit moet verbeterd worden door bijvoorbeeld het gebruik van gestructureerde instrumenten (Tielen, 2014): “Het niet structureel inschatten en beoordelen van de veiligheid, kan leiden tot het niet tijdig treffen van maatregelen die ervoor zorgen dat de jeugdige in een veilige situatie leeft en opgroeit.” (p. 9). Het is derhalve van belang om geschikte veiligheidstaxatie instrumenten voorhanden te hebben.
Om te bepalen of een instrument geschikt is om in de praktijk te gebruiken, is onderzoek nodig naar de betrouwbaarheid en validiteit van een instrument. Betrouwbaarheidsonderzoek van een instrument is van belang om te bepalen of het instrument betrouwbaar en nauwkeurig meet en de uitkomst niet afhankelijk is van toeval (Van Rooijen & Bartelink, 2010; Field, 2013). De betrouwbaarheid van de eerste versie van de ARIJ-Veiligheidstaxatie is in 2015 onderzocht door JBRA. Dit betrouwbaarheidsonderzoek laat zien dat de percentage overeenstemming tussen beoordelaars per item van de veiligheidstaxatie gemiddeld 81% was (Busscher, Forrer, & Dinkgreve, 2015). Dat betekent dat het instrument in voldoende mate nauwkeurig directe kindonveiligheid meet en dat het in grote mate onafhankelijk is van wie het instrument gebruikt. Ook in 2016 is de interbeoordelaarsbetrouwbaarheid (IBB) van het ARIJ-Veiligheidstaxatie instrument door masterstudente E. van Laan onderzocht. Uit haar masterthesis bleek dat de IBB van de ARIJ-Veiligheidstaxatie goed scoort (Cohens’ Kappa = .72). Dit betekent dat persoonlijke kenmerken, zoals het aantal jaar ervaring, van gebruikers van de ARIJ-veiligheidstaxatie weinig invloed hebben op de uitkomst van het instrument.
Naast de betrouwbaarheid is de validiteit van een instrument van belang. Met de validiteit van een instrument wordt aangegeven in hoeverre dat instrument meet wat het beoogt te meten. Ten aanzien van het ARIJ-Veiligheidstaxatie instrument heeft slechts één validiteitsonderzoek plaatsgevonden. Recent is namelijk de inhoudsvaliditeit van de ARIJ-Veiligheidstaxatie onderzocht door Vial en haar collega’s (2018). Hierin is gekeken of het instrument alle aspecten van directe kindonveiligheid meet. Naar aanleiding van dit onderzoek zijn emotionele mishandeling en de kwetsbaarheid van het kind als belangrijke factoren voor het bepalen van directe kindonveiligheid aan de items van de eerste versie van de ARIJ toegevoegd. Daarnaast is in de veiligheidstaxatie de definitie van directe kindonveiligheid aangepast (Vial et al., 2018). Huidig onderzoek
Het huidige onderzoek draagt bij aan het validiteitsbegrip van het ARIJ-Veiligheidstaxatie instrument door de convergente validiteit te toetsen. Het onderzoek wint aan
belang omdat er op dit moment, geen ander onderzoek beschikbaar is naar de convergente validiteit van het ARIJ-Veiligheidstaxatie instrument. De convergente validiteit is een onderdeel van de begripsvaliditeit van een instrument. De convergente validiteit van een instrument verwijst naar de geldigheid van een uitkomstmaat, in dit geval de directe kindveiligheid, door deze te vergelijken met metingen of beoordelingen van hetzelfde concept via andere methoden (Bryman, 2012). De convergente validiteit verwijst dus naar de mate van overeenkomsten tussen verschillende methoden die in theorie hetzelfde zouden moeten meten (Armstrong & Larocci, 2013).
In onderzoek naar convergente validiteit van instrumenten is het gebruikelijk deze te toetsen aan andere vergelijkbare instrumenten gebruikt die hetzelfde construct pretenderen te meten (Joseph & Lewis, 1996; Armstrong & Larocci, 2013; Cools, De Martelaer, Vandaele, Samaey, & Andries, 2010; Johnson & Fisher, 2018). Deze onderzoeksmethodiek naar de convergente validiteit van instrumenten is alleen mogelijk wanneer een ander vergelijkbaar meetinstrument beschikbaar is. In het geval van het begrip directe kindveiligheid is er geen ander gevalideerd veiligheidstaxatie instrument beschikbaar dat door jeugdbeschermers wordt ingezet. Voor dit onderzoek naar convergente validiteit werden daarom de oordelen van expertpanels gebruikt als toetsingsmethodiek. Er is voor expertpanels gekozen, omdat er een ruime praktijkervaring bestaat rondom het inschatten van directe kindonveiligheid door professionals. De oordelen van de expertpanels en van de individuele professionals op basis van casussen met verschillende kindonveilige situaties werden vergeleken met de oordelen die jeugdbeschermers over dezelfde casussen verkregen met behulp van de ARIJ-Veiligheidstaxatie.
Bij een expertpanel wordt middels een informele, gecontroleerde, discussie onder geselecteerde individuen of professionals specifieke onderwerpen besproken (Beck, Trombetta, & Share, 1986). De interactie binnen een groep wordt als waardevol aspect gezien van het gebruik van expertpanels (Kitzinger, 1995; Barbour & Kitzinger, 1998). Doordat een team van professionals in overleg tot een oordeel komt is dat mogelijk beter dan wanneer zij alleen tot een
oordeel komen (Barbour, 2007). Doorgaans worden in de praktijk ook vaak beslissingen rondom kindveiligheid met een team van professionals besproken (Tielen, 2014). Daarnaast is het uitleggen van nieuwe concepten, deze beter kunnen verstaan, en oplossingen te creëren voor problemen door middel van het gebruik van feedback van een expertpanel een goede manier gebleken (Barbour & Kitzinger, 1998; Smithson, 2000; Skulmoski, Hartman, & Krahn, 2007; Barbour, 2007). Oordelen op basis van expertpanels hebben, naar auteurs mening, in deze context voldoende waarden om als vergelijkend toetsingsinstrument te dienen in dit onderzoek naar convergente validiteit.
Het doel van deze studie is te onderzoeken in hoeverre de beoordelingen van de directe kindveiligheid door expertpanels overeenkomt met de inschatting van de directe kindveiligheid aan de hand van de ARIJ-Veiligheidstaxatie. Het is van belang dit te onderzoeken zodat het instrument voldoet aan validiteitseisen en daarmee bijdraagt aan meer valide beoordelingen van directe kindveiligheid. In huidig onderzoek staat de volgende onderzoeksvraag centraal: ‘In hoeverre komen beoordelingen van de directe kindveiligheid door expertpanels overeen met beoordelingen van de directe kindveiligheid door jeugdbeschermers aan de hand van de ARIJ-Veiligheidstaxatie?’
Methode Steekproef
In het huidige onderzoek zijn beoordelingen van de directe kindveiligheid door expertpanels (hierna: expertpanel-beoordelingen) vergeleken met beoordelingen van de directe kindveiligheid door jeugdzorgmedewerkers aan de hand van de ARIJ-Veiligheidstaxatie (hierna: ARIJ-beoordelingen). Ter verdieping zijn de beoordelingen van de directe kindveiligheid van individuele professionals die deelnamen aan de expertpanels (individuele expert-beoordelingen) vergeleken met de ARIJ-beoordelingen van de directe kindveiligheid. En zijn de individuele expert-beoordelingen vergeleken met de expertpanel-beoordelingen. In totaal werden 24 casussen beoordeeld op directe kindveiligheid.
27 medewerkers van JBRA en 47 medewerkers van Spirit hebben in een eerder onderzoek (Broersma, 2017) de casussen beoordeeld met de ARIJ-Veiligheidstaxatie op directe kindveiligheid. Deze beoordelingen zijn in het huidige onderzoek gebruikt. Deze groep bestond uit acht mannen (12.7%) en 55 vrouwen (87.3%) en hun gemiddelde leeftijd was 39 jaar (SD = 11.18, min = 22, max = 64). Gemiddeld waren zij 11 jaar werkzaam in de jeugdbeschermingssector (SD = 7.16, min = 0, max = 26). Van de JBRA-medewerkers had 62.5% de ARIJ ruim twee jaar gebruikt, de overige medewerkers hadden minimaal een half jaar ervaring met het gebruik van de ARIJ. Van de Spirit medewerkers had 87.2 % de ARIJ 0 tot 5 keer eerder gebruikt. Er waren 11 missende waarden. Dit kon komen doordat deelnemers geen, een ongeldige of extreem hoge score bij leeftijd of geslacht hadden ingevuld.
Ten behoeve van het huidige onderzoek hebben in totaal 26 professionals uit het werkveld van de jeugdbescherming deelgenomen aan zeven expertpanels. In totaal namen vijf mannen en 21 vrouwen deel aan de expertpanels. Per expertpanel namen twee tot vijf professionals deel en de panelleidster. De panelleidster fungeerde tijdens de discussie als moderator, zij greep bijvoorbeeld in wanneer (te veel) afgedwaald werd, gaf aan wanneer richting afronding gediscussieerd moest worden en/of de volgende casus besproken kon worden. Daarnaast had panelleidster van tevoren de individuele beoordelingen van de professionals geanalyseerd, zodat zij wist of en waar de verschillen tussen beoordelingen van hen zaten.
Een overzicht van de verschillende beroepsachtergronden van de experts van de expertpanels is weergegeven in Tabel 1. De gemiddelde leeftijd van deze experts was 41 jaar (SD = 10.29, min = 28, max = 67). Gemiddeld waren zij 16 jaar werkzaam in de jeugdbeschermingssector (SD = 9.51, min = 1.5, max = 40) en beoordeelden zij gemiddeld zeven keer per week de veiligheid van een kind (SD = 8.34, min = 0, max = 35).
De professionals voor de expertpanels zijn gerekruteerd via een oproep om (vrijwillig) deel te nemen aan het expertpanel op de sociale medianetwerken LinkedIn en Facebook. Daarnaast zijn professionals gerekruteerd via een opportunistische steekproeftrekking (Boeije,
2014). Dit wil zeggen dat gebruik is gemaakt van het eigen netwerk van onderzoekers binnen relevante organisaties. Deze bevonden zich veelal in omgeving Amsterdam en omstreken. Het gevolg was dat sommige professionals bij dezelfde organisatie werkten of dat werkgevers ketenpartners van elkaar waren waardoor sommige professionals elkaar al kende. Tevens was het voor deze professionals praktischer om naar de UvA te komen voor het expertpanel, dan voor de experts buiten de randstad.
Tabel 1
Deelnemers expertpanels
Expertpanels Experts Achtergrond
Expertpanel 1 1 man en
4 vrouwen GZ-psycholoog; GW-er, GZ-psycholoog/systeemtherapeut; onderzoeker VT; GZ-psycholoog
Expertpanel 2 1 man en
1 vrouw GW-er; Adviseur kindveiligheid
Expertpanel 3 2 mannen en
2 vrouwen GW-er; GW-er; Jeugdbeschermer, Coördinator gesloten plaatsingen, Stagiaire gedragswetenschapper; Senior onderzoeker
Expertpanel 4 2 vrouwen Docent/trainer Bachelor Pedagogiek, Coaching en advies bij geweld in afhankelijkheidsrelaties; Afdelingsmanager
Expertpanel 5 4 vrouwen Generalist wijkteam; Onderzoeker; Gezinsvoogd Samen Veilig; Jeugdbeschermer
Expertpanel 6 4 vrouwen GW-er; GW-er; Hulpverlener crisisteam; GW-er
Expertpanel 7 1 man en
4 vrouwen Jeugdzorgwerker; Generalist Samen Doen; Ambulant hulpverlener spoedhulp; medewerker ouder-kind team; medewerker Centraal Orgaan Asielzoekers
Note. GZ-psycholoog = gezondheidszorgpsycholoog, GW-er = gedragswetenschapper, VT = Veilig Thuis Instrumenten
Casuïstiek. In totaal zijn 24 geanonimiseerde casussen uit de praktijk aan professionals van beide groepen voorgelegd. Twaalf casussen waren afkomstig van Spirit (afkomstig uit Bartelink et al., 2015) en 12 casussen geschreven door Broersma (2017) aan de hand van gegevens uit dossiers van de JBRA. Bij het schrijven van deze casussen werd gestreefd om situaties zo realistisch mogelijk te beschrijven, is zo min mogelijk aan de dossiertekst aangepast en werd geen fictieve informatie toegevoegd (Broersma, 2017). Er werden achtergrondgegevens van ouders vermeld, zoals wat voor werk zij deden en of er sprake was van psychische problematieken bij ouders en/of het kind. Daarbij werd bij het schrijven rekening gehouden met
variatie in de mate van ernst van het risico op kindonveiligheid (Broersma, 2017). Op deze wijze werd een afspiegeling van de werkelijkheid gecreëerd, zoals professionals ook in hun dagelijkse praktijk een dossier binnen krijgen en moeten beoordelen voor het intakegesprek.
De casuïstiek is op inhoud en realisme beoordeeld door 70 medewerkers van Spirit en JBRA. Aan hen zijn drie stellingen voorgelegd die op basis van een vijfpunt likertschaal zijn gescoord. Stelling 1: ‘De casus past bij wat ik in de praktijk tegen kan komen’, waarbij 1 stond voor ‘helemaal mee eens’ en 5 voor ‘helemaal mee oneens’. Stelling 2: ‘Hoe ernstig is deze casus in vergelijking met de zaken in de praktijk?’, waarbij 1 stond voor ‘veel minder erg’ en 5 voor ‘veel ernstiger’. Stelling 3: ‘Als je voor het eerst een ARIJ invult voor een gezin, heb je dan meestal minder, evenveel, of meer informatie dan gegeven in deze casus?’, waarbij 1 stond voor ‘veel minder informatie’ en 5 voor ‘veel meer informatie’. Als resultaat bleek dat de ondervraagde medewerkers de casuïstiek voldoende herkennen in de praktijk (M = 2.32, SD = 0.77). De ernst van de casuïstiek werd als gelijkwaardig beoordeeld in vergelijking met zaken in de praktijk (M = 2.91, SD = .38). Tot slot werd geen verschil ervaren in de beschikbare informatie tussen die uit de casussen en de informatie in de praktijk bij het invullen van de ARIJ (M = 3.05, SD = .69).
Het ARIJ-Veiligheidstaxatie instrument. De directe kindveiligheid van de situaties in de casussen zijn beoordeeld door jeugdbeschermers van Spirit en JBRA aan de hand van de ARIJ-Veiligheidstaxatie (Broersma, 2017). De ARIJ-ARIJ-Veiligheidstaxatie bevatte acht items. Voorbeelditems waren: ‘Er is sprake van (acute dreiging van) (ernstig) fysiek geweld’, ‘Er is sprake van (acute dreiging van) seksueel misbruik binnen het gezin, door derden, in de vorm van kinderprostitutie (o.a. loverboy) of anderszins’ en ‘Er is sprake van huiselijk geweld bij kinderen jonger dan 4 jaar en kinderen die zichzelf niet in veiligheid kunnen stellen’. De items van de ARIJ-Veiligheidstaxatie konden beantwoord worden met ‘Ja’, ‘Nee’ of ‘Onbekend’. De uitkomst kon zijn: ‘Kind direct veiligstellen’, ‘Geen zorgen over acute veiligheid’, ‘Direct veiligheid
nader in kaart brengen’. Wanneer één van de items werd beantwoord met ‘ja’, was de uitkomst ‘Kind direct veiligstellen’.
Expertpanels. Naast de beoordelingen aan de hand van de ARIJ-Veiligheidstaxatie hebben professionals van de expertpanels de directe kindonveiligheid van de casuïstiek beoordeeld. Voordat deze professionals de casussen beoordeelden hebben zij een aantal achtergrondvragen beantwoord, zoals hun leeftijd en het gemiddelde aantal schattingen van kindonveiligheid die zij per week maakten. Zodat onderzoekers hier tijdens de analyse rekening mee konden houden. De professionals uit de expertpanels hebben hun eigen methodiek gehanteerd bij het beoordelen van de directe kindveiligheid. Dit kon variëren van het Triage instrument dat bij Veilig Thuis gebruikt werd tot de LIRIK en de SAVE-vragenlijst, maar in huidig onderzoek bleek dat keuzes vooral op hun klinische ervaring waren gebaseerd. Zo had geen van de professionals een instrument gebruikt, maar wel de structuur van de instrumenten die zij gewend waren te gebruiken in het achterhoofd gehouden tijdens het beoordelen. Daarnaast gaf een aantal professionals aan in de praktijk een casus altijd met collega’s te bespreken. De individuele professionals uit de expertpanels hebben de casussen beoordeeld met ‘Ja, er is sprake van directe kindonveiligheid’, of ‘Nee, er is geen sprake van directe kindonveiligheid’. Vervolgens zijn zij met het expertpanel tot een consensusoordeel gekomen.
Procedure
De professionals van het expertpanel hebben eerst onafhankelijk van elkaar een oordeel over de onveiligheid van de situatie in de casussen gevormd. De professionals hebben hiervoor hun klinische kennis, wetenschappelijke kennis en eventuele tools of instrumenten die ze gewend zijn te gebruiken in de praktijk, gebruikt. Een dag voor het expertpanel werden de beoordelingen ingeleverd bij de panelleidster, zodat mogelijke verschillen tussen de beoordelingen van de deelnemers en andere bijzonderheden konden worden vastgesteld. Vervolgens zijn in de gezamenlijke expertpanels de oordelen van de professionals met elkaar vergeleken en werd, in
het geval deze van elkaar verschilden, in overleg een nieuw gezamenlijk unaniem oordeel gevormd.
Een panelronde duurde maximaal anderhalf uur (Mminuten = 71.12, min = 57.54, max =
83.59). De bijeenkomsten vonden plaats op de Universiteit van Amsterdam. De panels werden geleid door mevrouw A. Vial, promovenda op dit onderwerp. Er zijn met toestemming van de deelnemers geluidopnames gemaakt van de expertpanels. Tot slot kregen de deelnemers een vergoeding van €125,- voor hun deelname aan het expertpanel en een reiskostenvergoeding. Voor een beschrijving van methodiek van de werving en selectie van de ARIJ-beoordelingen wordt verwezen naar onderzoek van Broersma (2017).
Statistische Analyses
Er werd met een Pearson’s Chi-kwadraattoets gekeken of beoordelingen van de directe kindveiligheid door expertpanels en beoordelingen met de ARIJ-Veiligheidstaxatie van elkaar verschilden. Om de Pearson’s Chi-kwadraattoets te kunnen toepassen moest aan een aantal assumpties werden voldaan. Ten eerste: de variabelen waren nominaal en categorisch gemeten. Ten tweede: niet meer dan 20% van de cellen mocht een verwachte waarde van minder dan vijf hebben. Ten derde: er mochten geen verwachte waarden van nul zijn (Bryman, 2012). Voor het uitvoeren van de Chi-kwadraattoets werd getoetst of aan deze assumpties werd voldaan. Voor de statistische analyses werd gebruik gemaakt van IBM SPSS Statistics Data Editor.
Resultaten
In totaal zijn 28 consensusbeoordelingen van directe kindveiligheid door de zeven expertpanels (hierna: expertpanel-beoordelingen) vergeleken beoordelingen van de directe kindveiligheid door 63 medewerkers van JBRA en Spirit met de ARIJ-Veiligheidstaxatie (hierna: ARIJ-beoordelingen). Ter verdieping van de resultaten zijn de 26 beoordelingen van directe kindveiligheid door individuele experts (hierna: individuele expert-beoordelingen) vergeleken met de ARIJ-beoordelingen. En zijn de expertpanel-beoordelingen van de directe kindveiligheid vergeleken met de individuele expert-beoordelingen. De ARIJ-Veiligheidstaxatie
heeft, zoals eerder beschreven, een antwoordoptie ‘onbekend’. Daar professionals van de expertpanels deze antwoordoptie niet hadden bij het beoordelen van de casussen, is deze antwoordoptie niet getoetst. Voorts werd aan de assumpties voor de Chi-kwadraat toets voldaan, aangezien de data geen verwachtte waarden onder de vijf bevatte.
Allereerst werd een significant verschil gevonden tussen de ARIJ-beoordelingen en de expertpanel-beoordelingen (X²(1) = 7.922, p < 0.05). Dit betekent dat de expertpanels de directe kindveiligheid anders beoordeelden dan de professionals die de directe kindveiligheid beoordeelden aan de hand van het ARIJ-Veiligheidstaxatie instrument. Daarnaast werd een significant verschil gevonden tussen de ARIJ-beoordelingen van directe kindveiligheid en de individuele expert-beoordelingen (X²(1) = 16.22, p < 0.00). Dit betekent dat de directe kindveiligheid door de individuele professionals van de expertpanels anders werd beoordeeld dan door het ARIJ-Veiligheidstaxatie instrument. Tot slot werd geen significant verschil tussen de expertpanel-beoordelingen en de individuele expert-beoordelingen gevonden (X²(1) = 0.96, p < 0.76). Dit betekent dat de meerderheid van de individuele beoordelingen van de directe kindveiligheid van professionals overeenkwamen met de consensusoordelen van de expertpanels.
De verschillen tussen de ARIJ-beoordelingen, de expertpanel-beoordelingen en de individuele expert-beoordelingen zijn in Tabel 2 weergegeven. Allereerst viel op dat met de ARIJ-Veiligheidstaxatie de casussen aanzienlijk vaker als direct kindonveilig werden beoordeeld dan de expertpanels. De expertpanels beoordeelden in iets meer dan de helft (52%) van de casussen de situatie als direct kindonveilig, terwijl bijna 72% van de beoordelingen met de Veiligheidstaxatie de casussen direct kindonveilig beoordeelden. Ook werden met de ARIJ-Veiligheidstaxatie de casussen aanzienlijk vaker direct kindonveilig beoordeeld in vergelijking met de individuele beoordelingen van experts. Tot slot is te zien dat de percentages tussen de expertpanel-beoordelingen en de individuele expert-beoordelingen niet aanzienlijk met elkaar
verschilden. Dit betekent dat het consensusoordeel van de expertpanels overeenkwam met de meerderheid van de individuele beoordelingen van experts.
Tabel 2
Totaal aantal ‘ja, directe kindonveiligheid’ en ‘nee, geen directe kindonveiligheid’ beoordelingen in percentages voor de ARIJ-beoordelingen, de expertpanel-beoordelingen en de individuele expert-beoordelingen
Directe kindonveiligheid beoordelingen ARIJ- beoordelingen Expertpanel- beoordelingen
Expert-Directe kindonveiligheid (ja) 71.65 52 55.83
Geen directe kindonveiligheid (nee) 12.54 48 44.16
Verder onderzoek (onbekend) 15.8 X X
Totaal 100 100 100
Note. De ARIJ-beoordelingen zijn de beoordelingen van de directe kindveiligheid door medewerkers van JBRA en Spirit met de ARIJ-Veiligheidstaxatie. De expert-beoordelingen zijn de individuele beoordelingen van directe kindveiligheid door experts. De expertpanel-beoordelingen zijn de consensusbeoordelingen van directe kindveiligheid door de expertpanels.
In Tabel 3 staat een overzicht van het totaal aantal beoordelingen per casus voor de ARIJ-beoordelingen, de expertpanel-beoordelingen (per panel) en de individuele expert-beoordelingen. Allereerst is gekeken naar de verschillen tussen expertpanels en de individuele beoordelingen van professionals per casus. Bij alle expertpanels is te zien dat de consensusbeoordelingen overeenkwamen met de meerderheid van de individuele beoordelingen van de professionals uit dat expertpanel. Echter, een aantal individuele beoordelingen was gelijk verdeeld. Hierbij viel op dat bij expertpanel vier bij de casussen waarbij de helft van de professionals deze als ‘direct kindonveilig’ (50%) beoordeelde en ‘niet direct kindonveilig’ (50%) beoordeelden, in beide casussen de consensusbeoordeling op ‘niet direct kindonveilig’ uitkwam.
Tevens is gekeken naar de verschillen tussen de expertpanel-beoordelingen en de ARIJ-beoordelingen per casus. Gemiddeld verschilden de expertpanel-ARIJ-beoordelingen 50% met de ARIJ-beoordelingen. Dat betekent dat van de vier casussen die elk expertpanel beoordeeld had, twee consensusbeoordelingen niet overeenkwamen met de ARIJ-beoordelingen. Hierbij was opvallend dat expertpanel vier en vijf de meeste casussen anders beoordeelden. Zij hadden allebei drie van de vier casussen tegenovergesteld beoordeeld als de ARIJ-beoordelingen.
Echter, bij expertpanel vier waren wel individuele overeenkomsten tussen een expert-beoordeling en de ARIJ-expert-beoordeling te zien. Er waren acht ARIJ-expert-beoordelingen over casus 22, waarvan zeven beoordelingen uitkwamen op ‘directe kindonveiligheid’ en één uitkomst op ‘onbekend, verder onderzoek’ (deze is niet meegenomen in Tabel 3). Binnen het expertpanel, dat bestond uit vier experts, waren twee experts voor directe kindonveiligheid en twee voor niet direct kindonveilig. Zij zijn tot een consensus gekomen dat er geen sprake was van directe kindonveiligheid. Twee professionals uit het expertpanel waren het in eerste instantie met de ARIJ-beoordeling eens, echter na overleg met de andere professionals uit het expertpanel zijn zij meegegaan in een consensus dat er geen sprake was van directe kindonveiligheid.
In tegenstelling tot expertpanel vier en vijf, week expertpanel drie met haar consensusbeoordelingen maar op één casus af van de ARIJ-beoordelingen. Hier ging het om casus drie waarvan de uitkomst van ARIJ-Veiligheidstaxatie ook verdeeld was. Namelijk, zeven beoordelingen voor ‘directe kindonveiligheid’, drie voor ‘niet direct kindonveilig’ en drie beoordelingen waren ‘onbekend, verder onderzoek’. In dit expertpanel, dat bestond uit vier experts, beoordeelde één expert deze casus als ‘direct kindonveilig’ en drie experts beoordeelden de casus als ‘niet direct kindonveilig’. Zij zijn, in tegenstelling tot de ARIJ-beoordelingen tot een consensus gekomen om de situatie niet direct kindonveilig te beoordelen. De overige drie consensusbeoordelingen van dit expertpanel kwamen wel overeen met de ARIJ-beoordelingen.
Tabel 3
Totaal aantal ‘ja, directe kindonveiligheid’ en ‘nee, geen directe kindonveiligheid’ beoordelingen per casus voor de ARIJ-beoordelingen, de expertpanel beoordelingen en de expert beoordelingen
Expertpanels Casussen Directe kind-
onveiligheid ARIJ-beoordelingen Expert- beoordelingen Expertpanel- beoordelingen
Expertpanel 1 Casus 13 Ja 9 5 1 Nee 1 0 0 Casus 5 Ja 6 0 0 Nee 3 5 1 Casus 10 Ja 1 0 0 Nee 6 5 1 Casus 21 Ja 10 4 1 Nee 0 1 0 Expertpanel 2 Casus 1 Ja 8 3 1 Nee 4 1 0 Casus 15 Ja 6 3 1 Nee 0 1 0 Casus 8 Ja 14 2 1 Nee 1 2 1 Casus 18 Ja 2 4 1 Nee 0 0 0 Expertpanel 3 Casus 17 Ja 5 4 1 Nee 0 0 0 Casus 3 Ja 7 1 0 Nee 3 3 1 Casus 4 Ja 12 4 1 Nee 1 0 0 Casus 14 Ja 9 4 1 Nee 1 0 0 Expertpanel 4 Casus 22 Ja 7 2 0 Nee 0 2 1 Casus 7 Ja 3 0 0 Nee 6 4 1 Casus 20 Ja 9 2 0 Nee 0 2 1 Casus 9 Ja 12 0 0 Nee 1 4 1 Expertpanel 5 Casus 23 Ja 6 2 0 Nee 2 2 1 Casus 6 Ja 13 4 1 Nee 0 0 0 Casus 16 Ja 6 1 0 Nee 0 3 1 Casus 11 Ja 6 0 0 Nee 3 4 1 Expertpanel 6 Casus 19 Ja 6 4 1 Nee 1 0 0 Casus 2 Ja 0 0 0 Nee 8 4 1 Casus 24 Ja 5 3 1 Nee 5 2 0 Casus 12 Ja 12 4 1 Nee 0 0 0
Note. De ARIJ-beoordelingen zijn de beoordelingen van de directe kindveiligheid door medewerkers van JBRA en Spirit met de
ARIJ-Veiligheidstaxatie. De expert-beoordelingen zijn de individuele beoordelingen van directe kindveiligheid door experts. De expertpanel-beoordelingen zijn de consensusbeoordelingen van directe kindveiligheid door de expertpanels.
Discussie
Het doel van deze studie was de convergente validiteit van het ARIJ-Veiligheidstaxatie instrument te onderzoeken. Het was van belang dit te onderzoeken zodat het instrument kon voldoen aan validiteitseisen en daarmee zou bijdragen aan meer valide beoordelingen van de directe veiligheid van een kind. De convergente validiteit van het ARIJ-Veiligheidstaxatie instrument is onderzocht door expertpanel-beoordelingen van directe kindveiligheid te vergelijken met ARIJ-beoordelingen van de directe kindveiligheid. Uit het huidige onderzoek bleek dat de expertpanel-beoordelingen van de directe kindveiligheid significant verschilden van de ARIJ-beoordelingen. Dit betekent dat expertpanels directe kindveiligheid anders beoordeelden dan jeugdbeschermers die de directe kindveiligheid met behulp van de ARIJ-Veiligheidstaxatie beoordeelden. Zo gaven de ARIJ-beoordelingen vaker aan dat er sprake was van directe kindonveiligheid dan de expertpanels. Ook de individuele expert-beoordelingen verschilden significant met de ARIJ-beoordelingen. Dit betekent dat beoordelingen door jeugdbeschermers aan de hand van het ARIJ-Veiligheidstaxatie instrument vaker aangaven dat er sprake was van directe kindonveiligheid dan de individuele beoordelingen van experts uit de expertpanels. Daarentegen verschilden de expertpanel-beoordelingen van directe kindveiligheid niet significant met de expert-beoordelingen. Dit betekent dat de experts niet veel van oordeel zijn veranderd tijdens het expertpanel, oftewel het consensusoordeel van de expertpanels kwam overeen met de meerderheid van de individuele beoordelingen van experts.
Er zijn verschillende verklaringen voor deze resultaten. Allereerst biedt de onderzoeksmethode een verklaring voor het verschil tussen de expertpanel-beoordelingen en de ARIJ-beoordelingen. Zoals gezegd, was er geen ander gestructureerd instrument voor jeugdbeschermers beschikbaar om de directe kindveiligheid te beoordelen. Hierdoor was het niet mogelijk om de ARIJ-Veiligheidstaxatie te vergelijken met een gelijkwaardig veiligheidstaxatie instrument. Echter, het gevaar van de convergente validiteit te onderzoeken met verschillende onderzoeksmethoden is dat het niet te zeggen is welke van de twee methoden de beste
inschatting maakt, in dit geval, van de directe kindveiligheid (Bryman, 2012). Wanneer de oordelen van het expertpanel en het ARIJ-Veiligheidstaxatie instrument wel overeenkwamen dan kan er gesteld worden dat de directe kindveiligheid door twee verschillende methoden hetzelfde wordt beoordeeld. Dit is gunstig voor beide methoden, omdat hoe hoger de overeenkomsten zijn hoe beter convergent valide de methodes het construct beoordelen (Armstrong & Larocci, 2013). In huidig onderzoek komen de oordelen niet overeen, maar kan niet gesteld worden welke methode een betere inschatting maakt van directe kindveiligheid. Er kan alleen gesteld worden dat er geen samenhang is tussen beide methodes die hetzelfde begrip hebben beoordeeld, waardoor dit ten koste gaat van de convergente validiteit en daardoor spreken de resultaten niet voor het gebruik van de veiligheidstaxatie.
Een andere verklaring voor het resultaat dat de casussen met de ARIJ-Veiligheidstaxatie vaker direct onveilig werden beoordeeld dan de expertpanel-beoordelingen, kan liggen in het feit dat het merendeel van de professionals (58.7%) die de casuïstiek aan de hand van de ARIJ-Veiligheidstaxatie heeft beoordeeld, geen training heeft gehad in het scoren van het instrument. Hoewel deze groep aangeeft gemiddeld 11 jaar ervaring te hebben in de jeugdzorg, had 62.5% de JBRA-medewerkers de ARIJ vanaf het ontstaan van het instrument gebruikt. Dit betekent dat zij ruim twee jaar ervaring hadden met het instrument. De overige medewerkers van de JBRA hadden minimaal een half jaar ervaring met de ARIJ. De meerderheid van de Spirit medewerkers (87.2 %) had de ARIJ 0 tot 5 keer eerder gebruikt. Hierdoor is onduidelijk of het instrument gebruikt werd op de manier waarvoor het bedoeld is. Onderzoek geeft aan dat onderwijs en training in instrumenten cruciale factoren zijn voor de gebruikers hiervan, met name in relatie met het vermogen om beslissingen te nemen (Balen & Masson, 2008). Ook in het onderzoek van Laan (2016) werd geadviseerd om praktijkprofessionals te trainen in het gebruik van de ARIJ. Doordat een meerderheid van de participanten geen voorlichting heeft gehad, en dus minder geïnformeerd was over de werkwijze van de ARIJ, kan dit van invloed zijn geweest op het invullen hiervan. Zo is het mogelijk dat zij zich minder bewust waren van de consequentie van
het invullen van een ‘ja’ op een item, namelijk dat het kind direct veilig gesteld moet worden. Waardoor de ARIJ-beoordelingen mogelijk vaker dan expertpanel-beoordelingen lieten zien dat er sprake was van directe kindonveiligheid.
Het resultaat dat laat zien dat er een verschil in beoordeling van directe kindveiligheid was kan ook te maken hebben met het feit dat er tijdens de expertpanels met verschillende definities werd gewerkt. De professionals in de expertpanels kregen allemaal dezelfde definitie van directe kindonveiligheid. Toch was het tijdens het vormen van de consensusoordelen in de expertpanels opvallend dat deze niet door iedereen gehanteerd werd. Over het algemeen schatten de professionals van Veilig Thuis minder snel de situatie als direct kindonveilig in. Dit kan komen doordat zij wellicht de definitie van directe kindonveiligheid volgens Veilig Thuis (onbewust) hebben toegepast tijdens het beoordelen van de casussen. Echter, deze definitie verschilt wezenlijk van de definitie van de ARIJ-Veiligheidstaxatie, aangezien de definitie van Veilig Thuis vooral gericht is op directe fysieke kindonveiligheid (Vogtländer, Van Arum, Lünnemann, 2015). Terwijl de definitie van de ARIJ-Veiligheidstaxatie een bredere omschrijving van directe kindonveiligheid heeft, waarbij onder andere aandacht is voor emotionele onveiligheid (Vial et al., 2018). Dit verschil kan ertoe geleid hebben dat professionals van Veilig Thuis tot een ander oordeel zijn gekomen dan wanneer alle professionals volgens dezelfde definitie van directe kindonveiligheid de casussen hadden beoordeeld.
In de literatuur wordt het voorkomen van dominante visies van deelnemer van een expertpanel als belangrijke beperking genoemd van het gebruik van expertpanels, omdat deze bepalend kan zijn in het vormen van een consensusoordeel (Smithson, 2000; Barbour, 2007). Smithson (2000) stelt dat deze dominante visies anderen kunnen beïnvloeden waardoor hun visie minder aandacht heeft gehad in het vormen van het consensusoordeel en daardoor een beperking is van het gebruikmaken van expertpanels tijdens het onderzoek. Hoewel de individuele expert-beoordelingen niet significant verschilden van de expertpanel-expert-beoordelingen, zien we in huidige
studie wel terug dat de dominante visie van een professional invloed heeft gehad bij het vormen van een consensusoordeel van de expertpanels. Opvallend is namelijk dat twee expertpanels afwijken van het gemiddeld aantal beoordelingen dat overeenkomt met de ARIJ-beoordelingen. In deze beide groepen zaten ten minste twee gedragswetenschappers van Veilig Thuis in het expertpanel, waar bij andere groepen geen of hoogstens één expert van Veilig Thuis aanwezig was. Opvallend was dat bij deze twee expertpanels de ene helft van de professionals de casus als direct kindonveilig beoordeelde en de andere helft vond dat er geen sprake was van directe kindonveiligheid. Beide panels zijn uiteindelijk, mogelijk mede door overtuigingen van de professionals van Veilig Thuis, tot een consensus gekomen dat er geen sprake was van directe kindonveiligheid, terwijl de ARIJ-beoordeling het tegenovergestelde liet zien.
Naast hierboven genoemde beperkingen waren er ook sterke punten aan het huidige onderzoek. De professionals die deelnamen aan de expertpanels waren ervaren in het inschatten van kindonveiligheid. Door de klinische ervaring van professionals is deze groep beter in staat dan onervaren professionals om kenmerken van directe kindonveiligheid te herkennen, hebben beter inzicht in de problematiek rondom huiselijk geweld, durven dat te erkennen en naar te handelen (Moors & Bervoets, 2013). De ARIJ-Veiligheidstaxatie kan daardoor onervaren professionals helpen overzicht te krijgen in situatie. Onderzoek van Gillingham & Humphreys (2010) geeft aan dat veiligheidstaxatie instrumenten niet de klinische deskundigheid vervangen, maar dat het een goede aanvulling kan zijn op het objectief analyseren van een casus. Daarnaast zijn de professionals binnen een expertpanel samen tot een consensusoordeel gekomen, waardoor dit mogelijk tot een betere inschatting van de kindveiligheid heeft geleid, dan wanneer zij dit alleen op basis van hun eigen kennis en ervaring hadden gedaan (Barbour, 2007). Tot slot levert de huidige studie een belangrijke bijdrage aan validiteitsonderzoek naar veiligheidstaxatie-instrumenten. Voor zover bekend bij de onderzoeker is dit de eerste studie die de convergente validiteit van een veiligheidstaxatie instrument onderzoekt.
Een aanbeveling voor verder onderzoek naar de convergente validiteit van de ARIJ-Veiligheidstaxatie is om de uitkomsten van de ARIJ-ARIJ-Veiligheidstaxatie te vergelijken met het Triage instrument dat gebruikt wordt bij Veilig Thuis om kindveiligheid in te schatten. Op deze manier worden twee gestructureerde beoordelingen met elkaar vergeleken. Echter, is het hierbij wel van belang om in de onderzoeksopzet rekening te houden met de verschillende werkwijzen en definities van kindveiligheid bij jeugdbescherming en Veilig Thuis. Daarnaast zou de convergente validiteit onderzocht kunnen worden door dossiers van jeugdbescherming die niet met de ARIJ-Veiligheidstaxatie (of de LIRIK) zijn beoordeeld, achteraf te beoordelen met de ARIJ-Veiligheidstaxatie. Verschillen en overeenkomsten kunnen dan getoetst worden. Op deze manier wordt voorkomen dat het onderzoek beïnvloed wordt door het gebruik van verschillende definities van directe kindonveiligheid.
Een andere aanbeveling voor verder onderzoek naar de ARIJ-Veiligheidstaxatie is om van de deelnemers van de expertpanels een homogenere groep te maken. Zodat de dominantie van visie van één deelnemer door bijvoorbeeld andere achtergrond, minder invloed heeft (Smithson, 2000). Een homogene groep zou in dit geval een groep ervaren jeugdbeschermers zijn, zodat andere professionals met een andere beroepsachtergronden geen invloed hebben. In het huidig onderzoek is het wegens praktische beperkingen (i.e. doordat organisaties geen tijd en middelen beschikbaar hadden) niet gelukt om homogene groepen te werven. De ARIJ wordt op dit moment vooral in de regio Amsterdam en omstreken gebruikt. Wanneer expertpanels gevormd worden met ervaren jeugdbeschermers uit andere regio’s waar niet met het ARIJ-Veiligheidstaxatie instrument gewerkt wordt, dan kunnen de beoordelingen van deze expertpanels met de ARIJ-beoordelingen vergeleken worden.
Concluderend kan gesteld worden dat de directe kindveiligheid door expertpanels anders wordt beoordeeld dan aan de hand van de ARIJ-Veiligheidstaxatie en dit gaat ten koste van de convergente validiteit van het instrument. De belangrijkste boodschap uit het huidige onderzoek is derhalve om voorzichtig te zijn met het gebruik van de Veiligheidstaxatie. Met de
ARIJ-Veiligheidstaxatie kan op een gestructureerde manier de directe kindveiligheid beoordeeld worden. Dit heeft als voordeel dat er op een objectieve wijze naar een situatie gekeken wordt. De uitkomst van de ARIJ-Veiligheidstaxatie zal echter altijd met collega’s, een team of een supervisor besproken moeten worden, zodat het definitieve oordeel niet alleen op de ARIJ gebaseerd is. Daarnaast is dit de eerste studie voor zover onderzoeker weet die inzicht geeft in de overeenkomst tussen een veiligheidstaxatie instrument en een klinisch oordeel over directe kindveiligheid. Met het belang van de veiligheid van een kind als uitgangspunt is een combinatie tussen de ARIJ-Veiligheidstaxatie en de expertise van en overleg tussen professionals wenselijk, aangezien niet zeker is welke methode de beste inschatting van kindveiligheid maakt.
Referentielijst
Alink, L., Van IJzendoorn, R., Bakermans-Kranenburg, M., Pannebakker, F., Vogels, T., & Euser, S. (2011). Kindermishandeling in Nederland anno 2010: De tweede Nationale Prevalentiestudie Mishandeling van kinderen en jeugdigen (NPM-2010). Leiden, Nederland: Universiteit Leiden/TNO
Alink, L., Pannebakker, F., Euser, S., Bakermans-Kranenburg, M., Vogels, T., & Van IJzendoorn, R. (2013). Kindermishandeling in Nederland Anno 2010. De Tweede Nationale Prevalentiestudie Mishandeling van Kinderen en Jeugdigen (NPM-2010). Tijdschrift Gezondheidswetenschappen, 91, 396-404. doi:10.1007/s12508-013-0137-x Armstrong, K., & Larocci, G. (2013). Brief Report: The Autism Spectrum Quotient has
Convergent Validity with the Social Responsiveness Scale in a High-Functioning Sample. Journal of Autism and Develeopmental disorders, 43(9), 2228-2232. doi:10.1007/s10803-013-1769-z
Baird, C., Wagner, D., Healy, T., Johnson, K. (1999). Risk Assesment in Child Protected Services: Consensus and Actuarial Model Reliability. Child Welfare League of America, 78(6), 723-748.
Balen, R., & Masson, H. (2008). The Victoria Climbie case: Social work education for practice in children and families’ work before and since. Child and Family Social Work, 13(2), 121 – 32. doi:10.1111/j.1365-2206.2007.00525.x
Barbour, R. (2007). Doing Focus Groups. Londen, Verenigd Koninkrijk: Sage.
Barbour, R., & Kitzinger, J. (1998). Developing Focus Group Research. London, Verenigd Koninkrijk: Sage.
Baron-Cohen, S., Wheelwright, S., Skinner, R., Martin, J., & Clubley, E. (2001). The autism-spectrum quotient (AQ): Evidence from Asperger syndrome/high-functioning autism, males and females, scientists and mathematicians. Journal of Autism and
Bartelink, C., & Kooijman, K. (2013). Inschatten van veiligheid en kans op mishandeling: noodzaak, instrumenten en ontwikkelingen. Tijdschrift Gezondheidswetenschappen, 91, 391-393. doi:10.1007/s12508-013-0135-z
Bartelink, C., Ten Berge, I., Van Vianen, R. (2017). Richtlijn Uithuisplaatsing voor jeugdhulp en jeugdbescherming. Utrecht, Nederland: Nederlands Jeugdinstituut.
Beck, L. C., Trombetta, W. L., Share, S. (1986). Using focus group sessions before decisions are made. North Carolina Medical Journal, 47(2), 73.
Boeije, H. (2014). Analyseren in kwalitatief onderzoek denken en doen. Den Haag, Nederland: Boom uitgevers.
Bryman, A. (2012). Social research Methods. New York: Oxford University Press Inc. Busschers, I., Forrer, M., & Dinkgreve, M. (2015). Interbeoordelaarsbetrouwbaarheid
Actuarieel Risicotaxatie Instrument Jeugdbescherming (ARIJ). Amsterdam, Nederland: Jeugdbescherming Regio Amsterdam.
Constantino, J. N., & Gruber, C. P. (2005). Social responsiveness scale. Los Angeles: Western Psychological Services.
Cools, W., De Martelaer, K., Vandaele, B., Samaey, C., & Andries, C. (2010). Assessment of movement skill performance in preschool children: Convergent validity between MOT 4-6 and M-ABC. Journal of Sports Science and Medicine, 9, 597-604.
Cuccaro-Alamin, S., Foust, R., Vaithianathan, R., & Putman-Hornstein, E. (2017). Risk
assessment and decision making in child protective services: Predictive risk modeling in context. Children and Youth Services Review, 79, 291-298.
doi:10.1016/j.childyouth.2017.06.027
Donker, A., & Bosker, J. (2018). Over theoretische kwaliteitscriteria voor risicotaxatie. In J. Bosker (red), Professionele Ankers (pp. 47-53). Utrecht, Nederland: DWS, Lectoraat Werken in Justitieel Kader
Esmeijer, F. J., Veerman, J. W., Van Leeuwen, H. M. P. (1999). Gestructureerde interviews voor DSM-classificatie van psychische stoornissen bij kinderen en jeugdigen. Een overzicht. Tijdschrift voor Psychiatrie, 41(4), 209-218.
Field, A. (2013). Discovering statistics using IBM SPSS statistics (4th ed.). London, Verenigd Koninkrijk: Sage.
Gillingham, P. & Humphreys, C. (2009). Child protection practitioners and decision-making tools: Observations and reflections from the front line. The British Journal of Social Work, 40, 2598-2616. doi:10.1093/bjsw/bcp155
Henderson, S. E., & Sugden, D. A. (1992). Movement assessment battery for children. Londen, Verenigd Koninkrijk: Psychological Corp.
Hindley, P. G., Ramchandani, D. P., & Jones, H. (2006). Risk factors for recurrence of maltreatment: A systematic review. Archives of Diseases in Childhood, 91, 744-752. doi:10.1136/adc.2005.085639
Johnson, R., & Fisher, H. L. (2018). Assesment of the psychometric properties of the Graded Care Profile version 2 (GCP2) tool for measuring child neglect. Child & Family Social Work, 1-9. doi: 10.1111/cfs.12441
Joseph, S., Lewis, C. A., & Olsen, C. (1996). Convergent Validity of the Depression-Happiness Scale with Measures of Depression. Journal of Clinical Psychology, 52(2), 551-554. Kitzinger, J. (1995). Introducing focus groups. Britisch Medical Journal, 311, 299-302. Knoke, D., & Trocmé, N. (2005). Reviewing the Evidence on Assessing Risk for Child Abuse
and Neglect, Brief Treatment and Crisis Intervention, 5(3), 310.
Louwers, E. C., Korfage, I. J., Affourtit, M. J., Ruige, M., Elzen, A. P. Van den Koning, H. J., De, et al. (2014). Accuracy of a screening instrument to identify potential child abuse in emergency departments. Child Abuse Neglect, 38(7), 1275-1281.
McGreal, R., & Joseph, S. (1993). The Depression-Happiness Scale. Psychological Reports,73, 1279-1282.
Moors, H., & Bervoets, E. (2013). Frontlijnwerkers in de veiligheidszorg. Den Haag, Nederland: Boom Lemma uitgevers.
Skulmoski, G. J., Hartman, F. T., Krahn, J. (2007). The Delphi Method for Graduate Research. Journal of Information Technology Education, 6, 1-12.
Smithson, J. (2000). Using and analyzing focus groups: limitations and possibilities. International Journal of Social Research Methodology, 3(2), 103-119. doi:10.1080/136455700405172
Ten Berge, I. J., & Bartelink, C. (2014). Zicht op veiligheid: Veiligheids- en risicotaxatie in de zorg voor jeugd. In P. Goudena, R. De Groot & J. Janssens. (Red.), Orthopedagogiek: State of the Art. Apeldoorn/Antwerpen: Garant.
Ten Berge, I. J., & Eigenraam K. (2009). Licht Instrument Risicotaxatie Kindermishandeling (LIRIK). Utrecht, Nederland: Nederlands Jeugdinstituut
Tielen, G. E. M. (2014). Inspectie Jeugdzorg. Jaarbericht 2014. Gedownload van http://www.inspectiejeugdzorg.nl
Van der Put, C. E., Assink, M., & Stams, G. J. J. M. (2015). Actuarieel Risicotaxatie Instrument voor Jeugdbescherming (ARIJ): Eindrapport. Afdeling Forensische Orthopedagogiek, Universiteit van Amsterdam
Van Rooijen, K., & Bartelink, C. (2010). Gebruik van instrumenten in de praktijk. Utrecht, Nederland: Nederlands Jeugd Instituut.
Vial, A., Van der Put, C. E., Assink, M., & Stams, G. J. J. M. (in press). De doorontwikkeling van de ARIJ-veiligheidstaxatie: Onderzoek naar de inhoudsvaliditeit en bruikbaarheid. Afdeling Forensische Orthopedagogiek, Universiteit van Amsterdam
Vogtländer, L., Van Arum, S., Lünnemann, K. D., Van Eijkern, L., Hummeling, T. (2015). Triage Veilig Thuis. Bij huiselijk geweld, kindermishandeling en seksueel geweld. Nederland: GGD GHOR
Zimmer, R., & Volkamer, M. (1987). Motoriktest für vier- bis sechsjärige Kinder (manual). Weinheim: Betltztest.
