• No results found

Goed gedaan! : een korte opvoedingsinterventie, gericht op het geven van complimenten en het additief stellen van doelen door ouders voor het verminderen van externaliserend kindgedrag

N/A
N/A
Protected

Academic year: 2021

Share "Goed gedaan! : een korte opvoedingsinterventie, gericht op het geven van complimenten en het additief stellen van doelen door ouders voor het verminderen van externaliserend kindgedrag"

Copied!
71
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

Goed gedaan! Een korte opvoedingsinterventie, gericht op het geven van complimenten en het additief stellen van doelen door ouders voor het verminderen van externaliserend

kindgedrag

Masterscriptie Preventieve Jeugdhulp en Opvoeding Pedagogische Wetenschappen en Onderwijskunde Universiteit van Amsterdam S.R.N. Verhamme (10018433) Begeleiding: mw. J.V. van Aar Tweede beoordelaar: mw. Dr. P.H.O. Leijten

(2)

Inhoudsopgave

Abstract……….……….…………3

Inleiding……….……….………...4

Invloed van opvoedgedrag op kindgedrag……….………….…….………….5

Werking opvoedingsinterventies……….…….…….…………...6

Kortdurende opvoedingsinterventies……….….…….………….7

Het stellen van doelen………....………..………….…8

Relevantie………..………...8 Huidige studie……….……..9 Methode………....………10 Participanten……….….……..……...11 Onderzoeksopzet……….………...11 Onderzoeksinstrument……….…………...13 Statistische analyses……….………….………..14 Resultaten……….……….……..15

Effectiviteit van een korte opvoedingsinterventie……….…..………...15

Toegevoegde waarde van het doelen stellen……….….….….………...16

Discussie……….….….…....18

Beperkingen……….…….…..20

Implicaties voor maatschappij en wetenschap……….….….……….21

Vervolgonderzoek……….….….………22

Conclusie……….….….……..23

Referenties ……….………...24

(3)

Abstract

Well done! A brief parenting intervention aimed at giving compliments and setting additive goals by parents to reduce externalizing child behavior

Brief parenting interventions are generally effective, but the effects are limited. The aim of this study was to assess the effectiveness of compliments and the added value of pre-set goals by parents through a brief parenting intervention that reduces externalizing child behavior. The experiment included 88 4 to 8 year-old children with externalizing problem behavior and tested two-week effects of compliments. Externalizing child behavior was measured by means of the Eyberg Child Behavior Inventory (ECBI) questionnaire and the use of an ANCOVA. As a result externalizing child behavior had not diminished significantly. These findings suggest that compliments do not diminish externalizing child behavior. Leijten et al. (2016) did find a relation where compliments promote child compliance. Further

research is needed.

Keywords: brief parenting intervention, compliments, Eyberg Child Behavior Inventory (ECBI), externalizing child behavior, pre-set goals

(4)

Goed Gedaan! Een korte opvoedingsinterventie, gericht op het geven van complimenten en het additief stellen van doelen door ouders voor het verminderen van externaliserend

kindgedrag

Over het algemeen zijn opvoedingsinterventies, gericht op positief opvoeden, effectief in het verminderen van externaliserend kindgedrag, zoals opstandig, hyperactief en agressief gedrag (Campbell, Shaw, & Gilliom, 2000; Eisenberg et al., 2001; Ince, 2013). Positief

opvoeden kenmerkt zich door een autoritatieve opvoedingsstijl waarbij ouders enerzijds gezag uitoefenen en grenzen stellen aan het gedrag van hun kinderen, maar anderzijds door het bieden van warmte, affectie en ondersteuning (Baumrind, 1991). Onderdeel van positief opvoeden is het geven van complimenten in de opvoeding (Webster-Stratton, 2001). Eerder onderzoek toonde aan dat het geven van complimenten een manier is om externaliserend kindgedrag te reduceren (Leijten, Thomaes, Orobio de Castro, Dishion, & Matthys, 2016). Hoewel kinderen minder externaliserend gedrag ervaren wanneer ouders positief opvoeden (Simons & Conger, 2007) is de mate waarin externaliserend kindgedrag vermindert door opvoedingsinterventies klein tot middelmatig (McCart, Priester, Davies, & Azen, 2006; Van Aar, Leijten, Orobio de Castro, & Overbeek, 2016). Daarnaast nemen opvoedingsinterventies relatief veel tijd in beslag, waardoor ouders minder geneigd zijn deel te nemen of halverwege uitvallen (Nock & Kazdin, 2005). Ontwikkelaars van opvoedingsinterventies prefereren om deze reden interventies die minder tijd van de ouder vragen, maar waarbij de effecten op externaliserend gedrag vergelijkbaar zijn (Foster, Johnson-Shelton, & Taylor, 2007). Het stellen van doelen door ouders zou een manier kunnen zijn om de effectiviteit van

opvoedingsinterventies te vergroten, aangezien iemand zijn motivatie gekenmerkt wordt door het stellen van doelen (Strijk, Wendel-Vos, Picavet, Hofstetter, & Hildebrandt, 2015). In huidig onderzoek staat daarom de vraag centraal of het stellen van doelen door ouders

(5)

bijdraagt aan het effect van een korte opvoedingsinterventie, gericht op complimenten, voor het reduceren van externaliserend gedrag van kinderen.

Invloed van opvoedgedrag op kindgedrag

Ouders hebben invloed op de ontwikkeling van een kind (Sanders, 2008). Door hun rol als primaire verzorger vervullen ouders een voorbeeldfunctie voor hun kinderen. Kinderen kunnen bijvoorbeeld externaliserend gedrag vertonen door gedrag van hun ouders te imiteren (Bandura, Ross, & Ross, 1963). Eveneens door de manier waarop ouders gedragingen van hun kind bekrachtigen leert een kind gedrag aan (Collins, Maccoby, Steinberg, Hetherington, & Bornstein, 2000). Wanneer ouders het gedrag van hun kind, bijvoorbeeld na het doen van een verzoek, negatief bekrachtigen, kunnen ouder en kind in een coërcieve cyclus terecht komen (Patterson, 1982). Wanneer een kind een verzoek van de ouder weigert en opstandig gedrag vertoont, raken ouder en kind met elkaar in conflict. Wanneer de ouder toegeeft aan het opstandige gedrag van het kind, bekrachtigt de ouder het opstandige gedrag van het kind. Doordat de ouder opgeeft krijgt het kind namelijk zijn zin krijgt. De ouder wordt bovendien ook bekrachtigd in het toegeven, doordat het kind stopt met opstandig gedrag na het opgeven van de ouder. Als gevolg van het toegeven van de ouder groeit de waarschijnlijkheid dat het kind in een volgende situatie opnieuw geen gehoor zal geven aan het verzoek van de ouder (Patterson, 1986). Een ander voorbeeld van het in stand houden van externaliserend

kindgedrag is het gebruik van een harde vorm van disciplineren (schreeuwen, slaan) door de ouder, wanneer het kind geen gehoor geeft aan het verzoek van de ouder. Het kind zal toegeven en zowel het kind als de ouder worden opnieuw in hun gedrag bekrachtigd. De ouder wordt bekrachtigd, want het verzoek zal worden opgevolgd en het kind wordt bekrachtigd, omdat de ouder stopt met de harde disciplinering. Hierdoor ontstaat een

coërcieve cyclus. Onderzoek heeft bovendien aangetoond dat kinderen die worden opgevoed via de harde disciplinering meer externaliserend gedrag laten zien (Criss et al., 2002).

(6)

Omgekeerd kunnen complimenten en aanmoedigingen een positief effect op het gewenste gedrag van kinderen hebben (Speentjes, De Graaf, & Blokland, 2007). Wanneer een kind het verzoek van de ouder opvolgt, laat het kind gewenst gedrag zien. Zowel ouder als kind worden op een positieve manier bekrachtigd. Enerzijds de ouder, want het verzoek van de ouder wordt opgevolgd door het kind. Anderzijds het kind, want deze ontvangt een compliment van de ouder. Het geven van complimenten is een belangrijke indicator voor positief opvoedgedrag en een belangrijke bron van ouderlijke feedback om het gedrag en zelfvertrouwen van jonge kinderen te vormen (Swenson et al., 2016). Kinderen laten minder externaliserend gedrag zien wanneer ouders positief opvoeden (Caspi et al., 2004; Kotchick & Forehand, 2002). Hieruit blijkt dat ouders het gedrag van hun kind kunnen versterken, zowel in positieve als in negatieve zin.

Werking opvoedingsinterventies

Wanneer sprake is van een verhoogde mate van externaliserend gedrag bij een kind, is het van belang dat er gestart wordt met een opvoedingsinterventie (Stormont, 2002). Onder opvoedingsinterventies worden preventieve activiteiten en interventies verstaan met als doel de opvoedingssituatie te optimaliseren (Hermanns, 1992; Janssens, 1998).

Opvoedingsinterventies dragen bij aan de preventie en vroege behandeling van

externaliserend gedrag van het kind, waarmee gedragsproblemen en de stoornissen die daarop kunnen volgen, kunnen worden gereduceerd (Foolen, Ince, De Baat, & Daarmen, 2013; Weisz & Kazdin, 2010). Door ouders gedragstechnieken aan te leren, zoals het aanmoedigen van gewenst gedrag door positieve bekrachtiging, kunnen de coërcieve cycli tussen ouder en kind doorbroken worden. Deze technieken zijn gebaseerd op het operante leerprincipe van Skinner (1950) en het sociale leerprincipe van Bandura (1978), die stellen dat mensen leren door bekrachtiging van hun eigen gedrag en het observeren van gedrag van anderen. Het is van belang dat ouders leren consistent te handelen waarbij zij niet toegeven aan het

(7)

opstandige gedrag van hun kind (Patterson, 1976). Ouders kunnen door middel van een opvoedingsinterventie gedragstechnieken aanleren die positief opvoeden stimuleren, wat zodoende minder externaliserend gedrag van hun kind tot gevolg zal hebben.

Kortdurende opvoedingsinterventies

Verschillende opvoedingsinterventies zoals Incredible Years (IY) en Triple P stellen positief opvoeden centraal. De oudertraining IY richt zich, door middel van positief

opvoeden, op het verminderen van externaliserende gedragsproblemen of –stoornissen bij jonge kinderen (Webster-Stratton, 2001) en is ook in Nederland een erkende

opvoedingsinterventie (Posthumus, Raaijmakers, Maassen, Van Engeland, & Matthys, 2012). Een nadeel van het programma van IY, is dat het bestaat uit veertien tot achttien preventieve wekelijkse sessies, waardoor de interventie relatief veel tijd en geld kost (Leijten,

Raaijmakers, Orobio de Castro, Posthumus, & Matthys, 2011). Een kortdurende

opvoedingsinterventie waarin complimenten en aanmoediging centraal staan en die even effectief blijkt te zijn als het volledige traject van Triple P is het programma Primary Care Triple P (Turner & Sanders, 2006). Ouders rapporteerden na afronding van deze interventie (drie tot vier sessies) een lagere mate van externaliserend gedrag bij hun kind.

Een component die deze interventies gemeen hebben is het complimenteren van goed gedrag. Eerder onderzoek naar het effect van het losse component complimenten geven laat zien dat complimenten positief bijdragen aan het verbeteren van kindgedrag (Leijten et al., 2016). Ouders die deelnamen aan dit onderzoek kregen door middel van een huisbezoek tips en advies over complimenten en dienden twee weken te oefenen met het geven van

complimenten aan hun kinderen. Aan het einde rapporteerden ouders minder externaliserend gedrag bij het kind. Leijten en collega’s benadrukken met dit onderzoek het belang van het geven van complimenten in preventieve opvoedingsinterventies. Korte

(8)

opvoedingsinterventies, of opvoedingsinterventies gericht op één component kunnen dus mogelijk hetzelfde resultaat behalen als langdurige opvoedingsinterventies.

Het stellen van doelen

Rothman (2000) stelt dat het initiëren van gedrag iemand eenvoudiger afgaat, wanneer de desbetreffende persoon de wens heeft om een bepaald doel te willen bereiken. Ouders die deelnemen aan een opvoedingsinterventie hebben de wens om hun thuissituatie te verbeteren. Door ouders een programma te bieden waarin zij zichzelf ook doelen stellen, kunnen ouders mogelijk meer profijt hebben van een korte opvoedingsinterventie. De self-determination theory (SDT) gaat ervan uit dat wanneer men vanuit intrinsieke motivatie een bepaald doel wenst te bereiken, dit doel met meer doeltreffendheid wordt behaald dan wanneer men zich gedwongen of onder druk gezet voelt en vanuit excentrieke motivatie een doel wil bereiken (Deci & Ryan, 2000). Een voorbeeld hiervan is dat wanneer iemand vanuit intrinsieke motivatie deelneemt aan een gewichtsverliesprogramma en zich daarbij specifieke doelen stelt, vaker meer gewicht verliest gedurende het programma en dit gedrag ook beter onderhoudt bij een later meetmoment dan wanneer iemand niet vanuit een intrinsieke motivatie deelneemt (Williams, Rodin, Ryan, Grolnick, & Deci, 1998). Wanneer ouders zichzelf expliciet doelen stellen tijdens een korte opvoedingsinterventie, zullen zij meer intrinsiek gemotiveerd zijn, waardoor zij mogelijk meer verandering in het gedrag van hun kind teweeg kunnen brengen.

Relevantie

Wanneer blijkt dat het losse component complimenten geven ook in huidig onderzoek effectief blijkt te zijn, draagt deze studie bij aan de wetenschappelijke fundering omtrent korte opvoedingsinterventies die zich richten op één component, namelijk complimenten. Daarnaast is er nog relatief weinig bekend over de relatie tussen een korte opvoedingsinterventie gericht op complimenten en het stellen van doelen in combinatie met externaliserend gedrag van

(9)

kinderen. Opvoeding vormt voor een deel het gedrag van een kind en wanneer het geven van complimenten in de opvoeding leidt tot een lagere mate van externaliserend gedrag, draagt deze studie bij aan de kennis rondom de ontwikkeling van het gedrag van kinderen.

Wanneer blijkt dat het stellen van doelen de effectiviteit van een korte

opvoedingsinterventie verhoogt, kan er in opvoedingsinterventies meer nadruk gelegd worden op het onderdeel doelen stellen. De uitkomsten kunnen een startpunt zijn voor de

ontwikkeling van jeugdbeleid, –preventie en –interventies: door losse componenten te toetsen op effectiviteit en het additionele effect ervan, kunnen interventies een zo kort mogelijke duur hebben. Op deze manier kunnen gedragsproblemen en –stoornissen bij kinderen/jongeren door middel van een kortdurend traject worden verminderd. Daarnaast kan een korte

opvoedingsinterventie er voor zorgen dat er minder uitval is, omdat het minder tijdrovend is voor ouders om deel te nemen. Bovendien kan de overheid door inzet van korte

opvoedingsinterventies op lange termijn ook tijd en geld besparen. Dit geldt niet alleen op korte termijn met betrekking tot directe kosten, maar preventieve opvoedingsondersteuning is ook op de lange termijn kosteneffectief in vergelijking met behandeltrajecten in bijvoorbeeld de jeugdhulpverlening. Onderzoek naar de kosteneffectiviteit in Nederland is bovendien onvoldoende (Prinsen et al., 2012). Hoewel er internationaal consensus bestaat over het rendement wat gehaald wordt uit het vroeg investeren in opvoeden ten opzichte van latere investeringen, mist het onderdeel ‘tijd’ als kostenpost. Deze studie draagt om deze reden bij aan de behoefte aan onderzoek naar kosteneffectiviteit en opvoedingsondersteuning in Nederland.

Huidige studie

Dit onderzoek richt zich op het verband tussen het geven van complimenten door ouders bij gewenst gedrag van hun kind en het externaliserend gedrag dat een kind vertoont. Door middel van een korte opvoedingsinterventie zal deze relatie getoetst worden en zal de

(10)

additieve waarde van het vooraf doelen stellen door ouders onderzocht worden. In deze studie, naar de effectiviteit van een korte opvoedingsinterventie, staan daarom twee onderzoeksvragen, namelijk 1) In hoeverre is een korte opvoedingsinterventie, gericht op complimenten geven, effectief voor het verminderen van externaliserend kindgedrag? 2) In hoeverre vergroot het vooraf doelen stellen de effectiviteit van de korte opvoedingsinterventie die gericht is op complimenten geven? De effectiviteit van de korte opvoedingsinterventie van Leijten en collega’s (2016) wordt in dit onderzoek opnieuw getoetst. Op basis van eerdere resultaten is de verwachting in de huidige studie dat een korte opvoedingsinterventie gericht op complimenten geven zorgt voor minder externaliserend kindgedrag. Op basis van de self-determination theory wordt verwacht dat, wanneer ouders doelen stellen voor zichzelf, zij zich bewuster zijn van wat zij willen bereiken en daarom een hogere mate van effectiviteit zullen behalen dan wanneer ouders geen doelen stellen.

Methode

De huidige studie is onderdeel van het complimentenonderzoek van de Universiteit van Amsterdam. Dit is een experimentele studie waarin een korte opvoedingsinterventie, gericht op complimenten en de manier van het stellen van doelen en verwachtingen, getoetst wordt met als doel een lagere mate van externaliserend gedrag bij het kind. Op basis van een randomized controlled trial (RCT) wordt de relatie tussen het geven van complimenten door ouders bij gewenst gedrag van kinderen en het externaliserende gedrag van het kind

onderzocht. Het complimentenonderzoek is geregistreerd bij het Nederlands Trial Register (NTR), nummer 6284. De commissie ethiek heeft het onderzoek voorafgaand goedgekeurd, documentnummer 2016-CDE-7486.

De participanten zijn op willekeurige wijze verdeeld over verschillende condities. Doordat de huidige studie deel uitmaakt van een groter onderzoek, zullen meer participanten in de experimentele groep met doelen aanwezig zijn dan in de interventie- en

(11)

controleconditie. De gegevens in de huidige studie zijn op kwantitatieve wijze verkregen door middel van een online survey.

Participanten

In totaal deden 88 gezinnen, woonachtig in Nederland, mee aan dit onderzoek. Onder gezin wordt een ouder en een kind bedoeld in de leeftijd van vier tot en met acht jaar.

Gemiddeld hadden de kinderen een leeftijd van zes jaar (M = 6.11, SD = 1.34, leeftijd range: 4-9 jaar). Van alle kinderen waren 29 kinderen een meisje was. Op het moment van de start van de korte opvoedingsinterventie waren de kinderen niet ouder dan acht jaar. De ouder was gemiddeld 38 jaar (M = 38.09 SD = 5,39, leeftijd range: 23-54 jaar) waarvan het overgrote deel de moeder van het kind was (n = 82). Zowel ouder (n = 85) als kind (n = 85) waren bijna allemaal in Nederland geboren. Bijna alle kinderen woonden fulltime bij de participerende ouder (n = 86) en de participerende ouder deelde de zorg in 81 gevallen met hun partner. Vijf ouders droegen de zorg voor hun kind alleen en bij twee gezinnen lag de zorgverdeling over het kind anders. Ongeveer de helft van de ouders (n = 43) had een HBO opleiding afgerond, achttien ouders een MBO opleiding en 24 ouders hadden een universitaire achtergrond. Drie ouders hadden na de middelbare school geen vervolgopleiding behaald.

Onderzoeksopzet

Werving. Ouders werden middels verschillende kanalen benaderd om gratis deel te nemen aan het complimentenonderzoek, namelijk door middel van social media (Facebook), nieuwsbrieven en posters op scholen en buitenschoolse opvang (BSO). Daarnaast werden ouders doorverwezen naar de website van het complimentenonderzoek voor meer informatie en aanmelding, www.complimentenonderzoek.com.De onderzoekers werden middels een gezamenlijke training opgeleid om ervoor te zorgen dat iedereen de ouders op dezelfde manier kon benaderen. In Bijlage 1 is het protocol van het onderzoek terug te lezen.

(12)

Procedure. Ouders konden zich aanmelden wanneer zij het gevoel hadden dat het kind, in de leeftijd van vier tot en met acht jaar, moeilijkheden ervoer met het naleven van verzoeken en het gehoorzamen van regels. Bestaande opvoedingsinterventies richten zich over het algemeen vaak op ouders met kinderen in deze leeftijdscategorie, waardoor ook deze kortdurende opvoedingsinterventie deze leeftijdsgroep als focus heeft (Zisser & Eyberg, 2010). Ouders die aangaven te willen deelnemen, werden telefonisch benaderd met extra informatie, waarna zij de link naar het toestemmingsformulier en tevens een eerste vragenlijst kregen toegestuurd. De extra informatie was een beknopte uitleg over de reden en procedure van het onderzoek. In het toestemmingsformulier werd vermeld dat alle onderzoeksgegevens vertrouwelijk behandeld werden. Door gebruik te maken van identiteitsnummers (e.g. 127) kon de anonimiteit worden gegarandeerd. De deelname aan het complimentenonderzoek was vrijwillig en ouders hadden de mogelijkheid om op elk moment te stoppen.

Wanneer ouders toestemming hadden verleend en de eerste vragenlijst (T1) hadden ingevuld, werden zij op gerandomiseerde wijze in een van de drie condities geplaatst.

namelijk een conditie gericht op complimenten, een tweede conditie gericht op complimenten en het stellen van doelen en als laatste een controleconditie die geen advies kreeg. Ouders die in de eerste conditie werden geplaatst, ontvingen middels een huisbezoek advies over de manier waarop je als ouder met een compliment gewenst gedrag van een kind kan belonen. Tijdens het huisbezoek gaf de onderzoeker aan de hand van een informatieve film tip en advies over het geven van complimenten. Door middel van een geplastificeerde A4 voor op de ijskast werden ouders dagelijks geattendeerd op de complimenten. Daarnaast werd ouders gevraagd om gedurende veertien dagen een dagboek bij te houden. In dit dagboek konden ouders gedragingen van hun kind bijhouden en aangeven of zij voor bepaald gedrag een complimenten hadden gegeven en hoe tevreden zij daarover waren. Het tweede (T2) en derde (T3) meetmoment vonden telefonisch plaats. Naast het huisbezoek en de twee vaste

(13)

belafspraken plande de onderzoeker ook twee keer een surprise call in om te vragen hoe het ging en of er eventueel vragen waren. De eerste surprise call, tussen het huisbezoek en T2 in was tevens een herinnering aan het dagboek wat ouders dagelijks in moesten vullen. Ouders die in de tweede conditie werden geplaatst, ontvingen door middel van een huisbezoek hetzelfde advies over het geven van complimenten als de eerste conditie. Deze groep ontving bovendien ook advies waarom complimenten kunnen bijdragen aan het enerzijds voorkomen van externaliserend gedrag van een kind en/of het bereiken van minder externaliserend gedrag van een kind. Door middel van een informatieve film en een geplastificeerde A4 werd

hetgeen de ouder kan bereiken/voorkomen uitgelegd. Na deze uitleg vulden de ouders voor zichzelf de vragen ‘Ik wil voorkomen dat..’ of ‘Ik wil bereiken dat…’ in. De laatste conditie bestond uit een groep ouders die geen tips en adviezen kregen over complimenten of waarom complimenten kunnen bijdragen aan een lagere mate van externaliserend gedrag van een kind. De ouders dienden echter wel de vragenlijsten op het tweede (T2) en derde (T3) meetmoment in te vullen. Pas na het einde van het onderzoek ontvingen zij desgewenst de tips en adviezen door middel van een huisbezoek of telefonische afspraak. In dit onderzoek zijn alleen T1 en T2 meegenomen om na te gaan of het geven van complimenten en de mogelijke toegevoegde waarde van het stellen van doelen zorgt voor minder externaliserend kindgedrag.

Metingen. Het externaliserend kindgedrag werd op drie momenten gemeten door een online vragenlijst die de ouder diende in te vullen: bij aanvang van de interventie (T1), na twee weken wanneer de interventie eindigt (T2) en bij de follow-up, twee weken later (T3). Onderzoeksinstrument

Het huidige onderzoek gebruikt een schaal die het externaliserend kindgedrag meet, namelijk de Eyberg Child Behavior Inventory (ECBI, Eyberg & Pincus, 1999). Deze oudervragenlijst meet gedragsproblemen bij kinderen en bestaat uit 36 items. Deze items worden beantwoord op een 7-punt Likertschaal van 1 (nooit) tot 7 (altijd). Een voorbeelditem

(14)

van de ECBI luidt: ‘Is brutaal tegen volwassenen’ en ‘weigert om op tijd naar bed te gaan’ (Reedtz et al., 2008). De antwoorden op de 36 items van de ECBI vormen één schaal die de somscore is voor externaliserend kindgedrag. Voordat deze items werden samengevoegd, is de Chronbach’s alpha getoetst en bleek voldoende betrouwbaar (α = .87).

Statistische Analyses

Ontbrekende gegevens. Twee ouders hadden de ECBI op T1 niet ingevuld, waardoor deze ouders niet meegenomen zijn in de analyse. Bij twee ouders was de ECBI niet volledig ingevuld en om deze reden zijn deze antwoorden geïmputeerd. Voorafgaand aan het

imputeren is eerst een Little’s Missing Completely at Random (MCAR) test uitgevoerd. Deze test toetst de hypothese dat de missende scores toevallige missings zijn. Uit de MCAR toets bleek dat de missende gegevens volledig willekeurig waren (Little’s MCAR test: X2 (69) = 74.679, p = .299). Met de tool Expectation Maximization (EM) in het programma Statistical Package for the Social Sciences (SPSS) zijn vervolgens de missende waarden geschat (Enders & Peugh, 2004). Ook op T2 misten er bij twee ouders alle antwoorden van de ECBI en zijn daarom niet meegenomen in dit onderzoek. Opnieuw miste er bij één ouder twee antwoorden in deze vragenlijst en ook deze twee missende gegevens zijn geïmputeerd middels EM (Little’s MCAR test: X2 (34) = 39.400, p = .241).

Powerberekening. Voor de start van de studie is met het programma G*power een powerberekening uitgevoerd om na te gaan hoeveel participanten nodig waren om een power van .80 te bereiken met een effectgrootte van .20. Voor de eerste onderzoeksvraag, gericht op de effectiviteit van de korte opvoedingsinterventie, waren 84 participanten nodig. Aan deze minimale steekproefgrootte is voldaan. Voor de tweede onderzoeksvraag, of het stellen van doelen van toegevoegde waarde is voor de effectiviteit van een korte opvoedingsinterventie, waren 134 participanten nodig. Dit aantal is door een tekort aan tijd niet behaald, wat leidt tot een lagere power.

(15)

Analyse. Met het programma SPSS is een analysis of covariance (ANCOVA) uitgevoerd om het verschil in uitkomsten op de ECBI tussen de experimentele groep(en) en controlegroep met elkaar te vergelijken op T2. Door een ANCOVA uit te voeren is er tevens gecontroleerd voor de covariatie pre-test problemen op externaliserend kindgedrag.

Resultaten

Deze studie richt zich op de vraag of het geven van complimenten door ouders leidt tot een lagere mate van externaliserend gedrag van het kind. Daarnaast is onderzocht of het vooraf doelen stellen door ouders van toegevoegde waarde was. Een drietal uitbijters werd gevonden bij het verkrijgen van de beschrijvende statistieken. In de dataset oogden de gegeven antwoorden niet afwijkend (i.e. de antwoorden waren een stuk lager dan het gemiddelde, maar niet incorrect), waardoor ook deze gegevens meegenomen zijn in de analyses. De beschrijvende statistieken zijn terug te vinden in Tabel 1.

Tabel 1

Beschrijvende statistieken: gemiddelde (M) en standaarddeviatie (SD) op T1 en T2

Conditie T1 T2

N M SD M SD

Conditie 1 (complimenten)

Conditie 2 (complimenten- en doelen) Conditie 3 (controle) Totaal 18 54 16 88 137.18 132.22 141.44 134.91 21.64 22.51 16.02 21.40 122.24 118.72 132.06 121.87 27.47 19.96 15.98 21.44

Effectiviteit van een korte opvoedingsinterventie

Om na te gaan of het geven van complimenten door ouders leidt tot een lagere mate van externaliserend kindgedrag, werd een ANCOVA gebruikt. In deze analyse wordt getoetst of er verschil is tussen ouders die deelnamen aan de korte opvoedingsinterventie

(interventieconditie) en ouders die niet deelnamen aan de korte opvoedingsinterventie (controlegroep). Voorafgaand aan de ANCOVA analyse, dienden de verkregen data aan

(16)

verschillende assumpties te voldoen. De Shapiro-Wilk test voor normaliteit bleek niet significant waardoor er sprake was van een normale verdeling in de steekproef voor beide condities (interventieconditie: W(72) = .99, p = .959; controleconditie: W(16) = .95, p = .475). Door Levene’s Test uit te voeren is het verschil in variantie tussen de condities getoetst. Er bleek geen verschil in variantie tussen de condities (F (1, 86) = .148, p = .701). Ook aan de assumptie dat de condities op willekeurige wijze waren ingedeeld kan worden voldaan. Naast de algemene assumpties is nagegaan of de data voldeed aan drie ANCOVA specifieke

assumpties, namelijk 1) dat er een lineair verband bestaat tussen de covariaat (i.e. pretest externaliserend kindgedrag) en de afhankelijke variabele (i.e. posttest externaliserend kindgedrag) 2) dat er homogeniteit van regressieslopes is voor de onafhankelijke variabele: elke conditie heeft een gelijke helling en 3) dat externaliserend kindgedrag onafhankelijk is van de manipulatie. Om na te gaan of er een lineair verband bestaat tussen de covariaat en de afhankelijke variabele werd een scatterplot gemaakt. Aan de hand van deze scatterplot kan worden opgemerkt dat er een lineair verband is tussen externaliserend kindgedrag op T1 en T2. Door de interactie tussen externaliserend kindgedrag en de conditie te toetsen kan gesteld worden dat de condities gelijke regressielijnen hebben (p = .512). Om externaliserend

kindgedrag in de pretest als covariaat te kunnen gebruiken, mocht er geen verschil bestaan tussen de experimentele groep en de controlegroep op T1. Er bleek geen significant verschil tussen externaliserend kindgedrag tussen de condities, wat inhoudt dat ook aan deze

assumptie werd voldaan, p = .179.

Voor het beantwoorden van de eerste onderzoeksvraag werd gekeken naar het verschil tussen de twee experimentele condities (n = 72) enerzijds en de controleconditie (n = 16) anderzijds via ANCOVA. Zoals weergeven in Figuur 1, is de uitkomst op T2 voor de interventieconditie (M = 119.60, SD = 21.92) lager uit ten opzichte van de controleconditie

(17)

(M = 132.06, SD = 15.98). Er blijkt echter geen sprake te zijn van een significant verschil, F (1, 85) = 2.93 , p = .091, η2

= .03.

Figuur 1 Verschil in score tussen de interventie- en controleconditie op T2. Toegevoegde waarde van het doelen stellen

Om na te gaan of het vooraf doelen stellen door ouders van toegevoegde waarde is in de relatie tussen het geven van complimenten en de mate van externaliserend kindgedrag, werd ook een ANCOVA gebruikt. Voor deze analyse is de experimentele conditie opgedeeld in enerzijds de interventieconditie zonder additieve doelen en anderzijds een

interventieconditie waarbij de participanten wel doelen dienden op te stellen. Opnieuw

werden de voorwaarden om een ANCOVA te gebruiken getoetst, omdat de samenstelling van de onafhankelijke variabele (i.e. conditie) nu uit drie condities bestond. Er was eveneens sprake van een normale verdeling in de steekproef voor de drie condities

(complimentenconditie: W(18) = .96, p = .581; complimenten + doelenconditie: W(54) = .99, p = .936; controleconditie: W(16) = .95, p = .475) en er was geen verschil in variantie tussen de condities (F (2,85) = 1.86, p = .162). Daarnaast was er wederom een lineair verband tussen externaliserend kindgedrag op T1 en T2 en hebben de condities ieder een gelijke helling (p = .131). Ook was er geen significant verschil tussen de condities op de pretest (p = .283).

110 115 120 125 130 135 Interventie Controle S co re Conditie

(18)

In Figuur 2 is het verschil in score tussen de drie condities op T2 te zien. Uit de ANCOVA analyse blijkt dat deelnemers in die doelen stelden geen grotere afname in disruptief gedrag lieten zien dan deelnemers die geen doelen stelden (F (2, 84) = 1.45, p = .240, η2 = .03).

Figuur 2 Verschil in score tussen de twee experimentele condities en de

controleconditie op T2.

Discussie

Doordat bestaande effectieve opvoedingsinterventies, gericht op positief opvoeden, over het algemeen veel tijd in beslag nemen, richtte deze studie zich op de effectiviteit van een korte opvoedingsinterventie. Centraal in deze studie stond het verband tussen het geven van complimenten in de opvoeding en de mate van externaliserend kindgedrag. Verwacht werd dat het geven van complimenten bijdraagt aan een vermindering van externaliserend gedrag van het kind. Daarnaast is het additieve effect van het vooraf doelen stellen door ouders onderzocht. Het stellen van doelen draagt bij aan de ouder zijn of haar motivatie en om die reden werd verwacht dat dit de effectiviteit van deze korte opvoedingsinterventie zou vergroten. Hoewel het externaliserend kindgedrag was verminderd in gezinnen die de korte interventie hadden gevolgd, was dit niet significant verschillend van gezinnen die de korte interventie niet hadden gevolgd. Ouders die de opvoedingsinterventie volgden en daarbij

105 110 115 120 125 130 135 Complimenten Complimenten + doelen Controle Ge m idde lde Conditie

(19)

doelen stelden, rapporteerden ook geen lagere mate van externaliserend kindgedrag ten opzichte van ouders die tijdens de opvoedingsinterventie geen doelen stelden of ouders die niet deelnamen aan de opvoedingsinterventie. Doordat deze opvoedingsinterventie een kortdurend traject betrof, zou het kunnen zijn dat de tijd die ouders hadden om hun doelen met betrekking tot het externaliserende gedrag van hun kind te bereiken te kort was. Het gebrek aan participanten zou een mogelijke verklaring kunnen zijn voor het uitgebleven effect van het doelen stellen. Uit de poweranalyse voorafgaand aan deze studie bleek dat er meer participanten nodig waren dan uiteindelijk zijn geworven voor dit onderzoek. Dit kan ook worden toegeschreven aan een tekort aan tijd voor de dataverzameling. Uit deze studie blijkt dat de korte opvoedingsinterventie, gericht op complimenten, niet als effectief beschouwd kan worden.

In contrast met de eerdere studie van Leijten en collega’s (2016) bleek in deze studie de korte opvoedingsinterventie niet effectief te zijn en het externaliserend kindgedrag niet verminderd. Hoewel er veel overeenkomsten tussen beide onderzoeken zijn, waaronder de procedure, kan de mate van externaliserend kindgedrag als verschillend worden beschouwd. Leijten en collega’s gebruikten naast de ECBI ook de Child Behavior Checklist (CBCL) voor agressie om externaliserend kindgedrag te meten. Wanneer de CBCL ook als meetinstrument was meegenomen om externaliserend kindgedrag te meten, was er de mogelijkheid dat hier een effect was gevonden. In het onderzoek van Leijten en collega’s rapporteerden ouders een lagere mate van externaliserend kindgedrag wanneer ouders deel hadden genomen aan de interventie. Ouders in de controlegroep rapporteerden namelijk juist een hogere mate van externaliserend kindgedrag. In de huidige studie nam het gedrag van externaliserend

kindgedrag voor alle groepen af en kan daardoor het niet gevonden effect worden verklaard. Vervolgonderzoek is van belang om na te gaan in hoeverre de resultaten van Leijten en collega’s op toeval berusten en de bijdrage van complimenten in de opvoeding niet leiden tot

(20)

een lager mate van externaliserend gedrag of dat deze studie door haar beperkingen niet kan aantonen dat het geven van complimenten door ouders leidt tot een lagere mate van

externaliserend kindgedrag. Beperkingen

Allereerst is er een bestaande vorm van selectie aanwezig, omdat de ouder zichzelf vrijwillig opgeeft voor deelname. Ouders bepalen zelf of zij vinden dat hun kind minder goed luistert of meer dwars, boos of opstandig is dan andere kinderen. Het zou mogelijk kunnen zijn dat de ene ouder dit gedrag bij hun kind eerder als bijvoorbeeld boos/opstandig

beschouwd dan een andere ouder. Een limitatie aan het huidige onderzoek is dan ook dat er mogelijk te weinig afbakening is geweest rondom externaliserend kindgedrag. Ouders die bovendien minder gemotiveerd zijn of moeilijkheden binnen het gezin liever niet delen, zullen zich naar alle waarschijnlijkheid minder snel aanmelden. Dit kan de resultaten beïnvloeden, omdat de steekproef om deze reden niet representatief genoeg is voor de Nederlandse samenleving. De ouders die zich hadden aangemeld voldeden daarentegen wel aan de normscore van de ECBI (Burns & Patterson, 2001). Dit houdt in dat het

externaliserende gedrag van het kind externaliserend genoeg was om deel te nemen aan deze korte opvoedingsinterventie. Ouders rapporteerden nauwelijks problematische scores (i.e. 7 = altijd op de ECBI) waardoor de externaliserende gedragingen ook kunnen worden toegedicht aan leeftijdsadequaat gedrag. Het kind ontwikkelt namelijk in de leeftijd van vier tot en met acht jaar het besef dat hij een eigen ‘ik’ heeft en worden keuzes vanuit een egocentrisch perspectief genomen (Verhulst, 2005). Bovendien kan het kind zich nog niet goed inleven in anderen (Verhulst, 2005). Wanneer de ouder in zo’n geval een verzoek doet, zal het kind eerder vanuit zijn perspectief redeneren wat het hem oplevert om het verzoek op te volgen. Met een verzoek als ‘ruim je speelgoed op’ zal het kind niet inzien dat het fijn is voor papa of mama dat zijn speelgoed opgeruimd is. Dat ouders nauwelijks hoge scores rapporteerden op

(21)

de ECBI kan worden verklaard doordat de kinderen in de steekproef geen opvallende intense gedragingen lieten zien of omdat ouders sociaal wenselijk konden antwoorden omdat er alleen gemeten is met een online vragenlijst. Een aantal vragen was wellicht van gevoelige aard, wat sociaal wenselijke antwoorden uitlokte.

Daarnaast dienden alle ouders op drie momenten vragenlijsten in te vullen. Ouders in de controleconditie ontvingen weliswaar geen tips en adviezen, maar wisten dat zij meededen met het complimentenonderzoek en vulden wel drie keer een vragenlijst in die betrekking had op de ouder zelf, het kind en de opvoeding. Hierdoor is de kans groot dat ouders in de

controleconditie al bewuster met de opvoeding aan de slag zijn gegaan en daardoor ook verbeteringen hebben gezien in het gedrag van hun kind. Dit zou een verklaring kunnen zijn waarom er geen verschil is gevonden tussen de ouders die tips en adviezen over

complimenten hebben ontvangen en ouders die geen tips en adviezen over complimenten kregen.

De vraag over de zorgverdeling in de huidige studie was enigszins onduidelijk. Nu gaven 81 ouders aan dat zij de zorg samen met hun partner deelden. Het is daardoor

onduidelijk of deze ouders allemaal samenwonend waren of duidelijke afspraken met de ex-partner hebben gemaakt over de opvoeding. Gezien het scheidingspercentage in 2015 al 39,6% was, zullen waarschijnlijk ouders ook via co-ouderschap zorgdragen (Centraal Bureau voor de Statistiek [CBS], 2016). Het behoort tot de mogelijkheid dat veel gezinnen in dit onderzoek nog in tact waren aangezien 86 van de 88 kinderen fulltime bij de deelnemende ouder woonde, maar dit kan niet met zekerheid worden gezegd. Wanneer ouders niet meer bij elkaar wonen, kan de opvoeding binnen het gezin verschillen en kunnen er andere oorzaken meespelen, zoals een loyaliteitsconflict bij het kind.

(22)

Implicaties voor maatschappij en wetenschap

Door onderzoek te doen naar het mogelijke verband tussen het geven van

complimenten en de mate van externaliserend gedrag van een kind door middel van een korte opvoedingsinterventie, kan gesteld worden dat er geen aantoonbare relatie is tussen deze twee componenten. De eerdere studie van dient van Leijten et al. (2016) wordt daarom in twijfel getrokken en dient om deze reden opnieuw getoetst te worden. Voor de wetenschap is het van belang om na te gaan of een korte opvoedingsinterventie, gericht op complimenten,

daadwerkelijk een bijdrage kunnen zijn in het verminderen van externaliserend gedrag van een kind.

In de praktijk zijn bestaande effectieve opvoedingsinterventies, gericht op het geven van complimenten, van langdurige aard. Het is van belang dat ontwikkelaars van positieve opvoedingsinterventies zich nog niet richten op het ontwerpen van kortdurende

opvoedingsinterventies totdat er meer consensus over de effectiviteit uit het wetenschapsgebied is.

Vervolgonderzoek

Toekomstig onderzoek naar effecten van het geven van complimenten en het additief stellen van doelen door ouders op externaliserend kindgedrag zou een extra follow-up meting kunnen opnemen in het onderzoek. Op deze manier is de deelname aan het onderzoek voor kinderen meer naar de achtergrond verdwenen en kan externaliserend kindgedrag en bovendien de effectiviteit van een korte opvoedingsinterventie nogmaals gemeten worden. Het consequent bekrachtigen van het gedrag van het kind door de ouders werd eerder in deze studie benadrukt aan de hand van de coërcieve cylcus en het instrumenteel leren (Patterson, 1982; Skinner, 1950). Voor een kind is het belangrijk dat beide ouders op dezelfde wijze handelen in de opvoeding. Voor vervolgonderzoek is het daarom van belang dat er meer inzicht wordt verkregen in de verdeling van het ouderschap. Is er één ouder die zorg draagt

(23)

over het kind? Of zijn er twee ouders aanwezig in de opvoeding? Bestaande

opvoedingsinterventies zouden zich op deelname van beide ouders/verzorgers kunnen richten. Dit zou al mogelijk zijn door het meenemen van een extra document voor de partner, met de tips en adviezen, waarin de partner kort wordt geattendeerd om zich ook bewust te worden van het belang van het geven van complimenten in de opvoeding. Bovendien namen in dit onderzoek enkel vijf vaders deel. Om deze reden kan weinig worden gezegd over het verschil tussen vaders en moeders. Vervolgonderzoek zou vaders meer kunnen aanmoedigen mee te doen met het onderzoek naar complimenten.

Conclusie

In dit onderzoek is de relatie tussen het geven van complimenten door ouders en de mate van externaliserend gedrag van het kind onderzocht. Bovendien is onderzocht of het vooraf doelen stellen door ouders van toegevoegde waarde bleek te zijn. Ouders

rapporteerden niet minder externaliserend gedrag bij hun kind wanneer zij deel hadden genomen aan de korte opvoedingsinterventie, gericht op complimenten ten opzichte van ouders die de tips en adviezen niet hadden gekregen. Ook vergrootte het stellen van doelen het effect van de korte opvoedingsinterventie niet. Samenvattend kan worden gesteld dat er onvoldoende bewijs is om aan te kunnen geven dat het geven van complimenten in de opvoeding leidt tot een afname van externaliserend gedrag van een kind.

Wanneer replicatieonderzoek zal worden uitgevoerd, rekening houdend met

bovengenoemde limitaties en aanbevelingen, zullen de huidige bevindingen kunnen worden bevestigd of opnieuw in twijfel worden getrokken. Dit benadrukt het belang van

vervolgonderzoek. In deze studie is met een kritische blik gekeken naar het verband tussen geven van complimenten en het additief stellen van doelen in de opvoeding en het

(24)

Referenties

Bandura, A. (1978). Social learning theory of aggression. Journal of Communication, 28(3), 12-29. doi:10.1111/j.1460-2466.1978.tb01621.x

Bandura, A., Ross, D., & Ross, S. A. (1963). Imitation of film-mediated aggressive models. Journal of abnormal and Social Psychology, 66(1), 3-11. doi:10.1037/h0048687 Baumrind, D. (1991). The influence of parenting style on adolescent competence and substance use. The Journal of Early Adolescence, 11(1), 56-95.

doi:10.1177/0272431691111004

Burns, G. L., & Patterson, D. R. (2001). Normative data on the eyberg child behavior inventory and sutter-eyberg student behavior inventory: Parent and teacher rating scales of disruptive behavior problems in children and adolescents. Child & Family

Behavior Therapy, 23(1), 15-28. doi: 10.1300/J019v23n01_02

Campbell, S. B., Shaw, D. S., Gilliom, M. (2000). Early externalizing behavior problems: Toddlers and preschoolers at risk for later maladjustment. Development and Psychopathology, 12(3), 467-488. doi:10.1017/S0954579400003114

Caspi, A., Moffitt, T. E., Morgan, J., Rutter, M., Taylor, A., Arseneault, L., ... Polo-Tomas, M. (2004). Maternal expressed emotion predicts children's antisocial behavior problems: Using monozygotic-twin differences to identify environmental effects on behavioral development. Developmental Psychology, 40, 149-161. doi:10.1037/0012- 1649.40.2.149

Centraal Bureau voor de Statistiek (2016). Huwelijksontbindingen; door echtscheiding en door overlijden. Retrieved, June 13, 2017, from

http://statline.cbs.nl/StatWeb/publication/?VW=T&DM=SLNL&PA=37425ned&D1= 3-9&D2=(l-11)-l&HD=100526-0713&STB=G1,T

(25)

(2000). Contemporary research on parenting: The case of nature and nurture. American psychologist, 55(2), 218-232. doi:10.1037//0003-066X.55.2.218

Criss, M. M., Pettit, G. S., Bates, J. E., Dodge, K. A., & Lapp, A. L. (2002), Family adversity,

positive peer relationships, and children’s externalizing behavior: A longitudinal

perspective on risk and resilience. Child Development, 73, 1220-1237.

doi:10.1111/1467-8624.00468

Deci, E. L. & Ryan, R. M. (2000). The ‘what’ and ‘why’ of goal pursuits: Human need and the self-determination of behaviour. Psychological Inquiry, 11, 227-268. doi: 10.1207/S15327965PLI1104_01

Eisenberg, N., Cumberland, A., Spinrad, T. L., Fabes, R. A., Shepard, S. A., Reister, M., … Guthrie, I. K. (2001). The relations of regulation and emotionality to children’s externalizing and internalizing problem behavior. Child Development, 72(4), 1112- 1134. doi:10.1111/1467-8624.0033

Enders, C. K., & Peugh J. L., (2004). Using an EM covariance matrix to estimate structural equation models with missing data: Choosing an adjusted sample size to improve the accuracy of inferences. Structural Equation Modeling, 11, 1-19.

doi:10.1207/S15328007SEM1101_1

Eyberg, S. M., & Pincus, D. (1999). Eyberg child behaviour inventory and sutter-eyberg student behaviour inventory-revised: Professional manual. Florida: Psychological Assessment Resources.

Foolen, N., Ince, D., De Baat, M., & Daamen, W. (2013). Wat werkt bij gedragsproblemen en gedragsstoornissen? Utrecht: Nederlands Jeugdinstituut.

Foster, E. M., Johson-Shelton, D., & Taylor, T. K. (2007). Measuring time costs in interventions designed to reduce behavior problems among children and youth. American Journal of Community Psychology, 40(1-2), 64-81. doi:10.1007/s10464-

(26)

007-9125-0

Hermanns, J. (1992). Het Sociale Kapitaal van Jonge Kinderen. Amsterdam: Universiteit van Amsterdam.

Ince, D. (2013). Wat werkt in Opvoedingsondersteuning? Retrieved, December 17, 2016, van http://www.nji.nl/nl10/Download-NJi/(311053)-nji-dossierDownloads-Wat-werkt- Opvoedondersteuning-def1.pdf

Janssens, J. (1998). Opvoedhulp: doel, methoden en effecten. Tijdschrift voor Orthopedagogiek, 37, 133-147

Kotchick, B. A., & Forehand, R. (2002). Putting parenting in perspective: A discussion of the contextual factors that shape parenting practices. Journal of Child and Family Studies, 11, 255-269. doi:10.1023/A:1016863921662

Leijten, P., Raaijmakers, M. A., Orobio de Castro, B. O., Posthumus, J. A., & Matthys, W. (2011). Oudertraining incredible years effectief bij gedragsprobleem jong kind. Jeugd en Co Kennis, 5(17), doi:10.1007/s12450-011-0026-3

Leijten, P., Thomaes, S., Orobio de Castro, B., Dishion, T.J., & Matthys, W. (2016). What good is labeling what’s good? A field experimental investigation of parental labeled praise and child compliance. Behavior Research Therapy, 18(87), 134-141.

doi:10.1016/j.brat.2016.09.008

McCart, M. R., Priester, P. E., Davies, W. H., & Azen, R. (2006). Differential effectiveness of behavioural parent-training and cognitive-behavioral therapy for antisocial youth: A meta-analysis. Journal of Abnormal Child Psychology, 34(4), 527-543.

doi:10.1007/s10802-006-9031-1

Nock, M. K. & Kazdin, A. E. (2005). Randomized controlled trial of a brief intervention for increasing participation in parent management training. Journal of Consulting and Clinical Psychology, 73(5), 872-879. doi:10.1037/0022-006X.73.5.872

(27)

Patterson G. R. (1976). The aggressive child: Victim and architect of a coercive system.

In Mash E. J., Hamerlynck L. A., Handy L. C. (Eds.), Behavior modification and

families (pp. 267–316). New York, NY: Brunner/Mazel.

Patterson, G. R. (1982). Coercive family process, Eugene, OR: Castalia Publishing Company. Patterson, G. R. (1986). Performance models for antisocial boys. American Psychologist, 41(4), 432-444. doi:10.1037/0003-066X.41.4.432

Posthumus, J. A., Raaijmakers, M. A., Maassen, G. H., Van Engeland, H., & Matthys, W. (2012). Sustained effects of incredible years as a preventive intervention in preschool children with conduct problems. Journal of Abnormal Child Psychology, 40(4), 487- 500. doi:10.1007/s10802-011-9580-9

Prinsen, B., L’Hoir, M. P., De Ruiter, M., Oudhof, M., Kamphuis, M., De Wolff, M., Alpay, L. (2012). Richtlijn opvoedingsondersteuning. Voor opvoedingsvragen en lichte opvoedproblemen in de jeugdgezondheidszorg in de context van het centrum voor jeugd en gezin. Utrecht/Leiden: Nederlands Jeugdinstituut/TNO

Reedtz, C., Bertelsen, B., Lurie, J., Handegard, B. H., Clifford, G., & Morch, W. (2008). Eyberg child behavior inventory (ECBI): Norwegian norms to identify conduct problems in children. Scandinavian Journal of Psychology, 49, 31-38.

doi:10.1111/j.1467-9450.2007.00621.x

Rothman, A. J. (2000). Toward a theory-based analysis of behavioral maintenance. Health Psychology, 19, 64-69. doi:10.1037//0278-6133.19.1(Suppl.)64

Sanders, M. R. (2008). Triple p-positive parenting program as a public health approach to strengthening parenting. Jounarl of Family Psychology, 22, 506-517.

doi:10.1037/0893-3200.22.3.506

Simons, L. G., & Conger, R. D. (2007) Linking mother-father differences in parenting to a typology of family parenting styles and adolescent outcomes. Journal of Family

(28)

Issues, 28, 212-241. doi:10.1177/0192513x96294593

Skinner, B. F. (1950). Are theories of learning necessary? Psychological Review, 57, 193- 216. doi:10.1037/h0054367

Speentjes, P., De Graaf, I., & Blockland, G. (2007). Het fundament van triple p. Jeugd en Co Kennis, 1, 43-49. doi:10.1007/BF03085444

Stormont, M. (2002). Externalizing behavior problems in young children: Contributing factors and early intervention. Psychology in the Schools, 39, 127-138.

doi:10.1002/pits.10025

Strijk, J. E., Wendel-Vos, G. C. W., Picavet, H. S. J., Hofstetter, H., & Hildebrandt, V. H. (2015). Wat is vitaliteit en hoe is het te meten? Tijdschrift voor

Gezondheidswetenschappen, 93, 32-40. doi:10.1007/512508-015-0013-y

Swenson, S., Ho, G. W., Budhathoki, C., Belcher, H. M., Tucker, S., Miller, K., & Gross, D. (2016). Parents’ use of praise and criticism in a sample of young children seeking mental health services. Journal of Pediatric Health Care, 30, 49-56.

doi:10.10164/j.pedhc.2015.09.010

Turner, K. M. T. & Sanders, M. R. (2006). Help when it’s needed first: A controlled

evaluation of brief, preventive behavioral family intervention in a primary care setting. Behavior Therapy, 37, 131-142. doi:10.1016/j.beth.2005.05.004

Van Aar, J., Leijten, P., Orobio de Castro, B., & Overbeek, G. (2017). Sustained, fade-out or sleeper effects? A systematic review and meta-analysis of parenting interventions for disruptive child behavior. Clinical Psychological Review, 51, 153-163.

doi:10.1016/j.cpr.2016.11.006

(29)

Webster-Stratton, C. (2001). The incredible years: Parents, teachers, and children training series. Residential Treatment for Children and Youth, 18, 31-45.

doi:10.1300/J007v18n03_04

Weisz, J. R., & Kazdin, A. E. (2010). Evidence-based psychotherapies for children and adolescents. New York, NY: Guilford Press.

Williams, G. C., Rodin, G. C., Ryan, R. M., Grolnick, W. S., & Deci, E. L. (1998). Autonomous regulation and long-term medication adherence in adult outpatients. Health Psychology, 17, 269-276. doi:10.1037/0278-6133.17.3.269

Zisser, A., & Eyberg, S. M. (2010). Parent-child interaction therapy and the treatment of disruptive behaviors. In J. R.Weisz, & A. E. Kazdin (Eds.), Evidence-based psychotherapies for children and adolescents (pp. 179-193). New York, NY: Guilford Press.

(30)

Bijlage 1. Protocol complimentenonderzoek

PROTOCOL

Complimentenonderzoek

2017

(31)

Inhoud

• Inlogcodes

• Werving

• 1

e

contact, aanmelding

• 2e contact en huisbezoek

o

Conditie 1 t/m 4

o

Conditie 5

o

Conditie 6

• Posttest

o

Conditie 1 t/m 4

o

Conditie 5

o

Conditie 6

• Follow-up

o

Conditie 1 t/m 4

o

Conditie 5

o Conditie 6

BIJLAGEN 1: WERVING

BIJLAGEN 2: HUISBEZOEK PAKKET BIJLAGEN 3: FOLLOW-UP

(32)

INLOGCODES

Dropbox: Jouw excelbestand is beveiligd met het wachtwoord: xxxxx

Email: www.mail.zoho.com

Username: xxxxx Wachtwoord: xxxxx

Verzend e-mailtjes vanaf je eigen alias. Als ouders hierop reageren komt het mailtje automatisch in jouw eigen map te staan. Bij instellingen  filters kan je instellen dat (alléén) de mailtjes die op jouw alias

binnenkomen, worden doorgestuurd naar je eigen adres. Let op: je moet wel reageren vanaf het complimentenonderzoek emailadres.

Qualtrics: www.qualtrics.com

Username: xxxxx Wachtwoord: xxxxx

(33)

WERVING

ALLES VERWIJST NAAR WEBSITE, DAAR KUNNEN OUDERS AANMELDEN. 1) Scholen bellen met als doel:

a. Stukje in nieuwsbrief

b. Flyers aan kinderen groep 1 t/m 4 meegeven

c. Grote flyer in school ophangen 2) Buitenschoolse opvang bellen met als doel:

a. Stukje in nieuwsbrief

b. Flyers aan kinderen leeftijd 4 t/m 8 meegeven

c. Grote flyer in opvang ophangen 3) Flyers op andere plekken hangen

a. Supermarkten

b. Binnen- en buitenspeeltuinen c. …

Wanneer je scholen/kinderdagverblijven belt, gebruik dan de tekst in Dropbox: “Wat werkt bij het bellen naar scholen, werkdocument”

Prioriteit = nieuwsbrief stukje, die lezen de meeste ouders!

(34)

1

e

CONTACT

1. Jolien ontvangt aanmeldingen via e-mail, geeft aanmeldingen een IDnummer, en verdeelt deze over dataverzamelaars.

2. Neem indien mogelijk telefonisch contact op met ouders, en anders via e-mail (voorbeeld email in Dropbox “e-mail meer informatie”)

(35)

a. Stel jezelf voor als medewerker van de uva en het complimenten onderzoek.

b. Vraag of je gelegen belt, en zeg vervolgens:

c. Ik bel u omdat ik uw aanmelding heb ontvangen voor het complimenten

onderzoek, en daar wil ik nog wat meer informatie over geven.

d. Het is een project over of de precieze invloed van complimenten op het

gedrag van kinderen. Omdat er wel verbetering mogelijk moet zijn in het gedrag van kinderen, richten we ons op ouders die merken dat kind hun soms opstandig is of slecht luistert. U heeft een kind tussen de 4 en 8 jaar? Welk kind had u daarbij in gedachten?

e. We denken dat complimenten geven helpt, en we zullen daar dan ook

informatie over geven, maar we zijn geen hulpverleners.

f. Hoe gaat het in zijn werk? We zullen loten of u meteen de tips en

adviezen krijgt, of pas over 4 weken. Indien u meteen aan de beurt bent, zullen we u 1x thuis bezoeken. Vervolgens oefent u 2 weken dagelijks en schrijft u in een dagboekje; Direct na deze twee weken en twee weken later is er een vragenlijst voor u, en één keer een speltaak, die u samen met uw kind doet. Daar maken wij via de telefoon een geluidsopname van.

g. Mocht u nou geloot worden in de groep die pas over 4 weken de oefening

krijgt, dan vult u al wel eerder die vragenlijsten in, maar krijgt u de informatie en materialen pas daarna.

h. Wat vindt u hier van?

4. Beantwoord eventuele vragen van ouders zonder in te gaan op het doelen stellen, en zonder in te gaan op de verwachtingen die we hebben over het effect van complimenten geven. Wel kun je zeggen dat we een kleiner onderzoek in het groot herhalen om te kijken of (net zoals vorige keer) complimenten geven

effectief is. Bij twijfel kun je zeggen dat je in het belang van het onderzoek nu nog niet zo veel kunt zeggen, maar dat je dat na afloop uiteraard dieper kunt ingaan op het doel van het onderzoek. Indien ouders vragen of het verplicht is het dagboekje

(36)

bij te houden en de vragenlijsten in te vullen, kun je zeggen dat de ouders nergens toe verplicht is, en altijd kan afhaken. Voor het onderzoek hebben we echter wel alle informatie nodig, vandaar dat we alleen de vergoeding geven als ouders het dagboekje en vragenlijsten wel ingevuld hebben.

5. Vraag of je ouders de link naar het akkoord voor deelname en de vragenlijst mag toesturen (in dropbox: “e-mail toestemming en vragenlijst 1”). :

6. Oke, dan ga ik u NU een e-mail sturen met daarin de link naar de eerste vragenlijst. De vragenlijst gaat over u, de opvoeding en uw kind. In deze vragenlijst geeft u ook schriftelijke toestemming voor uw deelname. Nadat u deze vragenlijst heeft ingevuld kan ik gaan loten. Ik of een van mijn collega’s zal u bellen als de loting bekend is.

(37)

2

e

CONTACT en HUISBEZOEK

!! Check in Qualtrics of ouders de eerste vragenlijst hebben ingevuld.

Zodra ouders de vragenlijsten hebben ingevuld mail je Jolien om te vragen in welke conditie de ouders zitten (jolien verdeelt random)  bel ouders indien de vragenlijsten niet volledig zijn.

Conditie Fase 1 Fase 2

1

Pretest Interventie +

Manipulatie: bereiken Posttest Manipulatie: bereiken Follow-up 2

Pretest Interventie +

Manipulatie: bereiken Posttest Manipulatie: voorkomen Follow-up 3

Pretest Interventie +

Manipulatie: voorkomen Posttest Manipulatie: bereiken Follow-up 4

Pretest Interventie +

Manipulatie: voorkomen Posttest Manipulatie: voorkomen Follow-up 5

Pretest Interventie Posttest Follow-up

6

Pretest Posttest Follow-up

CONDITIE 1 T/M 4:

2e contact

1. Bel ouders om te vertellen dat we geloot hebben en dat zij meteen de tips en adviezen krijgen.

2. Plan met ouders het huisbezoek (45 minuten) in. Leg uit dat het voor de kwaliteit van het onderzoek belangrijk is dat de ouder tijd en aandacht kan hebben voor de

(38)

onderzoeker tijdens het bezoek, zonder dat de kinderen daar bij zijn. Vraag of dat mogelijk is, en of de ouder daarvoor wil zorg dragen. Je kunt bijvoorbeeld

suggereren om te komen wanneer de kinderen op school zijn, of de kinderen even op de eigen kamer te laten spelen. Desnoods bied je aan om een oppas (medestudent) mee te nemen.

Huisbezoek

1. Herinner de ouder aan je huisbezoek door een dag van te voren een sms’je te sturen.

Goedemiddag! Een reminder: Morgen kom ik bij u langs om de tips en adviezen over complimenten te geven. Tot dan,

[JOUW NAAM] (complimenten onderzoek)

2. Verzamel je huisbezoek-pakket bij elkaar met daarin:

a. Laptop waarop filmpjes kunnen worden bekeken. Zorg dat je het filmpje kunt openen zonder dat ouders de manipulatie zien. De filmpjes staan in dropbox en kunnen zonder internet worden geopend.

b. Logboek c. Plakband

d. Geel insteek-mapje voor ouders met daarin: i. Weekoverzicht,

ii. Dagboek,

iii. Plastic A4 “complimenten geven” (groen)

iv. Plastic A4 “waarom complimenten geven” (blauw) v. Papiertje met “doelen” fase 1 (blauw)

e. Dichte envelop:

i. Plastic A4 “waarom complimenten geven” (geel) ii. Papiertje met “doelen” fase 2 (geel)

iii. Memory ingepakt

iv. Vragenlijstje over speltaak

v. Retourenvelop voor dagboek en A4tjes 3. Zorg dat je op tijd bij het huisbezoek bent.

(39)

4. Doel bij binnenkomst is om kennis te maken, maar zorg ervoor dat deze kennismakingsfase niet te lang duurt (niet langer dan 5 minuten).

INTERVENTIE

5. Interventie filmpje complimenten geven: vertel dat er een kort animatiefilmpje is gemaakt om de manier van complimenten geven toe te lichten en laat het filmpje zien.

6. Laat daarna het A4 voor op de koelkast zien en bespreek het filmpje aan de hand van dit A4. Op dit A4 wordt de informatie uit het filmpje herhaalt.

Complimenten geven bestaat eigenlijk uit twee stappen. Eerst is het nodig dat u aandacht heeft voor goed gedrag, ook al zijn het maar kleine dingen. De volgende stap is het compliment geven. Een compliment is pas

geloofwaardig voor kinderen als het enthousiast en oprecht overkomt. Dit kunt u bereiken door oogcontact te maken, erbij te lachen en een gebaar te maken. De voorbeelden hieronder zijn: [lees voor].

7. Vraag ouders wat ze van de adviezen vinden. Geef ook ruimte om vragen te stellen en beantwoord deze voor zover je dat kunt. Indien ouder vragen heeft die je niet kunt beantwoorden, geef dan aan dat je het na gaat vragen en binnenkort laat weten.

8. Geef ouder het dagboekje en leg uit wat de bedoeling is. Het is de bedoeling dat u vanaf morgen iedere dag (bijvoorbeeld zodra uw kind ’s avonds in bed ligt) schrijft over het gedrag van uw kind van die dag en opschrijft of u voor dit gedrag een compliment heeft gegeven, wat u gezegd heeft en in

hoeverre dit aansluit bij het advies dat op dit blad staat. Het is belangrijk dat u iedere dag even schrijft, omdat herinneringen op de dag zelf het best zijn. Het invullen duurt slechts 2 of 3 minuten. Om u aan het schrijven te

herinneren ontvangt u van ons dagelijks om 20:00u een smsje. Zorg dat je in het bezit bent van een 06-nummer van de ouder om naar te smsen.

9. Zet de data onder de bolletjes van het dagboekje

10. Vraag weer wat ouders er van vinden om hier twee weken mee aan de slag te gaan. Indien ouders aangeven dit moeilijk te vinden kun je aangeven dat het in het begin altijd lastig is. We weten echter dat hoe langer ouders er mee bezig zijn, hoe meer vanzelf het gaat. Het is dus echt oefening baart kunst.

(40)

MANIPULATIE

11. Manipulatie filmpje “waarom complimenten?”: vertel dat er nog een kort

animatiefilmpje is gemaakt om toe te lichten waarom wij denken dat het helpt om complimenten te geven.

12. Laat daarna het blauwe, geplastificeerde A4 voor op de koelkast zien en bespreek het filmpje aan de hand van dit A4. Op dit A4 wordt weer de informatie uit het filmpje herhaalt. Met complimenten geven kunt u verschillende dingen {bereiken/voorkomen}. Lees het A4 voor.

13. Vraag ouders vervolgens wat ze vinden van de informatie. Geef weer ruimte om vragen te stellen en beantwoord deze voor zover je dat kunt. Indien ouder vragen heeft die je niet kunt beantwoorden, geef dan aan dat je het op gaat zoeken / na gaat vragen en binnenkort laat weten.

14. Pak het blauwe “doelen stellen” document erbij en vraag ouders om nu voor henzelf na te gaan wat zij zouden willen bereiken/voorkomen. We hebben nu gezien wat ouders met complimenten geven zoal kunnen

{bereiken/voorkomen}. Als u nu denkt aan uw situatie, wat zou u dan willen {bereiken/voorkomen}? Zijn er specifieke situaties waarin u het graag anders zou zien? Stel samen 3 doelen op in de stijl van de conditie. Wanneer ouders dat niet uit zichzelf doen: Kunt u dit doel beginnen met “ik wil

bereiken/voorkomen dat”? Schrijf direct en letterlijk de doelen over in je logboek.

AFRONDING

15. Hang de A4’s op de koelkast. Omdat het belangrijk is dat u zich de komende weken bewust blijft van de adviezen en wat u ermee kunt

{voorkomen/bereiken} stel ik voor dat we beide A4’s op de koelkast of een andere zichtbare plaats in huis hangen. Kijk samen met ouder wat hiervoor een geschikte plek is en zorg dat het je de twee A4tjes direct ophangt met plakband.

16. Bespreek het weekoverzicht met daarin de planning. Maak een afspraak voor over 2 weken waarop je met ouders zal bellen en schrijf die afspraak in het weekoverzicht. Leg uit dat de dichte envelop dan opengemaakt zal worden.

(41)

Benadruk dat er niets spannends in de envelop zit, gewoon nog wat meer formulieren (om te voorkomen dat ouders stiekem gaan gluren).

17. Naast de dichte envelop laat je het gele insteek-mapje achter met daarin: a. Dagboek (bovenop)

b. Doelen (direct onder het dagboek) c. Weekoverzicht

18. Bedank de ouder en herhaal jullie belafspraak voor over 2 weken. Wens de ouder succes met het dagboek. Zeg dat je bereikbaar bent voor eventuele vragen.

Na afloop

19. Noteer alle gegevens in logboek

20. E-mail de geformuleerde doelen letterlijk naar Jolien (inclusief IDnummer) 21. Stel de SMS-dienst (via app: “Do it later”) in voor de komende 14 dagen om

20:00u (behalve dag 1 en 8):

Goedenavond! Een reminder: denkt u aan uw dagboekje? Hartelijk dank. Groeten, [jouw naam] (complimenten onderzoek)

22. Op dag 1 en dag 8 zet je in het smsje ook de doelen die in het huisbezoek zijn gemaakt.

Goedenavond! Een reminder: denkt u aan uw dagboekje? Uw doelen voor komende periode zijn: 1) … 2) … 3)… Hartelijk dank. Groeten, [jouw naam] (complimenten onderzoek)

23. Plan in je agenda op dag 8 een surprise call.

Exact één week na je bezoek aan het gezin vindt de surprise call plaats. Je belt ouder om te vragen hoe het gaat met het dagboek, of het lukt om deze iedere dag in te vullen, of ze al resultaat zien wat betreft de doelen (herhaal doelen!), en of hij/zij nog vragen heeft. Herinner de ouder aan de belafspraak die staat gepland op dag 14. Bel ouder aan het begin van de avond, om de

(42)

kans te vergroten dat je hem/haar precies op die dag te pakken krijgt. Geef op het logformulier aan na hoeveel dagen de surprise call heeft plaatsgevonden.

CONDITIE 5:

2e contact

1. Vertel ouders dat we geloot hebben en dat zij meteen de tips en adviezen krijgen. 2. Plan met ouders het huisbezoek (45 minuten) in. Leg uit dat het voor de kwaliteit van het onderzoek belangrijk is dat de ouder tijd en aandacht kan hebben voor de onderzoeker tijdens het bezoek, zonder dat de kinderen daar bij zijn. Vraag of dat mogelijk is, en of de ouder daarvoor wil zorg dragen. Je kunt bijvoorbeeld

suggereren om te komen wanneer de kinderen op school zijn, of de kinderen even op de eigen kamer te laten spelen. Desnoods bied je aan om een oppas (medestudent) mee te nemen.

3. Plan ook met ouders alvast een belafspraak in voor twee weken daarna.

Huisbezoek

24. Herinner de ouder aan je huisbezoek door een dag van te voren een sms’je te sturen.

Goedemiddag! Een reminder: Morgen kom ik bij u langs om de tips en adviezen over complimenten te geven. Tot dan,

[JOUW NAAM] (complimenten onderzoek)

25. Verzamel je huisbezoek-pakket bij elkaar met daarin:

a. Laptop waarop filmpjes kunnen worden bekeken. Zorg dat je het filmpje kunt openen zonder dat ouders de manipulatie zien. De filmpjes staan in dropbox en kunnen zonder internet worden geopend.

(43)

c. Plakband

d. Geel insteek-mapje voor ouders met daarin: i. Weekoverzicht,

ii. Dagboek,

iii. Plastic A4 “complimenten geven” (groen) e. Dichte envelop met:

i. Memory ingepakt

ii. Vragenlijstje over speltaak

iii. Retourenvelop voor dagboek en A4tje

26. Zorg dat je op tijd bij het huisbezoek bent.

27. Doel bij binnenkomst is om kennis te maken, maar zorg ervoor dat deze kennismakingsfase niet te lang duurt (niet langer dan 5 minuten).

INTERVENTIE

28. Interventie filmpje complimenten geven: vertel dat er een kort animatiefilmpje is gemaakt om de manier van complimenten geven toe te lichten en laat het filmpje zien.

29. Laat daarna het A4 voor op de koelkast zien en bespreek het filmpje aan de hand van dit A4. Op dit A4 wordt de informatie uit het filmpje herhaalt.

Complimenten geven bestaat eigenlijk uit twee stappen. Eerst is het nodig dat u aandacht heeft voor goed gedrag, ook al zijn het maar kleine dingen. De volgende stap is het compliment geven. Een compliment is pas

geloofwaardig voor kinderen als het enthousiast en oprecht overkomt. Dit kunt u bereiken door oogcontact te maken, erbij te lachen en een gebaar te maken. De voorbeelden hieronder zijn: [lees voor].

30. Vraag ouders wat ze van de adviezen vinden. Geef ook ruimte om vragen te stellen en beantwoord deze voor zover je dat kunt. Indien ouder vragen heeft die je niet kunt beantwoorden, geef dan aan dat je het na gaat vragen en binnenkort laat weten.

31. Geef ouder het dagboekje en leg uit wat de bedoeling is. Het is de bedoeling dat u iedere dag (bijvoorbeeld zodra uw kind ’s avonds in bed ligt) schrijft over

(44)

het gedrag van uw kind van die dag en opschrijft of u voor dit gedrag een compliment heeft gegeven, wat u gezegd heeft en in hoeverre dit aansluit bij het advies dat op dit blad staat. Het is belangrijk dat u iedere dag even

schrijft, omdat herinneringen op de dag zelf het best zijn. Het invullen duurt slechts 2 of 3 minuten. Om u aan het schrijven te herinneren ontvangt u van ons dagelijks om 20:00u een smsje. Zorg dat je in het bezit bent van een 06-nummer van de ouder om naar te smsen.

32. Zet de data onder de bolletjes van het dagboekje

33. Vraag weer wat ouders er van vinden om hier twee weken mee aan de slag te gaan. Indien ouders aangeven dit moeilijk te vinden kun je aangeven dat het in het begin altijd lastig is. We weten echter dat hoe langer ouders er mee bezig zijn, hoe meer vanzelf het gaat. Het is dus echt oefening baart kunst.

34. Bespreek het weekoverzicht met daarin de planning. Maak een afspraak voor over 2 weken waarop je met ouders zal bellen en schrijf die afspraak in het weekoverzicht.

35. Laat naast de dichte envelop, het gele insteek-mapje achter met daarin: d. Dagboek (bovenop)

e. Weekoverzicht

36. Bedank de ouder en herhaal jullie belafspraak voor over 2 weken. Wens de ouder succes met het dagboek. Zeg dat je bereikbaar bent voor eventuele vragen.

Na afloop

37. Noteer alle gegevens in logboek

38. Stel de SMS-dienst (via app: Do it Later) in voor de komende 14 dagen om 20:00u:

Goedenavond! Een reminder: denkt u aan uw dagboekje? Hartelijk dank. Groeten, [jouw naam] (complimenten onderzoek)

Referenties

GERELATEERDE DOCUMENTEN

in hoofdstuk II, de dodelijke doch idyllische bocage van de Vendée anno 1793 induiken, welke ‘totale’ eigenschappen blijken dan van toepassing te zijn op dit

The most important examples of the current developments of the EU into the role of strategic military actorness, are the structural funding for defence, the various

The bubble growth and the jet velocity were measured as a function of the devices geometry (channel diameter D and chamber width A).. The fastest jets were those for relatively

These desired spectral properties can be achieved via feedback from long external cavities that comprise narrowband spectral filters, so- called external cavity diode lasers

The book positions the psychology of retention as a function of six inter-related factors: (1) an appropriate evaluative paradigm through which retention is explored, (2) retention

Objective Objectives of this study were to determine (1) reference maximum standardized uptake values (SUVmax) for normal adrenal 18 F-DOPA tracer uptake and (2) the optimal

SRS-694 no required domain knowledge and knowledge code that was not touched (coupling) SRS-768 no metrics showed high familiarity but it required a change in the data structure

Deze residenties werden door Nederlanders regelmatig bezocht tijdens een Grand Tour door Frankrijk, een reis die zowel gericht was op educatie als op vermaak.. De