Interne structuur en betrouwbaarheid van een meetinstrument om de kwaliteit van de leerling-leerkrachtrelatie te meten in het speciaal onderwijs cluster 4
Masterscriptie Forensische Orthopedagogiek Graduate School of Child Development and Education Universiteit van Amsterdam L. R. Stokkel (12818011) Begeleiding: Dr. I. B. Wissink en Prof. Dr. G. J. J. M. Stams Amsterdam, Mei 2020
2
Abstract
The aim of this study was to examine the internal structure and reliability of the Student Perception of Affective Relationship with Teacher Scale (SPARTS) among children in special education aged between 8 and 19 years. The SPARTS measures the quality of the student-teacher relationship from the perspective of the student on three dimensions: proximity, conflict and negative expectations. The SPARTS was completed by 383 students (51 girls and 332 boys; 19% with a migration background). A confirmatory factor analysis (CFA) confirmed a three-factor structure with 17 items. The CFA indicated metric measurement invariance for age. Reliability analyses showed that the SPARTS was reliable, except for the subcategory negative expectations. The results imply that the SPARTS can be used to measure the student-teacher relationship in a reliable way. However, the subcategory negative expectations needs improvement for clinical practice. Further research should establish measurement invariance for gender and ethnicity.
Samenvatting
Het huidige onderzoek had als doel de interne structuur en betrouwbaarheid van de Relatie Vragenlijst (RVL) te meten bij leerlingen van het SO en VSO, cluster 4. De RVL meet de leerling-leerkrachtrelatie vanuit de perceptie van de leerling. De vragenlijst is afgenomen bij 383 leerlingen (51 meisjes en 332 jongens; 19% met migratieachtergrond) in de leeftijd van 8 tot 19 jaar. Een confirmatieve factor analyse is uitgevoerd, waaruit een drie factorstructuur met 17 items is gekomen. De RVL bleek metrisch invariant voor leeftijd. Een hoge betrouwbaarheid werd gevonden voor de schalen nabijheid en conflict en een lage betrouwbaarheid voor de schaal negatieve verwachtingen. Bij vervolgonderzoek zou de schaal negatieve verwachtingen mogelijk aangepast moeten worden voor gebruik in de klinische praktijk. Daarnaast zou meetinvariantie voor sekse en etniciteit kunnen worden getoetst.
3
Inleiding
Wanneer leerlingen in het regulier basisonderwijs door een beperking ernstige problemen ervaren en niet meer zonder extra ondersteuning vanuit school kunnen deelnemen aan dit type onderwijs, kunnen zij in het speciaal onderwijs worden geplaatst (Stoutjesdijk & Scholte, 2009). Volgens de huidige statistieken gaan ruim 30.000 leerlingen jaarlijks naar het speciaal onderwijs (SO) en bijna 38.000 leerlingen naar het voortgezet speciaal onderwijs (VSO) (Onderwijs in Cijfers, 2019).
Het SO is opgedeeld in vier verschillende clusters. Dit onderzoek zal zich richten op leerlingen in cluster 4 van het SO (Stoutjesdijk & Scholte, 2009). Cluster 4 van het SO is bedoeld voor kinderen die ernstige ontwikkelingspsychopathologie hebben en bij wie dit tot uiting komt in gedrags-, emotionele of ontwikkelingsstoornissen (Stoutjesdijk & Scholte, 2009; Wicks-Nelson & Israel, 2009). Daarbij is bekend dat er bij deze leerlingen veelal sprake is van comorbiditeit, wat betekent dat er meerdere stoornissen zijn gediagnosticeerd bij een leerling. De leerlingen in SO cluster 4 zijn vaak kwetsbaar en hebben structuur en extra aandacht nodig om een zo goed mogelijk uitstroomperspectief te realiseren (Tick, Hoogendijk, Schoping, & Maras, 2011). Het cluster 4 onderwijs stelt dat het individuele kind centraal staat en bereidt leerlingen zo goed mogelijk voor op een plek in de maatschappij (Dijksma, 2007).
Een belangrijk element in de aanpassing en ontwikkeling van kinderen is de leerling-leerkrachtrelatie (Koomen, Verschueren, & Pianta, 2007). Bowlby (1988) en Ainsworth (1978) hebben in het verleden onderzoek gedaan naar de gehechtheid tussen ouder en kind. Deze onderzoeken geven empirisch en theoretisch bewijs voor de invloed van interpersoonlijke relaties tussen kinderen en volwassenen op de ontwikkeling van kinderen. Hoewel de ouder-kindrelatie en de leerling-leerkrachtrelatie verschillen in bijvoorbeeld de opvattingen over de opvoedersrol, de duurzaamheid van de relatie en de context van de interacties, blijkt dat er ook een verwantschap is tussen de twee relaties door overeenkomsten in relationeel gedrag en veiligheidsgevoelens (Koomen et al., 2007).
4
De leerkracht fungeert net als ouders als veilige basis voor de leerling (Roorda et al., 2011). Uit de gehechtheidstheorie van Bowlby (1988) is bekend dat kinderen behoefte hebben aan een veilige basis. Dit geldt namelijk voor kinderen als een voorwaarde om zichzelf te ontwikkelen of om hun omgeving te exploreren (Derks, Philipse, & IJzendoorn, 1997; Split & Koomen, 2010). Het biedt daarnaast steun in een stressvolle situatie (Ainsworth, 1991). Hierdoor ontstaan er gunstige effecten van warme en positieve leerling-leerkrachtrelaties, maar daarnaast zorgt het juist ook voor ongunstige effecten van conflictueuze, negatieve of overafhankelijke relaties (Koomen et al., 2007). Deze effecten zijn terug te vinden in het functioneren op school, zoals in werkhouding, schoolprestaties, probleemgedrag en plezier in school. In onderzoek van Wayman (2002) wordt geconcludeerd dat leerlingen zich minder gesteund voelen bij een gebrekkige relatie met de leerkracht. Dit kan resulteren in externaliserend probleemgedrag. Ook blijkt uit onderzoek dat er een verband is tussen een negatieve leerling-leerkrachtrelatie op jonge leeftijd en gedragsproblemen op oudere leeftijd bij die leerling (Hamre & Pianta, 2001). Daarentegen hangt een hoge mate van verbondenheid op school samen met positieve resultaten, zoals minder risico op deviant of afwijkend gedrag, betere prestaties op school, meer schoolsucces en een positieve ontwikkeling (Wissink et al., 2014).
De relatie die leerlingen met leerkrachten opbouwen tijdens hun schoolloopbaan is niet alleen belangrijk voor het sociaal-emotioneel klimaat, maar ook voor het leerklimaat in de klas (Opdenakker, 2014). Een ondersteunende en warme relatie wordt gekenmerkt door een hoge mate van nabijheid, waarbij er sprake is van vertrouwen, plezier en open communicatie (Pianta, 2001; Split, 2010). De leerling wordt ondersteund door de leerkracht,die begrip heeft voor de leerling. Dit heeft een positieve invloed op de ontwikkeling op school. Wanneer er een gebrek is aan vertrouwen en aan genegenheid leidt dit tot afstandelijkheid. De leerling-leerkrachtrelatie kan dan worden overheerst door conflicten. Vooral bij kinderen met moeilijk gedrag wordt de
5
relatie vaak door wantrouwen en onbegrip gekenmerkt. Doordat veel energie naar conflicten toe gaat en dit bij beiden stress oplevert, blijft er minder tijd over voor de ontwikkelingen op school, wat een risico is voor falen op school (Split, 2010; Stipek & Miles, 2008). Als laatste kan overmatig afhankelijk gedrag ook een probleem zijn voor de leerling-leerkrachtrelatie. Wanneer leerlingen continu hulp en aandacht vragen, ook in onnodige situaties, en zich moeilijk of niet laten geruststellen, gaat dit ten koste van de energie voor leren. Vaak komt dit doordat leerlingen onderliggende onveiligheidsgevoelens hebben, waarbij de leerling-leerkrachtrelatie geen veilige basis is. Veel nabijheid, weinig conflicten en onafhankelijkheid kenmerken dus de meest gunstige leerling-leerkrachtrelatie (Pianta, 2001; Split, 2010).
Het is bekend dat een goede leerling-leerkrachtrelatie in het primair onderwijs van belang is (Koomen et al., 2007). Daarnaast zijn er ook positieve effecten gevonden van positieve leerling-leerkrachtrelaties voor jongeren die op het voortgezet onderwijs zitten. Een positieve relatie draagt bij aan meer prosociaal gedrag (Wissink et al., 2014). Niet alleen is het gerelateerd aan minder slecht gedrag op school, maar ook aan minder delinquent gedrag en vandalisme buiten school. Bij deze jongeren blijkt dat een ondersteunende relatie met hun leerkracht een positief effect heeft op de motivatie voor school. Vooral bij jongeren die kwetsbaar zijn, is deze relatie extra belangrijk zodat ze zich veiliger voelen op school (Koomen et al., 2007). In eerder onderzoek is door middel van een vragenlijst voornamelijk de leerling-leerkrachtrelatie vanuit de perceptie van de leerkracht onderzocht (Koomen et al., 2007; Pianta & Nimetz, 1991). Hieruit blijkt dat in het cluster 4 onderwijs de leerling-leerkrachtrelatie als minder positief ervaren wordt wanneer er sprake is van probleemgedrag (Pianta & Nimetz, 1991). Op dit moment is er echter nog geen gevalideerd instrument in Nederland die de leerling-leerkrachtrelatie vanuit de perceptie van de leerlingen in het speciaal onderwijs cluster 4 meet. In het huidige onderzoek wordt de Relatie Vragenlijst (RVL; Koomen & Jellesma, 2015) gevalideerd. Deze vragenlijst meet de kwaliteit van de leerling-leerkrachtrelatie in het speciaal
6
onderwijs, cluster 4, vanuit de perceptie van de leerling. Er zal hierbij aandacht worden gegeven aan het onderscheid tussen twee leeftijdsgroepen; kinderen in het speciaal onderwijs (SO) en jongeren in het voortgezet speciaal onderwijs (VSO). Om te beoordelen of deze vragenlijst valide is, worden de interne structuur, de meetinvariantie en de betrouwbaarheid (interne consistentie) getoetst. De subschalen die hierbij worden gebruikt zijn nabijheid, conflict en negatieve verwachtingen. Wanneer een meetinstrument valide is, meet het wat het daadwerkelijk beoogt te meten (Nederlands Jeugdinstituut, z.d.). De RVL is dus valide, wanneer het daadwerkelijk de leerling-leerkrachtrelatie vanuit de perceptie van de leerling in het speciaal onderwijs cluster 4 meet. Een voorwaarde voor validiteit is de betrouwbaarheid. Het is dan ook belangrijk om de betrouwbaarheid van een meetinstrument te onderzoeken (Nederlands Jeugdinstituut, z.d.). Wanneer het meetinstrument nauwkeurig of consistent meet is het betrouwbaar. Dit betekent dat de uitkomst niet mag afhangen van toeval. Wanneer de RVL dus betrouwbaar is, maakt het niet uit wie het instrument gebruikt en mag er vanuit worden gegaan dat de uitkomst klopt. Daarnaast zal er worden gekeken of de uitkomst van de perceptie van de leerling beïnvloed wordt door de klas waarin zij zitten.
De RVL is ontwikkeld omdat leerlingen in het SO doorgaans meer moeilijkheden dan leerlingen binnen het reguliere onderwijs hebben met motivatie voor bepaalde leertaken (Cohen, 1986). Daarnaast kunnen er problemen met concentratie en aandacht zijn, terwijl deze twee aspecten juist de basis zijn voor een goede werkhouding en succes (Bosch-Sthijns, 2011). Met de vragenlijst kunnen eventuele aandachtspunten tijdig opgemerkt worden, zodat hier goed op ingespeeld zou kunnen worden door de leerkracht of ondersteuners. De beoogde vragenlijst mocht echter niet te lang zijn, zodat de motivatie, aandacht en concentratie zo optimaal mogelijk zouden blijven en de afname niet te lang zou duren. Het gedrag van de leerling, waaronder ongehoorzaam, agressief en hyperactief gedrag, was ook een reden om de vragenlijst zo kort mogelijk te houden (Aloe et al., 2014).
7
Een dergelijk goed gevalideerde vragenlijst zal ook internationaal gezien gewenst zijn aangezien uit onderzoek blijkt dat de leerling-leerkrachtrelatie erg belangrijk kan zijn voor leerlingen die uit etnische minderheidsgroepen komen (Decker, Dona, & Christenson, 2007). Daarnaast is er wereldwijd voornamelijk onderzoek gedaan naar de leerling-leerkrachtrelatie vanuit de perceptie van de leerkracht, waardoor onderzoek naar de perceptie van de leerling een goede toevoeging zal zijn. De associaties tussen de kwaliteit van de leerling-leerkrachtrelatie en de gedragsaanpassing van kinderen wordt namelijk beïnvloed door beide percepties (Ewing & Taylor, 2008).
Methode Participanten en procedure
Aan dit onderzoek hebben 383 leerlingen van het SO en VSO meegedaan in de leeftijd van acht tot negentien jaar. Deze groep leerlingen bestond uit 332 jongens en 51 meisjes, waarvan 72 (19%) met een migratieachtergrond (een overrepresentatie van leerlingen met een Surinaamse of Marokkaanse achtergrond). De RVL is afgenomen op cluster 4 scholen van Orion. Orion biedt speciaal primair en voortgezet openbaar onderwijs in Amsterdam (Orion Speciaal In Het Onderwijs, z.d.) en bestaat uit negen locaties die passende zorg en speciaal onderwijs bieden aan kinderen van vier tot twintig jaar oud. Orion is gespecialiseerd in de begeleiding en in het onderwijs aan kinderen en jongeren met een lichamelijke en/of een verstandelijke beperking en een chronische ziekte en ook aan kinderen en jongeren met psychiatrische, psychische en/of gedragsstoornissen. De participanten hebben als eerste een informed consent formulier ingevuld. Vervolgens kregen zij een vragenlijst, die ze tijdens hun les moesten invullen.
Materiaal
De Relatie Vragenlijst (RVL) bestaat uit 18 items (Koomen & Jellesma, 2015), verdeeld over de schalen nabijheid, conflict en negatieve verwachtingen. De items bestaan uit stellingen
8
waarin een uitspraak gedaan wordt over de leerkracht. Aan de leerlingen is gevraagd om deze stellingen een score te geven van 1 (‘Nee, dat is niet zo’) tot en met 5 (‘Ja, dat is zo’). Voorbeelden van deze stellingen zijn ´Ik voel me op mijn gemak bij mijn juf of meester´ en ´ Als ik bij mijn juf of meester ben, voel ik me zenuwachtig´. Koomen en Jellesma (2015) voerden een valideringsonderzoek uit bij een etnisch diverse steekproef van 586 leerlingen op reguliere basisscholen, met een gemiddelde leeftijd van 11 jaar en een ongeveer gelijke verdeling van meisjes en jongens. Zij vonden ondersteuning voor de driefactor structuur middels confirmatie factoranalyse (RMSEA = .062, CFI = .923). De interne consistenties van de schalen Conflict, Negatieve Verwachtingen en Nabijheid waren respectievelijk .79, .70 en .74.
Statistische analyse
De verkregen data zijn in het statistische programma SPSS (Statistical Package for Social Sciences) ingevoerd. Als eerste is de vragenlijst opgedeeld in drie subschalen. Deze subschalen zijn gebaseerd op wat de stellingen van de vragenlijst meten. In de drie subschalen werden zes items toegekend. Vervolgens is in het programma R de interne structuur van de RVL onderzocht door middel van een confirmatieve factor analyse (CFA). Hierbij is het startmodel getoetst met een drie-factoroplossing (met alle 18 items en drie latente factoren, oftewel de drie subschalen), waarbij is nagegaan of een verbetering van het model zou optreden wanneer er gecorreleerde meetfouten tussen verschillende items zouden worden toegestaan. Vervolgens is gekeken of er items verwijderd dienden te worden. Items met een factorlading < .30 worden doorgaans gezien als ‘problematische’ items, oftewel, als items die weinig bijdragen aan het te meten construct of een hoge mate onverklaarbare significante meetfouten hebben.
Na de CFA is de meetinvariantie van het best passende model van de RVL getoetst. De structuur is vergeleken tussen twee verschillende groepen participanten, samengesteld op basis van hun leeftijd; SO en VSO. Er is hierbij een stapsgewijze procedure gevolgd, waarbij achtereenvolgens de configurale, metrische, scalaire en strikte meetinvariantie is getoetst. Bij
9
configurale invariantie is er sprake van een gelijke basis factorstructuur (Gregorich, 2006). Als er sprake is van metrische invariantie zijn de factorladingen vergelijkbaar over verschillende groepen. Wanneer van scalaire invariantie sprake is, zijn de intercepten vergelijkbaar voor verschillende groepen. Als laatste kan er gesproken worden van strikte meetinvariantie wanneer de voorwaardelijke variantie van de respons onveranderlijk is tussen groepen.
Voor de interne structuur en de meetinvariantie zijn de volgende fit-indexen vastgesteld: Chi-square (X2), Standardised Root Mean Square (SRMR), de Root Mean Square Error of Approximation (RMSEA), De Tucker-Lewis Index (TLI) en de Comporative Fit Index (CFI). Een factormodel heeft bij de waarden van .90 of hoger een marginale fit (Hu, & Bentler, 1999). Waarden gelijk aan of lager dan .07 wijzen op een goede fit wat betreft de RMSEA en SRMR (Kline, 2016)
Vervolgens is door middel van de betrouwbaarheidsanalyses (Cronbach’s alfa) de interne consistentie van de schalen nabijheid, conflict en negatieve verwachtingen in SPSS vastgesteld. Wanneer de betrouwbaarheidsmaten >.80 zijn worden deze beschouwd als goed en wanneer deze >.60 zijn worden ze beschouwd als net voldoende (Ponterotto & Ruckdeschel, 2007).
Tenslotte is er in het programma R een multilevel analyse gedaan, waarbij de level 2 significantie is getoetst. Hiermee is onderzocht of er systematische verschillen zijn tussen de percepties van leerlingen in verschillende klassen, oftewel, of er sprake was van afhankelijkheid in de gegevens binnen klassen. Indien dit het geval zou zijn, zou nagegaan moeten worden of de factorstructuur op level 1 (verschillen tussen leerlingen binnen klassen) gelijk is aan de factorstructuur op level 2 (verschillen tussen klassen).
Resultaten Interne structuur
10
De fitstatistieken van de getoetste drie-factor modellen zijn in Tabel 1 opgenomen. Tijdens de eerste stap is het startmodel (model 1) getoetst, bestaande uit 18 items van de RVL. Dit model gaf een marginale fit. Het startmodel kon worden verbeterd door een gecorreleerde meetfout toe te staan, namelijk tussen item 8 en item 18. Dit was mogelijk doordat er in de itemformulering overeenkomsten zijn, namelijk dat beide items meten of een leerling denkt dat de leerkracht hem/haar wantrouwt. Ook dit model gaf echter nog een marginale fit. In model 3 is er daarom naast de toegestane gecorreleerde meetfout één item met een lage factorlading(v3) verwijderd. Dit item houdt in ’Ik zou willen dat mijn juf of meester beter naar me luistert als ik iets wil zeggen of wil vertellen’. Dit item is uit de subschaal negatieve verwachtingen gehaald. Het verwijderen en het toestaan van de meetfout heeft geleid tot model 3, waarbij een optimale fit is bereikt. Dit model toont een goede fit.
Tabel 1.
CFA: Fitindexen van overall modellen
Noot. Model 1: Startmodel en marginale fit
Model 2: 18 items, met een gecorreleerde meetfout tussen item 8 en 18, marginale fit.
Model 3: 17 items, zonder item 3 en met een gecorreleerde meetfouten tussen item 8 en 18, goede fit.
Tabel 2.
Latente Variabelen: Factorladingen
Items STD
Factor 1. Nabijheid
v1: Ik voel me op mijn gemak bij mijn juf of meester .756
v4: Ik vertel mijn juf of meester dingen die belangrijk voor mij zijn .363
v7: Mijn juf of meester begrijpt mij .813
v10: Ik vind dat ik een goede relatie heb met mijn juf of meester .783
v13: Als ik een probleem heb, kan ik hiermee bij mijn juf of meester terecht .723
v15: De juf of meester weet meestal wel hoe ik mij voel .703 Factor 2. Conflict
v2: Ik heb snel ruzie met mijn juf of meester .649
X2 DF p RMSEA TLI CFI SRMR
Model 1 269.164 132 .000 .058 .912 .924 .064 Model 2 254.108 131 .000 .055 .921 .932 .063 Model 3 160.930 105 .003 .036 .967 .972 .046
11
v5: De juf of meester behandelt mij oneerlijk .747
v8: Mijn juf of meester denkt dat ik dingen stiekem doe .557 v11: Ik denk dat de juf of meester moe wordt van mij in de klas .516
v16: Ik kan erg boos zijn op mijn juf of meester .539
v18: . Ik heb het gevoel dat mijn juf of meester mij niet vertrouwt .734 Factor 3. Negatieve verwachtingen
v6: Als ik bij mijn juf of meester ben, voel ik me zenuwachtig .425 v9: Ik vind het niet leuk als mijn juf of meester aandacht heeft voor andere kinderen .590 v12: Ik zou willen dat mijn juf of meester meer tijd voor me had .561
v14: Ik ben wel eens bang voor mijn juf of meester .479
v17: Ik voel me verdrietig als de juf of meester zegt dat ik iets niet goed doe .593 De correlatie die wordt gegeven voor de meetfout die wordt toegestaan in dit model voor item 8 en item 18 is t = 3.084, p < .05. STD = .0259. Vervolgens zijn ook de correlaties tussen de drie factoren nabijheid (factor 1), conflict (factor 2) en negatieve verwachtingen (factor 3) gegeven. Factor 1 correleert negatief met factor 2 (t = -7.387, p < .001, STD = -.749). Daarnaast correleert Factor 1 negatief met factor 3 (t = -3.053, p < .05, STD = -.305). Als laatste correleert Factor 2 positief met factor 3 (t = 4.143, p < .001, STD = .582).
Meetinvariantie
De meetinvariantie van de RVL is vervolgens geanalyseerd voor het best passende model voor leeftijd; SO en VSO. In Tabel 3 zijn de fitindexen en de behaalde vormen van meetinvariantie opgenomen.
Tabel 3.
CFA: Meetinvariantie over leeftijd
X2 DF p RMSEA TLI CFI SRMR
Configuraal 303.120 230 .001 .044 .951 .959 .054
Metrisch 321.805 244 .001 .044 .950 .956 .063
Scalair 360.385 258 .000 .049 .939 .942 .067
Strikt 370.860 275 .000 .047 .944 .943 .069
In het eerste model is de configurale meetinvariantie getoetst, waarbij er goede fitindexen werden gevonden. Vervolgens is in het tweede model de metrische meetinvariantie getoetst, waarbij ook geen significante verslechtering ten opzichte van het eerste model is gevonden. Dit indiceert een voldoende fit. In het derde model is een scalaire vorm van
12
meetinvariantie getoetst. Hierbij was echter wel een significante verslechtering te zien ten opzichte van model 2. Doordat er geen sprake is van scalaire meetinvariantie, kan er ook geen sprake zijn van een strikte meetinvariantie. Hieruit kan worden geconcludeerd dat er metrische meetinvariantie is aangetoond voor de twee leeftijdsgroepen.
Betrouwbaarheid
De betrouwbaarheid van de drie subschalen van de RVL is onderzocht door de Cronbach’s alfa te berekenen voor alle participanten. De uitkomsten hiervan zijn opgenomen in Tabel 4. De betrouwbaarheid van alle originele subschalen (nabijheid, conflict en negatieve verwachtingen) bleek goed. Bij de schaal negatieve verwachtingen is item 3 eruit gehaald, omdat de factorlading niet voldoende bleek.
Tabel 4.
Cronbach’s alfa waarden voor de subschalen van de RVL
Cronbach’s alfa
Nabijheid .84
Conflict .80
Negatieve verwachtingen .66
Door de lage betrouwbaarheid van de schaal negatieve verwachtingen is gekeken naar de resultaten van de items in deze schaal voor SO en VSO. Gebleken is dat twee intercepten verschillen in uitkomsten voor SO en VSO. Bij item 9 en item 12 scoorde het SO hoger dan het VSO. Item 9 houdt in ‘Ik vind het niet leuk als mijn juf of meester aandacht heeft voor andere kinderen’ en item 12 ‘Ik zou willen dat mijn juf of meester meer tijd voor me had’. De andere items in deze schaal hebben geen verschil in de uitkomsten tussen het SO en VSO.
Multilevel analyse
Om te onderzoeken of sprake was van significante level 2 variantie is er een multilevel analyse gedaan. Hiermee is onderzocht of er verschillen zijn in de percepties van de leerlingen tussen klassen. De resultaten lieten zien dat er geen verschillen zijn tussen klassen, door een
13
niet significant resultaat (X2(153) = 154.155, p = .459). Het is daarmee niet nodig om te toetsen of de RVL meetinvariant is voor level 1 (binnen klassen) en level 2 (tussen klassen).
Discussie
Het doel van de huidige studie was om de RVL te valideren in het SO en VSO, cluster 4, vanuit de perceptie van de leerling. Door de interne structuur, de meetinvariantie en de betrouwbaarheid te toetsen is onderzocht hoe valide de RVL is. Een betrouwbaar meetinstrument om de leerling-leerkrachtrelatie te meten is nodig om te onderzoeken wat die relatie bijdraagt aan positieve effecten voor de leerlingen (Koomen et al., 2007). Een goede relatie tussen leerling en leerkracht betekent namelijk een veilige basis voor leerlingen, waaruit veel positieve onderwijsgerelateerde effecten voortkomen (Koomen et al., 2007; Roorda et al., 2011) en mogelijk ook een reductie van internaliserende en externaliserende gedragsproblemen (Jellesma, Zee, & Koomen, 2015; Lei, Cui, & Chiu, 2016).Dit is het eerste onderzoek naar de interne structuur en betrouwbaarheid van de RVL in het SO en VSO, cluster 4. Deze studie laat zien dat er met de RVL op een valide en betrouwbare manier de leerling-leerkrachtrelatie in het SO en VSO, cluster 4, gemeten kan worden.
Besloten was om een factorstructuur met drie dimensies te toetsen: nabijheid, conflict en negatieve verwachtingen. Op basis van de analyse werd één vraag van de schaal negatieve verwachtingen verwijderd die een te lage factorlading had. Het betrof item 3: ‘’Ik zou willen dat mijn juf of meester beter naar me luistert als ik iets wil zeggen of wil vertellen’. Deze vraag lijkt vooral het gebrek aan ondersteuning te meten. Mogelijk dient dit item bij doorontwikkeling van het instrument vervangen of geherformuleerd te worden. Daarnaast was er één gecorreleerde meetfout toegestaan in de CFA tussen twee items die overeenkomstige formuleringen hadden, maar wel verschillend van inhoud waren. Dit resulteerde in een vragenlijst met 17 items verdeeld over drie subschalen. De RVL bleek metrisch invariant voor leeftijd; SO en VSO. De betrouwbaarheid die is gevonden blijkt hoog voor de schalen nabijheid
14
en conflict. De schaal negatieve verwachtingen had een lage betrouwbaarheid, hetgeen overeenkomt met resultaten van de valideringsstudie van de RVL van Koomen en Jellesma (2015) en een meer recente ongepubliceerde valideringsstudie van de RVL van Masereeuw (2017).
Het ontbreken van scalaire variantie was onder andere te wijten aan twee items van de schaal negatieve verwachtingen, waarvan de intercepten bij het SO hoger waren dan het VSO. Deze twee items zijn: ‘Ik vind het niet leuk als mijn juf of meester aandacht heeft voor andere kinderen’ en ‘Ik zou willen dat mijn juf of meester meer tijd voor me had’. Uit eerder onderzoek is gebleken dat de relaties van leerlingen met hun leerkrachten veranderen door de jaren heen (Baker, 2006). Op jonge leeftijd staan volgens de hechtingstheorie zorgverlenende volwassenen centraal in de ontwikkeling van hechtingsgerelateerde relaties. De cognitieve en persoonlijke ontwikkeling gedurende de middelbare school zorgt voor een toenemend belang van relaties met leeftijdsgenoten, waardoor de relaties tussen leerling en leerkracht van betekenis veranderen (Baker, 2006). Jongere kinderen hechten over het algemeen een andere waarde aan de relatie met hun leerkracht dan oudere kinderen, wat de verschillen in reactie op de stellingen van het SO en VSO zou kunnen verklaren. Om deze verschillen te verminderen zouden deze stellingen moeten worden aangepast, zodat ze niet gevoelig zijn voor leeftijd.
Post-hoc is er getoetst of een 2-factor oplossing wel meetinvariant zou zijn op scalair niveau, maar ook hier bleek dat er alleen ondersteuning kon worden gevonden voor metrische invariantie. Daarnaast bleek een tweefactormodel, zonder negatieve verwachtingen, ook niet significant beter dan een driefactor model (Zie Appendix).
Een limitatie van dit onderzoek is de onderrepresentatie van meisjes in de steekproef (N = 51), waardoor geen meetinvariantie voor sekse onderzocht kon worden. Uit eerder onderzoek is gebleken dat leerkrachten minder positieve relaties met jongens ervaren dan met meisjes (Baker, 2006), hetgeen ook naar voren kwam in het Nederlandse valideringsonderzoek van de
15
RVL (Koomen & Jellesma, 2015), zonder dat doorgaans meetinvariantie is vastgesteld voor instrumenten waarmee kwaliteit van de leerling-leerkrachtrelatie wordt gemeten. Het is daarom voor vervolgonderzoek interessant om te kijken of er ook een verschil is in de perceptie van jongens en meisjes over de leerkracht wanneer ook meetinvariantie voor sekse is vastgesteld. Meisjes lijken meer of een andere waarde te hechten aan hun sociale relaties dan jongens (Puttalaz et al., 2007). Dit zou voor verschillen in interpretatie kunnen zorgen op relatievragenlijsten, waaronder relaties met de leerkracht. Het zou dus wenselijk zijn als er meer meisjes van cluster 4 scholen worden geworven, zodat de meetinvariantie ook kan worden getoetst voor het verschil tussen meisjes en jongens.
Uit eerder onder onderzoekt blijkt dat de leerling-leerkrachtrelatie misschien wel extra belangrijk is voor etnische minderheidsgroepen die meer risico lopen op achterstand door het gebrek aan sociale ondersteuning (den Brock, 2010). Een goede leerling-leerkrachtrelatie zou in dit geval een belangrijke beschermende factor kunnen zijn, die beschermt tegen de risico’s waarmee leerlingen uit etnische minderheidsgroepen te maken krijgen. Belangrijk is hierbij dat door leerlingen uit collectivistische (niet-westerse) culturen meer macht toebedeeld wordt aan de leerkrachten dan door jongeren uit individualistische (westerse) culturen (den Brock, 2010). Deze hiërarchische asymmetrie kan een goede persoonlijke relatie met de leerkracht in de weg staan (Saft & Pianta, 2001; Wayman, 2002). Een aanbeveling is om meetinvariantie voor etniciteit te onderzoeken in vervolgstudies. In deze studie was echter een te kleine groep leerlingen beschikbaar met een niet-westerse migratie-achtergrond om meetinvariantie voor etniciteit te kunnen vaststellen.
In deze studie wordt de leerling-leerkrachtrelatie onderzocht door de dimensies nabijheid, conflict en negatieve verwachtingen. Uit eerder onderzoek blijkt dat ook de dimensie afhankelijkheid een belangrijke factor is (Koomen et al., 2007). Hoewel dit vaak als een negatieve dimensie wordt gezien, is dit bij kinderen met problematische ontwikkelingen op het
16
gebied van het relationele functioneren of met specifieke stoornissen mogelijk anders. In dit geval kan afhankelijkheid soms adaptief zijn (Koomen et al., 2007). Afhankelijk wijst erop dat een kind behoefte heeft aan een relatie, wat juist bij kinderen met een reactieve gehechtheidsstoornis als positief opgevat zou kunnen worden (Zeanah et al., 2016). Wanneer de veilige gehechtheidservaringen een correctie zijn voor de eerdere onveilige ervaringen, leert het kind weer vertrouwen op de beschikbaarheid van een opvoedend persoon, zoals de leerkracht. In het cluster 4 onderwijs is mogelijk vaak sprake van dit soort kinderen, waardoor dit in vervolgonderzoek goed te onderzoeken zou zijn (Offerman et al., 2020).
In huidig onderzoek is er alleen gekeken naar de interne structuur en betrouwbaarheid van de RVL. Er zou in het vervolg ook divergente (e.g., verband met sociale wenselijkheid), convergente (e.g., vergelijking met gedragsobservatie van leerling-leerkracht relaties) en predictieve validiteit (e.g., relatie met probleemgedrag en schoolvaardigheden) kunnen worden getoetst.
Ondanks de limitaties laat huidig onderzoek zien dat de RVL een potentieel valide en betrouwbaar meetinstrument is om de relatie tussen leerling en leerkracht in het SO en VSO, cluster 4, te meten. Er moet echter aandacht worden besteed aan de schaal negatieve verwachtingen om deze in de klinische praktijk te kunnen gebruiken. Daarnaast zouden er voor vervolgonderzoek, zoals eerder is genoemd, meer meisjes en leerlingen met een verschillende etniciteit van het cluster 4 onderwijs geworven moeten worden om meetinvariantie voor sekse en etniciteit te kunnen vaststellen. Naast de huidige drie schalen die er bij dit meetinstrument worden gebruikt, zou een extra schaal, afhankelijkheid, kunnen worden toegevoegd voor een breder inzicht in welke leerling meer of minder zelfstandig is in relatie tot de leerkracht. Op deze manier zal de leerling-leerkrachtrelatie vanuit de perceptie van de leerling zo goed mogelijk in beeld worden gebracht, zodat er gezorgd kan worden dat een leerling zich altijd veilig voelt.
17
Referenties
Ainsworth, M. D. S. (1991). Attachments and other affectional bonds across the life cycle. Attachment across the life cycle, 33-51.
Ainsworth, M. D. S., Blehar, M. C., Waters, E., & Wall, D. (1978). Patterns of attachment: A psychological study of the strange situation. Hillsdale, NJ: Erlbaum.
Aloe, A. M., Shisler, S. M., Norris, B. D., Nickerson, A. B., & Rinker, T. W. (2014). A multivariate meta-analysis of student misbehavior and teacher burnout. Educational Research Review, 12, 30-44.
Baker, J. A. (2006). Contributions of teacher-child relationships to positive school adjustment during elementary school. Journal of School Psychology, 44, 211-229.
Bosch-Sthijns, W. (2011). Handleiding Methode Aanpakkaarten Speciaal ontwikkeld voor Kinderen met aandachts- en werkhoudingsproblemen. Antwerpen, Apeldoorn: Garant Bowlby, J. (1988). A secure base: Parent-child attachment and healthy development. London:
Basic Books.
Den Brok, P., van Tartwijk, J., Wubbels, T., & Veldman, I. (2010). The differential effect of the teacher-student interpersonal relationship on student outcomes for students with different ethnic backgrounds. Britisch Journal of Educational Psychology, 199- 221. Derks, F., Philipse, M., & IJzendoorn, R. (1997). De betekenis van
Bowlby’s gehechtheidstheorie: In de beoordeling en behandeling van ter beschikking gestelden. Tijdschrift voor Constitutioneel Recht, 42-55.
Decker, D. M., Dona, D. P., & Christenson, S. L. (2007). Behaviorally at-risk African American students: the importance of student teacher relationships for student outcomes. Journal of School Psychology, 83-109.
18
Ewing, A. R., & Taylor, A. R. (2008). The role of child gender and ethnicity in teacher-child relationship quality and children’s behavioural adjustment in preschool. Early childhood research quarterly, 24, 92-105.
Gregorich, S. E. (2006). Do self-report instruments allow meaningful comparisons across diverse population groups? Testing measurement invariance using the confirmatory factor analysis framework. Medical care, 44, 78-9.
Hamre, B. K., & Pianta, R. C. (2001). Early teacher-child relationships and the trajectory of children’s school outcomes through eighth grade. Child Development, 72, 625- 638. Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis:
Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6, 1-55.
Jellesma, F. C., Zee, M., & Koomen, H. M. Y. (2015). Children’s perceptions of the
relationship with the teacher: Associations with appraisals and internalizing problems in middle childhood. Journal of Applied Developmental Psychology, 36, 30–38.
Kline, R.B. (2016). Principles and practice of structural equation modeling (4th ed.). New
York, NY: Guilford Press.
Koomen, H. M. Y., Verschueren, K., & Pianta, R. C. (2007) Leerling-Leraar Relatie Vragenlijst, Handleiding. Houten: Bohn stafleu van Loghum.
Koomen, H., & Jellesma, F. C. (2015). Can closeness, conflict, and dependency be used to characterize students’ perceptions of the affective relationship with their teacher? Testing a new child measure in middle childhood. British Journal of Educational Psychology, 85, 479-497.
Lei, H., Cui, Y., Chiu, M. M. (2016). Affective teacher-student relationship and students’ externalizing behavior problems: a meta-analysis. Frontiers in Psychology, 7, 1311.
19
Masereeuw, M. (2017). Kleur bekennen in de kwaliteit van leerkracht-leerling relaties: Validatie van de Relatievragenlijst Leerling in de bovenbouw van het basisonderwijs (Master’s thesis). Amsterdam, Universiteit van Amsterdam.
Nederlands Jeugdinstituut (z.d.). Betrouwbaarheid. Geraadpleegd van http://www.nji.nl Offerman, E. C. P., Asselman, M. W., Helmond, P. E., Stams, G. J., & Lindauer, R. J. L. (2020).
Adverse Childhood Experiences in Special Education for Students with Emotional and Behavioural Disorders: A Scoping Review. Manuscript to be submitted for publication. Opdenakker, M. C. J. L. (2014). Leerkracht-leerlingrelaties vanuit een motivationeel perspectief: het belang van betrokken en ondersteunende docenten. Pedagogische studiën, 91, 332-351.
Orion Speciaal in onderwijs (z.d.). Geraadpleegd van http://www.orion.nl
Pianta, R. C. (2001). The student-teacher relationship scale. Odessa, FL: Psychological Assessment Resources.
Pianta, R. C., & Nimetz, S. L. (1991). Relationships between children and teachers: associations with classroom and home behaviour. Journal of applied developmental psychology, 24, 427-434.
Ponterotto, J. G., & Ruckdeschel, D. E. (2007). An overview of coefficient alpha and a reliability matrix for estimating adequacy of internal consistency coefficients with psychological research measures. Perceptual and motor skills, 105, 997-1014.
Roorda, D. L., Koomen, H. M. Y., Spilt, J. L., & Oort, F. J. (2011). The influence of affective teacher-student Relationships on students’ school engagement and achievement: A meta-analytic approach. Review of Educational Research, 81, 493- 529. Saft, E. W., & Pianta, R. C. (2001). Teachers’ perceptions of their relationship with students: effects of child age, gender, and ethnicity of teachers and children. School Psychology Quarterly, 125-141.
20
Split, J. (2010). Goede relatie leerkracht-leerling: Bron van Steun en Stabiliteit. HJK: De Wereld van het Jonge Kind, 38, 28-31.
Split, J., & Koomen, H. M. Y. (2010). Het Leerkracht-Relatie interview. Kind en Adolescent, 2, 58-70.
Stipek, D., & Miles, S. (2008). Effects of aggression on achievement: Does conflict with the teacher make it worse? Child Development, 79, 1721-1735.
Stoutjesdijk, R., & Scholte, E. M. (2009). Cluster 4 speciaal onderwijs: een vergelijking tussen leerlingen op cluster 4 scholen en cluster 4 rugzakleerlingen. Tijdschrift voor Orthopedagogiek, 48, 161-169.
Tick, N., Hoogendijk, K., Schöping, M., & Maras, A. (2011). Het schoolwelbevinden van leerlingen in het Speciaal Onderwijs cluster 4. Tijdschrift voor Orthopedagogiek, 50, 447-459.
Onderwijs In Cijfers. (2019, 1 Maart). Ontwikkeling van het aantal leerlingen in het primair onderwijs. Geraadpleegd van http://www.onderwijsincijfers.nl
Puttalaz, M., Grimes, C. L., Foster, K. J., Kupersmidt, J. B., Coie, D. J., & Dearing, K. (2007). Overt and relational aggression and victimization: Multiple perspectives within the school setting. Journal of School Psychology, 45, 523-547.
Wayman, J. C. (2002). Student perception of teacher ethnic bias: A comparison of Mexican American and non-Latino white dropouts and students. The High School Journal, 27-37.
Wicks-Nelson, R., & Israel, A. C. (2009). Abnormal child and adolescent psychology. New Jersey: Pearson Education.
Wissink, I. B., Dekovic, M., Stams, G. J., Asscher, J. J., Rutten, E., & Zijlsta, B. J. H. (2014). Moral Orientation and Relationships in School and Adolescent Pro- and Antisocial Behaviors: A Multilevel Study. The Journal of School Nursing, 30, 216-225.
21
Zeanah, C. H., Chesher, T., Boris, N. W., Walter, H. J., Bukstein, O. G., Bellonci, C., ... & Hayek, M. (2016). Practice parameter for the assessment and treatment of children and adolescents with reactive attachment disorder and disinhibited social engagement disorder. Journal of the American Academy of Child & Adolescent Psychiatry, 55, 990-1003.
22
Appendix:
Model test 2 factor baseline model, with correlated errors v8 ~~ v18 & v4 ~~ v15:
Robust Comparative Fit Index (CFI) 0.977 Robust Tucker-Lewis Index (TLI) 0.971
Robust RMSEA 0.045
SRMR 0.041
Configural Invariance:
Robust Comparative Fit Index (CFI) 0.977
Metric Invariance:
Robust Comparative Fit Index (CFI) 0.978
Scalar Invariance:
