Validatieonderzoek
Semantic Selection Test
Bachelorthese
Amanda Sabat Stöfsel
Studentennummer: 10334475 Datum: 24/04/2015
Aantal woorden: 4.855
Begeleidster: Mw. Dr. A.M.L. Collot D’Escury-Koenigs Universiteit van Amsterdam
2 Inhoudsopgave Abstract p. 3 Inleiding p. 4 Methode p.10 Resultaten p.13 Discussie p.17 Literatuurlijst p. 20
3
Abstract
De non-verbale Semantic Selection Test (SST) biedt een flexibele methode om onbewuste processen van kinderen in kaart te brengen. Aan de hand van plaatjes kunnen semantische afstanden tussen angst en verschillende concepten worden onderzocht. De informatie over de psychometrische kwaliteiten is echter nog onvoldoende om goede diagnostische conclusies te kunnen trekken. Daarom is in dit onderzoek de externe validiteit onderzocht door de scores van de SST op het woord ‘Klasgenoten’ te vergelijken met de scores op de SchoolVragenLijst (SVL) op de schaal ‘Sociaal Aanvaard Voelen’. Deze vragenlijsten zijn bij 60
basisschoolleerlingen in de leeftijd van 10 tot 12 jaar afgenomen. Uit de resultaten bleek een positieve samenhang tussen de SVL en SST. Dit wijst op voldoende externe validiteit.
4
Inleiding
De basisschool is één van de plekken waar sociale, emotionele en cognitieve
ontwikkeling bij kinderen plaatsvindt. Zo ontstaan er bijvoorbeeld leerzame interacties tussen leerlingen, die hen onder andere helpen bij het ontwikkelen van sociale vaardigheden
(Spence, 2003). Om deze ontwikkelingen zo goed mogelijk te laten verlopen, is het van belang dat kinderen de school als een veilige plek beschouwen. Regioplan Beleidsonderzoek (2003) heeft in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen een onderzoek uitgevoerd naar sociale veiligheid op de basisschool. Het laat zien dat voorvallen die te maken hebben met geweld, zoals pesten, fysiek geweld en bedreiging onveilige en angstige gevoelens bij leerlingen kunnen oproepen. Ook vernieling en discriminatie kunnen dit soort gevoelens oproepen. Vooral pestgedrag lijkt op veel basisscholen in Nederland een veelvoorkomend fenomeen. Hoewel de afgelopen jaren een dalende trend te zien is, komt uit een landelijk onderzoek uit 2012 naar voren dat ruim 10 % van de leerlingen in groep 8 wordt gepest (Looze, 2014). Een probleem bij de aanpak van pestgedrag is het gegeven dat veel kinderen niet rapporteren dat ze worden gepest. Redenen hiervoor zijn dat het gepeste kind denkt dat de leraren weinig zullen doen om het pestgedrag aan te pakken. Verder zullen kinderen van wie de ouders een autoritaire opvoedingsstijl hanteren, minder snel durven te vertellen dat ze worden gepest, omdat ze zich ervoor schamen (Unnever & Cornell, 2004). Veel onderzoek bestaat er naar de gevolgen die slachtoffers van pesten kunnen ervaren. Pesten kan korte en lange termijn gevolgen hebben in het leven van een ontwikkelend kind. Zij hebben bijvoorbeeld een grotere kans op het ervaren van fysieke pijn, depressie,
schooluitval en leerproblematiek. Niet alleen slachtoffers, maar ook pesters ondervinden problemen als adolescenten. Zo hebben zij een grotere kans op het plegen van een misdrijf (Moon &, Alarid, 2014). Het is van belang pestgedrag in een klas zo vroeg mogelijk te signaleren om zo de negatieve effecten hiervan voor een groot deel te kunnen voorkomen
5
(Unnever & Cornell, 2004). Kinderen die worden gepest rapporteren drie tot vier keer meer angstige emoties dan kinderen die niet worden gepest (Dake, Price, & Telljohann, 2003). Kinderen die angstige emoties ervaren, kunnen moeilijker met negatieve gebeurtenissen omgaan, wat een belemmerend effect kan hebben op de ontwikkeling (Legerstee, 2010).
In de praktijk bestaan er verschillende soorten meetinstrumenten die angstige emoties bloot kunnen leggen. Zelfrapportage vragenlijsten kunnen emoties, gedachtes en gedragingen in kaart brengen. De afname hiervan is erg gemakkelijk, er kleven echter ook een aantal nadelen aan (de Vries, 2008). De respondent dient over voldoende introspectie te beschikken om de vragen betrouwbaar te beantwoorden. Een goede leesvaardigheid is ook een vereiste. Deze genoemde punten bemoeilijken de afname van zelfrapportage vragenlijsten met name bij kinderen. Bovendien, zoals eerder aangegeven, zullen slachtoffers van pesten minder snel aankaarten dat ze zich niet veilig voelen in de klas. Daarnaast kan het ook zijn dat mensen zich niet altijd bewust zijn van wat ze voelen of denken. In de cognitieve psychologie worden dit als onbewuste processen aangeduid. Gesteld wordt dat ze het gedrag van iemand
automatisch zouden kunnen beïnvloeden (Beck, 1976, aangehaald in de Houwer, 2002). Het samenspel tussen onbewuste en bewuste processen in relatie tot gedrag, kan worden
beschreven met behulp van dual-process theorieën (Wiers & Stacy, 2006). Volgens deze theorieën bestaan er twee typen processen die semi-onafhankelijk van elkaar zijn. Enerzijds is er een onbewust, snel impulsief systeem dat werkt aan de hand van emotionele en
motivationele evaluatie van stimuli. Anderzijds is er een bewust, wat langzamer, reflectief systeem dat gerelateerd is aan gecontroleerde processen, zoals het maken van bewuste overwegingen en emotieregulatie. Door de attitude van iemand te meten kunnen deze
processen in kaart worden gebracht. Impliciete attitudes, die het resultaat zijn van onbewuste processen, worden gemeten met impliciete meetinstrumenten. Expliciete attitudes, die het resultaat zijn van bewuste processen, worden gemeten met expliciete meetinstrumenten..
6
Greenwald (1998) heeft de relatie tussen impliciete en expliciete attitudes onderzocht. Hieruit kwam naar voren dat de sterkte van de correlaties tussen deze attitudes afhankelijk is van het soort onderwerp dat wordt onderzocht. Zo blijkt dat de correlatie vrij hoog is als het gaat om onderwerpen die niet sociaal gevoelig liggen, zoals de attitudes tegenover bloemen en
insecten. Bij het meten van sociaal gevoeligere onderwerpen, zoals stereotypes en
vooroordelen, blijkt de correlatie lager. Bij dit soort onderwerpen zou het geven van sociaal-wenselijke antwoorden op een expliciet meetinstrument de lage correlatie verklaren. Sociale wenselijkheid kan worden beschreven als de neiging van een individu om zichzelf zo positief mogelijk te schetsen ten opzichte van de huidige sociale normen (King & Bruner, 2000). Om de impliciete attitude van iemand te onderzoeken wordt vaak de Implicit Association Test (IAT) afgenomen. In de verslavingszorg wordt de IAT veelvuldig gebruikt om in kaart te brengen wat voor associaties een verslaafde heeft tegenover de middelen waaraan hij of zij verslaafd is (Wiers & Stacy, 2006 De afnameduur van deze test is echter relatief lang en er kan per keer maar één concept onderzocht worden.Vanuit praktisch oogpunt is dit niet erg efficiënt. Bij kinderen kan dit met name problematisch zijn, aangezien zij over het algemeen eerder dan volwassenen cognitief belast raken. Verder bestaan er verschillende bevindingen over de vraag of de IAT daadwerkelijk impliciete associaties zou meten. Onderzoekers hebben ontdekt dat sommige deelnemers zich bewust waren van het doel van de IAT (Monteith, Voils, and Ashburn-Nardo, 2001, aangehaald in de Houwer, 2002). Dit zou geen betrouwbare uitkomst voor een impliciete test geven. Ander onderzoek beweert echter dat dit geen probleem vormt, aangezien deelnemers de resultaten van een IAT niet zouden kunnen beïnvloeden (Banse, Seise, and Zerbes, 2001, aangehaald in de Houwer, 2002). Al met al, de conclusies zijn niet eenduidig. Een alternatief om onbewuste processen bij kinderen te meten lijkt daarom wenselijk.
7
De Semantic Selection Test (SST) lijkt een goede methode te bieden om onbewuste processen, zoals gedachtes en emoties van kinderen over bepaalde onderwerpen te
onderzoeken. De SST is een semi-projectieve test die in de jaren zestig zeer waarschijnlijk door de Tsjechische biochemicus en psychiater Doležal is ontworpen (Smékal, 1990, aangehaald in Schijven, 2010). De SST werkt zestien plaatjes (zie Figuur 1) die gekoppeld kunnen worden aan woorden (Szebó, 2010). Deze set woorden bestaat uit twee ankeritems (zoals plezier en angst), enkele afleidende woorden en de targetwoorden (zoals toets, spinnen, geld etc.). De volgorde van de plaatjes wordt nooit veranderd. In de originele versie, dient de respondent 8 uit de 16 figuren te kiezen die hij het best bij het gegeven woord vindt passen.
Figuur 1. Afbeeldingen uit de SST
Vervolgens wordt er onderzocht in hoeverre er overlap bestaat tussen de gekozen plaatjes horend bij de ankeritems (plezier en angst) en de gekozen plaatjes horend bij de
targetwoorden (toets, spinnen en geld). Op deze manier kunnen de associaties, zoals plezier of angst, die een respondent heeft bij bepaalde concepten worden blootgelegd. Door de opzet
8
van de SST is het voor de respondent niet duidelijk wat er precies wordt gemeten. Dit maakt het mogelijk om onbewuste processen of onderwerpen waar iemand zich liever niet expliciet over uit, te meten. Hiermee kunnen sociaal- wenselijke antwoorden worden vermeden (Szabó, 2010). De SST is daarom een goede methode om te onderzoeken of kinderen angstige emoties ervaren tegenover concepten als alcohol, de leraar of hun klasgenoten. Verder vereist de SST weinig verbale vaardigheden en is het een erg flexibele methode, doordat er meerdere targets tegelijk kunnen worden onderzocht en de concepten kunnen worden veranderd naar het doel van de studie (Szabó, 2010).
Ondanks het feit dat deze test nooit officieel is gepubliceerd en er nog relatief weinig bekend is over de validiteit en betrouwbaarheid, wordt hij in Tsjechië en Slowakije in de klinische praktijk en voor wetenschappelijk onderzoek gebruikt (Schijven, 2012). Voor het trekken van geldige diagnostische conclusies, is het echter van belang om meer te weten over de validiteit en betrouwbaarheid (de Vries, 2008). In eerder onderzoek is onder normaal begaafde kinderen in de leeftijd van 8 tot 13 jaar de interne validiteit van de SST als voldoende beoordeeld (de Vries, 2008). De convergente validiteit is door Beunje (2008) onderzocht door de scores van de SST te vergelijken met de scores op de Vragenlijst voor Angst bij Kinderen (VAK). Hieruit bleek een significante positieve correlatie. Het is voor de klinische praktijk echter ook van belang te onderzoeken in hoeverre de resultaten van de SST te generaliseren zijn naar verschillende groepen mensen in een bepaalde klinische setting of in de dagelijkse praktijk (Rothwell, 2005). Voor de schoolse setting is het verder belangrijk om over een goede test te beschikken die emoties van kinderen in kaart kan brengen. Deze kunnen mogelijk ongewenst gedrag tussen leerlingen signaleren. Ook kan deze test inzicht geven in hoeverre een leerling angstige of plezierige emoties ervaart tegenover de leraar. Om de eerder genoemde redenen, kan een test die onbewuste processen meet deze emoties goed bloot leggen.
9
In dit onderzoek zal de externe validiteit van de SST bij kinderen worden onderzocht door de scores te vergelijken met de scores op de SchoolVragenLijst (SVL). De SVL is een expliciet meetinstrument, wat betekent dat het een test is die bewuste processen onderzoekt. Hier is voor gekozen, omdat er in de praktijk geen ander bruikbaar instrument bestaat die hetzelfde meet. Deze vragenlijst heeft tot doel inzicht te verwerven in de opvattingen en houdingen van leerlingen die van belang zijn voor het onderwijs-leerproces op school (Vorst et al., 2008). In deze studie zal de hoofdschaal ‘het welbevinden of de sociaal- emotionele houding ten opzichte van het schoolleven’ worden onderzocht. De focus zal voornamelijk liggen op de basisschaal ‘Sociaal Aanvaard Voelen’ (SAV). In deze basisschaal komt naar voren in welke mate de leerling aangeeft zich door klasgenoten aanvaard te voelen en een goede relatie met hen te hebben. De scores op deze schaal zullen worden gecorreleerd met de scores op de SST bij het woord ‘Klasgenoten’. De veronderstelling is dat deze tests
vergelijkbare attitudes van leerlingen tegenover hun klasgenoten meten. Om bredere uitspraken binnen de schoolse setting te kunnen doen over de SST, zal er verder gekeken worden naar de schalen ‘Relatie Leerkracht’ van de SVL en het woord ‘Leraar’ van de SST. Ook de schaal ‘Plezier op School’ van de SVL en het woord ‘School’ van de SST zullen worden onderzocht. De schalen zullen tevens vergeleken worden met het woord
‘Klasgenoten’ van de SST. De verwachting is dat deze schalen een positieve samenhang zullen laten zien. Als kinderen angstige emoties tegenover de leraar of hun klasgenoten ervaren, zullen zij ook niet met plezier naar school gaan. Dit zal inzicht geven in zowel de interne validiteit als de externe validiteit van de SST. De mogelijkheid bestaat dat de
onderwerpen die worden onderzocht in de SVL, sociaal-wenselijke antwoorden bij leerlingen zullen oproepen. De meeste kinderen willen graag voldoen aan de sociale normen die in hun omgeving worden gehanteerd, dus bestaat de kans dat ze zichzelf hierom in een gunstig daglicht stellen. Om hierop te controleren zal de schaal ‘Sociale Wenselijkheid’ van de SVL
10
worden meegenomen in het onderzoek. In dit validatie onderzoek wordt een positieve
correlatie verwacht tussen de scores op de SST en de scores op de SVL. De externe validiteit van de SST zal hiermee als voldoende kunnen worden beoordeeld. Aansluitend op de theorie van Greenwald, bestaat de kans dat de correlatie laag zal zijn. De scores op de SVL zouden mogelijk door sociaal-wenselijke antwoorden beïnvloed kunnen worden.
Deze studie heeft de externe validiteit van de SST onderzocht, door de scores te vergelijken met die van de SVL. In dit onderzoek zijn leerlingen uit de groepen 7 en 8 van een basisschool in Nederland geselecteerd. In een klassikale setting werden beide vragenlijsten bij alle leerlingen afgenomen. Vervolgens zijn de correlaties van de SST scores en de SVL scores met elkaar gecorreleerd.
Methode Deelnemers
Aan deze studie deden 65 Nederlandssprekende basisschoolleerlingen uit groep 7 en groep 8 mee. De leeftijd lag tussen de 10 en 12 jaar. De basisschool is willekeurig
geselecteerd. Aan de hand van een brief zijn de ouders geïnformeerd over het onderzoek. Vervolgens is een passief informed consent van de ouders verkregen. Alleen als de ouders bezwaar hadden tegen het onderzoek, werden de kinderen uitgesloten van deelname. De leerlingen werden door de leraar geïnformeerd. Na afloop ontvingen de deelnemers een beloning in de vorm van snoepgoed. Hiermee voldoet de studie aan de eisen die zijn opgesteld door de Commissie Ethiek Afdeling Psychologie aan de Universiteit van Amsterdam.
Materialen
Bij de deelnemers zijn twee tests afgenomen, namelijk de Semantic Selection Test (SST) en de SchoolVragenLijst (SVL). De SST heeft als doel om de onbewuste processen over bepaalde concepten te meten. Deze test wordt schriftelijk afgenomen. De deelnemer
11
krijgt een aantal woorden te zien, waaronder twee ankeritems, enkele afleidende woorden en de targetwoorden. Achter elk woord staan steeds dezelfde 16 plaatjes (Schijven, 2012). Deze plaatjes hebben geen vaststaande semantische betekenis. De deelnemer geeft een eigen betekenis aan ieder plaatje. De deelnemer dient in totaal acht plaatjes te kiezen die hij of zij bij het gegeven woord vindt passen. De plaatjes die bij de ankeritems zijn gekozen en de plaatjes die bij targetwoorden zijn gekozen, worden met elkaar vergeleken. Er wordt onderzocht in hoeverre de plaatjes bij de ankeritems overlappen met de plaatjes van de targetwoorden. Over de SST zijn weinig psychometrische gegevens bekend. De Vries (2008) constateerde een negatieve significante correlatie tussen de ankeritems angst en plezier, r = -.433, p < .01 bij een groep van normaal begaafde kinderen in de leeftijd van 8 tot 13 jaar. Dit wijst erop dat over het algemeen verschillende plaatjes worden gekozen tussen de ankeritems angst en plezier. Verder is de interne validiteit (Vries, 2008) en de convergente validiteit (Beunje, 2008) voldoende gebleken. De scoring vindt plaats aan de hand van de
overeenkomstige plaatjes tussen de ankeritems angst en plezier en het targetwoord(en). Hier wordt uiteindelijk één score voor gecreëerd, door de angstscore van de plezierscore af te trekken. Deze score geeft dus weer in hoeverre een deelnemer plezier associeert bij een bepaald target. Deze score kan waardes aannemen van -8 tot 8. Een score van -8 geeft een lage associatie met plezier aan en een score van 8 een hoge associatie.
De SVL is in 2008 uitgegeven en heeft als doel om het sociaal-functioneren van een kind en de betrokkenheid op school in kaart te brengen in de leeftijdsrange van 9 tot 16 jaar (Vorst et al., 2008). De test bestaat uit deel A en deel B met in elk deel een even aantal vragen. In totaal bestaat de test uit 160 items. Afhankelijk van het doel van de afname, is het mogelijk om één of twee delen af te nemen. Voor individueel advies en indicatiestelling is de afname van beide versies vereist. In deze studie was dat niet het geval dus is alleen versie A afgenomen. De test kan individueel of klassikaal worden afgenomen. Het afnemen van beide
12
delen neemt ongeveer 80 minuten tijd in beslag en de afname van versie A ongeveer 45 minuten. Deze test bestaat uit drie hoofdschalen en negen basisschalen. Elke hoofdschaal beslaat drie basisschalen. De hoofdschalen zijn: ‘werkhouding of motivationele houding tegenover het schoolwerk’, ‘het welbevinden of de sociaal-emotionele houding tegenover het schoolleven’ en ‘zelfvertrouwen of de houding ten opzichte van de eigen mogelijkheden’. Enkele voorbeelditems uit de basisschaal ‘Sociaal Aanvaard Voelen’ zijn: ‘Ik vind dat de meeste klasgenoten prettig met mij omgaan’ en ‘Ik word vaak gepest door anderen uit de klas’. De SVL is door de COTAN (2008) op betrouwbaarheid als voldoende beoordeeld en op begripsvaliditeit als goed. Naar de criteriumvaliditeit is echter nog geen onderzoek gedaan. Er bestaat dus geen informatie in hoeverre een score op de SVL voorspelt hoe een kind zich in werkelijkheid zou gedragen. Voor elke schaal dienen tien vragen te worden beantwoord en bestaan er drie antwoordmogelijkheden: ‘dat is zo’, ‘dat weet ik niet’ en ‘dat is niet zo’. Bij het scoren van de SVL wordt er bij elk antwoord 1 tot 3 punten toegekend. Dit betekent dat een leerling op één schaal een score tussen de 8 en 24 kan behalen. Deze scores kunnen vervolgens worden omgezet in stanines. Een hoge stanine wijst op een positieve houding van een leerling tegenover het desbetreffende onderwerp van de schaal en een lage stanine op een negatievere houding.
Procedure
Alle kinderen die via de informed consent toestemming van hun ouders hebben gehad, deden mee aan het onderzoek. Deze studie maakte deel uit van een groter onderzoek,
bestaande uit in totaal vier studies. Deze studies onderzochten de associaties met angst en plezier van een kind met betrekking tot proefwerken, de relatie tot de leerkracht en alcohol. De eerste testdag zijn de twee vragenlijsten afgenomen, de SST en de SVL. De volgende dag zijn de Implicit Association Test (IAT) en een alcoholvragenlijst afgenomen. De afname van de vragenlijsten verliep klassikaal. Aan de leerlingen werd verteld dat ze meededen aan een
13
kort onderzoekje voor de universiteit. Ze kregen één document dat bestond uit de SST, de SVL en een apart formulier met het antwoordenblad van de SVL. Door de proefleiders werd bij aanvang een instructie gegeven over de SST en vervolgens werd de instructie voor de SVL klassikaal voorgelezen. De leerling werd verzocht om de tijd te nemen die hij nodig had om de volledige vragenlijsten in te vullen. Als een kind tijdens de afname iets niet snapte, kreeg hij of zij individueel uitleg. Tijdens de afname bleven de onderzoekers in de klas. De afname van de vragenlijsten duurde in totaal ongeveer 40 minuten per klas. Het gehele onderzoek nam anderhalve dag in beslag. Na afloop ontvingen de deelnemers een kleine beloning.
Data analyse plan
De verwachting is dat de scores op de SST en de scores op de SVL een lage significante positieve correlatie zullen hebben. Aangezien de data uit dit onderzoek zullen bestaan uit twee onafhankelijke variabelen, wordt er een bivariate correlatie uitgevoerd. Om de Pearson correlatie toe te kunnen passen, moet de data aan enkele assumpties voldoen. De data dient op intervalniveau te zijn. Dit is bij de SST-scores en de SVL-scores het geval. Aan de hand van de Shapiro-Wilk toets zal op normaal verdeelde data worden gecontroleerd. Als er niet aan deze assumptie wordt voldaan, zal de non-parametrische toets Spearman correlatie worden toegepast.
Resultaten
In deze studie zijn de analyses uitgevoerd met het statische programma SPSS 21.0. Er was sprake van uitval van vier deelnemers wegens niet volledig ingevuld testmateriaal. Om outliers te detecteren, is het criterium van een hogere z-score dan 3.29 gehanteerd. Dit was het geval bij de SVL-score van één van de deelnemers. Bij deze deelnemer laten de scores op de gehele SVL-dataset een erg inconsistent patroon zien. De kans bestaat dat de deelnemer de
14
vragenlijst niet accuraat heeft ingevuld. Deze is daarom verwijderd uit de dataset. Uiteindelijk is de data van 60 deelnemers geanalyseerd, van 29 jongens en 31 meisjes.
De data van het woord ‘Klasgenoten’ van de SST en de data van de schaal ‘Sociaal Aanvaard Voelen’ (SAV) van de SVL zijn geanalyseerd. In tabel 1 staan de gemiddelden en standaarddeviaties weergegeven voor deze data. De data van ‘Klasgenoten’ was normaal verdeeld, p > .05. De data van de SAV was niet normaal verdeeld, p < .01.
Tabel 1
Gemiddelden en Standaarddeviaties voor de SST-scores en SVL-scores (N=60)
M SD
SST-score ‘Klasgenoten’ 3.03 2.073 SVL-score ‘SAV’ 21.85 2.642
De scores op het woord ‘Klasgenoten’ van de SST en de scores op de SAV van de SVL zijn geanalyseerd aan de hand van een bivariate correlatie. Aangezien de data van de SVL niet normaal is verdeeld, is de Spearman correlatie uitgevoerd. Er is een signifcante positieve correlatie gevonden tussen het woord ‘Klasgenoten’ en de SAV, rs = .225, p < .01. Er is dus sprake van enige samenhang tussen de onderzochte concepten. Dit is in lijn met de opgestelde hypothese. In tabel 2 zijn de correlaties weergegeven.
15
Tabel 2
Correlaties tussen de SST-scores en de SVL-scores
Sociaal Aanvaard (SVL) Relatie Leerkracht (SVL) Plezier School (SVL) Klasgenoten (SST) .225* .535* .447*
Leraar (SST) .127* .604* .490* School (SST) .058* .435* .602* Noot. *p < .01
Vervolgens is onderzocht of de deelnemers die een hoge score op de SVL behaalden en een lage score op de SST, door sociale wenselijkheid werden beïnvloedt. Deze deelnemers gaven namelijk aan op de SVL een goede relatie met hun klasgenoten te hebben, maar op de SST kwam naar voren dat ze weinig plezier met hun klasgenoten associeërden. Een hoge stanine (van 8 of 9) op de schaal ‘Sociale Wenselijkheid’ vormt een aanwijzing voor het onrealistisch beantwoorden van de stellingen. In totaal waren dit 14 deelnemers, dus 23% van het totaal. Nadat er gecontroleerd werd op de deelnemers die hoog scoorden op de schaal ‘Sociale Wenselijkheid’, is de correlatie opnieuw uitgevoerd. De correlatie nam niet toe, maar was wel significant, rs = .202, p < .01.Ook voor de andere onderzochte schalen op de SVL nam de correlatie niet toe. Op basis hiervan kan dus niet worden gesteld dat de deelnemers die op het expliciete meetinstrument aangaven een goede band met klasgenoten te hebben en op het impliciete meetinstrument een relatief lage associatie tussen plezier en klasgenoten bleken te hebben, sociaal wenselijke antwoorden hebben gegeven op de stellingen uit de SVL.
Uit tabel 2 zijn enkele opvallende significante correlaties af te lezen. Tussen
‘Klasgenoten’ en ‘Relatie Leerkracht’ kwam een hoge correlatie naar voren, rs = .535, p < .01. Dit geldt tevens voor ‘Klasgenoten’ en ‘Plezier School’, rs = .447, p < .01. Verder komt er een significante positieve correlatie naar voren tussen ‘Leraar’ en ‘Relatie Leerkracht’ en ‘School’ en ‘Plezier School’.
16
In posthoc analyses is de interne validiteit van de SST geanalyseerd. Aangezien deze data wel normaal verdeeld is, werd hier de Pearson correlatie voor gebruikt. Er zijn enkele positieve correlaties gevonden met het targetwoord ‘Klasgenoten’, die tevens zijn weergeven in tabel 3. Zo was er tussen het woord ‘Leraar’ en ‘Klasgenoten’ een positieve correlatie, r = .474, p < .01. Dit geldt tevens voor het woord ‘School’, r = .348, p < .01. Deze woorden blijken dus samen te hangen met het woord ‘Klasgenoten’.
Tabel 3
Correlaties tussen de SST-scores
Vrienden School Leraar Klasgenoten .415* .348* .474*
Vrienden 1 .469* .403*
School .469* 1 .346*
Leraar .403* .346* 1 Noot. *p < .01
Tussen de scores van jongens en meisjes is een klein verschil gevonden in de correlaties tussen ‘Klasgenoten’ en de SAV. De scores van de meisjes hadden een significante positieve correlatie van rs = .106, p < .01. De correlatie voor de jongens was hoger, rs = .329, p < .01.
Uit de resultaten komt een positieve correlatie naar voren tussen de impliciete schaal ‘Klasgenoten’ en de expliciete schaal SAV. Dit is echter geen sterke correlatie, die niet blijkt samen te hangen met sociale wenselijkheid. Dit is gedeeltelijk in lijn met de hypothese die stelt dat de lage correlatie aan de hand van sociaal-wenselijke antwoorden verklaard kan worden. Daarentegen zijn er wel sterke positieve correlaties gevonden tussen ‘Klasgenoten’ en andere expliciete schalen, namelijk ‘Relatie Leerkracht’ en ‘Plezier School’.
17
Discussie
In dit onderzoek is de externe validiteit van de SST onderzocht door de scores van deze test te vergelijken met die van de SVL. De focus lag op de impliciete meting
‘Klasgenoten’ van de SST en expliciete meting van de schaal ‘Sociaal Aanvaard Voelen’ van de SVL. De resultaten lieten een positieve samenhang zien tussen deze twee metingen. Op basis hiervan kan geconcludeerd worden dat de externe validiteit van de SST voldoende is voor het woord ‘Klasgenoten’. Daarnaast is er ook gekeken naar de schalen ‘Relatie
Leerkracht’ en ‘Plezier op School’ van de SVL en deze zijn vergeleken met respectievelijk de woorden ‘Leraar’ en ‘School’ van de SST. Deze lieten een sterke positieve samenhang zien. De externe validiteit van deze woorden is hiermee tevens voldoende gebleken. Deze
bevindingen zijn in lijn met de opgestelde hypothese. Enkele verdere interessante bevindingen zijn gedaan met betrekking tot ‘Klasgenoten’. Zo bleek dit woord samen te hangen met het woord ‘Leraar’ op de SST en de schaal ‘Relatie Leerkracht’ op de SVL. Dit geeft aan dat leerlingen die een hoge associatie tussen plezier en klasgenoten ervaren, dit ook zo ervaren ten opzichte van de leraar. Dit sluit aan bij de bevindingen uit de literatuur waaruit blijkt dat leerlingen die een goede relatie met de leraar ondervinden, ook vaak een goede relatie met klasgenoten laten zien (Taylor & Trickett, 1989, aangehaald in Hughes, Cavell, & Willson, 2001). Verder bleek voor ‘School’ en ‘Relatie Leerkracht’ een positieve samenhang en dit gold tevens voor ‘Plezier op School’ en ‘Leraar’. Voor ‘Klasgenoten’ bleek ook een positieve samenhang met ‘School’ en ‘Plezier op School’. Aan de hand van deze resultaten zou gesteld kunnen worden dat leerlingen die een goede relatie met hun klasgenoten en leraar
ondervinden, ook met plezier naar school gaan. Hiermee is zowel inzicht geworven in zowel de interne als de externe validiteit van de SST, die voldoende blijken.
De verwachting was dat de gevonden lage correlatie tussen het woord ‘Klasgenoten’ en de SAV aan de hand van sociale wenselijkheid verklaard zou kunnen worden. In het licht
18
van dit onderzoek, zou dit betekenen dat de deelnemers over het algemeen een hogere score op de SVL zouden behalen dan als ze zich niet zouden laten leiden door sociaal-wenselijk gedrag. De lage correlatie kon echter niet worden verklaard aan de hand van het fenomeen sociale-wenselijkheid, zoals hij op de SVL wordt gemeten. Een mogelijke verklaring zou wellicht het feit kunnen zijn dat er in dit onderzoek is gekozen om alleen versie A van de SVL af te nemen. De betrouwbaarheid van de schaal ‘Sociale Wenselijkheid’ is namelijk 0.15 Cronbach’s α groter in de gecombineerde versie, dan enkel bij versie A. Om deze reden zou de sociale wenselijkheid mogelijk niet goed zijn gemeten. Gezien de beperkte beschikbare tijd en het doel van de studie, werd het niet mogelijk en nodig geacht om beide versies af te nemen. De mogelijkheid bestaat echter ook dat de sociale wenselijkheid wel goed is gemeten, maar er geen of weinig sprake was van sociale wenselijkheid binnen de onderzoekssample. De deelnemers maakten allen deel uit van één basisschool. De kans bestaat dat de leerlingen binnen deze school voldoende vrijheid voelden om hun ware gedachtes en meningen te uiten. In dit geval zou er volgens Greenwald (2003) een hoge correlatie verwacht worden tussen de SST en de SVL. Dit was echter niet het geval. Wellicht dat de schaal ‘Sociaal Aanvaard Voelen’ en het woord ‘Klasgenoten’ niet geheel overlappend zijn in wat ze meten. Bij de SST wordt bij het woord ‘Klasgenoten’ de associatie met angst en plezier gemeten. De SAV van de SVL meet de mate waarin de leerling zegt zich aanvaard te voelen door klasgenoten en een goede relatie met hen te hebben. Deze schaal ondervangt mogelijk een breder spectrum aan gedachtes van een leerling dan enkel de associatie met angst of plezier. Desondanks is er wel een positieve samenhang aanwezig en is daarmee de SST voor het woord ‘Klasgenoten’ extern gevalideerd.
Dit onderzoek leert dat voor het gebruik van de SST men in de praktijk altijd dient na te denken over de targets die worden verwerkt in de test. Voor het woord ‘Klasgenoten’ betekent dit dat aan de hand van de angst en plezierscore conclusies met enige
19
voorzichtigheid dienen te worden geïnterpreteerd. Bijna in elke klas bestaat er een verdeling in subgroepen en kunnen klasgenoten dus niet als een uniforme groep worden gezien (Pijl & Koster, 2009). De mogelijkheid bestaat dat een leerling het wel goed kan vinden met zijn eigen groep, maar minder goed met een andere groep. De vraag is wat voor score op angst en plezier dit zou opleveren. Als een leerling veel plezier ervaart bij bepaalde klasgenoten, maar soms ruzie of zelfs gepest wordt door anderen, kan het zijn dat de score geen duidelijke richting laat zien in angst of plezier. Dit zou een vertekening kunnen impliceren.
Vervolgonderzoek waarbij gebruik wordt gemaakt van een grotere steekproef, bestaande uit verschillende basisschoolklassen, zou wellicht meer inzicht op dit gebied kunnen geven. De SST geeft leraren daarom enkel een indicatie van kinderen die angstige of plezierige emoties ervaren in de klas. Zo’n indicatie kan echter wel een goede aanleiding zijn voor de leraar om verder te onderzoeken of er bijvoorbeeld sprake is van pesten in de klas. De SST is op dit gebied een bruikbare aanvulling op impliciet testmateriaal. Bij het onderzoeken van attitudes van kinderen, lijkt de veelvuldig gebruikte IAT minder geschikt. Veel onderwerpen zoals ‘leraar’ of ‘klasgenoten’ kunnen namelijk niet in de IAT verwerkt worden, omdat deze niet te relateren zijn aan een tegengesteld woord. De SST kan deze concepten wel onderzoeken en vereist weinig cognitieve belasting voor een kind.
Deze studie zet een stap in de goede richting om nog meer psychometrische kwaliteiten van de SST te kennen. In vervolgonderzoek zou de criteriumvaliditeit een onderwerp van onderzoek kunnen zijn. Inzicht in de voorspellende waarde van de test kan mogelijk helpen bij het trekken van betrouwbare diagnostische conclusies. In dit onderzoek is de externe validiteit van de SST als voldoende beoordeeld voor de associaties tussen angst en plezier met betrekking tot klasgenoten, leraar en school. De SST biedt de schoolse setting daarom een efficiënte en flexibele methode om de attitudes van leerlingen te onderzoeken ten opzichte van onderwerpen die van belang zijn binnen het onderwijs.
20
Literatuur
Beunje, C. (2008). Is de Semantic Selection Test een valide methodiek om zelfbeeld bij adolescenten in beeld te brengen? Afstudeerthese, Universiteit van Amsterdam.
Dake, J. A., Price, J. H., & Telljohann, S. K. (2003). The nature and extent of bullying at school. Journal of school health, 73(5), 173-180.
De Houwer, J. (2002). The Implicit Association Test as a tool for studying dysfunctional associations in psychopathology: Strengths and limitations.Journal of Behavior Therapy and Experimental Psychiatry, 33(2), 115-133.
Dekker, B., Diepeveen, M., Krooneman, P. J., Beleidsonderzoek, R., & Beleidsonderzoek, B. V. (2003). Sociale veiligheid op de basisschool. Amsterdam: Regioplan
beleidsonderzoek.
Greenwald, A. G., McGhee, D. E., & Schwartz, J. L. (1998). Measuring individual differences in implicit cognition: the implicit association test. Journal of personality and social psychology, 74(6), 1464.
Hughes, J. N., Cavell, T. A., & Willson, V. (2001). Further support for the developmental significance of the quality of the teacher–student relationship. Journal of school psychology, 39(4), 289-301.
Legerstee, J. S., Garnefski, N., Jellesma, F. C., Verhulst, F. C., & Utens, E. M. (2010). Cognitive coping and childhood anxiety disorders. European child & adolescent psychiatry, 19(2), 143-150.
Looze, M. de, Dorsselaer, S. van. Roos, S. de, Verdurmen, J., Stevens, G., Gommans, R,. Bon-Martens, M. van, Bogt, T. ter, Vollebergh, W. (2014). Gezondheid, welzijn en opvoeding van jongeren in Nederland. HBSC 2013. Utrecht/Den Haag: Universiteit Utrecht/Trimbos-instituut/Sociaal en Cultureel Planbureau
21
King, M. F., & Bruner, G. C. (2000). Social desirability bias: A neglected aspect of validity testing. Psychology and Marketing, 17(2), 79-103.
Moon, B., & Alarid, L. F. (2014). School bullying, low self-control, and opportunity. Journal of interpersonal violence, 0886260514536281.
Pijl, S. J., & Koster, M. (2009). Alleen in de klas. In Het pedagogisch quotiënt (pp. 283-299). Bohn Stafleu van Loghum.
Rothwell, P. M. (2005). External validity of randomised controlled trials: “to whom do the results of this trial apply?”. The Lancet, 365(9453), 82-93.
Schijven, E. (2010). Validatieonderzoek naar de Semantic Selection Test. Masterthese, Universiteit van Amsterdam.
Spence, S. H. (2003). Social skills training with children and young people: Theory, evidence and practice. Child and Adolescent Mental Health, 8(2), 84-96.
Szabó, É. (2010). Semantic Selection Test: A new methodological approach towards the exploration of children’s views on social issues. In Lifelong learning and active
citizenship. Procceding of the 12th Conference of the Children's Identity and Citizenship
in Europe Erasmus Academic Network. CiCe London Metropolitan University,
London (pp. 445-455).
Unnever, J. D., & Cornell, D. G. (2004). Middle school victims of bullying: Who reports being bullied?. Aggressive Behavior, 30(5), 373-388.
Vorst, H. C. M., Smits, J. A. E., Oort, F. J., Stouthard, M. E. A., & David, S. A. (2008). Schoolvragenlijst voor basisonderwijs en voortgezet onderwijs: handleiding en
verantwoording [School questionnaire for primary and secondary education: SVL user manual].
Vries, V. de (2008). De Semantic Selection Test: Een validatie onderzoek. Afstudeerthese, Universiteit van Amsterdam.
22
Wiers, R. W., & Stacy, A. W. (2006). Implicit cognition and addiction. Current Directions in Psychological Science, 15(6), 292-296.
