Convergente Validatie van de Semantic
Selection Test in Vergelijking met de
SchoolVragenLijst.
Bachelorproject
Naam: Myrne van der Eijden
Studentnummer: 10347740
Begeleider: Annemat Collot D’Escury
Inhoudsopgave Abstract p.3 Inleiding p.3 Methode p.9 Data-analyse plan p.12 Resultaten p.13 Discussie p.15 Literatuurlijst p.19
Abstract
In deze studie wordt de convergente validiteit van de Semantic selection test (SST) getest door de resultaten van de SST te vergelijken met de resultaten van de SchoolVragenLijst (SVL). Er hebben in totaal 219 leerlingen van het Isendoorn college in Zutphen meegedaan. Deze leerlingen hebben de SST en de SVL ingevuld en vervolgens zijn de resultaten
vergeleken. Er bleek tussen sommige concepten een lichte positieve samenhang te zijn en tussen sommige concepten was er geen samenhang te zien. Hierdoor is de convergente validiteit onduidelijk gebleken en zal dit verder onderzocht moeten worden.
Convergente Validatie van de Semantic Selection Test in Vergelijking met de SchoolVragenLijst.
De middelbare school is voor kinderen een belangrijke plek waar ze veel vaardigheden leren om later een succesvolle toekomst tegemoet te gaan. In deze periode van hun leven
ontwikkelen ze onder andere een eigen zelfbeeld en sociale vaardigheden. Vaak is dit ook een periode waarin ze hun sterke kanten leren ontdekken, maar ook een periode waarin ze te maken krijgen met veel kwetsbaarheden (Wilson,2004). Om deze ontwikkeling zo goed mogelijk te laten verlopen is het belangrijk dat kinderen in een veilige leeromgeving les krijgen en zich op hun gemak voelen op school. Het interne klimaat van een school kan invloed hebben op het creëren van een veilige en gezonde leeromgeving (Anderson et al,1998). Factoren die hierbij een rol kunnen spelen zijn de relaties van leerlingen onder elkaar, relaties tussen leraar en leerling, nadruk leggen op het ontwikkelen van goede academische vaardigheden en op het ontwikkelen van zelfvertrouwen (Elliott, Grady,Shaw & Beaulieu,2000). Ook de manier waarop een school geleid wordt is van belang. Gottfredson
(2001) heeft onderzocht dat in scholen waar niet goed wordt gecommuniceerd tussen leraren en waar een gebrek is aan samenwerking er meer gedragsproblemen zijn van leerlingen.
Een onveilige leeromgeving kan negatieve gevolgen hebben voor de leerlingen zoals het toenemen van geweld en pesterijen. Hazler, Hoover en Oliver (1996) hebben onderzocht dat driekwart van de gepeste leerlingen hier zoveel last van hadden dat het invloed had op hun persoonlijke, sociale en academische vaardigheden. Bovendien hebben gepeste kinderen meer relatieproblemen en hebben ze meer kans op het ontwikkelen van ernstige
psychopathologie (Camodeca et al,2002, aangehaald in Faber et al., 2006). Ook heeft The U.S Department of Health and Human Services onderzocht dat pesten van anderen kan leiden tot ernstigere vormen van antisociaal gedrag op latere leeftijd. Mede hierom is het belangrijk dat scholen al vroeg ervoor zorgen dat een veilige leeromgeving zoveel mogelijk gestimuleerd wordt.
Om bovenstaande redenen is het belangrijk dat scholen een goed beeld kunnen vormen van de attitudes van leerlingen over hoe zij zich voelen op school zodat ze kunnen kijken op welke punten de school zich kan verbeteren als het om een veilige leeromgeving gaat. Het meten van attitudes kan met verschillende meetmethodes worden gedaan. Er wordt vaak onderscheid gemaakt tussen expliciete en impliciete meetmethoden. Voorbeelden van expliciete meetmethoden zijn zelfrapportage vragenlijsten. Een voordeel van vragenlijsten is dat ze vrij makkelijk zijn af te nemen en in verschillende studies is de betrouwbaarheid en de validiteit ervan bewezen. Er zijn echter ook verschillende nadelen aan
zelfrapportagevragenlijsten (De Vries,2008). Zelfrapportage vragenlijsten zijn bijvoorbeeld gevoelig voor sociale wenselijkheid (Fisher,1993). Sociale wenselijkheid is dat bij het invullen van vragenlijsten vaak antwoorden worden ingevuld die over het algemeen sociaal geaccepteerd zijn. Bij een vragenlijst over pestgedrag kunnen kinderen bijvoorbeeld invullen dat ze niet pesten omdat ze weten dat dit niet sociaal geaccepteerd is, waardoor er nog steeds
geen duidelijk beeld wordt geschetst van de situatie in de klas. Bovendien kost het afnemen van vragenlijsten vaak ook nog veel tijd.
Aangezien er nadelen zijn aan het gebruik van expliciete meetmethoden is er tegenwoordig ook veel aandacht voor impliciete meetmethoden. Bij deze meetmethoden worden attitudes onbewust gemeten en is het de bedoeling dat mensen niet doorhebben wat de test precies meet. Deze methode is hierdoor minder gevoelig voor sociaal wenselijke
antwoorden en kan zo een beter beeld schetsen van de situatie.
Verder blijken mensen binnenkomende informatie op twee verschillende manieren te verwerken, dit wordt het dual-process model genoemd (Eliot & Decoster,2000). De ene manier werkt via een snelle, onbewuste informatieverwerking die vooral wordt gestuurd door intuïtie en eerdere ervaring. De andere manier werkt via een langzamere, meer bewuste informatieverwerking die wordt gestuurd door regels en logica (Eliot & Decoster,2000). De tweede manier wordt alleen gebruikt wanneer mensen gemotiveerd zijn om een bewuste keuze te willen maken. Bij het vormen van attitudes wordt vaak gebruikt gemaakt van snelle, onbewuste informatieverwerking omdat vaak de motivatie of de kans mist om een bewuste keuze te kunnen maken. Expliciete meetmethodes kunnen alleen de bewust gevormde attitudes meten en impliciete meetmethodes kunnen de spontaan, onbewust aangeleerde attitudes meten. Het zou onder andere hierdoor belangrijk kunnen zijn om ook impliciete meetmethodes te gebruiken bij het meten van attitudes. Volgens Fazio en Olson (2003) zijn impliciete meetmethodes vooral handig om gedrag te meten wat moeilijk te controleren is of gedrag te meten waarbij mensen niet gemotiveerd zijn of de kans niet hebben om hun
automatisch geactiveerde attitudes te controleren.
Er is tegenwoordig al veel gebruik gemaakt van impliciete meetmethodes voor het meten van attitudes. Een veelvoorkomende methode is de Implicit Association Test (IAT). Een van de voordelen van de IAT is dat test redelijk robuust is gebleken tegen sociale
wenselijkheid (Schnabel, Banse & Aspendorf,2006). Ook bleek dat met de IAT spontaan gedrag redelijk goed voorspeld kan worden en de test ook minder vatbaar is voor faking dan expliciete meetinstrumenten (Aspendorf, Banse & Mucke, 2002). Ook heeft de IAT meestal een hoge interne consistentie tussen de 0.7 en de 0.9 (Nosek, Greenwald, & Banaji,
2006,aangehaald in Schnabel,Aspendorf &Greenwald,2009). Er zijn echter ook een aantal nadelen aan de IAT. In een onderzoek van Nosek et al. (2006) blijkt dat de test-hertest
betrouwbaarheid van de IAT een stuk lager ligt dan de interne consistentie, namelijk tussen de 0.5 en 0.6. Het verschil tussen deze interne inconsistentie en test-hertest betrouwbaarheid kan nog niet worden verklaard (Schnabel,Aspendorf&Greenwald,2009). Bovendien is er met andere impliciete meetinstrumenten die hetzelfde construct meten vaak geen hoge correlatie te vinden (Cunningham, Preacher, & Banaji,2001). Fazio (1999) heeft bijvoorbeeld de IAT en andere evaluatieve priming meetinstrumenten vergeleken en vond een lage correlatie van .05. Ook is de relatie tussen de IAT en verschillende zelfrapportage vragenlijsten onderzocht. In een studie van Hofmann et al. (2005) was de correlatie tussen de IAT en zelfrapportage vragenlijsten maar 0.24 en in een studie van Nosek (2005) was de correlatie 0.37. Dit zijn lage correlaties, alleen kunnen deze verschillen eventueel ook worden verklaard doordat vragenlijsten expliciete meetinstrumenten zijn en de IAT een impliciet meetinstrument is. Expliciete meetinstrumenten zijn gevoeliger voor sociale wenselijkheid waardoor de antwoorden op deze testen kunnen verschillen. Volgens de Houwer (2006) is er bovendien kans dat de deelnemers wel weten wat er wordt gemeten. Monteith et al. (2001) deden een met de IAT over rassen en 64 procent van de deelnemers had door dat de studie over de houding tegenover blanken/zwarten ging. Hieruit blijkt dat de IAT dus niet altijd impliciete attitudes meet. Ook is volgens de Houwer (2002) de IAT redelijk context gevoelig en dus hangt de uitkomst af van waar de onderzoekers op focussen. Door deze nadelen van de IAT is er behoefte aan andere impliciete testen.
Een nieuw impliciet meetinstrument dat wordt gebruikt om attitudes te meten is de
Semantic Selection Test (SST). De SST is ontworpen door Thomas Urbanek en wordt gebruikt
om semantische concepten bij individuen te onderzoeken (Szàbo,2010). De test bestaat uit 16 plaatjes en linksboven staat een woord. De deelnemer zoekt acht van de 16 plaatjes uit die hij het beste bij het woord vindt passen. Bij elk nieuwe woord worden dezelfde plaatjes getoond. De woorden bestaan uit twee ankeritems (angst en plezier), targetwoorden die kunnen
verschillen per studie, afhankelijk van wat het doel van de studie is en enkele afleidende woorden. Het is belangrijk dat het aantal targetwoorden en afleidende woorden ongeveer gelijk is zodat het doel van de studie niet achterhaald kan worden. Bij een studie naar de attitudes op de middelbare school zouden bijvoorbeeld de target woorden klasgenoten, leraar en school gebruikt kunnen worden De plaatjes die tijdens de test gebruikt woorden blijven bij elk woord hetzelfde. Het gaat erom hoeveel plaatjes het individu hetzelfde kiest zowel bij de targetwoorden (school, klasgenoten, leraar) als bij de ankeritems (angst en plezier).
Op deze manier kunnen verschillende concepten binnen een test onderzocht worden. Dit is ook een voordeel in vergelijking met de IAT, waar maar één concept tegelijkertijd onderzocht kan worden. Bovendien kost de SST weinig tijd, waardoor er veel personen kunnen worden getest wat handig is voor scholen. De targetwoorden en de ankeritems kunnen beiden veranderd worden afhankelijk van wat het doel van de test is (Szàbo,2010). Ook zijn voor deze test niet hele goede taalvaardigheden nodig om de test te kunnen maken, waardoor hij ook makkelijk te doen is voor jonge kinderen of door mensen die de taal nog niet goed kennen. Ook zijn de plaatjes universeel dus kan de test ook binnen verschillende culturen uitgevoerd worden, wat handig kan zijn in een land als Nederland waarin veel verschillende culturen voorkomen. De SST is ook minder gevoelig voor sociaal-wenselijke antwoorden. Het is voor de deelnemers niet duidelijk wat er precies met de antwoorden van de test gedaan wordt en hierdoor kunnen de deelnemers ook geen sociaal-wenselijke antwoorden invullen.
Bovendien blijkt de test gevoelig te zijn voor verandering van attitudes (Gajdosova &
Collolot,2008) waardoor de test ook gebruikt kan worden bij projecten waarbij attitudes snel kunnen veranderen. Bijvoorbeeld bij groepen die op dat moment negatief in het nieuws komen kan er gekeken worden of de attitude hierover is veranderd. In Nederland is er tegenwoordig bijvoorbeeld veel negativiteit tegenover moslims en dit is versterkt door de aanslagen in Parijs. Met de SST zou er zo op een makkelijke manier gekeken kunnen worden of de bevolking negatieve associaties heeft tegenover moslims. Ook op de middelbare school kunnen leerlingen redelijk snel van attitude veranderen, bijvoorbeeld over een leraar of over hun klasgenoten, dit kan dan op een makkelijke manier goed gemeten worden. Het voordeel hiervan is dat de school en de leraren meteen kunnen ingrijpen als het niet goed gaat met een leerling en kunnen kijken waar het probleem zit en de leerling hiermee kunnen begeleiden.
Er is nog maar weinig wetenschappelijk onderzoek gedaan naar de betrouwbaarheid en de validiteit van de SST. Beunje (2008) heeft de convergente validiteit getest door de SST te vergelijken met de Vragenlijst voor Angst bij Kinderen (VAK). Hieruit bleek er een positieve correlatie tussen de twee testen te zijn. Om de test meer in de klinische praktijk te kunnen gebruiken is het echter belangrijk dat de psychometrische kwaliteiten van de SST verder worden getest. Het is van belang om de SST te vergelijken met expliciete instrumenten zoals vragenlijsten om te kijken of de SST als alternatief kan dienen zodat attitudes ook met een impliciete test gemeten kan worden. Bovendien is het belangrijk om de SST met een andere impliciete maat te vergelijken, zodat gekeken kan worden bij twee testen die hetzelfde meten dezelfde resultaten worden behaald zodat de validiteit kan worden getest
In dit onderzoek wordt externe validiteit van de SST onderzocht door de resultaten van de SST te vergelijken met de resultaten van de SchoolVragenLijst (SVL). Met de SVL wordt er gemeten hoe de leerlingen denken over verschillende zaken die te maken hebben met school zoals relatie met de leraar en klasgenoten, motivatie voor school en zelfvertrouwen. In
de SVL kan bijvoorbeeld de subschaal ‘Sociaal aanvaard voelen’ worden vergeleken met het woord ‘Klasgenoten’ in de SST. Er kan dan worden onderzocht of deze twee concepten met elkaar overeenkomen. Ook de concepten leraar en school worden onderzocht door ze met vragen van de SVL te vergelijken. Aangezien er al eerder is gebleken in het onderzoek van Beunje (2008) dat vragenlijsten en de SST positief met elkaar kunnen correleren wordt ook in dit onderzocht verwacht dat de scores van de SVL en de scores van de SST positief met elkaar correleren.
Deze studie is een onderdeel van een grotere studie waarbij de SST, de IAT en de SVL met elkaar worden vergeleken. Er hebben in totaal 219 leerlingen meegedaan van het
Isendoorn college in Zutphen. In deze studie worden de SST en de SVL met elkaar
vergeleken. Beide testen zijn bij de leerlingen afgenomen en vervolgens zijn deze twee testen met elkaar vergeleken en is er gekeken of er een correlatie bestaat tussen de twee
verschillende testen.
Methode
Deelnemers:
In deze studie deden 219 leerlingen uit de tweede of de derde klas van het Isendoorn College in Zutphen. De leerlingen waren allemaal tussen de 12 en de 15 jaar oud. De klassen die deelnamen aan dit onderzoek waren van tevoren uitgekozen door de directie van de school. De ouders van de leerlingen kregen voordat het onderzoek begon een informed consent over het verloop van het onderzoek. De ouders konden aangeven of ze bezwaar hadden tegen
deelname van hun kind aan het onderzoek en dan werd de leerling uitgesloten. De leerlingen werden door de leraar geïnformeerd over het onderzoek. Na het onderzoek werden de leerlingen beloond in de vorm van een chocolaatje. Het onderzoek is goedgekeurd door de Ethische Comissie Adeling Psychologie van de Universiteit van Amsterdam (FMG-UVA).
Materialen:
In deze studie zijn er bij alle leerlingen twee verschillende soorten meetinstrumenten afgenomen, de SchoolVragenLijst (SVL) en de Semantic Selection Test (SST). Om de expliciete attitudes van de leerlingen over school te meten werd de SVL afgenomen. Het doel van de SVL is om in kaart te brengen hoe de leerling over bepaalde aspecten van school denkt en over hoe de leerling over zichzelf denkt (Vorst et al., 2008). De test is geschikt voor
leerlingen van negen tot 16 jaar. De test bestaat uit deel A en deel B en deze delen kunnen of allebei of een van beiden afgenomen worden. In deze studie is er een verkorte versie van de SVL afgenomen, bestaande uit 58 items. De SVL bestaat uit verschillende onderdelen: motivatie van de leerling, sociaal-emotioneel welbevinden op school, zelfvertrouwen en drie controleschalen om te controleren hoe de leerling op de vragen heeft gereageerd en de interpretatie hiervan. In dit onderzoek is er vooral gericht op de schaal sociaal-emotioneel welbevinden op school. Deze schaal bestaat uit de drie sub schalen plezier op school, sociaal aanvaard voelen van de leerling en relatie met de leerkracht. Een voorbeeldvraag uit de sub schaal sociaal aanvaard voelen is ‘ik kan met de meeste klasgenoten goed opschieten’ en een voorbeeldvraag uit relatie met de leerkracht is ‘ik kan goed opschieten met de meeste leraren’. De vragen kunnen beantwoordt worden met een vijf punten schaal, beginnend bij zeer oneens t/m zeer eens. Sommige vragen variëren met een andere vijf punten schaal beginnend bij nooit t/m heel vaak. Bij de vragen wordt 1 t/m 5 punten toegekend. Een lage score op de schaal betekent een negatieve attitude tegenover het onderwerp en een hoge score op de schaal betekent een positieve attitude tegenover het onderwerp. Volgens de Cotan
beoordelingen (2008) scoort de SVL op betrouwbaarheid voldoende, maar op sociale wenselijkheid scoort de test onvoldoende. Verder scoort de SVL op begripsvaliditeit goed maar de criteriumvaliditeit is nog niet onderzocht. Verder is de SVL genormeerd en is dit met goed beoordeeld.
Om de impliciete attitudes van de leerlingen over school te meten is de SST afgenomen. Het doel van de SST is om onbewuste attitudes over verschillende sociale situaties vast te leggen (Szàbo,2010). De test kan schriftelijk of via het internet worden afgenomen en duurt ongeveer tien minuten. De test bestaat uit twee ankeritems (angst en plezier), enkele targetwoorden (o.a. klasgenoten, leraar) en enkele afleidende woorden (o.a. bloem, spin). Er kunnen steeds acht van de 16 plaatjes uitkiezen die de deelnemer het best bij het woord vindt passen. Op sommige plaatjes is het niet duidelijk wat er precies op staat en is er ruimte voor eigen interpretatie. Er is nog maar weinig bekend over de psychometrische kwaliteiten van de SST. De test wordt gescoord door het aantal plaatjes te vergelijken die overeenkomen tussen de ankeritems en de targetwoorden. Vervolgens wordt het aantal gelijke plaatjes op angst afgetrokken van het aantal gelijke plaatjes op plezier en dit wordt de totale score. De score kan dus variëren van min acht t/m acht. Een lage score geeft een lage associatie tussen het woord en plezier aan en een hoge score geeft een hoge score tussen het woord en plezier aan. De interne validiteit (Vries,2008) en de convergente validiteit
(Beunje,2008) zijn beiden voldoende gebleken.
Procedure:
Deze studie was onderdeel van een groter onderzoek bestaande uit drie verschillende onderdelen. Allereerst werd de SVL afgenomen door de school zelf. Er werd van tevoren verteld wat het doel van de test was door de leraar. De leerlingen vulden een verkorte versie van de SVL schriftelijk in. De week erna werd per klas eerst de SST klassikaal afgenomen. Er werd van tevoren instructie gegeven over de test en er werd verteld dat de leerlingen altijd
met deelname mochten stoppen als ze dat wilden. Het uiteindelijke doel van de test werd nog niet verteld omdat dat de antwoorden zou kunnen beïnvloeden Vervolgens werd de SST afgenomen en als de leerlingen ondertussen vragen hadden werden deze beantwoordt. De afname van de test duurde ongeveer een kwartier per klas. Vervolgens werden de leerlingen in groepjes van drie of vier meegenomen voor afname van de Implicit Association Test (IAT), waar verder in deze studie niet op in zal worden gegaan. De leerlingen werden na afname beloond met een chocolaatje. De totale testprocedure duurde vijf dagen.
Vervolgens werden in deze studie de convergente validiteit van de SST getest door de antwoorden van de SVL en SST met elkaar vergeleken bijvoorbeeld door de vraag ‘ik kan goed opschieten met mijn klasgenoten’ te vergelijken met het woord klasgenoten. Er werd gekeken of er een correlatie bestaat tussen de antwoorden van deze twee testen.
Data-analyse plan
Allereerst zijn alle deelnemers die niet aan de SST of niet aan de SVL hadden meegedaan verwijderd. Daarna zijn alle leerlingen die een dubbel plaatje hadden gekozen bij de SST op relevante woorden voor het onderzoek verwijderd. Uiteindelijk is er met 171 leerlingen geanalyseerd Vervolgens is er gekeken of er samenhang is tussen de SST en de SVL. Er is sprake van twee onafhankelijke variabelen dus zijn er bivariate correlaties uitgevoerd over het concept ‘Klasgenoten’ van de SST en de subschaal ‘Sociaal aanvaard voelen’ van de SVL, het concept ‘Leerkracht’ van de SST en de subschaal ‘Relatie leerkracht’ van de SST en over het concept ‘School’ van de SST en de subschaal ‘Plezier op school’. Voor alle analyses is er gekeken of de data van de SST en de SVL normaal verdeeld waren met de Shapiro-Wilk test en als dit niet zo was is er een gekeken naar de Spearman correlatie. Als laatste is er gekeken of de klassen die een training van het Isendoorn college gaan krijgen verschillen met de klassen van die geen training gaan krijgen. Dit is gedaan met een Independent T-test.
Resultaten
In dit onderzoek zijn twee verschillende testen afgenomen namelijk de SST en de SVL. Deze testen zijn op verschillende momenten afgenomen en hierom zijn als eerst de proefpersonen die of afwezig waren bij het afnemen van de SVL of afwezig waren bij het afnemen van de SST verwijderd. Ook waren er een aantal leerlingen die bij het invullen van de SST twee keer dezelfde plaatjes hadden gekozen bij een targetwoord. Omdat de resultaten van deze
leerlingen niet meer goed te interpreteren waren zijn ook deze data verwijderd. Hierdoor bleven er nog 172 leerlingen over en zijn hier de verdere analyses over uitgevoerd.
Hierna zijn de targetwoorden ‘Klasgenoten’, ‘Leraar’ en 'School’ van de SST
vergeleken met vragen van de SVL. De vragen zijn geselecteerd door te kijken welke vragen zouden passen bij de sociaal-emotionele schaal van de SVL (WELB). Er zijn vragen gekozen met betrekking tot de drie subschalen Sociaal-aanvaard voelen (SA), Relatie met de
leerkrachten’ (RL) en ‘Plezier op school’. Er is met een factoranalyse gekeken of deze vragen ook daadwerkelijk samen een factor vormden en dit bleek ook zo te zijn.
Hieronder is een overzicht van alle gemiddelde en standaarddeviaties op de woorden ‘Klasgenoten’, ‘Leraar’ en ‘School’ van de SST en de drie subschalen ‘Sociaal Aanvaard voelen’, ‘Relatie Leerkracht’ en ‘Plezier op school’ van de SVL.
Tabel 1 Gemiddelde Standdaardeviatie
Klasgenoten 2.60 2.04
Leraar -.02 2.61
Sociaal aanvaard voelen 8.37 1.09
Relatie leerkracht 10.28 1.71
Plezier op School 11.32 2.05
Als eerste zijn de scores van de SVL en de SST met elkaar vergeleken op het woord ‘Klasgenoten’ van de SST met de vragen van het de subschaal ‘Sociaal aanvaard voelen’ van de SVL. Dit is gedaan met een bivariate correlatie. Omdat de data van de SST en de SVL niet normaal verdeeld zijn is er een Spearman correlatie uitgevoerd. Er was geen significante correlatie te vinden tussen het woord ‘Klasgenoten’ en de subschaal ‘Sociaal aanvaard voelen’ rs = 0.077, p = .157. Er is dus geen samenhang tussen het concept klasgenoten van de SST en de subschaal ‘Sociaal aanvaard voelen’ van de SVL
Verder is er gekeken of het woord ‘Leraar’ van de SST een samenhang had met de vragen van de subschaal ‘Relatie Leerkracht’ van de SVL. Dit is gedaan met een bivariate correlatie en ook hier is er gekeken naar de Spearman correlatie. Er was een significant resultaat te zien tussen het woord ‘Leerkracht’ van de SVL en de subschaal ‘Relatie leerkracht’ rs = .158 p = .020. Er is dus een licht positieve samenhang tussen het concept leerkracht van de SST en de subschaal ‘Relatie leerkracht’ van de SVL.
Als laatst is er gekeken of er een samenhang was met het woord ‘School’ en de vragen van de subschaal ‘Plezier op school’ van de SVL. Dit is gedaan met een bivariate correlatie en ook nu is er gekeken naar de Spearman correlatie omdat de data niet normaal verdeeld zijn. Er was een significante correlatie tussen het woord ‘School’ van de SST en de subschaal ‘plezier op school’ van de SVL rs = .196, p = .005. Er is dus een lichte positieve samenhang tussen het concept school van de SST en de subschaal ‘Plezier op school’ van de SVL. Ook tussen een aantal andere concepten zoals ‘Klasgenoten en ‘Plezier op school’ zijn significante
correlaties gevonden. In tabel 2 worden de correlaties tussen de verschillende concepten weergegeven.
Sociaal aanvaard Relatie Plezier op
Tabel 2 voelen leerkracht School
Klasgenoten .157 .094 .205*
Leerkracht .000 .158* .176*
School -.005 .176* .196*
*significant
Vervolgens is er gekeken of de klassen die een training zouden krijgen van de school op de SST en op de SVL verschillen van de klassen die geen training zouden krijgen. Dit is gedaan met een independent T-test. De klassen werden vergeleken op de woorden
‘Klasgenoten’, ’Leraar’ en ‘School’ van de SST en de subschalen ‘Sociaal aanvaard voelen’, ‘Relatie leerkracht’ en ‘Plezier op school’ van de SVL. Er werd alleen een significant verschil gevonden op het woord ‘Leraar’ van de SST tussen de condities ‘geen training (M = .38, SD = 2.12) en ‘training’ (M = -.40, SD = 2,76), t = 2.077, p = 0.039. Op de andere variabelen werd geen significant verschil gevonden tussen de leerlingen die wel een training gaan volgen en die geen training gaan volgen.
Discussie
In dit onderzoek is de externe validiteit van de SST gemeten door de SST te vergelijken met de SVL. Er zijn verschillende concepten van de SST onderzocht. Ten eerste is de samenhang
tussen het woord klasgenoten en de subschaal ‘Sociaal aanvaard voelen’ van de SVL. Er bleek hiertussen geen samenhang te zijn. Er was wel een lichte samenhang te vinden tussen de het concept ‘Leerkracht’ van de SST en de subschaal ‘Relatie Leerkracht’ van de SVL. Bovendien werd is er ook een samenhang gevonden tussen het concept ‘School’ en de subschaal ‘Plezier op school van de SVL. Ook tussen een aantal andere concepten is een lichte positieve samenhang gevonden. Verder werd er een significant verschil gevonden tussen leerlingen die wel en geen training gaan volgen op het Isendoorn college op het woord ‘Leraar’ van de SST. Op de rest van de concepten werd geen verschil gevonden. Het is moeilijk om te bepalen of de convergente validiteit hiermee als voldoende beschouwd kan worden aangezien de SST en de SVL tussen sommige concepten geen samenhang te vinden is en tussen andere concepten de samenhang laag is. Nader onderzoek kan bepalen of de convergente validiteit als voldoende beschouwd kan worden.
Deze conclusie komt niet overeen met de van tevoren opgestelde hypothese van dit onderzoek waarin werd verwacht dat de SST en de SVL positief met elkaar zouden correleren. Er kunnen echter verschillende redenen zijn waarom er op sommige concepten geen samenhang te vinden is tussen de SST en de SVL. Ten eerste is de SST een impliciet meetinstrument en de SVL een expliciet meetinstrument. Volgens Fisher (1993) zijn expliciete meetinstrumenten gevoelig voor sociale wenselijkheid. Bovendien is volgens de Cotan (2008) de sociale wenselijkheid van de SVL met een onvoldoende beoordeeld. Het zou dus kunnen dat leerlingen sociaal-wenselijke antwoorden ingevuld hebben. Het is bijvoorbeeld zo dat er leerlingen zijn die op de SST een negatieve associatie blijken te hebben met het woord klasgenoten en dan toch op de SVL een positieve score van een vier invullen. Ook is er nauwelijks spreiding te zien bij de vragen over klasgenoten bij de SVL, bijna iedereen heeft een positieve score ingevuld terwijl er op de SST toch duidelijk te zien is dat er leerlingen zijn die een negatieve associatie hebben met klasgenoten. Bovendien vullen de
leerlingen op de SVL in dat ze nauwelijks worden gepest terwijl volgens het Nederlands Jeugd Instituut (NJI) blijkt dat op middelbare scholen ongeveer 8.4 % van de leerlingen regelmatig tot vaak gepest wordt. Leerlingen kunnen bijvoorbeeld de relatie met hun klasgenoten positiever beschreven hebben in de SVL omdat ze graag willen dat anderen denken dat dit daadwerkelijk ook zo is. Bij de SST kunnen de leerlingen niet achterhalen wat er met de test gemeten wordt en kunnen ze dus ook geen sociaal-wenselijke antwoorden invullen. (Szàbo, 2010) Hierdoor zou het kunnen dat de antwoorden die hetzelfde concept bij de SST en de SVL lijken te meten toch van elkaar verschillen. Om te kijken of deze hypothese klopt kan er in vervolgonderzoek opnieuw een impliciet met een expliciet meetinstrument vergeleken worden en kan er gekeken worden of sociale wenselijkheid een invloed heeft gehad bij het invullen van het expliciete meetinstrument. Normaal gesproken heeft bijvoorbeeld de SVL een schaal die sociale wenselijkheid meet over de ingevulde antwoorden. In dit onderzoek is echter een verkorte versie van de SVL gebruikt en werd sociale wenselijkheid niet gemeten.
Door deze verkorte versie te gebruiken werden sommige onderwerpen ook niet uitgebreid ondervraagd. Er waren bijvoorbeeld maar twee vragen die over de invloed van klasgenoten gingen en hierdoor werd het woord ‘Klasgenoten’ van de SST alleen met deze twee vragen van de SVL vergeleken. Met meer vragen over het concept klasgenoten in de SVL had dit onderwerp uitgebreider onderzocht kunnen worden en zouden de SST en SVL beter vergeleken kunnen worden. Hetzelfde geld voor de concepten ‘Leerkracht’ en ‘School’. In vervolgonderzoek zou dan beter de uitgebreide versie van de SVL gebruikt kunnen worden waarin bijvoorbeeld schalen worden gebruikt als Sociaal Aanvaard Voelen en Plezier op School en kunnen deze schalen worden vergeleken met worden als ‘Klasgenoten’ en ‘School’ om te kijken of deze antwoorden eventueel meer met elkaar overeenkomen. Bovendien heeft
deze versie van de SVL ook een aparte schaal waarmee sociale wenselijkheid gemeten kan worden.
Een ander nadeel van de SVL is dat de vragen op zo’n manier gesteld worden dat de leerlingen gestuurd kunnen worden in hun antwoorden. Er is bijvoorbeeld de vraag ‘Ik kan met de meeste klasgenoten goed opschieten’. Een leerling kan op deze manier makkelijk een positief antwoord invullen omdat hij inderdaad met de meeste klasgenoten goed op kan schieten en hoeft dan niets te zeggen over de paar leerlingen waar hij eventueel niet goed mee op kan schieten en misschien zelfs gepest wordt. Of er is de vraag ‘Ik raak in paniek tijdens een toets’, het kan zijn dat deze vraag te heftig gesteld wordt en dat een leerling niet in paniek raakt maar wel negatieve gevoelens heeft tijdens het maken van een toets. Een eventuele negatieve associatie is met zo’n vraag moeilijk te zien. Leerlingen kunnen dus gestuurd worden bij het beantwoorden van vragen op de SVL en hierdoor kunnen de antwoorden van de SST en SVL van elkaar verschillen.
Verder is een voordeel van de SST dat het veel informatie kan opleveren voor de school en leraren als het gaat om individuele leerlingen en de groepsdynamiek in de klas. Als een leerling bijvoorbeeld negatief scoort op de het woord ‘School’, positief op de woorden ‘Leraar en ‘Klasgenoten’, maar negatief op het woord ‘Toets’ dan ligt dan negatieve associatie met school waarschijnlijk aan de negatieve associatie met toets en kan de leerling hierop verder begeleidt worden. Zo kan er per leerling gekeken worden wat hij nodig heeft om zich zo goed mogelijk te ontwikkelen op school. Ook kan er gekeken worden naar de individuele scores van de leerlingen als het bijvoorbeeld gaat om de groepsdynamiek in de klas. Als een leerling bijvoorbeeld op het woord klasgenoten een score van nul behaalt kan het zo zijn dat hij een score van zes had bij plezier en een score van zes bij angst. Dit geeft aan dat hij waarschijnlijk bij sommige klasgenoten een hele positieve associatie heeft een bij sommige klasgenoten een hele negatieve associatie. Dit zegt iets anders dan als hij
bijvoorbeeld bij angst en plezier een score van drie heeft en hierdoor dus ook op nul uitkomt bij het woord klasgenoten. Zo kan de school veel informatie krijgen over de groepsdynamiek binnen een klas.
In dit onderzoek is de externe validiteit van de SST in vergelijking met de SVL onvoldoende gebleken. Dit kan verklaard worden door het verschil in impliciet/expliciet meten en doordat er een verkorte versie van de SVL is gebruikt waarbij de hoofdconcepten als ‘Klasgenoten’, ‘Leraar’ en ‘School’ niet uitgebreid genoeg werden ondervraagd om een goede vergelijking te kunnen maken met de SST. In vervolgonderzoek zou er een uitgebreidere versie van de SVL gebruikt kunnen worden zodat deze concepten uitgebreider kunnen worden onderzocht. De SST kan verder een goede methode zijn op per individu uit te zoeken waar de leerling of klassen problemen mee hebben en hiermee verder begeleiden.
Literatuurlijst
Anderson, D. C. (1998). Curriculum, culture and community: The challenge of school violence. Youth violence, 8, 317-363.
Asendorpf, J.B., Banse, R., & Mücke, D. (2002). Double dissociation between implicit and explicit personality self-concept: The case of shy behavior.Journal of Personality and Social Psychology, 83, 380–393.
Beunje, C. (2008). Is de Semantic Selection Test een valide methodiek om zelfbeeld bij adolescenten in beeld te brengen? Afstudeerthese, Universiteit van Amsterdam.
Elliott, D.S., Grady J.M., Shaw T.E. & Beaulieu M.T. (2000). Safe Communities, Safe Schools Planning Guide: A Tool for Community Violence Prevention. Boulder, Colo:
Camodeca, M., Goossens F.A., Terwogt, M., & Schuengel C. (2002). Bullying and Victimization Among School-age Children: Stability and Links to Proactive and Reactive Aggression Review of Social Development,11, 332-345.
Cunningham, W.A., Preacher, K. J., & Banaji M.R. (2001). Implicit Attitude Measures: Consistency, Stability and Convergent Validity. Psychological Science,12, 163-170.
De Houwer, J. (2006). What are implicit measures and why are we using them? Handbook of
implicit cognition and addiction. Thousand Oaks, CA: Sage Publishers. p. 11-28.
Faber, M., Verkerk G. van Aken, M., Lissenburg, L., & Geerlings M. (2006). Plezier op school: Sterker naar de brugklas. Kind en Adolescent Praktijk,5,31-39.
Fazio, R.H. & Olson, M.A. (2003) Implicit measures in social cognition research: Their meaning and use. Annual review of psychology,54,297-327.
Fisher, R.J. (1993). Social Desirability Bias and the Validity of Indirect Questioning. Journal of Consumer Research,20,303-315.
Gottfredson, D. (2001). Schools and Delinquency. New York, NY: Cambridge; 2001
Hazler, R. J., Hoover, J. H., & Oliver, R. L. (1996). Student perceptions of victimization by bullies in schools. The Journal of Humanistic Education and Development, 29, 143-150.
Hernandez, Thomas J.Seem, Susan R. (2004)A safe school climate: a systemic approach and the school counselor, American School Counselor Association,7
Hofmann, W., Gawronski, B., Gschwendner, T., Le, H., & Schmitt, M. (2005). Ameta- analysis on the correlation beK. Schnabel et al. European Journal of Psychological
Monteith, M. J., Voils, C. J., & Ashburn-Nardo, L. (2001). Taking a look underground: Detecting, interpreting and reacting to implicit racial bias. Social cognition,19, 295-417.
Nosek, B.A. (2005). Moderators of the relationship between implicit and explicit evaluation. Journal of ExperimentalPsychology: General, 134, 565–584.
Nosek, B.A., Greenwald, A.G., & Banaji, M.R. (2006). The Implicit Association Test at age 7: A methodological and conceptual review. Social psychology and
the unconscious: The automaticity of higher mental processes, 265–292.
Schnabel, K., Banse, R., & Asendorpf, J.B. (2006a). Assessment of implicit personality self-concept using the ImplicitAssociation Test (IAT): Concurrent assessment of anxiousness and angriness.British Journal of Social Psychology, 45,373–396 Smith, E.R., DeCoster, J., (2000). Dual-Process Models in Social and Cognitive
Psychology: Conceptual Integration and Links to Underlying Memory Systems.
Personality and Social Psychology Review,4,108-131.
Szàbo, E., (2010). Semantic Selection Test: A new methodological approach towards the exploration of children’s views on social issues. Childrens identity and Citizenship in Europe. 445-454.
Urbanek, T. (2000) Possibilities of quantification of the Semasiological selection test.
Studia Psychologica, 42(3), 283-287.
Vorst, H. C. M., Smits, J. A. E., Oort, F. J., Stouthard, M. E. A., & David, S. A. (2008). Schoolvragenlijst voor basisonderwijs en voortgezet onderwijs: handleiding en
verantwoording [School questionnaire for primary and secondary education: SVL user manual].
Vries, V. de (2008). De Semantic Selection Test: Een validatie onderzoek. Afstudeerthese, Universiteit van Amsterdam.
Wilson, (2004). The Interface of School Climate and School Connectedness and Relationships with Aggression and Victimization. Journal of School Health,7,293-299.
Reflectieverslag
Naar mijn gevoel heb ik de verkregen feedback redelijk goed kunnen verwerken. Ik ben steeds per onderdeel te werk gegaan en heb per punt de feedback geprobeerd te verwerken. Uiteindelijk heb ik altijd mijn verslag nog nagekeken of de punten wel goed op elkaar aansloten. Er hoefde vrij weinig aan de structuur veranderd te worden, alleen vaak nog wat extra informatie worden toegevoegd. Hiervoor heb ik soms nog extra artikelen opgezocht of artikelen gebruikt die ik al had. Ook moest ik nog wat extra dingen toevoegen bij de resultaten die ik eerst ik spss nog moest analyseren. Ik heb altijd eerst de tabellen toegevoegd in het verslag en er daarna een stukje over geschreven.
Over het algemeen vind ik dat het project heel fijn is verlopen. We werden goed geholpen met het uitzoeken van een hoofdvraag en het was duidelijk hoe we de inleiding moesten opbouwen. Af en toe was het best lastig om met z’n allen een goede afspraak te maken om met z’n allen bij elkaar te komen, maar als het echt niet ging hebben we vaak geprobeerd om dan toch nog met z’n tweeën of alleen te gaan zodat we toch nog vooruit konden werken. Het onderzoek verliep over het algemeen ook erg soepel, de school werkte goed mee en hoewel het voor ons de eerste keer was dat we zo’n onderzoek deden ging het
met uitzondering van wat technische problemen op het begin vrij makkelijk. Ik vond het analyseren van de data af en toe best lastig, zeker met het begrijpen van het berekenen van de IAT maar we hebben veel hulp gehad en we zijn er uiteindelijk toch goed uitgekomen. Ook hebben we elkaar veel geholpen met alle analyses. Over het algemeen ging het schrijven van het verslag best goed al vind ik het vaak wel moeilijk om alles uiteindelijk goed op elkaar te laten aansluiten en mooie overgangen te maken. Ook waren er vaak na elke afspraak weer extra puntjes om in het verslag te verwerken en moest er weer wat aangepast worden en af en toe vond ik het best lastig om goed overzicht te houden.
Ik vind het schrijven van dit soort onderzoeksverslagen best wel moeilijk ook al vond ik wel dat het makkelijker was om op punten te komen nu ik zelf het onderzoek had gedaan. Ik denk dat uiteindelijk het wel een redelijk goed verslag is geworden alleen vind ik het dus altijd lastig om de stukken mooi in elkaar over te laten lopen. Ook heb ik als feedback gekregen dat ik in de discussie meer terug moest koppelen naar mijn inleiding en ik hoop dat dit is gelukt, maar ook dit vond ik moeilijk om mooi aan elkaar te koppelen. Ik ben wel redelijk tevreden over de inhoud van de discussie en ik denk wel dat het verslag een duidelijke structuur heeft. We hebben voor het onderzoek toestemming gevraagd aan de ethische commissie en ook is er via een passief consent toestemming gevraagd aan de ouders. Het onderzoek was niet vervelend om af te nemen voor de leerlingen, maar we hebben van tevoren gezegd dat ze altijd mochten stoppen als ze niet meer deel wilden nemen aan het onderzoek. Ook hebben we gezegd dat alle gegevens anoniem verwerkt zouden worden voor het verslag en dat het doel van het onderzoek was ons te helpen met afstuderen en de leraren te helpen om de leerlingen beter te kunnen begeleiden. We hebben niet letterlijk verteld wat het doel van de studie was omdat we impliciete metingen hebben gebruikt en deze anders niet meer valide waren. Om het onderzoek positief af te sluiten kregen alle leerlingen een beloning in de vorm van een chocolaatje.
Daarnaast schrijf je een reflectieverslag waarin je aangeeft: (a) hoe je met de verkregen feedback bent omgegaan (vergelijk: a letter in which you document how you reacted to each point raised in the review process, hiermee heb je onder meer bij het POR ervaring opgedaan), (b) waar het project goed is verlopen en waar dat minder goed verliep en (c) wat volgens jou de sterke en zwakkere punten van je onderzoeksverslag zijn en (d) hoe je met de ethische aspecten van het onderzoek bent omgegaan.
