Validatie onderzoek: Semantic Selection Test
Veiligheid in de Klas
Bachelorproject
Marloes op den Kelder Studentnummer: 10371079 Datum: 18 december 2015 Aantal woorden: 6.373
Begeleidster: Mw. Dr. A.M.L. Collot D’Escury-Koenigs Universiteit van Amsterdam
2 Inhoudsopgave Abstract p. 3 Inleiding p. 4 Methode p. 13 Resultaten p. 16 Discussie p. 23 Literatuurlijst p. 31
3 Abstract
In dit onderzoek werd de Semantic Selection Test (SST) gevalideerd aan de hand van de interne samenhang, divergente validiteit en externe validiteit. Er waren 180 deelnemers uit de tweede en derde klas van het middelbaar onderwijs. De SST werd gebruikt om het gevoel van veiligheid van de leerlingen in kaart te brengen. Uit de resultaten bleek er een positieve samenhang te zijn tussen de items op de SST. Daarnaast bleek dat er geen samenhang was tussen items op de SST die
verschillende concepten moesten meten. Tot slot werden er significante verschillen gevonden tussen problematische en niet-problematische klassen. De conclusie van dit onderzoek is dat de SST voldoende valide is.
4 Inleiding
Is de mens in staat om zichzelf echt volledig te begrijpen? Als dat mogelijk is, kan men dat dan begrijpelijk vertalen? Durf jij altijd je werkelijke mening te geven? Ook in een onveilige situatie? In hedendaags onderzoek worden vragenlijsten gebruikt om iemand naar zijn mening te vragen, maar de vraag is, is dit wel een goede methode?
Volgens de theorie van Maslow (Maslow, 1943, aangehaald in Thapa, Cohen, Guffey & Higgins-D’Alessandro, 2013) is een gevoel van veiligheid, sociaal,
emotioneel en fysiek, een fundamentele menselijke behoefte. Pas als aan die behoefte is voldaan kan men sociale relaties aangaan en zichzelf ontplooien. Een gevoel van veiligheid op school is dan ook een belangrijke voorwaarde voor het behalen van goede academische resultaten (Thapa, Cohen, Guffey & Higgins-D’Alessandro, 2013). Veiligheid heeft ook veel andere voordelen. Leerlingen die steun van de leraar en van de andere leerlingen ervaren hebben een positiever zelfbeeld en minder kans op depressieve symptomen (Jia et al., 2009, aangehaald in Thapa et al., 2013). Koomen, Verschueren en Pianta (2007) lieten zien dat er
gunstige effecten zijn gevonden van een positieve en warme relatie met de
leerkracht en ongunstige effecten van een negatieve of overafhankelijke relatie met de leerkracht. Deze effecten zijn te vinden op verschillende gebieden, zoals plezier op school, werkhouding, sociale competentie en probleemgedrag. Uit het onderzoek van Thapa et al. (2013) bleken een aantal aspecten van belang te zijn voor een positief schoolklimaat, dat zijn een positieve werkomgeving voor de leraren, positieve relaties tussen leerlingen en een gevoel van inclusie en respect.
Helaas voelen veel kinderen zich niet veilig op school. Pesten is de meest voorkomende reden dat leerlingen zich onveilig voelen op school (Jacobson, Riesch,
5 Temkin, Kedrowski & Kluba, 2011).Uit het onderzoek van Unnever en Cornell (2004) blijkt dat 25% van de leerlingen aan niemand vertelt dat ze gepest worden. Kinderen geven aan dat ze zich op school het meest onveilig voelen op plaatsen waar geen volwassenen aanwezig zijn (Jacobson et al., 2011). Vaillancourt et al. (2010) lieten zien dat leerlingen zich het meest onveilig voelen tijdens de pauzes, op het
schoolplein, in de gangen en in de kantine. Van de gepeste leerlingen geeft 25% aan gepest te worden tijdens gym (Sapouna, 2008). Opmerkelijk is dat ook de pester aangeeft zich niet veilig te voelen op school (Jacobson et al., 2011). Om pestgedrag te voorkomen is het dus van belang dat iedere leerling zich veilig voelt op school.
Volwassenen kunnen soms ook de oorzaak zijn van een onveilig gevoel. Uit het onderzoek van Piekarska (2000) bleek dat leraren die hun leerlingen pesten, bijvoorbeeld opmerkingen maken over de intelligentie van een leerling, destructief kunnen zijn voor schoolresultaten van de leerling en hun algemene welzijn.
Aangezien onveiligheid op school vergaande gevolgen heeft is het van belang dit te bestrijden. Lastig hierbij is dat leerlingen niet altijd laten weten dat ze zich onveilig voelen. Daarom is het van maatschappelijk belang dat er gekeken wordt of er methodes zijn die deze problematiek kunnen opsporen zodat leerlingen hierbij geholpen kunnen worden.
Tegenwoordig zijn er een aantal vragenlijsten die onveiligheid op school in kaart brengen door middel van zelfreport, zoals de School Vragenlijst (SVL) en Leerkracht Leerling Relatie Vragenlijst (LLRV). De grootste voordelen van
vragenlijsten zijn dat ze gemakkelijk gebruikt kunnen worden en gevalideerd zijn (Egloff & Schmukle, 2002), alhoewel vaak de externe validiteit ontbreekt. Toch zijn er ook nadelen aan deze methode, volgens Greenwald et al. (2002) zijn er twee grote problemen met expliciet meten door vragenlijsten. Het eerste probleem is het
6 introspectief limiet. Met introspectief limiet wordt bedoeld dat deelnemers onbewust kunnen zijn van hun eigen ware gevoelens of gedachtes over een onderwerp. Zij zijn daardoor niet in staat om hun ware score in te vullen. Uit het onderzoek van
Greenwald et al. (2002) blijkt dat mensen hun omgeving niet alleen op een bewuste en expliciete manier waarnemen, maar ook onbewust en impliciet. Daardoor kan iemand niet altijd rapporteren over zijn cognitieve en affectieve processen, omdat ze niet bewust worden ervaren (Nisbett & Wilson, 1977, aangehaald in Egloff &
Schmukle, 2002).
Introspectief limiet kan verklaard worden via de dual-process theorieën. Deze theorieën stellen dat er twee typen van systemen zijn (Houben & Wiers, 2009). Een snel, associatief en impliciet systeem, dat men niet bewust ervaart en waarbij stimuli geëvalueerd worden op basis van emoties en motivaties. Daarnaast is er een
langzamer, reflectief en expliciet systeem, dat men wel bewust ervaart en waarbij stimuli geëvalueerd wordt op basis van overwegingen, emotieregulatie en
verwachtingen. Volgens deze theorieën kunnen expliciete meetmethodes, zoals vragenlijsten, alleen het expliciete systeem meten, omdat er een beroep wordt gedaan op bewuste processen. Om de onbewuste systemen te meten is er dus een andere meetmethode nodig.
Het tweede probleem met expliciet meten volgens Greenwald et al. (2002) zijn responsfactoren. Hiermee wordt bedoeld of de deelnemer bereid is zijn werkelijke gevoelens of mening te delen. De deelnemer is zich wel bewust van zijn gedachtes en gevoelens, maar wil deze niet kenbaar maken en vult dus geen ware score in. Een bekende vorm van responsfactoren noemen we faking en daarmee wordt bedoeld dat iemand opzettelijk een positievere score of een negatievere score probeert te halen dan hij eigenlijk heeft (Egloff & Schmukle, 2002). Dit komt vaak
7 voor bij situaties waarbij iemand een voordeel heeft bij een positievere of negatievere score. Bijvoorbeeld als iemand in aanmerking wil komen voor een baan zou deze een positievere score kunnen invullen als er gevraagd wordt naar ‘integriteit’ (faking
good). Wanneer iemand vrijgesproken wil worden voor een misdaad kan hij een
negatievere score invullen voor ‘psychische problemen’ (faking bad) om tot een voordeligere uitspraak te komen. Tot nu toe zijn er nog niet voldoende succesvolle manieren gevonden om met faking bij vragenlijsten om te gaan (Holden, Wood & Tomashewiski, 2001).
Een ander voorbeeld van een responsfactor is sociale wenselijkheid, hiermee wordt bedoeld de neiging van mensen zichzelf in een positief licht te zetten door cultureel geaccepteerde antwoorden te rapporteren (Miller et al., 2015). Greenwald, McGhee en Schwartz (1998) lieten zien dat de relatie tussen impliciete en expliciete meetmethodes vrij hoog is als het onderwerp niet sociaal gevoelig is, maar flink omlaag gaat wanneer het onderwerp gevoeliger ligt, zoals bij stereotypen en vooroordelen. Veiligheid op school kan gezien worden als een sociaal gevoelig onderwerp, bijvoorbeeld omdat 25% van de gepeste leerlingen nooit aangeven dat ze gepest worden (Unnever en Cornell, 2004). Daarom zou onderzoek over het onderwerp veiligheid op school waarschijnlijk beter gemeten kunnen worden met impliciete methodes.
Daarnaast is bij het testen van kinderen een veelvoorkomend probleem dat de kinderen niet taalvaardig genoeg zijn om hun gevoelens, emoties en gedachtes te communiceren en dat is wel cruciaal bij het gebruik van een vragenlijst of interview. Impliciete meetmethodes bieden daar een oplossing voor, doordat het kind niet bewust zijn attitudes hoeft te verwoorden kan zijn cognitieve onrijpheid of beperkte taalvaardigheid de score niet beïnvloeden. Vaak kunnen kinderen hun attitudes wel
8 communiceren door het gebruik van tekeningen (Kosslyn, Heldmeyer & Locklear, 1977, aangehaald in Szabó, 2010). Het nadeel met deze methode is dat de interpretatie van de tekening door de onderzoeker gedaan wordt. Bij deze
interpretatie kan een bias voorkomen, zoals de politieke meningen, stereotypen en verwachtingen van de onderzoeker (Cajani, 2009, aangehaald in Szabó, 2010). Om te voorkomen dat bias een rol speelt bij de interpretatie van impliciete meetmethodes is het nodig dat er een vastgestelde scoreprocedure is die niet wordt beïnvloed door de onderzoeker.
Tijdens het afnemen van impliciete meetinstrumenten is de deelnemer zich niet bewust van waar de onderzoeker naar kijkt. Hierdoor spelen responsfactoren geen rol, doordat de deelnemer niet weet hoe de resultaten geïnterpreteerd worden kan hij de score niet opzettelijk beïnvloeden. De deelnemer beseft niet waar er in het onderzoek naar wordt gekeken en dus is er geen sprake van introspectief limiet, de proefpersoon hoeft zich niet bewust te zijn van zijn cognitieve en affectieve
processen.
De grootste kritiek op impliciete meetmethodes is dat de psychometrische waardes niet voldoende zijn (Cameron, Alvaraz & Bargh, 2002, aangehaald in
Cunningham, Preacher & Banaji, 2001). Als reactie op die kritiek lieten Cunningham, Preacher en Banaji (2001) zien dat na het corrigeren voor interitem consistentie, de stabiliteit van impliciete meetinstrumenten goed is en dat impliciete meetinstrumenten een hoge correlatie hebben met elkaar. Zij concludeerden dat impliciete
meetinstrumenten betere psychometrische waardes hebben dan verwacht. Een ander kritiekpunt is dat het wel mogelijk is dat een deelnemer zich bewust is van zijn attitudes (Fazio & Olson, 2003). Als dat het geval is, kan er misschien dan ook bij impliciet meten faking voorkomen. Echter laat een ander onderzoek zien dat zelfs als
9 deelnemers faking instructies kregen, dit de uitkomsten op een impliciete
meetmethode niet beïnvloedde (Egloff & Smuckle, 2002).
Een veelgebruikt impliciet meetinstrument is de Implicit Association Test (Greenwald et al., 1998). De IAT meet hoe sterk de associatie is van een concept met een waarde die eraan gegeven wordt. Bijvoorbeeld de concepten spin en bloem en de waardes, positief en negatief. De deelnemers moeten de stimuli sorteren. Bij het sorteren moet de deelnemer bijvoorbeeld bloem bij positief zetten en spin bij negatief. Later wordt dit ook omgedraaid, waarbij de deelnemer bloem bij negatief moet zetten en spin bij positief. De responstijden van het sorteren bij het
incompatibele blok (bloem/negatief en spin/positief) worden afgehaald van de responstijden bij het compatibele blok (bloem/positief en spin/negatief). Het idee hierachter is dat als een concept geassocieerd is met een waarde (zoals spinnen met negatief) het sorteren makkelijker is en dus sneller.
Egloff en Schmukle (2002) lieten zien dat de IAT een goede predictieve validiteit heeft. Zij gebruikten een versie van de IAT waarbij de test keek naar de concepten angst en kalmte door deze te combineren met de waardes zelf en
anderen. Uit het onderzoek bleek dat de IAT een goede interne consistentie had en goede stabiliteit. Tot slot bleek dat de IAT voorspelde hoeveel angst iemand zou ervaren bij een stressvolle speech. Ook Houben en Wiers (2008) lieten zien dat de IAT predictieve waarde heeft bij het voorspellen van alcoholgebruik. Als iemand positieve associaties heeft met alcohol (sneller alcohol combineert met positieve waarde en langzamer met negatieve waardes) voorspelt dat de mate van het alcoholgebruik. Daarnaast liet Van Bockstaele et al. (2011) zien dat impliciete meetinstrumenten beter zijn in het voorspellen van angstreacties die niet makkelijk vrijwillig gecontroleerd kunnen worden, zoals hartslag.
10 Toch heeft de IAT ook een belangrijk nadeel, dat de IAT maar één concept tegelijk kan meten. Zo kan er alleen gekeken worden naar associaties over
bijvoorbeeld bloemen en spinnen en ook alleen relatief aan elkaar. Er kan niet gekeken worden of de deelnemer positiever is over spinnen, bijen of rupsen. Om complexe processen, zoals veiligheid op school, in hun totaliteit te kunnen begrijpen zou het heel nuttig zijn als er naar meerdere concepten tegelijkertijd gekeken zou kunnen worden. Een ander nadeel van de IAT is dat de scores op een ingewikkelde manier berekend moeten worden (Greenwald, Nosek & Banaji, 2003). Hierdoor is de IAT niet makkelijk bruikbaar in de praktijk. Verdere kritiek is dat doordat de IAT zoveel oefenblokken heeft, de IAT zelf de associaties meer toegankelijk maakt voor de deelnemer en dat er daardoor een effect gevonden wordt (Klauer & Mierke, 2005). De Semantic Selection Test ondervangt deze genoemde bezwaren.
De Semantic Selection Test (SST) is waarschijnlijk ontworpen door de Tsjechische biochemicus en psychiater Doležal (Smékal,1990, aangehaald in
Schijven, 2010) en verder ontwikkeld door Thomas Urbánek (Szabó, 2010). De SST is bedoeld om onbewuste attitudes te meten. De SST bestaat uit zestien plaatjes waarbij acht plaatjes moeten worden uitgekozen die de respondent vindt passen bij een woord. Er wordt gebruik gemaakt van twee ankeritems, angst en plezier. Verder kunnen er targetwoorden gekozen worden waarover men de attitudes wil weten en worden er afleidende woorden toegevoegd (Szabó, 2010). Door het aantal
overeenkomende plaatjes van een targetwoord met de ankeritems te vergelijken is te bepalen of de deelnemer een positief (overeenkomsten met plezier) of negatief (overeenkomsten met angst) beeld heeft van het onderwerp. Bijvoorbeeld als bij het targetwoord “school” meer overeenkomende plaatjes zijn met “angst” dan met
11 “plezier”, kan er geconcludeerd worden dat de deelnemer een negatieve beleving heeft van school.
Er is nog weinig validatie onderzoek gedaan naar de SST, maar de SST lijkt een veelbelovend meetinstrument te zijn (Szabó, 2010). De Vries (2008) liet zien dat interne validiteit van de SST als voldoende kan worden beschouwd. De convergente validiteit is vastgesteld door een positieve correlatie tussen de SST en de Vragenlijst voor Angst bij Kinderen, VAK (Beunje 2008, aangehaald in Schijven, 2010). Verder bleek de validiteit voldoende te zijn bij een onderzoek naar de SST en jongeren met een licht verstandelijke beperking (Schijven, 2010). Toch moet er meer onderzoek gedaan worden om de SST als een impliciet meetinstrument te valideren, zo is er nog geen vergelijking geweest met andere impliciete meetinstrumenten. Daarbij is het belangrijk dat gekeken wordt naar goede methodes om onveiligheid op scholen zichtbaar te maken, niet alleen de onveiligheid, maar ook de oorzaak van die onveiligheid. De SST kan hier een geschikte onderzoeksmethode voor zijn.
Dit onderzoek zal zich richten op de validiteit van de Semantic Selection Test. De Semantic Selection Test, de Implicit Associations Test en de School Vragenlijst zullen worden afgenomen bij leerlingen uit de tweede en derde klas van een
middelbare school. Om de externe validiteit te onderzoeken zal gekeken worden naar de samenhang tussen de SST en de expliciete maat SVL en de samenhang tussen de SST en de impliciete maat IAT. De SVL was een week voor de afname van de SST en IAT afgenomen door de school. Om de IAT met de SST te kunnen
vergelijken worden de items ‘Spin’ en ‘Bloem’ toegevoegd aan de SST. De
onderhavige studie zal zich richten op de interne samenhang van de SST. Ook zal er gekeken worden naar externe validiteit, namelijk of wat leerkrachten ervaren ook overeenkomt met de resultaten op de SST. De leerkrachten van sommige klassen
12 gingen een training volgen om de kwaliteit en veiligheid op school te verbeteren. De leerkrachten hadden deze klassen zelf geselecteerd omdat ze als problematisch werden ervaren. Daarom zal er ook gekeken worden naar de verschillen in de beoordelingen op ‘School’, ‘Leerkracht’ en ‘Klasgenoten’ tussen de problematische en niet-problematische klassen.
Deze studie zal zich richten op de interne samenhang van de SST. Gesteld wordt dat als leerlingen geen positieve beleving hebben van hun klasgenoten en leerkracht zij ook geen positieve beleving hebben van school. Er wordt verwacht dat de targetwoorden ‘Klasgenoten’, ‘Leerkracht’ en ‘Toets’ de score op ‘School’ zullen verklaren. Daarnaast wordt verwacht dat de gekozen targetwoorden voldoende zijn om de variantie op het targetwoord school te verklaren. Verder wordt gesteld dat als de leerlingen geen positieve beleving hebben van hun klasgenoten zij ook geen positieve beleving hebben van gym en pauze (Vaillancourt et al., 2010; Sapouna, 2008). Er wordt verwacht dat er positieve correlaties gevonden worden tussen ‘Klasgenoten’, ‘Gym’ en ‘Pauze’. Verder wordt er verwacht dat er positieve correlatie gevonden worden tussen de woorden ‘Toets’ en ‘Leerkracht’. Tot slot wordt er
gesteld dat er verschillen zullen zijn tussen de problematische en niet-problematische klassen. Er wordt verwacht dat de problematische klassen negatiever zijn op de targetwoorden ‘School’, ‘Leerkracht’ en ‘Klasgenoten’ dan de niet-problematische klassen.
13 Methode
Deelnemers
224 deelnemers deden mee aan het onderzoek. De deelnemers waren leerlingen uit de tweede klas en derde klas VMBO op het voorgezet onderwijs, alle leerlingen zaten op dezelfde school. De leerlingen waren gemiddeld tussen de 13 en 15 jaar oud. De school gebruikte de gegevens van de Semantic Selection Test voor een lerarentraining, gericht op de kwaliteit en veiligheid op school. De deelnemers kregen allemaal een proefpersoonnummer toegewezen en zijn anoniem verwerkt bij de analyses van de SST, SVL en IAT. De ouders van de leerlingen werden
geïnformeerd aan de hand van een informatiebrief. De school was van mening dat het onderzoek viel onder de visie van de school, namelijk een veilige school. Nadat de deelnemers het onderzoek hadden afgerond kregen ze als beloning een minibar. Materialen
In het onderzoek is de Semantic Selection Test (SST) gebruikt om onbewuste belevingen over meerdere onderwerpen te meten. De SST werd elektronisch
afgenomen door middel van de site https://implicietmeten.nl. Op deze site kan de SST voor een individu of groep deelnemers worden aangemaakt. De SST werd klassikaal afgenomen, waarbij de deelnemers de SST individueel invulden op een iPad. De deelnemers kregen een aantal woorden te zien (targetwoorden i.e. de woorden waarmee de onderzoeker de associatie in beeld wil brengen), twee ankeritems en afleidende woorden (distractors).
Naast ieder woord werden er 16 plaatjes getoond (Figuur 1), met de instructie om 8 van de 16 plaatjes uit te kiezen die de deelnemer het beste bij het woord vond passen.
14 De gekozen targetwoorden waren Klasgenoten, School, Leerkracht, Pauze, Toets en Gym. De gekozen afleidende woorden waren Vakantie, Vrienden,
Softdrinks, Alcohol, Bloem en Spin. De volgorde van de plaatjes werd bij elk woord willekeurig en automatisch veranderd. De deelnemer kan pas verder naar het volgende woord als er 8 plaatjes zijn geselecteerd. De plaatjes hebben geen vaststaande semantische betekenis, de deelnemer kan zelf een betekenis aan de plaatjes koppelen. Bij het scoren van de gegevens wordt er gekeken naar de
overeenkomsten in gekozen plaatjes tussen de targetwoorden en ankeritems (angst en plezier). Hierdoor kan de associatie van angst en van plezier met het targetwoord, bijvoorbeeld school, worden bepaald. De score van een targetwoord op angst wordt van de score op plezier afgetrokken. Hierdoor ontstaat één score. Deze score laat zien hoe sterk de associatie is tussen een targetwoord en plezier. De score kan een waarde van -8 tot 8 aannemen, waarbij de score van -8 aangeeft dat de deelnemer geen plezier associeert met het woord en score van 8 aangeeft dat deelnemer veel plezier associeert met het woord.
Procedure
Alle leerlingen die aanwezig waren deden mee aan het onderzoek. De afdelingsleider gaf een korte introductie over het onderzoek en de training die de
15 leraren volgden. Daarna volgde de instructies. De deelnemers werd verteld dat ze een woord te zien kregen met daarnaast een aantal plaatjes en om acht plaatjes uit te zoeken die zij het best vonden passen bij het woord. Verder werd verteld dat er geen goede of foute antwoorden waren en dat ze er niet te lang over na moesten denken. Vervolgens werd gevraagd of de deelnemers hun iPad wilden pakken en of ze naar de invullink op internet wilden gaan, daar stond een lijst met hun namen waarbij ze op hun eigen naam moesten klikken. Pas als iedereen was aangemeld startte de afname van de SST. De deelnemers werden verzocht om deze in stilte voor henzelf in te vullen en om de pagina niet te sluiten voordat de test was afgemaakt. Als de pagina voortijdig werd afgesloten, doordat de deelnemer op ‘vorige’ drukte, dan kon de deelnemer niet meer verder met de SST. Voor de 17 deelnemers die de SST voortijdig hadden afgesloten werd een nieuwe invullink aangemaakt. Deze leerlingen moesten dan weer opnieuw beginnen. De data van hun eerste poging is verwijderd en alleen de tweede bewaard.
Dit onderzoek was onderdeel van een aantal onderzoeken. In deze
onderzoeken werd de SST gevalideerd door de convergente validiteit. De SST is vergeleken met zowel een impliciete als expliciete maat. Hierbij werd gekeken naar de overeenkomsten van de SST met de School Vragenlijst (SVL) en de Implicit Associations Test (IAT). De SVL was een week voor de afname van de SST en de IAT afgenomen. De IAT en de SST zijn per klas gelijktijdig afgenomen. Eerst werd klassikaal de SST afgenomen en daarna werden deelnemers in groepjes van vier meegenomen voor de afname van de IAT op elk een aparte laptop. Na afloop van de IAT kregen de deelnemers een beloning, een minibar. De afname van de IAT en de SST duren beiden ongeveer een kwartier.
16 Resultaten
Van de 224 deelnemers werden er een aantal verwijderd, door een probleem met de dataregistratie waren er deelnemers die geen 8 plaatjes hadden aangeklikt bij sommige items. Dit gebeurde als een deelnemer zijn keuze had veranderd, door bijvoorbeeld eerst geklikt te hebben op plaatje x, daarna besloten had om toch een ander plaatje te kiezen en dan later alsnog plaatje x te kiezen, het beeldscherm liet de goede keuzes zien maar registreerde slechts 7 plaatjes. Bij de deelnemers waarbij niet het volledig aantal plaatjes geregistreerd was op de ankeritems of
targetwoorden (Plezier, Angst, School, Klasgenoten, Leerkracht, Pauze, Toets, Gym) werden deze deelnemers niet meegenomen met de relevante analyses. Hierdoor bleven 180 deelnemers over. In Tabel 1 staan de gemiddelden en
standaarddeviaties voor de targetwoorden (School, Klasgenoten, Leerkracht, Toets, Gym, Pauze).
Tabel 1
Gemiddelden en standaarddeviaties scores SST (Item Plezier – Item Angst)
Items M SD School .53 2.551 Klasgenoten 2.65 2.024 Leerkracht -.01 2.573 Pauze 3.08 1.967 Toets -.49 2.556 Gym 2.42 2.303
17 Om te onderzoeken of de variantie op scores van targetwoord ‘School’
verklaard kan worden door de andere targetwoorden is een multiple regressieanalyse uitgevoerd. De scores op ‘School’ waren normaal verdeeld, p < .000. De assumptie van multicollinearity was niet geschonden VIF > 1.221. Uit de resultaten blijkt dat de variantie van het targetwoord School verklaard kan door de targetwoorden
Klasgenoten en Leerkracht, R = .430, R2 = 1.85, p < .000. Het targetwoord Toets is een kleine toevoeging aan de verklaarde variantie, R =.457, R2= .209, p = .020. Dit is goed te zien in Diagram 1. Verder laten de coëfficiënten zien dat Klasgenoten, b = .250 [0.07, 0.43] , p = .008, Leerkracht, b = .383 [0.25,0.52], p < .000 en Toets, b = .179 [0.02,0.33], p = .020 significant de scores op School voorspellen.
Diagram 1
Verklaarde variantie van de score op ‘School’ door ‘Klasgenoten’, ‘Leerkracht’ en
‘Toets’. 0 50 100 150 200 250 300 350 400 450 500
18 Ook is een multiple regressieanalyse uitgevoerd om te onderzoeken of de variantie op de scores van het targetwoord ‘Klasgenoten’ kunnen worden verklaard door de targetwoorden ‘Gym’ en ‘Pauze’. De score op ‘Klasgenoten’ was normaal verdeeld, p < .000. De assumptie van multicollinearity was niet geschonden, VIF = 1.125. De variantie van Klasgenoten kan verklaard worden door de targetwoorden Gym en Pauze, R = .441, R2 = .195, p = .001. De coëfficiënten laten zien dat Gym, b = .350 [0.24,0.46], p < .000 en Pauze, b = .225 [0.09,0.36], p = .001 significant de score op Klasgenoten voorspellen.
Om de divergente validiteit te onderzoeken werd er een multiple
regressieanalyse uitgevoerd om te kijken of de afleidende woorden ‘Vakantie’, ‘Alcohol’ en ‘Spin’ de score op ‘School’ voorspellen. De score op ‘School’ was
normaal verdeeld, p < .000. De assumptie van multicollinearity was niet geschonden,
VIF = 1.001. Uit de resultaten bleek dat variantie op het woord ‘School’ niet
verklaard kan worden door de afleidende woorden ‘Vakantie’, ‘Alcohol’ en ‘Spin’, R = .122, R2 = .015, p = .451. De coëfficiënten laten zien dat Vakantie, b = .071
[-0.166,0.308], p = .555, Alcohol, b = -.057 [-0.186,0.72], p = .388. en Spin b= .106 [-0.062,0.273], p = .215 niet de score op School voorspellen.
Verder werd onderzocht wat de correlaties tussen de targetwoorden zijn, hiervoor werd een bivariate correlatie uitgevoerd. De scores op alle targetwoorden (School, Klasgenoten, Leerkracht, Toets, Gym en Pauze) waren normaal verdeeld,
p < .000. In Tabel 2 staan de resultaten van de correlaties tussen de targetwoorden
19 Tabel 2
Correlaties targetwoorden SST
Klasgenoten Leerkracht Toets
School .198* .409** .344**
Klasgenoten Toets Gym
Leerkracht .168* .480** .164*
Pauze Gym
Klasgenoten .320** .341**
Noot. * p < .05, ** p < .000
Om te kijken of er antwoordprofielen te onderscheiden zijn is er een
clusteranalyse uitgevoerd. Een lijngrafiek werd gebruikt om te bepalen welk aantal clusters er gekozen moest worden. De grafiek laat zien hoeveel afstand er gemiddeld nog is tussen de deelnemers in een cluster en het gemiddelde van dat cluster. Grafiek 1 laat zien dat 4 clusters de beste fit is. Dit is te zien doordat de gemiddelde afstand tussen de deelnemers en het clustergemiddelde het laagst is en weer toeneemt met 5 clusters.
Grafiek 1
20 Uit de clusteranalyse zijn een aantal antwoordprofielen te onderscheiden.
Cluster 1 zijn leerlingen die alleen maar positieve associaties hebben met de targetwoorden. Cluster 2 zijn leerlingen die zeer negatieve associaties hebben met school, leerkracht en toets, maar die wel positieve associaties hebben met hun klasgenoten, gym en pauze. Cluster 3 zijn leerlingen die negatieve associaties hebben met leerkracht, toets en gym en zwakke positieve associaties hebben met klasgenoten, school en pauze. Cluster 4 zijn leerlingen die negatieve associaties hebben met toetsen, maar positieve associaties hebben met klasgenoten, gym en pauze. Tabel 3 en Diagram 2 laten zien wat de gemiddelde score was per cluster op de verschillende targetwoorden.
Tabel 3
Gemiddelde score per cluster
Cluster 1 2 3 4 Klasgenoten 4 3 1 2 School 3 -3 0 1 Leerkracht 2 -3 -1 1 Toets 2 -3 -1 -1 Gym 4 3 -1 3 Pauze 4 4 2 3
21 Diagram 2
Gemiddelde score per cluster
De leerkrachten van sommige klassen gingen een training volgen om de kwaliteit en veiligheid op de school te verbeteren. Deze klassen waren geselecteerd omdat deze door de leerkrachten als problematisch werden ervaren. Er werd een Pearson Chi-square uitgevoerd om te kijken of er in de problematische klassen meer cluster 2 (problematische leerlingen) en cluster 3 (leerlingen die niet goed in de groep liggen) deelnemers zaten dan in de niet-problematische klassen. Uit de resultaten werd geen significant verschil gevonden, p = .188. De resultaten staan in Tabel 4.Dit betekent dat het gevonden verschil te klein was om te kunnen zeggen dat deze niet aan toeval toegeschreven kan worden. In Diagram 3 is het verschil tussen de
problematisch en niet-problematische klassen te zien.
-4 -3 -2 -1 0 1 2 3 4 5 Klasgenoten School Leerkracht Toets Gym Pauze
22 Tabel 4
Percentages verschil in verdeling clusters tussen de problematisch en
niet-problematische klassen.
Cluster 1 Cluster 2 Cluster 3 Cluster 4 Niet-problematisch 30.7% 16.0% 20.0% 33.3%
Problematisch 23.8% 23.8% 28.6% 23.8%
Diagram 3
Het verschil in aantal leerlingen uit verschillende clusters tussen de problematische
en niet-problematische klassen.
Er is een independent T-Test uitgevoerd om te kijken of de problematische klassen verschilden van de niet-problematische klassen op ‘Leerkracht’, ‘School’ en ‘Klasgenoten’. De assumptie van homogeniteit was geschonden, p = .009, daarom werd er gekeken naar Equal variances not assumed. De resultaten lieten zien dat de problematische klassen een negatievere beeld hadden van ‘Leerkracht’ (M = -.37,
0 50 100 150 200 250 300 350
Problematische klassen Niet-Problematische klassen
Cluster 1 Cluster 2 Cluster 3 Cluster 4
23
SD = 2.77) vergeleken met de niet-problematische klassen (M = .51, SD = 2.18),
zoals te zien in Diagram 4. Dit verschil van 0.878, BCa 95% CI [0.157, 1.594] was significant t (176) = 2.38, p = .019. Er werd geen significant verschil gevonden voor ‘School’ en ‘Klasgenoten’ tussen de problematisch en niet-problematische klassen.
Diagram 4
Verschil op ‘Leerkracht’ tussen problematische en niet-problematische klassen.
Discussie
In dit onderzoek is gekeken naar de interne samenhang van de Semantic Selection Test. Als eerste is er gekeken of de scores voor het woord ‘School’
verklaard konden worden door de woorden ‘Leerkracht’, ‘Klasgenoten’ en ‘Toets’. Er werd een significant positief resultaat gevonden. ‘Leerkracht’ en ‘Klasgenoten’ samen verklaarden bijna de helft van alle variantie op het woord ‘School’. Dit bevestigde de
-50 -40 -30 -20 -10 0 10 20 30 40 50 60
Leerkracht
Problematische klassen Niet-problematische klassen24 hypothese dat wanneer leerlingen zich niet prettig voelen bij hun leerkracht of
klasgenoten zij geen positieve beleving zullen hebben van school.
Hierbij is een punt van discussie dat ‘Klasgenoten’, ‘Leerkracht’ en ‘Toets’ de score op ‘School’ voor de helft verklaren. De andere helft in variantie voor ‘School’ is niet verklaard. Er zijn dus meerdere factoren die de score voor ‘School’ beïnvloeden maar waarvoor nog geen item is op de SST. Een belangrijk onderdeel van school is academische ontwikkeling oftewel leren, toch is ‘Toets’ het enige item wat hierover gaat op de SST. In een volgend onderzoek kan het nuttig zijn om meer items toe te voegen aan de SST, bijvoorbeeld ‘Leren’ en ‘Huiswerk’. Bij het toevoegen van meer targetwoorden kan men zich afvragen of het onderwerp dan niet te duidelijk wordt voor de deelnemer. De Houwer stelt in het boek van Wiers en Stacy (2006) dat om een test impliciet te noemen er aan drie voorwaardes moet worden voldaan, 1) dat de deelnemer zich niet bewust is dat zijn attitude gemeten wordt, 2) dat deelnemer niet bewust toegang heeft tot die attitude en 3) dat ze geen controle hebben over de uitkomstmaat. Als het voor de deelnemer duidelijk is dat er gekeken wordt naar zijn attitude over school dan voldoet de SST niet meer aan de voorwaardes 1 en 2. Omdat het voor de deelnemer onduidelijk is hoe de score berekend wordt kan hij niet alsnog de uitkomst beïnvloeden, dus aan voorwaarde 3 zal de SST wel blijven
voldoen. Het is dus van belang dat bij het toevoegen van meer targetwoorden er gekeken wordt of het onderliggende onderwerp van de SST niet al te zichtbaar wordt. Dit leidt natuurlijk tot de vraag of de SST in dit onderzoek wel impliciet was.
Vervolgens kan een belangrijk discussiepunt zijn dat er in dit onderzoek niet gekeken is of de deelnemers zich wel echt onbewust waren van het onderwerp waar de SST naar keek. De meeste deelnemers gaven aan het een ‘raar’ testje te vinden. Toch is het voor vervolgonderzoek van belang dat er stelselmatig aan de deelnemers
25 gevraagd worden of ze zich bewust zijn van het onderwerp van de SST. Nu zou de conclusie getrokken kunnen worden dat de SST een valide meetinstrument is, maar nog niet dat het een valide impliciet meetinstrument is.
Als tweede werd er gekeken of de scores voor het woord ‘Klasgenoten’ verklaard konden worden door de woorden ‘Pauze’ en ‘Gym’. Hier werd ook een significant positief resultaat gevonden. ‘Pauze’ en ‘Gym’ samen verklaarden bijna de helft van de variantie op het woord ‘Klasgenoten’. Dit bevestigde de hypothese dat leerlingen die zich niet prettig voelen bij hun klasgenoten ook geen positieve beleving zullen hebben aan pauze en gym. Dit is in lijn met de huidige literatuur waaruit blijkt dat leerlingen de pauzes als meest onveilig beschouwen en dat 25% van de gepeste kinderen ook tijdens gym worden gepest (Villiancourt et al., 2010; Sapouna, 2008). Hieruit kan geconcludeerd worden dat de SST de effecten vindt die op basis van literatuur verwacht kunnen worden.
Als derde werd er gekeken naar de divergente validiteit door te onderzoeken of de afleidende woorden ‘Vakantie’, ‘Alcohol’ en ‘Spin’ de score op ‘School’
voorspelden. Dit bleek niet het geval te zijn, hierdoor kan er geconcludeerd worden dat de SST divergent valide is. Items die iets anders moeten meten, meten ook echt wat anders.
Als vierde werd er gekeken naar de correlaties tussen de targetwoorden. Uit de resultaten bleek dat er positieve correlaties zijn tussen ‘School’ en ‘Leerkracht’ en tussen ‘School’ en ‘Toets’, ook was er een positieve correlatie tussen ‘School’ en ‘Klasgenoten’. Dit was in lijn met de hypothese dat wanneer leerlingen zich niet prettig voelen bij hun leerkracht of klasgenoten zij ook geen positieve beleving zullen hebben van school. Opvallend is dat ‘Toets’ maar een beetje van de score op
26 ‘School’. Een correlatie laat de samenhang tussen twee gelijkwaardige variabelen zien, een regressie laat zien of een variabele verandering op de andere variabele kan voorspellen. ‘Toets’ hangt dus wel samen met ‘School’, maar heeft minder voorspellende waarde voor de veranderingen op de score ‘School’. Daarnaast lieten de correlaties ook zien dat als leerlingen toetsen als onprettig ervaren zij ook een minder positieve beleving hebben van school. Dat is ook te zien aan cluster 4, deze leerlingen ervaren toets als negatief en school minder positief dan leerlingen die geen negatieve beleving hebben van toetsen (cluster 1). Verder werd er een
positieve correlatie gevonden tussen ‘Leerkracht’ en ‘Toets’. Bij ‘Klasgenoten’ werd er een positieve correlatie gevonden met ‘Gym’ en ‘Pauze’ en ook dit was in lijn met de hypotheses.
Als vijfde werd er gekeken of er antwoordprofielen te onderscheiden zijn. Uit de resultaten bleek dat er vier clusters onderscheiden te zijn. Waarbij het eerste cluster leerlingen bevat die een positieve beleving hebben over school op alle domeinen. Het tweede cluster bevat leerlingen die een negatieve beleving hebben van school, leerkracht en toetsen, maar die wel positief zijn over het sociale aspect van school (klasgenoten, pauze, gym). Het derde cluster bevat leerlingen die juist geen positieve beleving hebben van school door een negatieve beleving van hun klasgenoten, gym en pauze. Ook ervaren deze leerlingen hun leerkrachten en de toetsen als negatief. Het vierde cluster bevat leerlingen die geen positieve beleving hebben van school waarbij dit verklaard wordt door een negatieve beleving van toetsen. Zij zijn wel positief over het sociale aspect van school.
Hierbij is een punt van discussie dat er gesteld wordt dat het derde cluster leerlingen zijn die geen positieve beleving hebben van school door een negatieve beleving van hun klasgenoten, gym en pauze. Toch is het gemiddelde van dit cluster
27 positiever voor ‘Klasgenoten’ en ‘Pauze’ dan voor ‘Leerkracht’ en ‘Toets’. Aan de clustergemiddeldes is dus niet te zien dat deze leerlingen negatief zijn over school doordat ze een negatieve beleving hebben van hun klasgenoten. Echter als er gekeken wordt naar alle clusters is het duidelijk dat dit cluster een lager gemiddelde heeft voor ‘Klasgenoten’, ‘Gym’ en ‘Pauze’ dan de andere clusters. Het zou kunnen dat ‘Klasgenoten’ en ‘Pauze’ geen negatieve gemiddeldes hebben doordat er leerlingen in dit cluster zitten die een gemengde beleving hebben van klasgenoten. Dit zou kunnen komen doordat ze een paar leuke klasgenootjes hebben, maar met de rest niet kunnen opschieten. In een volgend onderzoek kan dit onderzocht worden door een klas te observeren met camera (anders passen de leerlingen misschien hun gedrag aan) over welke leerlingen wel en welke leerlingen niet goed in de groep liggen en dit te vergelijken met ‘Klasgenoten’ op de SST.
Als zesde werd er gekeken of er meer leerlingen uit cluster 2 en cluster 3 in de problematische klassen zaten vergeleken met de niet-problematische klassen. Dit verschil bleek niet significant te zijn. Dit betekent dat het gevonden verschil te klein is om niet aan toeval toe te schrijven. Omdat de 180 deelnemers verspreid waren over vier clusters en 2 condities (problematische en niet-problematisch klas) waren de verschillen tussen deze acht mogelijkheden klein, met een gemiddeld aantal van 22.5 deelnemers. Verwacht wordt dat als er meer deelnemers zijn dit verschil wel significant wordt. Echter kan dit alleen worden onderzocht als er in een vervolgstudie veel meer deelnemers zijn.
Tot slot werd er gekeken of er verschillen waren tussen de problematische en niet-problematische klassen. Uit de resultaten kwam een significant negatief verschil voor het woord ‘Leerkracht’ tussen de problematische en niet-problematische
28 gevonden voor de woorden ‘School’ en ‘Klasgenoten’ dit was tegen de hypotheses in. Ondanks dat deze leerlingen dus meer negatieve gevoelens hebben ten opzichte van hun leerkrachten vinden ze school en klasgenootjes wel even leuk als de andere klassen. Dit zou verklaard kunnen worden doordat de problematische tweede
klassen gemiddeld wat positiever waren over hun klasgenootjes, het is mogelijk dat de leuke klasgenootjes hebben gecompenseerd voor de vervelende leerkrachten. Hierdoor vinden zij school even leuk als de niet-problematische klassen. Opvallend is dat bij alle derde klassen ‘Klasgenoten’ gemiddeld wat negatiever werd beoordeeld. Dit zou kunnen komen doordat de klassen in het derde schooljaar opnieuw worden ingedeeld, leerlingen zitten dus met andere klasgenootjes in de klas dan de jaren ervoor. In het derde schooljaar worden de klassen namelijk ingedeeld op niveau (VMBO, HAVO, VWO). In het eerste en tweede schooljaar word er vaak nog rekening mee gehouden dat leerlingen in een klas geplaatst worden met hun vriendjes en vriendinnetjes, dit kan omdat de niveaus nog niet gesplitst zijn. De testafnames waren in begin oktober, de leerlingen uit de derde klas waren hierdoor mogelijk nog niet aan elkaar gewend geraakt en daardoor minder positief.
Een belangrijk discussiepunt om te noemen is de vraag of plezier en angst wel complete tegenpolen van elkaar zijn. Zo zijn er situaties waarbij iemand misschien plezier en angst tegelijkertijd beleeft, zoals in een achtbaan. Als plezier en angst geen tegenpolen van elkaar zijn is het mogelijk ook lastiger om te differentiëren of een leerling nu een positieve of negatieve beleving heeft van school. In
vervolgonderzoek kan dit onderzocht worden door de SST met ankeritems plezier, angst, positief en negatief af te nemen. Dan zou een targetwoord, bijvoorbeeld ‘School’ gescoord kunnen door naar de overeenkomende plaatjes te kijken voor plezier, angst, positief en negatief. Door de scores van plezier en positief en de
29 scores van angst en negatief met elkaar te vergelijken kan er bepaald worden of angst en plezier wel echt tegenpolen van elkaar zijn.
Een laatste discussiepunt dat genoemd kan worden bij dit onderzoek is dat bij het woord ‘Leerkracht’ er geen duidelijk referentiekader is. Sommige leerkrachten zullen als heel leuk beschouwd worden en anderen als vervelend. Door alleen het woord ‘Leerkracht’ te gebruiken is niet bekend welke leerkracht de deelnemer als referentiekader gebruikte voor het antwoord. Hierdoor hebben sommige leerlingen misschien een positieve associatie met ‘Leerkracht’ en sommige leerlingen een negatieve associatie met ‘Leerkracht’, omdat ze een andere leerkracht als referentie gebruikten. Hier kan tegenover gezet worden dat de SST een impliciet
meetinstrument is en dat de leerkracht die als referentiekader is gebruikt wordt gekozen omdat daar de meest sterke associaties mee zijn. De score ‘Leerkracht’ is daardoor toch representatief voor het algemene beeld dat de leerling heeft. Het kan toch nuttig zijn om in een volgend onderzoek niet alleen het woord leerkracht te gebruiken, maar bijvoorbeeld ook de verschillende namen van docenten. Hierdoor zou men kunnen zien welke docent het meeste invloed heeft op de beleving van ‘Leerkracht’ . Dit zou voor de docenten ook een praktisch nut kunnen hebben en een snel instrument kunnen zijn voor feedback.
Dit onderzoek ondersteunt de dual-process theoriën, waarbij er expliciete en bewuste processen worden onderscheiden van impliciete en onbewuste processen (Houben & Wiers, 2009). Ondanks dat de SST geen beroep doet op het reflectieve vermogen van de leerling, kan er toch een beeld kan worden geschetst van de beleving van school en gerelateerde onderwerpen.
De conclusie van dit onderzoek is dat de Semantic Selection Test valide is en bruikbaar is bij het in kaart brengen van de beleving van school door middelbare
30 scholieren. Zo is de interne samenhang vastgesteld doordat de targetwoorden met elkaar correleren en doordat sommige targetwoorden de score op andere
targetwoorden voorspellen wanneer dit verwacht werd. Ook is de SST divergent valide doordat de afleidende woorden niet de score op de targetwoorden
voorspellen. Items die wat anders zouden moeten meten, meten dus ook echt iets anders. Daarnaast laat de SST zien wat er verwacht zou kunnen worden op basis van literatuur. Tot slot is de SST valide omdat wat de leraren in de praktijk ervaren ook terugkomt in de resultaten op de SST, namelijk dat de problematische klassen een negatievere beleving hebben van hun leerkrachten dan de niet-problematische klassen. Voor verdere validatie van de SST is het belangrijk dat er meer onderzoek wordt gedaan, bijvoorbeeld door dit onderzoek ook uit te voeren met een andere doelgroep en andere targetwoorden. Om te kunnen generaliseren is het nodig dat er replicatiestudies worden gedaan van dit onderzoek op andere scholen.
Tot slot is het van maatschappelijk belang dat er in de toekomst onderzocht zal worden of de SST voorspellend is voor de veiligheidsbeleving van leerlingen op school. Uit onderzoek blijkt dat kinderen die gepest worden dit vaak niet aangeven (Unnever & Cornell, 2004). Daarom moet er in vervolgonderzoek gekeken worden of er een verband is tussen kinderen die gepest worden en hun scores op items van de SST, zoals ‘Klasgenoten’, ‘Pauze’ en ‘Gym’. Mogelijk kan de SST in de toekomst een meetinstrument zijn die kinderen vroegtijdig signaleert wanneer zij zich onveilig voelen op school.
Wanneer dit vroeg gesignaleerd wordt en er tijdig hulp geboden wordt hoeven leerlingen niet ‘de moed’ te hebben om zich hierover expliciet uit te spreken.
31 Literatuurlijst
Beunje, C. (2008). Is de Semantic Selection Test een valide methodiek om zelfbeeld bij adolescenten in beeld te brengen? Afstudeerthese, Universiteit van Amsterdam.
Cunningham, W.A., Preacher, K.J., & Banaji, M.R. (2001) Implicit Attitude Measures: Consistency, Stability, and Convergent Validity. Psychological
Science, 12(2), 163-170.
Egloff, B., & Schmukle, S.C. (2002). Predictive Validity of an Implicit Association Test for Assessing Anxiety. Journal of Personality and Social Psychology, 83(6), 1441-1455.
Fazio, R.H., & Olson, M.A. (2003). Implicit measures in social cognition research: their meaning and use. Annual Review of Psychology, 54, 297-332.
Greenwald, A.G., Banaji, M.R, Rudman, L.A, Farnham, S.D., Nosek, B.A., & Mellott, D.S. (2002). A Unified Theory of Implicit Attitudes, Stereotypes, Self-Esteem, and Self-Concept. Psychological Review, 109(1), 3-25.
Greenwald, A.G., Nosek, B.A., & Banaji, M.R. (2003). Understanding and Using the Implicit Associations Test: I. An Improved Scoring Algorithm. Journal of
Personality and Social Psychology, 85(2), 197-216.
Greenwald, A.G., McGhee, D.E., & Schwartz, J.L.K. (1998). Measuring Individual Differences in Implicit Cognition: The Implicit Association Test. Journal of
Personality and Social Psychology, 74(6), 1464-1480.
Holden, R.R, Wood, L.L., & Tomashewski, L. (2001). Do Response Time Limitations Counteract the Effect of Faking on Personality Inventory Validity?
32 Houben, K., & Wiers, R.W. (2008). Implicitly positive about alcohol? Implicit
positive associations predict drinking behavior. Addictive Behaviors, 33(8), 979-986.
Houben, K., & Wiers, R.W. (2009). Respons Inhibition Moderates the Relationship Between Implicit Associations and Drinking Behavior. Clinical and
Experimental Research, 33(4), 626-633.
Jacobson, G., Riesch, S.K., Temkin, B.M., Kedrowski, K.M., & Kluba, N. (2011). Students Feeling Unsafe in School: Fifth Graders’ Experiences. Journal of
School Nursing, 27(2), 149-159.
Klauer, K.C., & Mierke, J. (2005). Task-set inertia, attitude accessibility and
compatibility-order effects: new evidence for a task-set switching account of the Implicit Associations Test effect. Personality and Social Psychology
Bulletin, 31 (2), 208-218.
Koomen, H.M.Y., Verschueren, K., & Pianta, R.C. (2007). Leerling Leerkracht Relatie
Vragenlijst. Houten: Bohn Stafleu van Loghum.
Miller, P.H., Baxter, S.D., Royer, J.A., Hitchcock, D.B., Smith, A.F., Collins, K.L., Guinn, C.H., Smith, A.L., Puryear, M.P., Vaadi, K.K., & Finney, C.J. (2015). Children’s social desirability: Effects of test assessment mode. Personality and
Individual Differences, 83, 85-90.
Piekarska, A. (2000). School Stress, Teacher’s Abusive Behaviors, and Children’s Coping Strategies. Child Abusive & Neglect: The International Journal, 24 (11), 1443- 1449.
Sapouna, M. (2008). Bullying in Greek Primary and Secondary Schools. School of
33 Schijven, E. (2010). Validatieonderzoek naar de Semantic Selection Test.
Masterthese, Universiteit van Amsterdam.
Szabó, É. (2010). Semantic Selection Test: A new methodological approach towards the exploration of children’s views on social issues. Lifelong learning and active
citizenship. Proceeding of the 12th Conference of the Children's Identity and
Citizenship in Europe Erasmus Academic Network. CiCe London Metropolitan
University, London (pp. 445-455).
Thapa, A., Cohen, J., Guffey, S., & Higgings-D’Allessandro, A. (2013). A review of School Climate Research. Review of Educational Research, 83(3), 357-385. Unnever, J. D., & Cornell, D. G. (2004). Middle school victims of bullying: Who
reports being bullied?. Aggressive Behavior, 30(5), 373-388.
Van Bockstaele, B., Verschuere, B., Koster, E.H.W., Tibboel, H., De Houwer, J., & Crombez, G. (2011). Differential predicitive power of self report and implicit measures on behavioural and physiological fear responses to spiders.
International Journal of Psychophysiology, 79, 166-174.
Vaillancourt, T., Brittain, H., Bennett, L., Arnocky, S., McDougall, P., Hymel, S., Short, K., Sunderani, S., Scott, C., Mackenzie, M., & Cunningham, L. (2010). Places to Avoid: Population Based Study of Student Reports of Unsafe and High Bullying Areas at School. Canadian Journal of School Psychology, 25(1), 40 - 54. Vries, V. de (2008). De Semantic Selection Test: Een validatie onderzoek.
Afstudeerthese, Universiteit van Amsterdam.
Wiers, R.W. & Stacy, A.W. (2006). Handbook of Implicit Cognition and Addiction. Londen: Sage Publications, Inc.
