Het effect van framing van complimenten op de motivatie van scholieren in het Voortgezet Onderwijs

(1)

Het Effect van Framing van Complimenten op de Motivatie van Scholieren in het Voortgezet Onderwijs

Laura Bijkerk

Universiteit van Amsterdam

Bachelorthese Sociale Psychologie 10895280

(2)

Abstract

In dit onderzoek is de effectiviteit van framing van feedback op de motivatie van scholieren onderzocht. In totaal hebben 137 deelnemers meegedaan aan het onderzoek. De deelnemers waren middelbare scholieren uit de onderbouw van de MAVO, HAVO of VWO.

De deelnemers zijn willekeurig verdeeld over drie condities: directe positieve feedback, vertraagde positieve feedback of geen feedback. Voor het onderzoek voerden de deelnemers verschillende denktaken uit in twee delen. Tussen deze twee delen ontvingen de deelnemers, afhankelijk van de conditie, een compliment. De verwachtingen van dit onderzoek waren dat deelnemers die een compliment ontvingen een hogere motivatie hadden om de taken uit te

voeren. Ook werd er een effect van framing verwacht. De resultaten ondersteunen de verwachtingen niet, er is geen effect gevonden van complimenten op de motivatie van de deelnemers en er is ook geen effect van framing gevonden op de motivatie van de deelnemers.

(3)

Inleiding

In mei 2016 heeft de Organisation for Economic Cooperation and Development (OECD) een rapport gepubliceerd over de huidige stand van zaken van het onderwijs in Nederland. Uit het rapport komt naar voren dat Nederlandse scholieren in vergelijking met scholieren uit de rest van de wereld moeilijk te motiveren zijn (OECD, 2016).

Motivatiegebrek is een probleem aangezien motivatie één van de belangrijkste voorspellers is van prestatie (Lange & Adler, 1997). Het geven van feedback is een strategie om de motivatie van scholieren te verhogen. Echter blijkt feedback niet altijd effectief te zijn (Hattie &

Timperley, 2007; Kluger & DeNisi, 1996; Lange & Adler, 1997; Shanab, Peterson, Dargahi, & Deroian, 1981). In dit onderzoek wordt de effectiviteit van positieve feedback op de motivatie van scholieren onderzocht.

Feedback wordt omschreven als informatie die iemand ontvangt van een ander over zijn/haar prestatie (Hattie & Timperley, 2007). De informatie die feedback bevat heeft een valentie en kan daardoor positief of negatief geladen zijn (bijv., “Je bent op de goede weg, maar let nog even op dit specifieke onderdeel.”). Een specifieke vorm van feedback is een compliment. Complimenten zijn positieve evaluaties die iemand maakt over andermans prestaties of kenmerken (Kanouse, Gumpert, & Canavan-Gumpert, 1981). Het verschil tussen feedback en een compliment is dat een compliment niet dezelfde informatieve component bevat als feedback (bijv., “Ik kan zien dat je goed je best hebt gedaan.”). In dit onderzoek wordt gekeken naar complimenten als specifieke vorm van feedback.

Theoretisch kader

De effectiviteit van een compliment is afhankelijk van verschillende factoren. Uit onderzoek blijkt dat het niveau waarop een compliment wordt gegeven daar één van is

(Cimpian, Arce, Markman, & Dweck, 2007; Haimovitz & Henderlong Corpus, 2011; Mueller & Dweck, 1998; Skipper & Douglas, 2012; Zentall & Morris, 2010). Een compliment kan op twee verschillende niveaus gegeven worden: persoonsniveau (bijv., “Goed gedaan, ik kan zien dat je heel slim bent.”) of procesniveau (bijv., “Goed gedaan, ik kan zien dat je je best hebt gedaan.”).

Mueller and Dweck (1998) hebben onderzoek gedaan naar het verschil in effectiviteit van complimenten wanneer deze gegeven worden op persoonsniveau of op procesniveau. Dit hebben zij gedaan door kinderen een compliment te geven voor hun intelligentie

(4)

Hierna kregen de kinderen de keuze om na het afronden van het onderzoek moeilijkere taken uit te voeren of taken met een gelijke moeilijkheidsgraad. Na het maken van deze keuze kregen de kinderen een tweede set met taken om uit te voeren. Echter kregen de kinderen na het afronden van deze tweede set taken te horen dat ze een stuk slechter gepresteerd hadden dan voorheen. Hierna moesten de kinderen aangeven hoe graag ze verder wilden met de taken, hoe leuk ze de taken vonden, hoe goed ze het zelf vonden gaan en hoe zij de slechtere prestatie verklaarden. Hiermee toonden Mueller and Dweck (1998) aan dat kinderen die een compliment kregen voor het harde werken vaker kozen om aan het einde van het onderzoek moeilijkere taken uit te voeren, liever verder gingen met de taken na een slechte prestatie, de taken leuker vonden en de slechte prestaties niet verklaarden vanuit lage intelligentie.

Een belangrijke factor die de effectiviteit van feedback bepaalt is de timing (Butler, Karpicke, & Roediger, 2007; Clariana, Wagner, & Murphy, 2000; Dihoff, Brosvic, Epstein, & Cook, 2004; Kulik & Kulik, 1988). Hierbij werd er onderscheid gemaakt tussen directe

feedback en vertraagde feedback. In het onderzoek dat is uitgevoerd door Dihoff et al. (2004) voerden studenten een oefentoets uit. Eén groep studenten werd voorzien van directe

feedback tijdens het uitvoeren van de oefentoets. De andere groep studenten kreeg de dag na het uitvoeren van de oefentoets de mogelijkheid om voor dertig minuten de feedback te bekijken. Uiteindelijk werd er gekeken naar de scores van de studenten op de eindtoets. Studenten die tijdens de oefentoets directe feedback ontvingen presteerden beter op de eindtoets dan de studenten die tijdens de oefentoets vertraagde feedback ontvingen.

Butler et al. (2007) kwamen tot een omgekeerde conclusie. Zij lieten studenten een educatieve tekst lezen over verschillende onderwerpen. Na het lezen van de tekst dienden de studenten een aantal meerkeuzevragen te beantwoorden. De directe feedback werd gegeven direct nadat een student een antwoord had gegeven op de meerkeuzevragen. Vertraagde feedback werd gegeven nadat de studenten een afleidingstaak hadden uitgevoerd die tien minuten duurde. Een dag later kregen de studenten een test om te meten hoeveel van de informatie zij nog hadden onthouden. Studenten die vertraagde feedback hadden ontvangen presteerden beter op de test dan studenten die directe feedback hadden ontvangen.

De meta-analyse uitgevoerd door Kulik en Kulik (1988) concludeerde dat het effect van directe- of vertraagde feedback afhankelijk is van het type feedback dat wordt gegeven. Zo zou bij taakgerichte feedback vertraagde feedback effectiever zijn en bij procesgerichte feedback directe feedback. Clariana et al. (2000) kwamen ook tot de conclusie dat het effect van directe- of vertraagde feedback afhankelijk is van het type feedback, echter stelden zij dat dit effect omgekeerd is.

(5)

Huidig Onderzoek

Het bovenstaande theoretische kader laat zien dat de effectiviteit van een compliment afhangt van verschillende factoren. De resultaten over het effect van timing op de effectiviteit van een compliment zijn wisselend. De besproken onderzoeken over het effect van timing op de effectiviteit van een compliment zijn gericht op het leervermogen van de deelnemers en niet op de motivatie.

Huidig onderzoek meet het effect van framing van complimenten op de motivatie van scholieren. In dit onderzoek wordt er gebruik gemaakt van complimenten op procesniveau. Scholieren voeren een rekentaak en een woordentaak uit in twee blokken. Tussen de twee blokken zit een voorbereidingsmoment. Het compliment wordt, afhankelijk van de conditie, voor of na het voorbereidingsmoment gegeven. Deze twee condities worden vergeleken met een conditie waarin de scholier geen compliment ontvangt. Motivatie wordt gemeten aan de hand van de prestatie op de taken.

Verwacht wordt dat de scholieren die complimenten ontvangen een hogere motivatie hebben om de taken te doen dan de scholieren die geen complimenten ontvangen. Ook wordt er verwacht dat er een effect is van framing van het compliment op de motivatie.

(6)

Methode Deelnemers

Aan het onderzoek hebben 137 leerlingen meegedaan van vier middelbare scholen uit de provincie Noord-Holland en de provincie Utrecht. Deze leerlingen volgden onderwijs in de onderbouw op de niveaus MAVO (n = 36), HAVO (n = 26), VWO (n = 34) of HAVO/VWO (n = 41). Van de leerlingen was 46.0% jongen (n = 63) en 51.8% meisje (n = 71). De

gemiddelde leeftijd van de leerlingen was 12.77 (SD = 0.61). Voor deelname aan het onderzoek hebben de leerlingen geen beloning ontvangen. Voorafgaand aan het onderzoek zijn de leerlingen benaderd door middel van een informed consent (zie Appendix A) die ingevuld diende te worden door de ouders. Leerlingen zonder toestemming van de ouders konden niet deelnemen aan het onderzoek. Van de 180 informed consents zijn er 138

teruggekomen, wat duidt op een respons van 76.7%. De leerlingen zijn willekeurig ingedeeld in één van de drie condities; directe positieve feedback (n = 48), vertraagde positieve

feedback (n = 40) of geen feedback (n = 48).

Materialen

Vragenlijst prestatiemotivatie/klassikale sessie. Voor het meten van de

prestatiemotivatie van de leerlingen is gebruik gemaakt van een vragenlijst. Deze vragenlijst bestond uit drie onderdelen: zes items waarbij door middel van plaatjes de motivatie van de leerlingen werd gemeten via de Operant Motive Test, twintig items waarbij vanuit de Motive Enactment Test motivatie werd gemeten en 14 items vanuit de Action Control Scale (Kuhl & Henseler, 2003). Voor de vragenlijst zie Appendix B.

Prestatietaak/individuele sessie. De individuele sessie werd op een laptop

afgenomen en was geprogrammeerd in Qualtrics. De leerlingen kregen in twee blokken getal-zoektaken en woord-getal-zoektaken om uit te voeren (zie Figuur 1 en Figuur 2 voor een voorbeeld van deze taken). De getal-zoektaken bestonden uit een matrix met daarin acht tweecijferige kommagetallen. Twee van deze acht getallen vormden samen een doelgetal. De leerlingen dienden de twee getallen te vinden die samen optellen tot het doelgetal (zie Figuur 1). De woord-zoektaken bestonden uit tabellen van vier hokken bij vier hokken. De hokken waren elk gevuld met één letter. In de tabel was één vierletterwoord verborgen dat de leerling diende te vinden. Dit kon in alle verschillende richtingen en ook gespiegeld (zie Figuur 2).

Tijdens de individuele sessies is er per leerling een individueel logboek bijgehouden. Het logboek werd tijdens de sessie ingevuld door de proefleider. In dit logboek werd

(7)

bijgehouden wat de naam was van de leerling, het proefpersoonnummer, het onderwijsniveau van de leerling en in welke conditie de leerling zat. Eventuele verstoringen werden ook bijgehouden in het logboek (zie Appendix C).

Figuur 1. Een Voorbeeld van een Getal-zoektaak.

Figuur 2. Een Voorbeeld van een Woord-zoektaak.

Debriefing/manipulatiecheck. Na afloop van de getal-zoektaken en de woord-zoektaken werd er een aantal algemene vragen aan de leerlingen gesteld. Ten eerste werd er naar de vermoeidheid en de stemming van de leerlingen gevraagd. Daarnaast werd er

gevraagd welke taken de leerlingen het leukst en het moeilijkst vonden en welke taak zij nog een keer uit wilden voeren. Vervolgens kregen de leerlingen de vraag hoe duidelijk zij de instructie vonden. Afsluitend kregen zij de vraag hoe goed de leerling zichzelf in rekenen

(8)

gevraagd. Voor het einde van het onderzoek kregen de leerlingen de mogelijkheid om het doel van het onderzoek te raden en op te schrijven en eventuele opmerkingen te geven.

On te controleren of de manipulatie was geslaagd werd er een aantal vragen gesteld aan de leerlingen. Er werd per blok gevraagd hoe de leerlingen vonden dat zij hadden gepresteerd en hoe zij dachten dat de proefleider vond dat zij gepresteerd hadden. Daarnaast werd er gevraagd hoe aardig de leerlingen de proefleider vonden.

Procedure

Allereerst werd er in de deelnemende klassen een informatiebrief en een ouderlijk consentbrief uitgedeeld die de leerlingen door hun ouders konden laten ondertekenen. Hierbij kregen de leerlingen een beknopte uitleg over het onderzoek. De ouderlijk consentbrieven werden opgehaald bij het volgende bezoek waarna de klassikale vragenlijst afgenomen werd. Na het ontvangen van de ouderlijk consentbrieven werden de klassikale vragenlijsten

uitgedeeld aan de leerlingen die toestemming hadden van hun ouders. De leerlingen zonder toestemming kregen een andere opdracht van de docent. De klassikale sessie duurde 40 minuten en werd uitgevoerd volgens een protocol (zie Appendix D).

De individuele sessies vonden plaats op een andere dag dan de klassikale sessie. Hier zat minimaal één dag tussen. De leerlingen werden door de proefleider één voor één uit de klas gehaald. Vervolgens vond de individuele sessie plaats in een aparte ruimte binnen de school. De leerling nam plaats achter een laptop en begon aan het individuele deel. de proefleider nam schuin achter de leerling plaats zodat de proefleider mee kon kijken, maar niet in het blikveld van de leerling zat. De leerling kreeg eerst de mogelijkheid om te oefenen door middel van twee oefenblokken. Na de oefenblokken begon het eerste blok met drie getal-zoektaken en drie woord-zoektaken. Tijdens het uitvoeren van het eerste blok pakte de proefleider een brief van een stapel met daarop de bijbehorende conditie. Deze

conditiebriefjes waren voorafgaand aan de sessies op random volgorde gelegd door een andere proefleider. Na het uitvoeren van het eerste blok verschenen drie openlopende schermen met een vaste aanbiedingstijd (zie Figuur 3).

Het eerste en het tweede “een ogenblik geduld…” schermen bleven standaard zeven seconden in beeld, waarna het scherm automatisch doorging naar het volgende scherm. Het scherm met de instructie (scherm 2) bleef in ieder geval zeven seconden in beeld, waarna de leerling zelf de mogelijkheid kreeg om door te klikken naar het volgende scherm. Afhankelijk van de conditie kreeg de leerling een compliment tijdens scherm 1 (directe positieve

(9)

feedback), scherm 3 (vertraagde positieve feedback) of geen compliment (geen feedback). Het compliment dat gegeven werd was “Je hebt het eerste deel goed gedaan”.

Nadat de leerlingen klaar waren met de twee blokken volgde een aantal algemene vragen. De proefleider keek tijdens het beantwoorden alleen mee tijdens de eerste twee vragen over de vermoeidheid en de stemming van de leerling. Als de leerling aangaf zich slecht te voelen werd er een uitgebreide debriefing ingezet. Als de leerling aangaf zich niet slecht te voelen, stopte de proefleider met meekijken en vulde het logboek in tot de leerling aangaf klaar te zijn met de vragen. Hierna werd een beknopte debriefing ingezet en werd gevraagd hoe de leerling het onderzoek had ervaren.

tijd

Figuur 3. Aangeboden Schermen en Bijhorende Aanbiedingstijd (tussen haakjes). een ogenblik geduld…

(7 seconden)

In de volgende ronde doe je eerst 3 getal-zoekopgaves en daarna 3 woord-zoekopgaves.

(ten minste 7 seconden)

een ogenblik geduld… (7 seconden)

(10)

Resultaten

Databehandeling

Van de 137 deelnemers is uiteindelijk de data van 134 deelnemers meegenomen tijdens de analyses. Eén deelnemer had het doel van het onderzoek door, bij een andere deelnemer versprak de proefleider zich tijdens het geven van het compliment waardoor er een onsamenhangende zin ontstond en bij de derde deelnemer viel Qualtrics uit tijdens de

individuele sessie waardoor het onderzoek vroegtijdig gestopt moest worden.

Manipulatiecheck

Om te controleren of de manipulatie was geslaagd zijn er een aantal

manipulatiecontroles uitgevoerd. Ten eerste is er gevraagd hoe de deelnemers vonden dat zij in ronde 1 gepresteerd hadden. Deelnemers in de directe feedbackconditie en de vertraagde feedbackconditie ontvingen een compliment na het uitvoeren van ronde 1. Deelnemers in de geen-feedbackconditie ontvingen geen feedback. Tabel 1 laat de gemiddelde scores en standaarddeviaties zien voor de drie condities. De deelnemers konden via een vijfpunts-Likertschaal aangeven hoe goed ze ronde 1 vonden gaan. Een score van 1 gaf aan dat ze het heel goed vonden gaan, een score van 5 gaf aan dat ze het heel slecht vonden gaan. De manipulatie wordt als geslaagd ervaren wanneer er een significant verschil is tussen de condities en de beoordeling die de deelnemers over ronde 1 gaven. Dit is geanalyseerd door middel van een eenwegs variantieanalyse (ANOVA). Er is een significant effect gevonden van conditie op de beoordeling van ronde 1 F (2, 132) = 3.95, p = 0.02. Deelnemers in de directe feedbackconditie beoordeelden hun eigen prestaties in ronde 1 significant beter (M = 1.96, SD = 0.66) dan de deelnemers die geen feedback hadden ontvangen (M = 2.33, SD = 0.78). De deelnemers uit de vertraagde feedbackconditie beoordeelden hun prestaties in ronde 1 echter niet significant beter dan de deelnemers die geen feedback hadden ontvangen. Hieruit is te concluderen dat deze manipulatie is geslaagd voor de deelnemers uit de directe

feedbackconditie.

Daarnaast is er aan de deelnemers gevraagd hoe zij denken dat de proefleider ronde 1 vond gaan. Deelnemers in de directe- en vertraagde feedbackconditie ontvingen na ronde 1 een compliment. Deelnemers in de geen-feedbackconditie ontvingen geen compliment. Tabel 1 laat de gemiddelden en standaarddeviaties zien voor de drie condities. De manipulatie wordt als geslaagd ervaren wanneer er een significant verschil is tussen de condities en de

(11)

konden de deelnemers antwoord geven via een vijfpunts-Likertschaal en gaf een score van 1 aan dat ze dachten dat de proefleider het heel goed vond gaan, een score van 5 gaf aan dat ze dachten dat de proefleider het heel slecht vond gaan. Dit is geanalyseerd door middel van een eenwegs variantieanalyse (ANOVA). Er is een significant effect gevonden van conditie op het verschil in de beoordeling hoe zij dachten dat de proefleider het vond gaan in ronde 1 en ronde 2, F (2, 132) = 7.41, p = 0.001. De deelnemers uit de directe feedbackconditie

beoordeelden de beoordeling van de proefleider significant beter (M = 1.96, SD = 0.55) dan de deelnemers die geen feedback hadden ontvangen (M = 2.42, SD = 0.65). Ook de

deelnemers uit de vertraagde feedbackconditie beoordeelden de beoordeling van de proefleider significant beter (M = 2.05, SD = 0.64) dan de deelnemers die geen feedback hadden ontvangen. Uit deze resultaten is te concluderen dat de manipulatie is geslaagd.

Tabel 1.

Gemiddelde Scores en Standaarddeviaties (tussen haakjes) op de Beoordeling van Ronde 1 en de Gemiddelde Scores en Standaarddeviaties (tussen haakjes) op de Beoordeling over de Beoordeling van de Proefleider van Ronde 1.

Conditie Score ronde 1

Beoordeling zelf

Directe positieve feedback 1.96 (0.66)

Vertraagde positieve feedback 2.30 (0.68)

Geen feedback 2.33 (0.78)

Beoordeling over beoordeling proefleider

Directe positieve feedback 1.96 (0.55)

Vertraagde positieve feedback 2.05 (0.64)

Geen feedback 2.42 (0.65)

Hoofdanalyses

Op basis van de prestaties op de woord-zoektaak en de getal-zoektaak in ronde 1 en ronde 2 zijn er twee verschilscores berekend. De deelnemers konden per goed uitgevoerde taak een punt verkrijgen. De punten zijn voor de woord-zoektaak en de getal-zoektaak per

(12)

eerste ronde afgetrokken. Dit resulteerde in twee verschilscores, één voor de woord-zoektaak en één voor de getal-zoektaak. Een negatieve score betekent dat er gemiddeld beter is

gepresteerd in de tweede ronde ten opzichte van de eerste ronde. Zie Tabel 2 voor de gemiddelde scores, de verschilscores en de standaarddeviaties voor de woord-zoektaak per conditie voor de woord-zoektaak en de getal-zoektaak.

Er is een multivariaat analyse (MANOVA) uitgevoerd om de resultaten te analyseren. Hierbij werden voor de afhankelijke variabelen de verschilscores voor de getal-zoektaak en de woord-zoektaak gebruikt. De onafhankelijke variabele was conditie (directe feedback,

vertraagde feedback, geen feedback). De resultaten van de MANOVA zijn gerapporteerd volgens de Pilai’s Trace correctie. Er is geen hoofdeffect gevonden van conditie op de verschilscore van de woord-zoektaak en de getal-zoektaak, V = 0.04, F (4, 131) = 1.23, p = 0.30.

Tabel 2.

Gemiddelde Scores, Gemiddelde Verschilscores en Standaarddeviaties (tussen haakjes) op de Woord-zoektaak en de Getal-zoektaak van Ronde 1 en Ronde 2

Conditie Score ronde 1 Score ronde 2 Verschilscore Woord-zoektaak

Directie positieve feedback 2.66 (0.70) 2.68 (0.59) -0.02 (0.68) Vertraagde positieve feedback 2.65 (0.74) 2.53 (0.78) 0.12 (0.76) Geen feedback 2.56 (0.82) 2.73 (0.57) -0.17 (0.75) Getal-zoektaak

Directe positieve feedback 2.94 (0.25) 2.91 (0.28) 0.02 (0.39) Vertraagde positieve feedback 2.88 (0.33) 2.98 (0.16) -0.10 (0.38) Geen feedback 2.85 (0.41) 2.81 (0.45) 0.04 (0.58)

(13)

Exploratieve analyses

Naast de hoofdanalyse die is uitgevoerd om de hypotheses te testen is er ook een exploratieve analyse uitgevoerd. Er is hier gekeken of de conditie waarin de deelnemers zaten invloed had op de reactietijd van de deelnemers over de twee blokken. De reden waarom het effect van de conditie op de reactietijd als exploratieve analyse is gekozen is omdat in 80.6% van de gevallen er een verschilscore was van 0 op de getal-zoektaak en in 67.9% van de gevallen er een verschilscore was van 0 op de woord-zoektaak. Reactietijd zou hierdoor een betere maat voor motivatie kunnen zijn dan accuratesse omdat er meer variatie is tussen de deelnemers in de reactietijd.

Ook voor reactietijd is er een verschilscore berekend voor de getal-zoektaak en de woord-zoektaak. Een negatieve verschilscore betekent dat de deelnemers langer over ronde 2 deden dan over ronde 1. Hiervoor is het tijdstip van de laatste klik in het scherm van de deelnemer gebruikt. Zie Tabel 3 voor de gemiddelde reactietijd, gemiddelde verschilscores en de standaarddeviaties. Deze zijn geanalyseerd door middel van een multivariaat analyse (MANOVA). De resultaten van de MANOVA zijn gerapporteerd volgens de Pilai’s Trace correctie. Er is een significant hoofdeffect gevonden van conditie op de verschilscore in reactietijd, V = 0.09, F(4, 264) = 3.06, p = 0.02. Onafhankelijke ANOVA’s wezen uit dat de conditie een significant effect had op het verschil in de reactietijd voor de getal-zoektaak, F(2, 131) = 3.28, p = 0.04, maar geen significant effect had op het verschil in de reactietijd voor de woord-zoektaak, F(2, 131) = 2.18, p = 0.12. Een contrastanalyse voor de getal-zoektaak toont aan dat de directe feedbackconditie significant verschilt van de geen feedbackconditie, p = 0.04. De deelnemers uit de directe feedbackconditie deden gemiddeld langer (M = -10.07, SD = 24.79) over de tweede ronde van de getal-zoektaak dan de deelnemers die geen feedback ontvingen (M = -0.34, SD = 24.41).

Tabel 3.

Gemiddelde Scores, Gemiddelde Verschilscores en Standaarddeviaties (tussen haakjes) op de Reactietijd (in sec) van de Woord-zoektaak en de Getal-zoektaak van Ronde 1 en Ronde 2 Conditie Score ronde 1 Score ronde 2 Verschilscore Woord-zoektaak

Directie positieve feedback 28.86 (20.65) 33.95 (27.00) -5.09 (37.46) Vertraagde positieve feedback 24.68 (12.51) 34.01 (25.09) -9.32 (31.22)

(14)

Geen feedback 29.18 (18.52) 24.62 (15.91) 4.55 (27.22) Getal-zoektaak

Directe positieve feedback 23.29 (11.30) 33.36 (21.32) -10.07 (24.79) Vertraagde positieve feedback 28.97 (14.97) 27.54 (13.94) 1.42 (18.28) Geen feedback 27.62 (19.54) 28.05 (27.04) -0.34 (24.41)

Discussie

In dit onderzoek is het effect van framing van complimenten op de motivatie van middelbare scholieren onderzocht. Dit is gedaan door de deelnemers in een tweetal blokken woord-zoektaken en getal-zoektaken uit te laten voeren. Afhankelijk van de conditie

ontvingen de deelnemers tussen blok 1 en blok 2 directe positieve feedback, vertraagde positieve feedback of geen feedback. Motivatie is gemeten aan de hand van de verschilscore in prestatie tussen blok 1 en blok 2. De verwachtingen waren een hoofdeffect waar te nemen van feedback en een effect te zien van de framing van de feedback. In tegenstelling tot de verwachtingen zijn er geen dusdanige effecten gevonden. Deelnemers die feedback op hun prestaties ontvingen presteerden niet beter dan deelnemers die geen feedback ontvingen. Ook is er geen effect waargenomen van de framing van de feedback op de prestatie van de

deelnemers.

Theoretische verklaringen

Ondanks dat er geen effect is gevonden van complimenten op de prestatie van de deelnemers is het compliment wel ontvangen. Deelnemers die een compliment ontvingen beoordeelden hun eigen prestaties beter dan deelnemers die geen compliment ontvingen. Daarnaast beoordeelden de deelnemers die een compliment ontvingen ook de beoordeling van de proefleider positiever dan de deelnemers die geen compliment ontvingen. Hieruit is te concluderen dat de deelnemers hebben gemerkt dat zij een compliment hadden ontvangen en dat de afwezigheid van een effect niet toe te schrijven is aan een gebrekkige manipulatie.

Binnen de manipulatie is echter wel een opvallend verschijnsel gevonden. Ondanks dat beide manipulaties geslaagd zijn is er wel een verschil in effect tussen de twee

(15)

proefleider was een stuk groter dan het effect van het compliment op de beoordeling over de eigen prestaties. Dit is wellicht te verklaren doordat de deelnemers het compliment niet

hebben geïnternaliseerd en daardoor minder geloofden in de oprechtheid van het compliment. Naast het effect van complimenten op de prestatie van de deelnemers is er ook

gekeken of het geven van een compliment effect had op de reactietijd van de deelnemers. Er is een effect gevonden van het compliment op de reactietijd, echter bleek de richting van dit effect onverwachts te zijn. Verwacht werd dat deelnemers die een compliment ontvingen sneller gingen presteren dan deelnemers die geen compliment ontvingen. Het resultaat dat gevonden werd was dat in blok 2 vergeleken met blok 1 de deelnemers in de directe

feedbackconditie langzamer gingen werken op de getal-zoektaak, terwijl de deelnemers in de geen-feedbackconditie niet sneller en niet langzamer gingen werken op de getal-zoektaak. Er werd geen verschil gevonden tussen de deelnemers die vertraagde feedback ontvingen en de deelnemers die geen feedback ontvingen. Een verklaring voor dit effect kan zijn dat de deelnemers die feedback ontvingen gemotiveerder waren om de taken correct uit te voeren, wat resulteerde in een langere reactietijd. Echter verklaart dit niet waarom er alleen een effect gevonden werd voor de getal-zoektaak en alleen voor de directe feedbackconditie.

Methodologische verklaringen

De afwezigheid van een effect kan mogelijk ook verklaard worden door de

eigenschappen van de woord-zoektaak en de getal-zoektaak die de deelnemers uit moesten voeren. De deelnemers presteerden onverwacht zeer goed op beide taken in beide rondes. Hiervoor zijn meerdere mogelijke verklaringen. Ten eerste bestaat de kans dat de taken te makkelijk waren voor de deelnemers, waardoor de accuratesse onverwacht hoog bleek te zijn. Ten tweede wisten de deelnemers dat er altijd één juist antwoord per matrix was, waardoor zij verleid konden worden om door te zoeken tot zij het juiste antwoord gevonden hadden. Dit leidde tot weinig variantie in verschilscores tussen de condities.

Tijdens het onderzoek is er een belangrijk aandachtspunt naar voren gekomen. Ondanks dat de proefleider schuin achter de deelnemer plaatsnam en vertelde even mee te kijken tijdens de individuele sessie, waren sommige deelnemers verrast toen zij een compliment ontvingen. Het leek hierbij alsof de deelnemers niet doorhadden dat de proefleider kon zien wat zij aan het doen waren en afgeleid werden door het compliment. Hierdoor kan het zijn dat het compliment averechts heeft gewerkt, echter is dit niet terug te zien in de resultaten.

(16)

Aanbevelingen vervolgonderzoek

De bovenstaande tekortkomingen zouden in vervolgonderzoek opgelost kunnen worden door de taken aan te passen die de deelnemers moeten uitvoeren en door het

compliment informationeler te maken. Mijn aanbeveling is om dit op drie manieren te doen: de taken aanpassen zodat er meerdere antwoorden mogelijk zijn, het toevoegen van tijdsdruk en het aanpassen van het compliment.

De taken waren in dit onderzoek zo ontworpen dat er één juist antwoord per matrix was. Voor de getal-zoektaak betekende dit acht antwoordmogelijkheden waarbij er één combinatie van twee antwoorden het juiste antwoord was (zie Figuur 1). Voor de woord-zoektaak betekende dit een matrix met daarin één vierletterwoord dat het juiste antwoord was (zie Figuur 2). Een alternatief ontwerp waarbij er meerdere antwoordmogelijkheden zijn kan het probleem oplossen dat de deelnemers door blijven zoeken tot zij het juiste antwoord hebben gevonden. Een voorbeeld hiervan is een grotere woord-zoektaak met hierin meerdere woorden waarbij de deelnemers de opdracht krijgen om binnen een bepaalde tijd zo veel mogelijk woorden te zoeken. Voor de getal-zoektaak zouden deelnemers uit een lijst met meerdere getallen binnen een bepaalde tijd zo veel mogelijk combinaties moeten zoeken die optellen tot het doelgetal.

Dit ontwerp lost twee problemen op die tijdens dit onderzoek naar boven zijn

gekomen. Ten eerste ontstaat er op deze manier meer variantie in de verschilscores omdat er niet meer één goed antwoord is per taak. Ten tweede kunnen de deelnemers niet meer lang doorzoeken tot zij het juiste antwoord gevonden hebben omdat er tijdsdruk is toegevoegd aan de taken. Waarschijnlijk leidt dit tot grotere individuele verschillen tussen de deelnemers waardoor het effect van een compliment eerder zichtbaar wordt.

Daarnaast is het aan te raden om het compliment informatiever te maken en om de deelnemers duidelijker te maken dat er meegekeken wordt. Een compliment doet zijn werk het beste wanneer deze volledig aankomt en geïnternaliseerd wordt. Wanneer een deelnemer zelf niet gelooft dat zij goed gepresteerd heeft, zal het compliment minder geloofd worden. Dit kan opgelost worden door bijvoorbeeld te zeggen “Je hebt het eerste deel goed gedaan, beter dan de meeste leerlingen van jouw leeftijd!”. Hierdoor bevat het compliment informatie waar de ontvanger zelf niet over beschikt en wordt het compliment wellicht eerder

geïnternaliseerd. De bewustwording dat de proefleider meekijkt kan gerealiseerd worden door naast de deelnemer plaats te nemen of door de taken mondeling af te nemen bij de deelnemer. Hierdoor is het duidelijker dat de proefleider zicht heeft op de prestatie van de deelnemer.

(17)

Conclusie

Op basis van de effecten die gevonden zijn in dit onderzoek kunnen geen uitspraken gedaan worden over de effectiviteit van framing van complimenten op de motivatie van scholieren. Desondanks biedt dit onderzoek een nuttige toevoeging aan de

onderzoeksliteratuur omtrent feedback. Vooral omtrent timing en framing van feedback is er veel tegenstrijdigheid in de literatuur. De algemene aanbeveling is om meer onderzoek te doen naar het effect van framing van complimenten op de motivatie van scholieren en hierbij de methodologische aanbevelingen in acht te nemen.

(18)

Referenties

Butler, A. C., Karpicke, J. D., & Roediger, H. L., III. (2007). The effect of type and timing of feedback on learning from multiple-choice tests. Journal of Experimental

Psychology: Applied, 13(4), 273-281.

Cimpian, A., Arce, H.-M. C., Markman, E. M., & Dweck, C. S. (2007). Subtle linguistic cues affect children's motivation. Psychological Science, 18(4), 314-316.

Clariana, R. B., Wagner, D., & Murphy, L. C. R. (2000). Applying a connectionist description of feedback timing. Etr&D-Educational Technology Research and Development, 48(3), 5-21.

Dihoff, R. E., Brosvic, G. M., Epstein, M. L., & Cook, M. J. (2004). Provision of feedback during preparation for academic testing: Learning is enhanced by immediate but not delayed feedback. The Psychological Record, 54(2), 207.

Haimovitz, K., & Henderlong Corpus, J. (2011). Effects of person versus process praise on student motivation: Stability and change in emerging adulthood. Educational Psychology, 31(5), 595-609.

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.

Kanouse, D. E., Gumpert, P., & Canavan-Gumpert, D. (1981). The semantics of praise. New directions in attribution research, 3, 97-115.

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.

Kuhl, J., & Henseler, W. (2003). Entwicklungsorientiertes Scanning (EOS).[Development-oriented scanning (EOS)]. Handbuch der Kompetenzmessung [Handbook of

competence measurement], 428-453.

Kulik, J. A., & Kulik, C. L. C. (1988). Timing of feedback and verbal learning. Review of Educational Research, 58(1), 79-97.

Lange, G. W., & Adler, F. (1997). Motivation and Achievement in Elementary Children. Mueller, C. M., & Dweck, C. S. (1998). Praise for intelligence can undermine children's

motivation and performance. Journal of Personality and Social Psychology, .75(1), pp.

OECD. (2016). Netherlands 2016: Foundations for the Future, Reviews of National Policies for Education. OECD Publishing, Paris, 79-89.

Shanab, M. E., Peterson, D., Dargahi, S., & Deroian, P. (1981). The effects of positive and negative verbal feedback on the intrinsic motivation of male and female subjects. The Journal of Social Psychology, 115(2), 195-205.

Skipper, Y., & Douglas, K. (2012). Is no praise good praise? Effects of positive feedback on children's and university students’ responses to subsequent failures. British Journal of Educational Psychology, 82(2), 327-339.

Zentall, S. R., & Morris, B. J. (2010). "Good job, you're so smart": The effects of inconsistency of praise type on young children's motivation. Journal of Experimental Child Psychology, 107(2), 155-163.

(19)

(20)

Informatiebrief onderzoek UvA Geachte ouders/verzorgers,

[NAAM VAN SCHOOL] verleent medewerking aan een onderzoek van de Universiteit van Amsterdam (UvA). Contactpersoon is Dr. Nils Postman, onderzoeker aan de Faculteit der Maatschappij- en Gedragswetenschappen (FMG). De schoolleiding vindt medewerking aan het onderzoek nuttig. Het onderzoek vindt plaats op school en duurt in totaal ca. een uur. Onze ervaring leert dat kinderen het leuk en leerzaam vinden om deel te nemen aan ons onderzoek.

Alleen kinderen met toestemming van ouders/verzorgers kunnen deelnemen aan het onderzoek.

Waar gaat het onderzoek over?

We onderzoeken hoe kinderen uitdagende denkopdrachten doen. Hierbij krijgen de kinderen feedback en/of de uitslag te horen. Ook onderzoeken we hoe hun persoonlijkheid en stemming hun taakprestatie beïnvloeden.

Hoe ziet het onderzoek eruit?

Eerst vullen kinderen klassikaal vragenlijsten in over hun persoonlijkheid, en hoe ze zich doorgaans voelen. Dit duurt ca. 40 minuten. Daarna doen kinderen individueel mee aan een experiment. Daarin doen ze denkopdrachten, en krijgen ze feedback van de onderzoeker over hoe ze het doen. Tijdens de opdrachten geven kinderen aan hoe ze zich voelen en hoe gemotiveerd ze zijn. Dit duurt ca. 20 minuten.

Het onderzoek wordt begeleid door getrainde studentes van de Universiteit van Amsterdam. Voor het onderzoek geldt de reguliere aansprakelijkheidsverzekering van de Universiteit van Amsterdam.

Is het anoniem en vertrouwelijk?

Ja. Alle gegevens worden anoniem en vertrouwelijk verwerkt. De naam van uw kind wordt losgekoppeld van de onderzoeksgegevens. Alleen de onderzoekers hebben toegang tot de gegevens; de school niet.

Kan mijn kind stoppen wanneer hij/zij wil?

Ja. Uw kind kan op elk gewenst moment stoppen zonder opgaaf van reden. Als uw kind wil stoppen, kan hij/zij dat vertellen aan de aanwezige onderzoeker. Ook kunt u tot 24 uur na deelname van uw kind alsnog de gegevens van uw kind terugtrekken door dit te mailen naar Nils Jostmann (n.b.Jostmann@uva.nl). Stoppen of gegevens terugtrekken zal geen negatieve gevolgen hebben voor u of uw kind.

Hoe geef ik toestemming?

Vul het formulier “Toestemmingsverklaring” en, en laat het door uw kind de volgende dag inleveren bij de leerkracht.

(21)

Aan wie kan ik vragen stellen?

Als u vragen heeft over dit onderzoek kunt u contact opnemen met Dr. Nils

Jostmann, n.b.Jostmann@uva.nl, 020 525 6889, postadres: postbus 15900, 1001 NK Amsterdam. Voor eventuele klachten over dit onderzoek kunt u zich wenden tot het lid van de Commissie Ethiek, Dr. Mark Rotteveel, m.rotteveel@uva.nl, 020 5256713, postadres: postbus 15900, 1001 NK Amsterdam.

(22)

TOESTEMMINGSVERKLARING onderzoek UvA

Als u dit formulier tekent, verklaart u dat u het informatieformulier (“Informatiebrief onderzoek UvA”) hebt gelezen en begrepen, en u akkoord gaat met de daarin beschreven gang van zaken.

De ouder(s) / begeleider(s) van

Naam: ………

Groep: …………

Geven hierbij toestemming voor deelname aan het onderzoek van de Universiteit van Amsterdam.

Handtekening: ………

Datum: ………

VRAAG UW KIND DIT FORMULIER DE VOLGENDE DAG IN TE LEVEREN BIJ DE LEERKRACHT VAN UW KIND.

(23)

(24)

Je voor- en achternaam:

Naam van je school:

Je klas:

Je leeftijd (in jaren):

Je geboortedatum:

____ -- ____ -- ________ (dag, maand, jaar, bijv. 24-08-1999)

Je geslacht: ο jongen ο meisje

Je geboorteland: ο Nederland ο Anders, namelijk:

Geboorteland van je vader: ο Nederland ο Anders, namelijk:

Geboorteland van je moeder: ο Nederland ο Anders, namelijk:

Je antwoorden zijn privé.

1. Beantwoord de vragen serieus.

2. Probeer duidelijk te schrijven zodat wij het kunnen lezen. 3. Omcirkel per vraag één antwoord en sla geen vragen over.

4. Twijfel niet te lang; het gaat om jouw mening.

(25)

(26)

Op de volgende bladzijdes staan enkele plaatjes. Elk plaatje is bedoeld om een alledaagse situatie weer te geven.

Bekijk elk plaatje eerst goed en bedenk dan in je hoofd een kort verhaal dat volgens jou past bij het plaatje. Je mag het verhaal helemaal zelf bedenken.

Eén van de personen in elk plaatje heeft de hoofdrol in het verhaal. Je mag zelf kiezen welke persoon dat is. Zet een kruisje op de persoon.

Je hoeft het verhaal niet op te schrijven; je hoeft alleen de 3 vragen te beantwoorden die naast het plaatje staan.

Er zijn geen goede of slechte verhalen, alles mag. Kijk maar wat er spontaan in je opkomt.

Begin met plaatje 1. Als je alle 3 vragen over het plaatje hebt beantwoord, mag je verder gaan naar het volgende plaatje. Maak de plaatjes één voor één in de juiste volgorde.

Ga niet te lang nadenken over de verhalen en ook niet over je antwoorden.

Ga nog niet verder.

(27)

1) Bedenk nu een kort verhaal bij dit plaatje. Schrijf op: Wat is belangrijk voor de hoofdpersoon in deze situatie en wat doet hij/zij?

__________________________________ __________________________________ __________________________________

Hoe voelt de hoofdpersoon zich?

__________________________________ __________________________________ __________________________________

Waarom voelt de hoofdpersoon zich zo? ____________________________________ ____________________________________ ___________________________________

2)

Bedenk nu een kort verhaal bij dit plaatje. Wie is de hoofdpersoon? Zet een kruisje. Schrijf op: Wat is belangrijk voor de hoofdpersoon in deze situatie en wat doet hij/zij?

__________________________________ __________________________________ __________________________________ Hoe voelt de hoofdpersoon zich?

__________________________________ __________________________________ __________________________________ Waarom voelt de hoofdpersoon zich zo? ____________________________________ ____________________________________ ___________________________________

(28)

3)

4)

(29)

5)

6)

(30)

(31)

Klopt Klopt Klopt Klopt helemaal niet een beetje meestal altijd ○ ● ●● ●●●

Voorbeeld: Ik vind het leuk om naar school te gaan ( ) ( ) ( X ) ( ) 1. Als ik iets voor elkaar heb gekregen, dan zie ik altijd

iets dat nog beter had gekund ( ) ( ) ( ) ( ) 2. Ik ben vaak bang dat mijn schoolcijfers slechter

worden ( ) ( ) ( ) ( )

3. Ik kan alleen goed presteren als ik er echt zin in heb ( ) ( ) ( ) ( ) 4. Het liefst doe ik opgaven die heel moeilijk zijn ( ) ( ) ( ) ( ) 5. Als ik iets verkeerd doe, dan denk ik dat het niet

meer goed komt ( ) ( ) ( ) ( )

6. Ik vind het leuk om urenlang moeilijke taakjes of

puzzels op te lossen ( ) ( ) ( ) ( )

7. Als ik een moeilijke taak zie, dan begin ik er vaak

helemaal vanuit mezelf mee ( ) ( ) ( ) ( )

8. Een nieuwe opdracht doe ik alleen goed als ik deze

ook leuk vind ( ) ( ) ( ) ( )

9. Ik wil steeds alleen maar topprestaties leveren ( ) ( ) ( ) ( ) 10. Als een taak moeilijk wordt, dan ga ik er helemaal

voor ( ) ( ) ( ) ( )

11. Als ik een taak verkeerd heb gedaan, dan kom ik

meestal alsnog zonder hulp tot de juiste oplossing ( ) ( ) ( ) ( ) 12. Als ik een opdracht saai vind, dan kan ik hem niet

maken ( ) ( ) ( ) ( )

13. Als ik klaar ben met een moeilijke opdracht, dan doe ik het liefst meteen daarna nog een moeilijke

opdracht ( ) ( ) ( ) ( )

14. In een wedstrijd heb ik het liefst een sterke

tegenstander ( ) ( ) ( ) ( )

15. Als ik ergens in gefaald heb, dan heb ik daarna

even nergens meer zin in ( ) ( ) ( ) ( )

16. Ik kies soms taken die te moeilijk zijn ( ) ( ) ( ) ( ) 17. Als ik voor een opdracht een goed cijfer heb

gekregen, dan denk ik meteen al aan de volgende

opdracht ( ) ( ) ( ) ( )

18. Als ik een nieuwe opdracht niet leuk vind, dan lukt

het mij gewoon niet om de opdracht goed te maken ( ) ( ) ( ) ( ) 19. Ik vind het heel leuk om helemaal alleen te werken

(32)

(33)

Omcirkel bij de volgende vragen steeds het antwoord (A of B) dat het best bij jou past. Kies het antwoord dat het best past, dus ook als het niet perfect past.

1. Je hebt veel huiswerk te doen voor school maar je hebt er helemaal geen zin in. Maar het moet toch wel echt nu gebeuren.

A. Dan weet ik echt niet waar ik moet beginnen B. Dan ga ik er meteen mee aan de slag

2. De leraar is boos op je en daardoor ben je behoorlijk van streek.

A. Dan vind ik het makkelijk om er niet meer aan te denken B. Dan kan ik me een hele tijd nergens anders op concentreren

3. Je bent bezig om iets moeilijks in elkaar te zetten. De onderdelen liggen voor je op de grond en je hebt geen idee waar je moet beginnen.

A. Dan ga ik eerst iets anders doen B. Dan begin ik gewoon ergens

4. Je hebt een grote bol ijs gekregen. Helaas valt hij op de grond en je kunt geen nieuwe krijgen.

A. Dan zal ik daar nog lang van balen B. Dan denk ik snel weer aan iets anders

5. Je moet opruimen maar je hebt geen idee waar je moet beginnen.

A. Dan ga ik gewoon aan de slag

B. Dan moet ik me er echt toe zetten om te beginnen

6. Je bent iets heel leuks kwijtgeraakt en daarom ben je verdrietig.

A. Dan ben ik daar snel weer overheen B. Dan moet ik daar nog lang aan denken

7. Je moet een moeilijke thuisopdracht maken voor een vak dat je niet echt leuk vindt. Je hebt er helemaal geen zin in.

A. Dan ga ik eerst wat anders doen

B. Dan ga ik er onmiddellijk mee aan de slag

8. Je hebt een laag cijfer gekregen voor een tentamen.

A. Dan ga ik er niet lang meer aan denken

B. Dan kan ik me een hele tijd niet goed op iets anders concentreren

9. Je ziet in een winkel meerdere dingen die je graag zou willen hebben maar je hebt niet veel geld.

A. Dan ga ik best snel beslissen wat ik ga kopen

(34)

10. Je hebt flinke ruzie met een vriend of vriendin en daarom ben je behoorlijk verdrietig.

A. Dan kan ik een hele tijd nergens anders aan denken B. Dan vergeet ik het na een tijd en ga ik iets anders doen

11. Je ouders willen dat je ze ergens mee helpt maar je hebt er op dat moment helemaal geen zin in.

A. Dan doe ik het toch meteen

B. Dan duurt het een hele tijd voordat ik me ertoe kan zetten

12. Je favoriete speelgoed of apparaat is stuk gegaan en kan niet meer gerepareerd worden.

A. Dan duurt het best lang voordat ik het kan vergeten B. Dan kan ik makkelijk weer aan iets anders denken

13. Je verveelt je.

A. Dan heb ik heel lang geen idee wat ik wil doen B. Dan kan ik snel iets bedenken wat ik wil doen

14. Je bent iets aan het spelen maar verliest bij elke ronde.

A. Dan denk ik er later niet meer aan

B. Dan moet ik er later nog erg vaak aan denken

D

it is het einde van de vragenlijst. Controleer op alle bladzijdes

• of je niet per ongeluk een vraag hebt overgeslagen

• of je overal één antwoord hebt gegeven (niet meer dan één)

• of je klaar bent met alle plaatjes

(35)

(36)

LOGBOEK INDIVIDUELE SESSIE

Voor- en achternaam kind:

Naam van de school:

Niveau: VMBO – HAVO – VWO (onderstreep hetgeen van toepassing is)

Proefpersoon nummer: _______________________________________________

Datum (bijvoorbeeld 09-11-2016): ______________________________________ Tijd afname (begin): _________________________________________________ Naam proefleider: ___________________________________________________

(TIJDENS INDIVIDUELE SESSIE IN TE VULLEN DOOR ONDERZOEKER) Conditie (kijk op het briefje):  Conditie 1: onmiddellijke positieve feedback

 Conditie 2: vertraagde positieve feedback  Conditie 3: geen feedback

Ging er iets anders dan verwacht of gepland? Of is je iets opgevallen?

Ο Ja Ο Nee

(37)

Is dit onderzoek voortijdig afgebroken? Ο Ja Ο Nee Zo ja, beschrijf precies vanaf welk punt, en waarom dit gebeurde:

Werkte de participant serieus? Ο Ja Ο Nee

(38)

(39)

PROTOCOL ONDERZOEK FEEDBACK GEVEN

Versie 07 november 2016

Nils Jostmann, N.B.Jostmann@uva.nl Inhoudsopgave:

2 Protocol klassikale afname

a. Algemene aandachtspunten b. Benodigdheden

c. Procedure

d. Mogelijk voorkomende vragen en situaties 8 Protocol individuele afname

a. Algemene aandachtspunten b. Benodigdheden

c. Procedure d. MANIPULATIE

e. Mogelijk voorkomende vragen en situaties 14 Protocol debriefing

15 Bijlage A: randomisatie

(40)

Protocol klassikale afname a. Algemene aandachtspunten

• Als je acute vragen hebt, neem dan contact op met Nils: 0619220362. Als het geen haast heeft, mail me dan op n.b.jostmann@uva.nl

• Het is essentieel dat je aan alle leerlingen dezelfde informatie geeft. Blijf dus steeds zo dicht mogelijk bij de oorspronkelijke instructies.

• Vertel niet aan leerlingen waar het onderzoek over gaat. Als je hier vragen over krijgt vanuit de klas, kun je alleen zeggen dat je onderzoek doet naar hoe leerlingen denkopgaven doen.

• Draag nette kleding

• Neem de tijd om ervoor te zorgen dat iedereen de instructie begrijpt. Als

bepaalde kinderen de instructie hebben gemist (omdat ze praatten, met de rug naar je toe zaten, enzovoorts), vraag dan om hun aandacht en herhaal de instructie.

• Als je ziet dat iemand al is begonnen voordat je instructie hebt gegeven, zeg dan tegen de klas “Nog niet beginnen met de volgende vragen. Ik geef zo meteen eerst een uitleg.”

• Zet je telefoon op stil voordat je de klas in gaat.

• Vertel de leerkracht dat je een paar vragenlijsten zult afnemen, wat ongeveer 40 minuten zal duren. Dit is een ruime schatting.

• Bespreek van te voren met de leerkracht wat te doen met leerlingen die geen toestemming hebben, en wat kinderen kunnen doen als ze klaar zijn. Wellicht kunnen kinderen zonder toestemming en kinderen die klaar zijn verder werken met schoolwerk of iets voor zichzelf gaan doen. Het is belangrijk dat ze rustig werken, en deelnemende kinderen dus niet storen.

• Vraag de leerkracht of er leerlingen afwezig zijn. Zo ja, noteer hun namen, zodat je weet bij wie geen vragenlijsten zijn afgenomen. Denk na over manieren om de vragenlijsten alsnog af te nemen voordat je individuele sessies met deze kinderen doet.

• Als iemand niet serieus heeft gewerkt, schrijf dit dan na afloop op de voorkant van de vragenlijst van deze participant: beschrijf hoe de participant zich

precies gedroeg.

• Let op dat je geen kinderen test die geen toestemming hebben gekregen (ook niet als ze zeggen dat hun ouders het toch wel goed vinden). Kinderen

moeten actieve toestemming hebben gekregen; als ouders het

toestemmingsformulier niet hebben geretourneerd, kan het betreffende kind niet meedoen.

• Zorg dat het stil is in de klas tijdens de afname, ook als de meeste leerlingen al klaar zijn. Laat de leraar je helpen om de rust in de klas te bewaren. Als kinderen onrustig zijn, leg dan uit waarom het belangrijk is dat ze stil zijn:

(41)

bijvoorbeeld “Probeer stil te zijn tot iedereen klaar is, zodat leerlingen die nog bezig zijn zich goed kunnen concentreren.”

• Laat tafels zo ver mogelijk uit elkaar zetten (in een toets-opstelling) en zorg dat kinderen niet met elkaar praten. Als kinderen het idee hebben dat ze niet anoniem/ongestoord de vragen kunnen beantwoorden kan dit grote invloed hebben!

• Geef kinderen geen complimenten of kritiek, en stel ze niet gerust over het onderzoek, ook niet tijdens de klassikale sessie, want het zijn dezelfde kinderen waarmee je later de individuele afname doet.

b. Benodigdheden *Voldoende vragenlijsten.

*Namenlijsten voor elke klas (hieronder: klassenlijst), met daarop aangegeven wie wel en wie geen toestemming heeft.

*Een lege doos waarin je ingevulde vragenlijsten kunt bewaren.

*Pennen voor jezelf. Leerlingen kunnen hun eigen pen (geen potlood) gebruiken voor de klassikale afname.

*Hou back-up-pennen bij de hand, voor het geval kinderen zelf geen pen hebben. Zwarte of donkerblauwe pennen zijn het best. Pennen kun je afhalen bij één van de secretaresses van sociale psychologie, mevrouw Ho Jung Mulder of mevrouw Annemiek Hoffer, in kamer G2.15.

c. Procedure

Hallo allemaal, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen onderzoek naar de hoe leerlingen denkopgaven doen. Dit onderzoek wordt in jullie klas uitgevoerd. Vandaag is het eerste deel van het onderzoek, waarvoor jullie een aantal vragenlijsten invullen. In het volgend deel doen jullie een soort denkopgavespel. Dit komt een volgende keer, maar daar vertel ik straks meer over.

Let op: het onderzoek is geen toets, en je krijgt er dus geen cijfer voor. Voordat we beginnen, wil ik jullie vragen om jullie tafels zo ver mogelijk uit elkaar te zetten. Kijk even of je echt zo ver mogelijk bij je buurman of buurvrouw vandaan zit.

Jullie ouders een brief gekregen. Om mee te doen heb je toestemming van je ouders nodig. Er zijn een paar leerlingen die geen toestemming hebben gekregen van hun ouders. Jullie leerkracht zal zo meteen bij deze leerlingen langskomen om te vertellen wat ze ondertussen kunnen doen. [Als de leerkracht dit niet kan doen, noem je de namen van de leerlingen die niet meedoen, en geef je

(42)

De kinderen die WEL toestemming hebben gekregen geef ik zo de vragenlijst. Als je de vragenlijst hebt gekregen, begin dan nog niet. Ik geef jullie zo meteen eerst een uitleg.

Heeft iedereen een vragenlijst? Kijk even mee op de voorkant van de vragenlijst. Lees voor jezelf wat daar staat.

Op de voorkant staat ook: Jouw antwoorden zijn privé. Niemand krijgt jouw antwoorden te zien: je ouders niet, je docenten niet en je klasgenoten niet. Om ervoor te zorgen dat jouw antwoorden ook echt privé blijven spreken we het volgende af.

1. Werk voor jezelf en probeer stil te zijn. Ga niet met andere leerlingen praten, of bij andere leerlingen meekijken.

2. Vertel -als we zo dadelijk klaar zijn- niet aan andere leerlingen wat jouw antwoorden waren. Sommigen vinden het prima om daarover te vertellen maar anderen vinden dat niet fijn, en dat kan vervelend zijn. Het beste is dus als niemand daar iets over zegt.

Zo weten we zeker dat jouw antwoorden privé blijven. Je kunt dus steeds eerlijk jouw eigen mening geven.

Oké, neem de voorkant van de vragenlijst voor je [Houd de eerste bladzijde omhoog zodat iedereen kan zie wat je bedoelt]. Deze bladzijde mag je gaan maken, dus je naam en andere gegevens invullen. Wacht nog even met bladzijde 2, daarbij geef ik zo uitleg. Als je vragen hebt, steek dan even je vinger op.

Is iedereen klaar met bladzijde 1? Dan gaan we nu naar bladzijde 2 en 3. Er staan instructies die ik met jullie samen wil doornemen.

Op de volgende bladzijdes zie je straks een aantal plaatjes. Op elk plaatje staat een situatie afgebeeld. Bekijk ieder plaatje eventjes en bedenk dan een kort verhaaltje dat past bij het plaatje.

Het maakt echt niet uit wat voor verhaal je bedenkt. Kijk maar wat er spontaan in je opkomt. Alles mag. Denk er vooral niet te lang over na.

Je hoeft het verhaaltje niet op te schrijven. Het is wel de bedoeling dat je de drie vragen die naast het plaatje staan, beantwoordt.

Als je klaar bent met plaatje 1 mag je meteen doorgaan naar het volgende plaatje totdat je ze allemaal hebt gehad. Ga alle plaatjes één voor één langs in de juiste volgorde. Sla geen vragen over.

(43)

Is alles duidelijk? Dan mag je beginnen met het eerste plaatje.

[In totaal staan voor dit deel van de klassikale vragenlijst ongeveer 15-20 minuten. Als je merkt dat sommige leerlingen veel langzamer zijn dan anderen, kan je ongeveer halverwege herhalen dat ze er niet te lang over hoeven te doen: “Wat je opschrijft hoeft niet lang te zijn. Het is prima als je bij iedere vraag één korte zin opschrijft”. Zorg ervoor dat leerlingen die klaar zijn met dit deel, rustig op hun plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Als je merkt dat de grote meerderheid klaar is maar enkele leerlingen nog niet zeg dan: “Ik zie dat de meesten klaar zijn met de plaatjes. Willen jullie even allemaal stoppen. Ik ga jullie nu uitleggen hoe het nu verder gaat. Diegenen die de plaatjes nog niet helemaal afhebben, mogen na mijn uitleg verder gaan.

Kijk nu op bladzijde 8 de vragenlijst. De vragen gaan over hoe je over jezelf denkt en wat voor persoon je bent.

[Houd het formulier duidelijk omhoog zodat de kinderen kunnen zien waar je naar verwijst; draai rond zodat iedereen het kan zien] Kijk naar het voorbeeld: “Ik vind het leuk om naar school te gaan”. Jij moet aangeven in hoeverre deze zin klopt VOOR HOE JIJ BENT. Als het helemaal niet klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje helemaal links. Als het een beetje klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de tweede plek van links. Als het meestal klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje de tweede plek van rechts. En als het altijd klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de meest rechter plek. Zet per zin één kruisje.

Is alles duidelijk? Dan mogen diegenen die met de plaatjes klaar zijn, beginnen en de vragenlijst maken tot en met vraag 20. Diegenen die nog niet klaar zijn met de plaatjes, mogen nu alsnog eerst de plaatjes afmaken en daarna meteen doorgaan met de vragenlijst.

Als kinderen bezig zijn, zeg dan: Het is soms moeilijk om te kiezen tussen

antwoorden, maar probeer toch altijd één antwoord te kiezen. Je kunt niet twee antwoorden kiezen. Als je een antwoord wilt veranderen, kun je het

doorkrassen, en dan een kruisje op de goede plek zetten.

Als je al bij het stopteken op bladzijde 9 bent, controleer dan even of je overal antwoord hebt gegeven.

Op bladzijde 10 en 11 staan allemaal gebeurtenissen, zoals de eerste: “Je hebt veel huiswerk te doen voor school maar je hebt er helemaal geen zin in. Maar het moet toch wel echt nu gebeuren.” Bij elke gebeurtenis is de vraag hoe jij

(44)

echt niet waar ik moet beginnen en (b) dan ga ik er meteen mee aan de slag. Kies de reactie die het best bij jou past, ook als deze niet perfect past, en omcirkel de letter a of b.

Zijn er nog vragen? Je mag de vragenlijst nu helemaal afmaken.

[Zorg ervoor dat leerlingen die klaar rustig op hun plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Vertel ze wat ze kunnen doen totdat iedereen klaar is.] Als je helemaal klaar bent, controleer dan of je je naam hebt opgeschreven, en of je overal antwoord hebt gegeven en niet per ongeluk ergens een dubbel antwoord hebt gegeven.

Is er nog iemand bezig? [Haal de vragenlijsten op. Als er leerlingen zijn die niet serieus hebben gewerkt waarvan je de naam niet weet, zet een onopvallend kruisje op de vragenlijst en schrijf na afloop op de voorkant van de vragenlijst van deze participant hoe de participant zich precies gedroeg.]

Ik kom de vragenlijsten nu ophalen, maar ik ga zo nog iets uitleggen.

Volgende week [of een ander moment, als dat zo is] gaan we beginnen met het andere deel van het onderzoek. Dan halen we jullie individueel, dus om de beurt, uit de klas om denkopgaven te maken. Als je aan de beurt bent zal ik precies vertellen wat de bedoeling is. [Stel leerlingen niet gerust, en vertel ze niet wat ze precies gaan doen.]

Dankjewel allemaal!

Als iedereen de vragenlijst heeft ingeleverd, controleer dan z.s.m. (liefst buiten zicht van de leerlingen) of de voor- en achternaam van de leerlingen leesbaar zijn. Als er tijd over is, controleer dan eveneens of leerlingen alle vragen hebben beantwoord en niet meer dan één antwoord hebben gegeven per vraag. Als er dubbele antwoorden zijn ingevuld, iets is overgeslagen of iets onleesbaar is, ga dan terug om het te laten corrigeren, maar alleen als de situatie daarvoor geschikt is (e.g., als leerlingen nog tijd en zin hebben).

Leg alle gecontroleerde vragenlijsten in de aparte doos voor ingevulde vragenlijsten. d. Mogelijk voorkomende vragen en situaties

• Als een kind afwezig is tijdens de klassikale afname. Doe de klassikale afname zoals gepland, dus zonder het afwezige kind. Probeer op een andere

(45)

dag de klassikale vragenlijst alsnog bij het kind af te nemen, bijvoorbeeld 1-op-1 op de gang, of door het kind ergens individueel te laten werken en dat je vooraf instructies geeft. Plan dit sowieso voor de individuele afname. Als dit echt niet kan, sla dan de klassikale afname voor dit specifieke kind over, en doe alleen de individuele afname.

• Als een kind zegt: “Het is zo saai!” Dan kun je simpelweg zeggen hoelang het nog duurt (e.g., “Het duurt nog 15 minuten, nog even dus”).

• Wat doen jullie met de gegevens? “We doen onderzoek met deze gegevens. School krijgt de gegevens niet te zien.”

• Wat gaan we de volgende keer doen? Als je het nog niet klassikaal hebt besproken: “Dat ga ik zo meteen klassikaal uitleggen.” Als je al wel klassikaal hebt besproken: “Jullie gaan denkopgaven doen. Ik vertel er de volgende keer meer over.” Stel kinderen niet gerust, want dit gaat ten koste van de

manipulatie. Zegt dus NIET dat het best meevalt of dat het heel leuk is om te doen.

• Waarom moet ik mijn naam opschrijven? Zijn mijn antwoorden wel anoniem? “Jouw antwoorden zijn privé; dus alleen de onderzoekers krijgen jouw antwoorden te zien—je klasgenoten niet, je ouders niet en je

leerkrachten niet.” Alleen als je er specifiek naar wordt gevraagd: “Je moet je naam opschrijven zodat we weten welke vragenlijsten bij welke leerling horen. Maar jouw gegevens worden straks wel losgekoppeld van jouw naam, dus het is wel anoniem.”

• “Ik twijfel tussen twee antwoorden. Mag ik ze allebei omcirkelen?”  “Probeer per vraag één antwoord te kiezen. Als geen enkel antwoord precies past, kies dan het antwoord dat het best past”.

• “Als ik een vraag niet wil invullen, mag ik die dan overslaan?”  “Probeer alle vragen te beantwoorden”. Als het kind zegt de vraag niet te willen beantwoorden, kun je naar hem/haar toegaan en zeggen: “Als je deze niet wilt beantwoorden, dan mag je die overslaan”.

• “Ik begrijp deze vraag niet, wat bedoelen jullie ermee?” Ga naar de leerling toe, en herhaal de vraag. Als de vraag dan nog niet duidelijk is, herhaal de vraag in simpelere bewoording.

(46)

Protocol individuele afname a. Algemene aandachtspunten

• Dit is een experimenteel onderzoek. In dit onderzoek is het cruciaal dat je alle kinderen precies dezelfde instructie geeft en op precies dezelfde manier behandelt. Het enige dat mag verschillen tussen kinderen is de inhoud van de envelop met de feedback.

• Je mag als proefleider niet vooraf weten welke feedback een kind krijgt. Dit voorkomt dat je kinderen “uitkiest” voor een bepaalde conditie. Pas tijdens het experiment kom je erachter in welke conditie het kind zit (dus welke feedback je geeft).

• Stel je tijdens het experiment altijd neutraal op tegenover kinderen. Dus

probeer kinderen niet gerust te stellen, op hun gemak te stellen, spanning weg te nemen, et cetera.

• Geef kinderen geen complimenten of kritiek. Dit is cruciaal, want een

compliment of kritiek zou direct interfereren met de experimentele manipulatie. De ervaring leert dat dit erg lastig is. Complimenten als ‘wat heb je een leuke trui aan’ ‘ik vind je tas zo stoer’ zijn erg snel gegeven maar probeer dit te allen tijde te voorkomen. Als je per ongeluk toch een compliment of kritiek geeft, noteer dit dan direct op het logformulier. Dan kunnen we hier rekening mee houden in de analyses.

• Sommige kinderen zijn heel stil terwijl andere kinderen heel extravert zijn. Het kan moeilijk zijn om stille en extraverte kinderen precies op dezelfde manier te bejegenen omdat extraverte kinderen vaak een gesprek met je proberen aan te gaan en omdat je introverte kinderen misschien gerust wilt stellen. Probeer alle kinderen precies gelijk te behandelen.

• Zorg dat op alle documenten van een kind zijn/haar proefpersoon nummer komt te staan. Zo weet je achteraf met zekerheid welke documenten bij elkaar horen.

• Draag nette kleding

• Zorg dat je tijdens het onderzoek altijd een mobiele telefoon bij je hebt met mijn nummer erin, zodat je me kunt bellen in noodgevallen. Zorg dat je telefoon op stil staat (dus trilfunctie ook uit). Kinderen mogen geen piepje horen.

• Zorg ervoor dat je een stabiele internetverbinding hebt voor de laptop in de kamer waar je de individuele sessie afneemt. Een verbinding met kabel is vaak stabieler dan WIFI.

• Zorg dat de laptop aangesloten is op het stroomnetwerk (de accu’s zijn vaak onbetrouwbaar), dat de computer muis goed werkt en dat je een fatsoenlijke ondergrond (mousepad) hebt voor de muis. Test dit van tevoren. Zorg er ook voor dat Windows geen updates kan uitvoeren tijdens de afname. Je kunt de

(47)

laptop ook ca. één uur vóór de test alvast aanzetten, dan zijn de updates klaar.

• Zorg dat het kind goed kan zien wat er op het scherm staat (vraag het even van tevoren en ga desnoods de helderheid instellen en/of de hoek van het scherm aanpassen)

b. Benodigdheden

• Laptop met stroom- en internetaansluiting + muis en mousepad (test van tevoren de werking van alles)

• Papieren:

1. Dit protocol

2. Het logboek (met het juiste proefpersoon nummer)

3. Stapel briefjes met experimentele manipulatie (zie Bijlage A voor hoe te randomiseren)

• Schrijfspullen: pennen voor jezelf

• Klassenlijst (met daarop aangeven wie wel/geen toestemming heeft)

c. Procedure

[Zet het programma klaar en vul het juiste proefpersoon nummer in qualtrics in. Maak oogcontact met het kind]

Hallo, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen vandaag het individuele deel van het onderzoek. [Geen small talk voordat kinderen helemaal klaar zijn.] Je gaat zo denkopgaven doen. Dat gebeurt allemaal op deze laptop.

Lees de instructies altijd goed door. Alles wijst zich vanzelf. Als je toch een vraag hebt mag je die aan mij gaan stellen. Je mag nu eerst je voor- en achternaam en de naam van je school invullen.

Je mag nu naar het volgende scherm gaan. Ik ga ondertussen hier zitten. [Neem schuin achter het kind plaats. Het kind moet zich niet ongemakkelijk voelen door jouw aanwezigheid maar mag wel merken dat je meekijkt. Houd dus voldoende afstand. Let op tekens van ongemak en ga in een dergelijk geval iets verder weg zitten. Als het kind vraagt waarom je meekijkt zeg dan: “Ik ga een tijdje meekijken of alles duidelijk is”. In principe werkt het kind nu zelfstandig. Houd in de gaten of het kind de oefenopgaven goed doet. Soms kunnen kinderen een tijdje niets meer doen. Als je het gevoel hebt dat een kind dichtslaat of niet weet wat het moet doen, zeg dan: “Ik zie dat je hier niet verder gaat. Heb je misschien uitleg nodig?” Herhaal vervolgens de instructies in een simpele bewoording. Vraag het kind of het

(48)

geruststellende woorden in eerste instantie te vermijden maar voorkom dat het kind zich vervelend gaat voelen. Als je het gevoel hebt dat het kind echt emotionele steun nodig heeft, moet je die natuurlijk geven. Noteer in ieder geval duidelijk in het

logboek wat de situatie is geweest zodat we ermee rekening kunnen houden bij de analyses. Hetzelfde geldt als een kind het emotioneel moeilijk heeft tijdens de echte rekentaak]

[Houd in de gaten of het kind bij iedere oefenopgave twee getallen aanklikt (in plaats van 0, 1, of meer dan 2. Zeg indien nodig: Ik zie dat je maar 1 getal/meer dan 2 getallen aan vinkt. Je moet precies 2 getallen zoeken en aanvinken]

[terwijl het kind nog bezig is met het de oefenopgaven, pak je de bovenste brief van de conditie stapel en kijk je in welke conditie het kind zit]