Bachelorproject Sociale Psychologie
Het Effect van de Timing van Positieve Feedback op
Motivatie
Nina Almekinders
Datum: 24/12/2016
Studentnummer: 10591222 Begeleider: Nils Jostmann
Instelling: Universiteit van Amsterdam Aantal woorden:3859
Abstract
In deze studie werd het effect van de timing van positieve feedback op motivatie onderzocht. Dit werd onderzocht door de motivatie van 137 eerste- en tweedejaars scholieren te meten aan de hand van de prestatie op inzichttaken. De deelnemers werden willekeurig over een directe positieve feedbackconditie, vertraagde positieve feedbackconditie of
controleconditie verdeeld. Er werd geen verschil gevonden in de prestaties van de deelnemers tussen de verschillende condities. Er is in dit onderzoek geen effect gevonden van positieve feedback op motivatie. Dit kan echter verklaard worden door de opzet van het onderzoek tijdens de test en door een plafondeffect in de gemaakte opgaves.
Inleiding
‘Al vele jaren volgt er onderwijsreorganisatie op onderwijsreorganisatie’. Volgens Jolles (2005) krijgen middelbare scholen steeds meer te maken met de druk om te presteren. De scholen krijgen ‘targets’ opgelegd vanuit de overheid en scholen doen er alles aan om deze te halen zodat ze het hoofd boven water kunnen houden. Dit zorgt ervoor dat er al jaren discussies en veranderingen plaatsvinden op het gebied van onderwijs. Hoe kunnen we zorgen dat zoveel mogelijk van onze leerlingen hun diploma halen? Jolles (2005) benoemt dat het een uitdaging is om het onderwijs zo te vernieuwen dat de leerling beter en meer gemotiveerd wordt en met meer plezier naar school gaat. Lagere schoolprestaties en schooluitval worden namelijk geattribueerd aan het gebrek aan motivatie bij leerlingen (Makri-botsari 2001).
Een van de manieren hoe scholen en ouders hun kinderen proberen te motiveren is een constante feedback geven over hoe ze het doen en waar ze staan op de weg naar hun doel. Wij als samenleving lijken te geloven dat complimenteren, oftewel positieve feedback geven, altijd een positief effect heeft op kinderen (Henderlong & Lepper, 2002). Er wordt door boeken en instanties aangeraden om veel positieve feedback te gebruiken in de opvoeding en in de klas. Dit zou zorgen voor meer motivatie en zelfvertrouwen. Ook maakt men vaak gebruik van positieve feedback om gewenst gedrag te verkrijgen (Henderlong & Lepper, 2002). Wat men echter vaak niet weet, is dat uit de wetenschappelijke literatuur over dit onderwerp blijkt dat het geven van positieve feedback niet altijd voor hetzelfde positieve effect zorgt. Zo blijkt uit het onderzoek van Henderlong en Lepper (2002) dat positieve feedback negatieve gevolgen kan hebben omdat het kind het gevoel heeft te worden
geëvalueerd en hierdoor het idee krijgt iets voor een ander te doen in plaats van voor zichzelf. Ook kan positieve feedback schadelijk zijn omdat het duidt op een lage bekwaamheid op momenten dat het kind het minder goed doet dan eerst of als anderen het beter doen.
Uit onderzoek van Hattie en Timperly (2007) blijkt feedback wel degelijk effectiever te zijn als deze gericht is op de correcte respons in plaats van de incorrecte respons. Wat echter ook naar voren komt is dat de manier waarop feedback gegeven wordt erg belangrijk is. Volgens Thompson en Richardson (2001, aangehaald in Hattie & Timperly, 2007) kan feedback negatieve gevolgen hebben als de feedback niet helemaal duidelijk maakt op welke gronden een student succes heeft behaald. Dit zou kunnen leiden tot een onzeker zelfbeeld en slechtere prestaties.
Naast de manier waarop feedback gegeven wordt is ook het moment waarop feedback gegeven wordt, de timing, een veelbesproken en onderzocht aspect van feedback. Wanneer het geven van feedback het meest effectief is, direct of vertraagd, daar zijn de meningen over verdeeld. Een van de onderzoeken naar de timing van feedback is die van Dihoff, Brosvic, Epstein en Cook (2004). In dit onderzoek is de prestatie van jongeren op schooltaken getest. Hierbij is de prestatie beïnvloed door het geven van feedback. De timing van de feedback is gemanipuleerd door verschillende condities te handteren. Een directe feedbackconditie waarbij de feedback meteen na de eerste taak werd gegeven en een vertraagde
feedbackconditie waarbij de feedback de volgende dag werd gegeven voorafgaand aan een tweede taak. Uit de resultaten bleek dat de deelnemers uit de directe feedbackconditie hoger scoorden op de schooltaken dan de deelnemers uit de vertraagde feedbackconditie. Echter kan de tijd die tussen de schooltaken en de feedback in zit hierbij van invloed zijn. Butler,
Karpicke en Roediger III (2007), hebben namelijk het tegenovergestelde effect in hun onderzoek gevonden. Hier werd ook de timing van feedback onderzocht, alleen werd de vertraagde feedback niet een dag later gegeven, zoals het geval was in het onderzoek van Dihoff, Brosvic, Epstein en Cook (2004), maar al 10 minuten na de eerste taak. In deze 10 minuten hebben de deelnemers een afleidende taak gekregen. Uit dit onderzoek kwam naar
voren dat deelnemers die vertraagde feedback hadden ontvangen op de tweede taak hoger scoorden dan de deelnemers die directe feedback hadden ontvangen.
In het huidige wetenschappelijke onderzoek is er dus nog duidelijk verdeeldheid over de timing van feedback. In dit onderzoek werd ook onderscheid gemaakt tussen directe en vertraagde feedback. Een verschil met de eerdergenoemde onderzoeken is dat deze leergericht zijn en dus geen motivatie meten. Dit onderzoek heeft motivatie gemeten aan de hand van prestatie omdat motivatie een predictor is van prestatie (Cerasoli, Nicklin & Ford, 2014). Hiervoor zijn in plaats van leergerichte taken, inzicht taken gebruikt. Bij deze inzicht taken gaat het niet om leren en kan aan de accuratesse waarmee de taken worden opgelost de motivatie worden afgeleid. Op deze manier werd de invloed van de timing van positieve feedback op motivatie onderzocht.
In het onderzoek werd de motivatie van de deelnemers met een impliciete
gedragsmaat (prestatietaakje) gemeten waarbij de deelnemers directe positieve feedback, vertraagde positieve feedback of geen feedback ontvingen. Een van de verwachtingen was een effect van valentie, dat de deelnemers die positieve feedback zouden ontvangen beter zouden presteren dan deelnemers die geen feedback zouden ontvangen. Een andere
verwachting was dat de deelnemers die de vertraagde positieve feedback zouden ontvangen nog hoger zouden scoren op het prestatietaakje dan de deelnemers uit de directe positieve feedbackconditie. Deze hypothese is gebaseerd op het feit dat de deelnemers uit de vertraagde positieve feedbackconditie vlak voor het verkrijgen van de feedback al een instructie lezen over het tweede deel. Deze instructie zorgt ervoor dat de deelnemers zich mentaal
voorbereiden op het tweede deel. Als de deelnemers dan positieve feedback krijgen over het vorige deel zou dit kunnen zorgen voor implementatie van deze positieve feedback in de voorbereiding en zo voor extra motivatie om het tweede deel goed te maken. Terwijl
deel zien als afsluiting van dat deel en dit dus minder meenemen voor het maken van het tweede deel.
Methode Deelnemers
Honderdzevenendertig eerste- en tweedeklassers van middelbare scholen deden mee aan dit onderzoek. De deelnemers hadden verschillende schoolniveaus, van vmbo-T tot gymnasium en een gemiddelde leeftijd van 12,77 jaar (SD = 0,61). In de steekproef zaten 63 jongens en 71 meisjes. Alle deelnemers zijn willekeurig toegewezen aan een van de drie condities, de directe positieve feedbackconditie, de vertraagde positieve feedbackconditie en de controleconditie. Ze hebben geen vergoeding gekregen voor hun deelname.
Materialen
De ouders van de leerlingen werden ingelicht en om toestemming gevraagd middels een toestemmingsformulier, zie appendix A.
Vragenlijst
De prestatiemotivatie van de leerlingen werd gemeten door een vragenlijst die is ontwikkeld door Kuhl & Henseler (2003). Deze test bestaat uit o.a. zes items van de Operant Motive Test die impliciete prestatiemotivatie meet, 20 items van de Motive Enactment Test die expliciete prestatiemotivatie meet en 14 items van de Action Controle Scale voor kinderen. Deze test is klassikaal en op papier bij de leerlingen afgenomen. In dit onderzoeksverslag wordt hier verder niet op ingegaan want dit is niet relevant voor de onderzoeksvraag.
Prestatiemaat
De afhankelijke variabele motivatie werd gemeten door middel van de prestatie op woord- en getal-zoektaakjes. Deze test hebben de leerlingen individueel gemaakt, achter een laptop op het programma Qualtrics. Het begin van de test bestaat uit een instructieblok en
twee oefenvragenblokken. Vervolgd door de aankondiging van het eerste blok, blok 1, de aankondiging van het tweede blok, blok 2 en de afsluiting. De aankondiging ziet er als volgt uit: “In de volgende ronde doe je eerst 3 woord-zoekopgaves en daarna 3
getal-zoekopgaves” (de volgorde van de opgaves varieert per persoon per blok). Een voorbeeld van een woord-zoekopgave is: ‘Welk woord zit hier verstopt?’ Hierbij wordt een soortgelijke afbeelding als Figuur 1 getoond waarin de deelnemer een 4-letter woord moet zoeken. Figuur 1.
Een voorbeeld van een getal-zoekopgave is Figuur 2. Hierbij was het de bedoeling dat de deelnemer twee getallen aankruiste die opgeteld het somgetal in de vraag vormde. Figuur 2.
Manipulatiecheck
De afsluiting van de test bestaat uit een aantal manipulatiechecks. Dit zijn vragen die controleren of de gegeven positieve feedback is aangekomen. Een van de gestelde vragen is “Hoe goed heb je RONDE 1 gedaan?” Deze kan worden beantwoord op een 5-puntsschaal variërend van 1 (heel goed) tot 5 (slecht). Met deze vraag kan bekeken worden of de feedback
invloed heeft gehad op hoe de deelnemer zichzelf beoordeeld. Een andere vraag die is opgenomen in de test: “Wat denk je dat de proefleider vond: Hoe goed vond de proefleider dat je RONDE 1 hebt gedaan?” Ook deze vraag kan beantwoord worden op een
5-puntsschaal variërend van 1 (heel goed) tot 5 (slecht). Deze vraag is bedoeld als controle om te kijken of de feedback is aangekomen bij de deelnemer. Uiteindelijk wordt er ook nog gevraagd aan de deelnemer: “In sommige onderzoeken zijn dingen nep (dus anders dan je is verteld) – denk je dat er iets nep was aan dit onderzoek? Schrijf het dan hieronder op” en wordt de deelnemer gevraagd waar hij of zij dacht dat het onderzoek over ging. Met deze vragen kan gecontroleerd worden of de deelnemer de feedback als ‘nep’ heeft ervaren en of deze misschien wist waar het onderzoek over ging en dan worden de gegevens van deze deelnemer niet meegenomen.
Feedback
De onafhankelijke variabele was het wel of niet geven van feedback. Tussen de aankondiging van het eerste en tweede deel en opgaven van het eerste en tweede deel in, kwam er telkens voor 7 seconden ‘Even geduld’ op het scherm te staan. Dit was het moment waarop er wel of geen feedback werd toegepast. De feedback was als volgt geformuleerd: “Je hebt het eerste deel goed gedaan!” De deelnemers uit de directe feedback conditie ontvingen de feedback tijdens de 7 seconden ‘Even geduld’ direct na het eerste deel, de deelnemers uit de vertraagde feedback conditie na de aankondiging van het tweede deel en de deelnemers uit de controle conditie ontvingen geen feedback.
Procedure
Van alle middelbare scholen in Nederland werden er een paar willekeurig uitgekozen met de vraag deel te nemen aan het onderzoek. Hiervan hebben uiteindelijk vier scholen gereageerd enthousiast te zijn om mee te doen. Telkens in koppels van twee zijn de proefleiders naar de scholen gegaan om de deelnemers op de hoogte te stellen van het
onderzoek en om de toestemmingsformulieren uit te delen. De deelnemers werd verteld dat ze meededen aan een onderzoek over het onderwijs van de Universiteit van Amsterdam en dat er, mits ze toestemming kregen van hun ouders, eerst een klassikale vragenlijst zou worden afgenomen en daarna wat individuele taakjes. Alle deelnemers kregen dezelfde klassikale vragenlijst, tijdens een lesuur op school. Ze kregen als instructie om de vragenlijst serieus, in stilte en individueel te maken. Hen werd benadrukt dat niemand de antwoorden te zien kreeg en dat het niet ging om een toets waar ze een beoordeling voor zouden krijgen. Deze
klassikale vragenlijst duurde gemiddeld zo’n 30 minuten. Een paar dagen later of de week erop werden de deelnemers een voor een uit de klas gehaald en naar een andere ruimte gebracht door een proefleider. Hier werd hen verzocht plaats te nemen achter een laptop om een aantal denkopgaven te maken. De proefleider ging schuin achter de deelnemer zitten zodat deze mee kon kijken of alles goed ging en of de deelnemer had begrepen wat hij of zij moest doen. Als de deelnemer aan was gekomen bij het eerste blok van de test pakte de proefleider het bovenste papiertje van een stapel gerandomiseerde conditiebriefjes. Hierop kon de proefleider zien in welke conditie de deelnemer zat. Als de deelnemer in de directe positieve feedbackconditie zat gaf de proefleider de feedback tijdens de 7 seconden ‘Even geduld’ tussen het eerste deel en de voorbereiding van het tweede deel in. Zat de deelnemer in de vertraagde positieve feedbackconditie, dan gaf de proefleider de feedback tijdens de zeven seconden ‘Even geduld’ tussen de voorbereiding van het tweede deel en het tweede deel in. Bij de controleconditie gaf de proefleider geen feedback.
Als het kind aangekomen was bij de eindvragen verplaatste de proefleider naar een andere stoel in de kamer zodat deze niet meer mee kon kijken op het scherm van de deelnemer. Dit was belangrijk zodat de deelnemer de eindvragen naar alle eerlijkheid kon invullen zonder het idee te krijgen dat de proefleider kon meekijken. Aan het einde van de test deed zich een beknopte of uitgebreide debriefing plaats (zie appendix B). De uitgebreide
debriefing werd alleen toegepast als de proefleider zag dat de deelnemer ‘best slecht’ of ‘heel slecht’ had geantwoord op de vraag: ‘Hoe goed of slecht voel je je nu?’ of als de proefleider het idee kreeg dat de deelnemer zich niet prettig voelde na afloop van de test. Daarna mocht de deelnemer weer terug naar de les. Deze individuele afnamen duurden gemiddeld zo’n 25 minuten.
Resultaten
Van de 137 deelnemers rapporteerden er drie dat ze dachten dat het onderzoek ging over motivatie. De gegevens van deze deelnemers zijn niet meegenomen in de verdere dataverwerking. Verder zijn er twee deelnemers uit de dataset verwijderd vanwege een fout van de proefleider en een technisch probleem. De overgebleven gegevens zijn gebruikt in de analyses.
Voor het uitvoeren van de manipulatiechecks is er een ANOVA uitgevoerd. We hebben deze manipulatiecheck uitgevoerd omdat we wilden weten of de deelnemers in de twee positieve feedbackcondities dachten dat ze het beter hadden gedaan dan in de controle conditie. Er zijn twee vragen opgenomen ter controle van de manipulatie, één daarvan was de vraag hoe de deelnemers vonden dat ze deel 1 hadden gedaan op een 5-puntsschaal variërend van 1 (heel goed) tot 5 (slecht) waarbij een hoge score dus betekent dat de deelnemer dacht dat het niet goed ging. De andere vraag was hoe de deelnemer dacht dat de proefleider vond dat hij/zij het had gedaan, deze was op dezelfde manier gescoord, variërend van 1 (heel goed) tot 5 (slecht). In Tabel 1 zijn de gemiddelden en standaarddeviaties van de verschillende condities op de manipulatiechecks weergegeven.
Tabel 1
Gemiddelde Scores van de Manipulatie Controlevragen met Bijbehorende Standaarddeviaties (tussen Haakjes) voor de Directe Positieve Feedbackconditie, de Vertraagde Positieve Feedbackconditie en de geen Feedbackconditie
Conditie Zelf Proefleider
Directe positieve feedback Vertraagde positieve feedback Geen feedback 1,98 (0,68) 2,32 (0,69) 2,33 (0,79) 1,98 (0,57) 2,05 (0,64) 2,39 (0,65)
Noot. Zelf = hoe goed denk je dat je de eerste ronde hebt gedaan? Proefleider = Hoe goed denk je dat de proefleider vond dat je ronde 1 hebt gedaan?
In deze tabel is te zien dat de gemiddelden van de directe positieve feedbackconditie en de vertraagde positieve feedback conditie lager zijn dan die van de controleconditie. Dit betekent dat de deelnemers uit de directe positieve feedbackconditie en de vertraagde positieve feedbackconditie dachten dat ze het beter hadden gedaan dan de deelnemers uit de controleconditie. Ditzelfde effect gold voor de vraag hoe de deelnemers dachten dat de proefleider vond dat ze het hadden gedaan. Dit effect is zelfs iets groter bij de vraag hoe ze dachten dat de proefleider vond dat ze het gedaan hadden dan hoe ze zelf vonden dat ze het gedaan hadden. Dit is terug te zien in de significantie, voor de vraag over henzelf is een significant effect gevonden van F(2,133) = 3,50, p = 0,033 en voor de vraag over de
proefleider is er een significant effect gevonden van F(2,133) = 5,81, p = ,004. Ook is er een contrast analyse uitgevoerd waaruit bleek dat voor beide vragen gold dat conditie 1 en conditie 2 significant verschilden van conditie 3. Hiermee kan geconcludeerd worden dat de manipulatiecheck is geslaagd.
Voor de hoofdanalyse werd voor iedere conditie de gemiddelde score van de eerste ronde, de gemiddelde score van de tweede ronde en de verschilscores berekend van zowel de
woord-zoekopgaves als de getal-zoekopgaves met de bijbehorende standaardafwijkingen, zie Tabel 2.
Tabel 2
Gemiddelde Scores Ronde 1, Gemiddelde Scores Ronde 2 en de Verschilscores van de Woord- en Getal-zoekopgaven met Standaarddeviaties (tussen Haakjes) voor de Directe Feedback Conditie, Vertraagde Feedback Conditie en Controle Conditie.
Conditie Score ronde 1 Score ronde 2 Verschilscore Woord-zoektaak Directe feedback Vertraagde feedback Geen feedback Getal-zoektaak Directe feedback Vertraagde feedback Geen feedback 2,66 (0,70) 2,65 (0,74) 2,56 (0,82) 2,94 (0,25) 2,88 (0,33) 2,85 (0,41) 2,68 (0,59) 2,53 (0,78) 2,73 (0,57) 2,91 (0,28) 2,98 (0,16) 2,81 (0,45) -0,02 (0,66) 0,13 (0,76) -0,17 (0,75) 0,02 (0,39) -0,10 (0,38) 0,04 (0,58)
Voor de scores van ronde 1 en ronde 2 geldt hoe hoger het gemiddelde is, hoe beter de
deelnemer heeft gepresteerd. De verschilscore geeft de prestatie per taak tijdens ronde 1 weer, gecontroleerd voor de prestatie tijdens ronde 2. Een negatief getal wijst uit dat de deelnemers gemiddeld hoger hebben gescoord op het tweede deel dan op het eerste deel. Als de uitkomst in lijn zou zijn met de hypothese zou er dus een negatieve verschilscore moeten zijn voor de directe positieve feedbackconditie en de vertraagde positieve feedbackconditie in vergelijking met de controleconditie. Dit is niet het geval en dit blijkt ook uit de variantieanalyse
(MANOVA) die is uitgevoerd op deze verschilscores met één tussen-deelnemers variabele conditie (directe feedback, vertraagde feedback en controle) en twee binnen-deelnemers
variabele soort opgave (woord-zoekopgave en getal-zoekopgave). Bij deze test is gebruik gemaakt van de Pillai’s Trace en hieruit blijkt ook dat er geen significant effect was van positieve feedback op prestatie, V = 0,03, F(2,132) = 1,13, p = ,343. In de tabel tests of between-subjects effects is te zien dat voor beide soort opgaven apart ook geen significant effect van conditie is gevonden. Het gemiddelde van de verschilscores van de woord
-zoekopgaves was M = ,68, SD = 1,36, hierbij is geen significant effect van conditie gevonden, F(2,132) = 1,24, p = ,293. Het gemiddelde van de verschilscores van de getal-zoekopgaves was M = ,31, SD = ,62 en hierbij is ook geen significant effect van conditie gevonden,
F(2,232) = 1,46, p = ,235. Hieruit blijkt dat het niet uitmaakte of en welke vorm van feedback de deelnemers ontvingen.
Discussie
In deze studie werd het effect van de timing van positieve feedback op motivatie onderzocht. Dit is onderzocht door middelbare schoolkinderen twee rondes inzichttaakjes te laten maken waarbij ze random directe positieve feedback, vertraagde positieve feedback of geen feedback ontvingen over hun prestaties van de eerste ronde. Vervolgens werd gekeken of ze hierdoor beter scoorden op de tweede ronde. De hypothese hierbij was dat vertraagde positieve feedback zou zorgen voor betere prestaties op een tweede taak dan directe positieve feedback en nog beter in vergelijking met de deelnemers die geen feedback ontvingen.
De manipulatie was geslaagd, deelnemers die positieve feedback hadden ontvangen dachten significant dat ze het beter hadden gedaan dan deelnemers die geen feedback hadden ontvangen. Ook dachten de deelnemers die positieve feedback hadden ontvangen dat de proefleider vond dat ze het beter hadden gedaan dan deelnemers die geen feedback hadden ontvangen. Daarmee is het duidelijk dat het compliment is aangekomen bij de deelnemers. In tegenstelling tot onze verwachtingen werd er echter geen effect van deze positieve feedback
gevonden op de prestatie van de deelnemers. Deelnemers die positieve feedback hadden ontvangen deden het niet beter dan deelnemers die geen feedback hadden ontvangen. Er kan daardoor ook niks geconcludeerd worden op het gebied van de timing van de feedback. De manipulatie had in zijn geheel geen effect op de prestatie. Dit betekent ook dat er niks gezegd kan worden over de werking van positieve feedback op de motivatie van leerlingen en
daarmee is er niet aan onze verwachtingen voldaan.
Een mogelijke reden dat de positieve feedback wel is aangekomen maar niet het gewenste effect had is de opzet van het onderzoek in de kamer tijdens de test. De positieve feedback bracht bij sommige deelnemers nogal verrassing teweeg. Veel deelnemers hadden niet goed in de gaten dat de proefleider hun prestaties goed kon volgen. Hierdoor ontstond er vaak een verassingseffect bij het geven van de positieve feedback en soms leek dit ook te leiden tot ongeloofwaardigheid. De deelnemers leken vaak te zoeken naar iets waardoor de proefleider gezien kon hebben dat ze het goed gedaan hadden. Een tablet die de proefleider voor zich heeft met daarop het geopende programma zou dan ook in vervolgonderzoek meteen een oplossing kunnen zijn. Hierdoor zal de deelnemer direct zien dat de proefleider goed kan meekijken en hierdoor zal wellicht het compliment beter aankomen.
Ook al kan er niks gezegd worden over de werking van positieve feedback op motivatie, wel kunnen er aanbevelingen gedaan worden over vervolgonderzoek. Het geven van positieve feedback wordt namelijk op zo’n grote schaal toegepast en toegejuicht (Henderlong & Lepper, 2002) dat verder onderzoek hiernaar zeker relevant is. Ook is zoals eerder is besproken uit eerdere onderzoeken gebleken dat er wel degelijk effecten zijn van complimenten op prestatie (Hattie & Timperly, 2007) en ook verschil tussen directe of vertraagde feedback (Dihoff, Brosvic, Epstein & Cook, 2004). Daarom gaan we ervan uit dat er een aantal methodologische punten zijn die in dit onderzoek verbeterd kunnen worden en dat er dan alsnog een effect gevonden kan worden.
Een mogelijke verklaring voor het ontbreken van een effect is dat de taken die de deelnemers moesten doen te makkelijk waren. In de resultaten was er namelijk duidelijk een plafondeffect te zien. Veel deelnemers hadden bijna alle opgaven goed waardoor er weinig speelruimte was voor verbetering. Ook was doordat er zoveel deelnemers waren die alles goed hadden aan de hand van accuratesse niet af te leiden of de feedback effect had of niet. Een suggestie voor vervolgonderzoek zou kunnen zijn het moeilijker maken van de taken. Hierdoor zal er meer variatie ontstaan waardoor het effect van de manipulatie zichtbaar kan worden als deze aanwezig is.
Een andere suggestie voor vervolgonderzoek zou kunnen zijn een tijdslimiet in te stellen. Hierdoor zouden deelnemers sneller fouten kunnen gaan maken en dan zou er ook gemeten kunnen worden hoeveel opgaven deelnemers in een bepaald tijdslimiet kunnen maken.
Een laatste suggestie voor het verkrijgen van meer variatie in een vervolgonderzoek is taken maken waarbij een deelnemer geheel zelf tot een antwoord moet komen (bijvoorbeeld een rekensom) i.p.v. moet kiezen uit antwoordmogelijkheden. Het kunnen kiezen uit
antwoordmogelijkheden zorgt er namelijk voor dat een deelnemer meestal na een bepaalde tijd nadenken of door te gokken wel op het goede antwoord komt. Als de deelnemer zelf het antwoord zou moeten bedenken is er veel meer kans op het maken van fouten. Ook dit zou kunnen zorgen voor meer variatie tussen de deelnemers en een grotere kans op het zien van een mogelijk effect van positieve feedback op prestatie.
Ten slotte is een aandachtspunt bij deze opzet dat deelnemers soms ook positieve feedback krijgen op het moment dat ze helemaal niet goed hebben gepresteerd. Als een deelnemer geen van de vragen wist te beantwoorden zal het compliment niet goed aankomen en zal deze wellicht ook geen effect hebben op de volgende prestaties. Dit is iets waar altijd rekening mee gehouden moet worden bij het interpreteren van de resultaten. Hierbij zou
gekeken kunnen worden naar de prestatie van het kind en of er een groot verschil zit in hoe het kind zichzelf heeft beoordeeld en hoe het kind dacht dat de proefleider vond dat hij of zij het gedaan had.
Voorlopig kan de conclusie zijn dat in dit onderzoek geen enkele werking van positieve feedback op motivatie kon worden aangetoond. Leraren en ouders zouden daarom niet altijd direct van een positief effect van een compliment op motivatie uit moeten gaan. Wel kunnen we ervan op aan dat het compliment een positief effect heeft op de beoordeling van het kind op zijn of haar prestaties. Verdere effecten kunnen nog worden uitgewezen door vervolgonderzoek.
Literatuurlijst
Butler, A. C., Karpicke, J. D., & Roediger, H. L., III. (2007). The effect of type and timing of feedback on learning from multiple-choice tests. Journal of Experimental Psychology: Applied, 13(4), 273-281. doi:10.1037/1076-898X.13.4.273 18194050
Dihoff, R. E., Brosvic, G. M., Epstein, M. L., & Cook, M. J. (2004). Provision of feedback during preparation for academic testing: Learning is enhanced by immediate but not delayed feedback. The Psychological Record, 54(2), 207 %@ 0033-2933.
Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. doi:10.3102/003465430298487
Jelle, J. (2005). Beter onderwijs door meer kennis over leren en de hersenen. Schoolleiders in bedrijf.
Makri-Botsari, E. (2001). Causal links between academic intrinsic motivation, self-esteem, and unconditional acceptance by teachers in high school students. Riding, R., Rayner, S. G. (2001). Self perception. Pp.209-220.
Thompson, T. & Richardson, A. (2001). Self-handicapping status, claimed self-handicaps and reduced practice effort following success and failure feedback. British Journal of Educational Psychology, 71, 15
Kuhl, J., & Henseler, W. (2003). Entwicklungsorientiertes Scanning (EOS). [Development-oriented scanning (EOS)]. In L. V. Rosenstiel & J. Erpenbeck (Eds.), Handbuch der Kompetenzmessung [Handbook of competence
measurement] (pp. 428–453). Heidelberg, Germany: Schäffer-Poeschel.
Cerasoli, C. P., Nicklin, J. M., & Ford, M. T. (2014). Intrinsic motivation and extrinsic incentives jointly predict performance: A 40-year meta-analysis. Psychological
Appendix A
Informatiebrief onderzoek UvA Geachte ouders/verzorgers,
[NAAM VAN SCHOOL] verleent medewerking aan een onderzoek van de Universiteit van Amsterdam (UvA). Contactpersonen zijn Nils Jostmann en Eddie Brummelman, onderzoekers aan de Faculteit der Maatschappij- en Gedragswetenschappen (FMG). De schoolleiding vindt medewerking aan het onderzoek nuttig. Het onderzoek vindt plaats op school en duurt in totaal ca. een uur. Onze ervaring leert dat kinderen het leuk en leerzaam vinden om deel te nemen aan ons onderzoek.
Alleen kinderen met toestemming van ouders/verzorgers kunnen deelnemen aan het onderzoek.
Waar gaat het onderzoek over?
We onderzoeken hoe kinderen uitdagende denkopdrachten doen. Hierbij krijgen de kinderen feedback en/of de uitslag te horen. Ook onderzoeken we hoe hun persoonlijkheid en stemming hun taakprestatie beïnvloeden.
Hoe ziet het onderzoek eruit?
Eerst vullen kinderen klassikaal vragenlijsten in over hun persoonlijkheid, hun opvoeding, en hoe ze zich doorgaans voelen. Dit duurt ca. 40 minuten. Daarna doen kinderen individueel mee aan een experiment. Daarin doen ze denkopdrachten, en krijgen ze feedback van de onderzoeker over hoe ze zich op dat moment voelen. Tijdens de opdrachten geven kinderen aan hoe ze zich voelen en hoe gemotiveerd ze zijn. Dit duurt ca. 20 minuten.
Het onderzoek wordt begeleid door getrainde studentes van de Universiteit van Amsterdam. Voor het onderzoek geldt de reguliere aansprakelijkheidsverzekering van de Universiteit van Amsterdam.
Is het anoniem en vertrouwelijk?
Ja. Alle gegevens worden anoniem en vertrouwelijk verwerkt. De naam van uw kind wordt losgekoppeld van de onderzoeksgegevens. Alleen de onderzoekers hebben toegang tot de gegevens; de school niet.
Kan mijn kind stoppen wanneer hij/zij wil?
Ja. Uw kind kan op elk gewenst moment stoppen zonder opgaaf van reden. Als uw kind wil stoppen, kan hij/zij dat vertellen aan de aanwezige onderzoeker. Ook kunt u tot 24 uur na deelname van uw kind alsnog de gegevens van uw kind terugtrekken door dit te mailen naar Nils Jostmann (n.b.Jostmann@uva.nl) of Eddie Brummelman (e.brummelman@uva.nl). Stoppen of gegevens terugtrekken zal geen negatieve gevolgen hebben voor u of uw kind.
Hoe geef ik toestemming?
Vul het formulier “Toestemmingsverklaring” en, en laat het door uw kind inleveren bij [NAAM LEERKRACHT] vóór [DATUM].
Aan wie kan ik vragen stellen?
Als u vragen heeft over dit onderzoek kunt u contact opnemen met Dr. Nils
Jostmann, n.b.Jostmann@uva.nl, 0619220362, postadres: postbus 15900, 1001 NK Amsterdam, of Dr. Eddie Brummelman, e.brummelman@uva.nl, 0655402753, postadres: postbus 15780, 1001 NG Amsterdam. Voor eventuele klachten over dit onderzoek kunt u zich wenden tot het lid van de Commissie Ethiek, Dr. Mark Rotteveel, m.rotteveel@uva.nl, 020 5256713, postadres: postbus 15900, 1001 NK Amsterdam.
TOESTEMMINGSVERKLARING onderzoek UvA
Als u dit formulier tekent, verklaart u dat u het informatieformulier (“Informatiebrief onderzoek UvA”) hebt gelezen en begrepen, en u akkoord gaat met de daarin beschreven gang van zaken.
De ouder(s) / begeleider(s) van
Naam: ………
Groep: …………
Geven hierbij toestemming voor deelname aan het onderzoek van de Universiteit van Amsterdam.
Handtekening: ………
Datum: ………
VRAAG UW KIND DIT FORMULIER IN TE LEVEREN BIJ [NAAM LEERKRACHT] VÓÓR [DATUM].
Appendix B
Protocol individuele afname a. Algemene aandachtspunten
• Dit is een experimenteel onderzoek. In dit onderzoek is het cruciaal dat je alle kinderen precies dezelfde instructie geeft en op precies dezelfde manier behandelt. Het enige dat mag verschillen tussen kinderen is de inhoud van de envelop met de feedback.
• Je mag als proefleider niet vooraf weten welke feedback een kind krijgt. Dit voorkomt dat je kinderen “uitkiest” voor een bepaalde conditie. Pas tijdens het experiment kom je erachter in welke conditie het kind zit (dus welke feedback je geeft).
• Stel je tijdens het experiment altijd neutraal op tegenover kinderen. Dus
probeer kinderen niet gerust te stellen, op hun gemak te stellen, spanning weg te nemen, et cetera.
• Geef kinderen geen complimenten of kritiek. Dit is cruciaal, want een
compliment of kritiek zou direct interfereren met de experimentele manipulatie. De ervaring leert dat dit erg lastig is. Complimenten als ‘wat heb je een leuke trui aan’ ‘ik vind je tas zo stoer’ zijn erg snel gegeven maar probeer dit te allen tijde te voorkomen. Als je per ongeluk toch een compliment of kritiek geeft, noteer dit dan direct op het logformulier. Dan kunnen we hier rekening mee houden in de analyses.
• Sommige kinderen zijn heel stil terwijl andere kinderen heel extravert zijn. Het kan moeilijk zijn om stille en extraverte kinderen precies op dezelfde manier te bejegenen omdat extraverte kinderen vaak een gesprek met je proberen aan te gaan en omdat je introverte kinderen misschien gerust wilt stellen. Probeer alle kinderen precies gelijk te behandelen.
• Zorg dat op alle documenten van een kind zijn/haar proefpersoon nummer komt te staan. Zo weet je achteraf met zekerheid welke documenten bij elkaar horen.
• Draag nette kleding
• Zorg dat je tijdens het onderzoek altijd een mobiele telefoon bij je hebt met mijn nummer erin, zodat je me kunt bellen in noodgevallen. Zorg dat je telefoon op stil staat (dus trilfunctie ook uit). Kinderen mogen geen piepje horen.
• Zorg ervoor dat je een stabiele internetverbinding hebt voor de laptop in de kamer waar je de individuele sessie afneemt. Een verbinding met kabel is vaak stabieler dan WIFI.
• Zorg dat de laptop aangesloten is op het stroomnetwerk (de accu’s zijn vaak onbetrouwbaar), dat de computer muis goed werkt en dat je een fatsoenlijke ondergrond (mousepad) hebt voor de muis. Test dit van tevoren. Zorg er ook
voor dat Windows geen updates kan uitvoeren tijdens de afname. Je kunt de laptop ook ca. één uur vóór de test alvast aanzetten, dan zijn de updates klaar.
• Zorg dat het kind goed kan zien wat er op het scherm staat (vraag het even van tevoren en ga desnoods de helderheid instellen en/of de hoek van het scherm aanpassen)
b. Benodigdheden
• Laptop met stroom- en internetaansluiting + muis en mousepad (test van tevoren de werking van alles)
• Papieren:
1. Dit protocol
2. Het logboek (met het juiste proefpersoon nummer)
3. Stapel briefjes met experimentele manipulatie (zie Bijlage A voor hoe te randomiseren)
• Schrijfspullen: pennen voor jezelf
• Klassenlijst (met daarop aangeven wie wel/geen toestemming heeft)
c. Procedure
[Zet het programma klaar en vul het juiste proefpersoon nummer in qualtrics in. Maak oogcontact met het kind]
Hallo, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen vandaag het individuele deel van het onderzoek. [Geen small talk voordat kinderen helemaal klaar zijn.] Je gaat zo denkopgaven doen. Dat gebeurt allemaal op deze laptop.
Lees de instructies altijd goed door. Alles wijst zich vanzelf. Als je toch een vraag hebt mag je die aan mij gaan stellen. Je mag nu eerst je voor- en achternaam en de naam van je school invullen.
Je mag nu naar het volgende scherm gaan. Ik ga ondertussen hier zitten. [Neem schuin achter het kind plaats. Het kind moet zich niet ongemakkelijk voelen door jouw aanwezigheid maar mag wel merken dat je meekijkt. Houd dus voldoende afstand. Let op tekens van ongemak en ga in een dergelijk geval iets verder weg zitten. Als het kind vraagt waarom je meekijkt zeg dan: “Ik ga een tijdje meekijken of alles duidelijk is”. In principe werkt het kind nu zelfstandig. Houd in de gaten of het kind de oefenopgaven goed doet. Soms kunnen kinderen een tijdje niets meer doen. Als je het gevoel hebt dat een kind dichtslaat of niet weet wat het moet doen, zeg dan: “Ik zie dat je hier niet verder gaat. Heb je misschien uitleg nodig?” Herhaal vervolgens de instructies in een simpele bewoording. Vraag het kind of het
nu duidelijk is en of het nu verder wil gaan? Vermijd complimenten! Probeer
geruststellende woorden in eerste instantie te vermijden maar voorkom dat het kind zich vervelend gaat voelen. Als je het gevoel hebt dat het kind echt emotionele steun nodig heeft, moet je die natuurlijk geven. Noteer in ieder geval duidelijk in het
logboek wat de situatie is geweest zodat we ermee rekening kunnen houden bij de analyses. Hetzelfde geldt als een kind het emotioneel moeilijk heeft tijdens de echte rekentaak]
[Houd in de gaten of het kind bij iedere oefenopgave twee getallen aanklikt (in plaats van 0, 1, of meer dan 2. Zeg indien nodig: Ik zie dat je maar 1 getal/meer dan 2 getallen aan vinkt. Je moet precies 2 getallen zoeken en aanvinken]
[terwijl het kind nog bezig is met het de oefenopgaven, pak je de bovenste brief van de conditie stapel en kijk je in welke conditie het kind zit]
d. MANIPULATIE
[Na de oefenopgaven volgt de echte test. Deze bestaat uit twee rondes. Tijdens iedere ronde moeten de kinderen 3 getal-zoekopgaves en 3 woord-zoekopgaves doen. Er zijn twee condities: sommige kinderen gaan in RONDE 1 eerst de getal-zoekopgaves doen en daarna de woord-getal-zoekopgaves. In RONDE 2 draait de volgorde om. Bij andere kinderen is het precies omgekeerd: ze doen in RONDE 1 eerst de woord-zoekopgaves en daarna de getal-zoekopgaves. In RONDE 2 draait de volgorde om. Jij hoeft hier niets mee te doen – de computer bepaalt de volgorde condities.
Na RONDE 1 (na de 6e opgave) verschijnt op het scherm gedurende 7 secondes “een ogenblik geduld…” Daarna verandert het scherm en staat er informatie over de volgorde van de volgende ronde, bijvoorbeeld “In de volgende ronde doe je eerst 3 woord-zoekopgaves en daarna 3 getal-zoekopgaves”. Na 7 secondes kan het kind het scherm verlaten door op “volgende” te klikken. Dan staat er weer gedurende 7 secondes “een ogenblik geduld…”. Daarna begint vanzelf RONDE 2.
[Tijdens deze gebeurtenissen volgt de manipulatie. Lees de manipulatie niet voor vanaf het papier, maar zeg het zo natuurlijk mogelijk tegen het kind. Zorg dat je elke conditie met dezelfde neutrale lichaamshouding en intonatie uitspreekt. Spreek rustig en duidelijk zodat het kind alles goed kan verstaan.]
Conditie 1: onmiddellijke positieve feedback
• Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Tijdens deze 7 secondes zeg jij: “Het eerste deel heb je goed gedaan!” Conditie 2: vertraagde positieve feedback
• Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Het scherm verandert automatisch naar “In de volgende ronde doe je eerst
3…opgaves en daarna 3…opgaves”. Het kind kan na 7 secondes zelf verder klikken. Daarna verschijnt wederom gedurende 7 secondes “een ogenblik geduld…”. Tijdens deze 7 secondes zeg jij: “Het eerste deel heb je goed gedaan!”
Conditie 3: geen feedback
• Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Het scherm verandert automatisch naar “In de volgende ronde doe je eerst 3… en daarna 3…”. Het kind kan na 7 secondes zelf verder klikken. Daarna
Pak ondertussen het conditie briefje en kijk in welke conditie het kind zat, en
schrijf dit op het logformulier. Dit is de enige manier waarop je achteraf kunt achterhalen in welke conditie het kind zat, dus werk zorgvuldig.
[Het kind werkt verder aan RONDE 2. Jij blijft gewoon zitten]
[Het kind gaat als eerste invullen of het zich goed of slecht voelt nu nadat het de opgaves van RONDE 2 heeft gemaakt. Zorg dat je meekrijgt of het kind aangeeft dat het zich “een beetje van allebei”; “best slecht” of “heel slecht” invult. Als dat zo is moet je na afloop hierover een gesprek beginnen – zie onder; Na deze vraag ga je niet meer meekijken wat het kind invult; sta op en ga ergens anders in de kamer zitten]
[Het kind zal zelf aangeven wanneer het klaar is met het computer gedeelte.] Nu ben je klaar met het onderzoek. Dankjewel voor het meedoen! Vond je het leuk?
Controleer of het eindscherm van qualtrics verschijnt. Doe nu de beknopte debriefing (zie Protocol debriefing). [Vul na de debriefing, als het kind weg is, het logformulier in]
e. Mogelijk voorkomende vragen en situaties
• Het kind zoekt contact met je tijdens de afname (e.g., zoekt oogcontact, denkt hardop). Ga hier niet in mee, zwijg als het kan. Je hoeft geen
oogcontact te maken als het kind werkt. Alleen als het kind letterlijk iets
vraagt, moet je antwoorden, en kun je beschrijvend antwoorden. Bijvoorbeeld: als het kind vraagt of het zojuist het goede antwoord hebt gegeven, zeg je dat je dat niet kunt zeggen.
• Het kind moet naar de WC. Als dit plaatsvindt voordat het kind begint, laat het kind dan naar de WC gaat. Als dit plaatsvindt als je al bent begonnen, vraag dan of het kind het een kwartier kan ophouden. Als het dat echt niet kan, laat het kind dan naar de WC gaan, en noteer op het logformulier dat dit gebeurde en op welk punt in het experiment dit precies gebeurde.
• Het kind begint te huilen. Stel het kind gerust [dit kun je uiteraard alleen doen als je weet dat je het onderzoek moet afbreken, en de data van het kind dus niet kunt gebruiken]. Vraag waarom het huilt. Noteer dit op het
logformulier (wat er gebeurde en vooral op welk punt in de procedure). Breek het onderzoek af en breng het kind terug naar de klas. Je mag het kind
natuurlijk ook het onderzoek laten afmaken als het kind dat graag wil (maar wij zullen niets aan de data hebben, dus het is belangrijk dat je alles goed
noteert). Doe alleen een debriefing als de manipulatie al is geweest. Als de manipulatie nog niet is geweest, heeft de debriefing weinig zin.
• Het kind wil stoppen. Geef aan hoe lang het onderzoek ongeveer nog duurt. Als het kind echt wil stoppen, doe de debriefing (indien het kind na de
manipulatie wil stoppen), en laat het kind daarna terug gaan naar de klas. Noteer dit alles op het logformulier (wat er gebeurde en vooral op welk punt in de procedure).
• Het kind werkt enorm traag. Als dit geldt voor het invullen van de vragen aan het eind, zeg dan: “Het gaat om jouw mening, dus je hoeft niet lang te twijfelen over vragen.” Let op: voorkom dat je kinderen gerust gaat stellen; zeg
bijvoorbeeld niet: “Er zijn geen goede of foute antwoorden, dus maak je geen zorgen” (dit kan ongewenste invloed hebben op onze interventie).
• “Wat moet ik opschrijven” (als de participant de open vragen aan het invullen is). “Vul in wat jouw mening is. De vragen gaan over jouw mening. Als je niets wilt invullen mag dat ook”
• “Ik weet het niet meer” (als de participant de vragenlijst aan het invullen is). “Vul het antwoord in dat jij het beste vindt passen. De vragen gaan over jouw mening.”
Protocol beknopte debriefing
Bedankt dat je hebt deelgenomen aan het onderzoek. Wat vond je ervan om deel te nemen? [Laat het kind vertellen.]
We zullen jullie meer over dit onderzoek vertellen als iedereen die meedoet van jullie school, aan de beurt is geweest.
Protocol uitgebreide debriefing
[De uitgebreide debriefing geef je alleen als je het gevoel heeft dat een kind zich slecht voelt of zorgen maakt met betrekking tot het onderzoek; noteer dit heel duidelijk in het log-boek]
Hoe moeilijk vond je het om de opgaves te doen? Welke opgaves vond je moeilijker, de getal-zoekopgaves of de woord-zoekopgaves? Sommige waren best lastig, hé? Het goede nieuws is dat iedereen deze opgaven goed kan maken. We weten uit onderzoek dat als je maar lang genoeg oefent, iedereen er uiteindelijk goed in kan worden. Dus het is helemaal niet erg als je het deze eerste keer nog een beetje moeilijk vond. Je hebt het gewoon nog niet zo vaak geoefend.
Heb je nog vragen over het onderzoek?
[Laat het kind teruggaan naar de klas. Je kunt met de leerkracht afspreken dat het kind het volgende kind ophaalt. Je kunt echter ook afspreken dat je zelf meeloopt om de volgende deelnemer op te halen. Noteer telkens wat je je hebt gedaan]
