De Effectiviteit van Feedback:
De Rol van Timing en Valentie van Feedback op Prestaties
van Middelbare Scholieren
Sarah Esmée de Vries
Universiteit van Amsterdam
Bachelorthese Sociale Psychologie
Onder begeleiding van dhr. dr. N. B. Jostmann
In samenwerking met Nikita Uijtewaal, Arlo van den Brink en Martijn Schippers Datum: 31 mei 2016, Amsterdam
Studentnummer: 10196412 Aantal woorden: ….
Abstract
In deze studie werd onderzocht of valentie en timing van feedback zorgen voor een betere effectiviteit van feedback in relatie tot de prestaties van middelbare scholieren. De 276 deelnemers kregen, na afronding van het maken van een eerste deel matrix opgaven, ofwel positieve ofwel neutrale feedback, of voor de aankondiging van het tweede deel (direct) of na de aankondiging van het tweede deel (vertraagd). Uit de resultaten kwam naar voren dat er geen hoofdeffecten van valentie en timing bestaan, als ook geen interactie-effect van valentie en timing. Omdat de resultaten echter geen duidelijke ondersteuning, maar ook geen
ontkrachting zijn van de rol die valentie en timing kunnen spelen in de effectiviteit van feedback, worden belangrijke implicaties voor vervolgonderzoek aangedragen.
Inhoudsopgave
1. Inleiding 1
Valentie van Feedback 2
Timing van Feedback 4
Open en Gesloten Mindsets 4
Huidige Onderzoek 5 2. Methode 6 Procedure 6 Deelnemers 7 Materialen 8 3. Resultaten 11 4. Discussie 16 5. Literatuurlijst 20 6. Appendix A 22
1
Het geven van feedback is iets wat veel wordt gebruikt als het gaat om het aanleren van gedrag of informatie. Zowel in het opvoeden
Met feedback wordt de informatie die gegeven wordt over de prestatie of het begrip van een persoon aangeduid (Hattie & Timperley, 2007). Een algemeen idee is dat het geven van feedback positieve gevolgen heeft voor de prestaties, de motivatie en het zelfvertrouwen van leerlingen (Henderlong & Lepper, 2002). Die ‘algemene wijsheid’ over de effecten van feedback komen echter niet eenduidig naar voren uit de wetenschappelijke literatuur (Kluger & DeNisi, 1998).
Hoewel uit een meta-analyse van Hattie naar de effectiviteit van feedback blijkt dat feedback geven één van de top tien factoren is in het verbeteren van prestaties bij leerlingen, is er veel verschil in effectiviteit (1999; aangehaald in Hattie & Timperley, 2007). Zo zijn er zowel positieve als negatieve en soms zelfs geen effecten gevonden van feedback op prestaties van leerlingen (Kluger & DeNisi, 1998). Dat de effectiviteit sterk afhankelijk kan zijn van het soort feedback dat gegeven wordt, blijkt tevens uit een meta-analyse van Kluger en DeNisi (1996). Daaruit komt naar voren dat de kracht van feedback wordt beïnvloedt door de valentie (positief of negatief) van de feedback in samenhang met de prestatie op de taak. Daarbij lijkt het effectiever te zijn als de feedback informatie verschaft over wat er goed is gedaan, in tegenstelling tot wat er fout is gedaan. Alhoewel de invloed van feedback duidelijk naar voren komt, bleek uit dezelfde meta-analyse dat de effecten van positieve feedback zowel positieve als negatieve gevolgen hebben voor (intrinsieke) motivatie en prestaties. De valentie van feedback zorgt dus niet altijd voor eenduidige effecten. Om meer duidelijkheid te krijgen over wanneer feedback wel effectief zorgt voor een verhoogde motivatie en
verbeterde prestatie bij kinderen, zal dit onderzoek kijken naar de rol van de valentie van feedback en de rol van timing, een factor die tevens van invloed kan zijn. Allereerst zal
2 ingegaan worden op eerder onderzoek, waar de tegenstrijdige bevindingen van de rol van valentie wordt besproken. Vervolgens zal de rol die timing kan spelen worden belicht, omdat deze wellicht de wisselende effecten van de valentie van feedback kan verklaren.
Valentie van Feedback
Volgens Baumeister, Hutton en Cairns (1990) zorgt positieve feedback voor een vergelijking van jezelf met relevante normen en daarmee voor het ontstaan van een staat van zelfbewustzijn. De valentie, in dit geval het feit dat de feedback positief van aard is, kan worden opgevat als een erkenning dat de persoon die de feedback ontvangt de relevante normen heeft bereikt. Die erkenning kan echter zorgen voor een afname in inspanning op een taak, omdat de persoon het idee heeft dat met het bereiken van die normen, hij of zij kan relaxen. Positieve feedback na een taak zou daarmee zorgen voor een afname in motivatie om zich in te spannen en als gevolg hebben dat de prestatie op een volgende taak verslechtert (Deci & Ryan, 1980; aangehaald in Baumeister et al., 1990).
Dit idee wordt tevens ondersteund door de theorie over feedbackloops (Carver, 2003). Deze theorie stelt dat bij het behalen van een bepaald doel een specifieke standaard hoort die aangeeft hoe je moet presteren om dat doel te bereiken. Wanneer blijkt dat er een positief verschil bestaat tussen het doel wat je wilt bereiken en de optimale standaard om dat te doen, zal je de mate van inspanning verkleinen om weer terug te keren naar die optimale standaard. Uit het onderzoek van Baumeister en zijn collega’s (1990) blijkt echter dat op taken waarbij inspanning een belangrijke rol speelt, positieve feedback na een taak juist zorgt voor een verhoogde mate van inspanning en betere prestatie op de volgende taak. Wellicht resulteert de staat van zelfbewustzijn er voor dat mensen zich meer gemotiveerd voelen om een zo goed mogelijke prestatie te willen leveren. Dit kan verklaard worden vanuit de reinforcement theorieën, waarbij de positieve feedback zorgt voor een positieve bekrachtiging
3 van de zelf-attributies over de vaardigheid en van persoonlijke verwachtingen over het opnieuw behalen van succes.
Wanneer inspanning daarentegen geen belangrijke rol speelt bij de prestatie op de taak, maar deze sterk afhankelijk is van een te leren vaardigheid, blijkt positieve feedback de prestatie op de volgende taak te verminderen. Dit zou kunnen komen doordat het zich enkel meer inspannen op een dergelijke taak, niet zal leiden tot een verbeterde prestatie. Bij zogenoemde bekwaamheidstaken, zijn de prestaties afhankelijk van automatische (leer) processen die maken dat een persoon vaardig raakt in de taak en goed presteert (Baumeister et al., 1990). Het verhoogde zelfbewustzijn dat door positieve feedback ontstaat, zou de
automatische processen die een goede prestatie op een dergelijke taak onderliggen juist kunnen onderbreken. Kortom, het ontvangen van positieve feedback kan de motivatie en bijbehorende inspanning wel verhogen, maar toch vindt er niet altijd een verbetering plaats in prestatie op de taak.
In het onderwijs is het echter zo dat in de taken die worden gedaan, zowel inspanning als het leren van vaardigheden een belangrijke factor zijn voor het leveren van prestaties. Dat in de ene situatie positieve valentie van de feedback zou zorgen voor een verbetering in de prestaties en in de andere situatie niet, wordt verklaard door de mechanismen die de
voornaamste reden zijn van een goede prestatie op een taak (inzet of bekwaamheid). Er wordt geopperd dat door het onderbreken van de automatische processen die van belang zijn voor een prestatie, het effect van positieve feedback uit blijft. Maar wellicht is het zo dat wanneer deze automatische processen, naast de mate van inzet, een rol gaan spelen in de prestatie op een taak, de valentie van de feedback niet de voornaamste factor is in het succes van de feedback, maar dat die rol is weggelegd voor de timing van de feedback.
4
Timing van Feedback
Het idee dat de timing van feedback van belang kan zijn in de effectiviteit is iets wat in de wetenschappelijke literatuur al veelvuldig is onderzocht, maar waarover een duidelijke conclusie nog ontbreekt (Hattie & Timperley, 2007). Uit een onderzoek waarbij deelnemers na het leren van stof en het maken van een multiple-choice test, direct of vertraagd feedback kregen, bleek dat deelnemers die vertraagd feedback kregen (na één dag), significant beter presteerden dan deelnemers die direct na iedere vraag feedback hadden ontvangen (Butler, Karpicke & Roediger, 2007).
Ook uit een meta-analyse van Kulik en Kulik (1988) lijkt een wisselende invloed van direct en vertraagd feedback geven op prestaties te bestaan. Uit onderzoek naar de invloed van direct en vertraagd feedback geven op taken waarbij deelnemers woordenlijsten moesten leren, bleek enerzijds dat directe feedback de prestatie verbeterde met 2.57 standaarddeviaties (Landsman & Turkewitz, 1962; aangehaald in Kulik & Kulik, 1988). In dit onderzoek werd de feedback enkele seconden vertraagd voordat een nieuw item werd aangeboden. Anderzijds, werd op een soortgelijk onderzoek gevonden dat directe feedback de prestatie verslechterde met 1.00 standaarddeviatie (Battig & Brackett, 1961; aangehaald in Kulik & Kulik, 1988). Hierbij werd pas nadat een hele lijst met items was gemaakt, vertraagd feedback gegeven: de vertraagde feedback werd als een aparte trial na het afronden van de eerste trial aangeboden, alvorens werd begonnen met de tweede trial.
Open en Gesloten Mindsets
De wisselende effecten van de timing van feedback zou verklaard kunnen worden aan de hand van het concept van mindsets (Alexopoulos, Fiedler & Freitag, 2012). Wanneer een persoon een taak uitvoert ontstaat een bepaalde manier van denken, ook wel bekend als een mindset. In een open mindset wordt alles wat er aan informatie binnenkomt in relatie tot elkaar verwerkt. Daarmee wordt bedoeld dat als positieve feedback in een open mindset wordt
5 gegeven, de informatie die de feedback geeft, congruent aan de informatie (in dat geval de valentie) zal worden verwerkt. Feedback wordt echter vaak aan het eind van een taak gegeven en kan daardoor gezien worden als een teken dat de taak is afgerond. Met het afronden van de taak vinden er geen informatie congruente effecten plaats omdat de mindset van de taak waarover de feedback ging is afgesloten. Dit concept zou kunnen verklaren waarom het vertraagd aanbieden van feedback voor een nieuw item, niet leidt tot verbeterde prestaties (Landsman & Turkewitz, 1962; aangehaald in Kulik & Kulik, 1988): door de feedback aan te bieden voor een nieuwe taak, kan het zijn dat de feedback niet in een open mindset wordt verwerkt en daarmee kan de informatie die de feedback geeft, niet gebruikt worden voor het leveren van een prestatie op de volgende taak.
Het huidige onderzoek
Voortbouwend op de eerdere bevindingen zal in het huidige onderzoek worden gekeken naar de rol van valentie en timing, om een duidelijker beeld te krijgen van de invloed die deze factoren kunnen hebben in relatie tot het effect wat feedback heeft op de prestaties van kinderen. De vraag is of het vertraagd aanbieden (in een nieuwe open mindset) van positieve feedback ertoe leidt dat de informatie, congruent aan de valentie zorgt voor een verbetering in prestatie op een volgende taak.
Er wordt onderzocht of het geven van positieve feedback zorgt voor een verbetering in prestaties ten opzichte van neutrale feedback. Tevens zal worden gekeken of het vertraagd geven van feedback ten opzichte van het direct geven van feedback, zorgt voor een verbetering in prestaties. Daarnaast wordt verwacht dat een interactie van het vertraagd aanbieden van positieve feedback ook zal leiden tot een verbetering in prestaties van de deelnemers.
6 In dit onderzoek zal gekeken worden of de prestatie van de deelnemers verbeterd, door te kijken naar het verschil in de prestatie op een matrix taak. De deelnemers maken twee delen van 10 opgaven, waarbij ze telkens twee getallen moeten zoeken die samen optellen tot een gevraagd cijfer. Door tussen de twee delen een positieve of neutrale feedbackzin, direct na de taak en voor de aankondiging van het volgende deel, of respectievelijk na de aankondiging van het volgende deel te geven, worden de valentie en timing van feedback gemanipuleerd.
Methode Procedure
Klassikale afname. Gedurende de klassikale afname werd een vragenlijst afgenomen
die bestond uit zes TAT-achtige items die impliciete prestatie motivatie meten en uit 20 zelf-rapportage items die expliciete prestatie motivatie meten (Kuhl & Henseler, 2003; aangehaald in Erpenbeck & Rosenstiel, 2007). Aangezien deze metingen niet relevant waren voor de hypotheses die in het huidige onderzoek worden besproken, zal hier verder niet op worden ingegaan.
Individuele afname. Het onderzoeksteam bestond uit vier onderzoekers en iedere
onderzoeker had een eigen locatie waar de testafname plaatsvond. Omdat de procedure voor de afname voor iedere onderzoeker gelijk was, zal in het vervolg gesproken worden over ‘de onderzoeker’.
Deelnemers werden één voor één door de onderzoeker uit de klas gehaald en meegenomen naar de onderzoeksruimte. Na het invullen van het participantnummer, namen de deelnemers plaats achter de laptop. De onderzoeker ging schuin achter de deelnemers zitten en vertelde dat de instructies voor de denkopgaven die de deelnemer zou gaan maken op de laptop stonden en dat eventuele vragen gesteld konden worden aan de onderzoeker. De instructies voor de oefenopgaven waren te lezen op het scherm en er volgde twee
7 oefenblokken met in totaal vijf oefenopgaven. Gedurende het maken van de oefenopgaven door de deelnemers, werd door de onderzoeker gekeken in welke conditie de deelnemer zat door de bovenste conditie brief van de stapel te pakken (zie materialen) en daarnaast werd het logboek al deels ingevuld.
Na de oefenopgaven kregen de deelnemers de instructies voor het eerste deel van de matrix taak te lezen en vervolgens begon de taak automatisch. De onderzoeker hield middels een timer de tijd bij en zei de deelnemer te stoppen na twee minuten. De letter van de opgave waar de deelnemer was geëindigd werd door de onderzoeker onthouden en later in het logboek genoteerd. Indien dit nodig was, werd door de onderzoeker doorgeklikt naar het wachtwoordscherm. Dit was het moment waarop de feedback manipulatie plaatsvond en afhankelijk van de conditie waarin de deelnemer zat, werd de feedback op een specifieke manier gegeven (zie materialen).
Het tweede deel van de matrix taak werd op dezelfde manier afgenomen als het eerste deel, alleen klikte de onderzoeker na twee minuten (indien nodig) door naar de laatste instructie van het onderzoek. Deze bestond uit de mededeling dat de rekentaak (matrix taak) afgelopen was, maar dat er nog enkele vragen over het onderzoek volgden. Tenslotte vond er een debriefing plaats en liep de onderzoeker met de deelnemer mee terug naar de klas om de volgende deelnemer op te halen, of de deelnemer werd gevraagd om de volgende deelnemer naar de onderzoeksruimte te sturen.
Deelnemers
Voor dit onderzoek werden scholen in de regio Noord- en Zuid-Holland aangeschreven met de vraag of zij interesse hadden in deelname aan het onderzoek (zie Appendix A, Bijlage 1). Enkele dagen nadat de brieven waren verstuurd, werd er telefonisch contact opgenomen voor het maken van een afspraak om langs te komen en meer te vertellen
8 over het onderzoek. De uiteindelijk deelnemende scholen, respectievelijk school A, school B en school C, wezen de onderzoekers klassen uit de onderbouw toe, waar vervolgens
informatiebrieven en informed consent formulieren voor de ouders van de leerlingen zijn uitgedeeld. Leerlingen uit de onderbouw waren de leeftijdscategorie waar we ons op richtten omdat kinderen in deze periode veel kunnen hebben aan effectieve feedback. Leerlingen die een, door de ouders ondertekend informed consent formulier inleverden bij het
onderzoeksteam, namen tenslotte deel aan het onderzoek. In totaal deden er 276 deelnemers aan het onderzoek mee. Zie de resultatensectie voor meer informatie over de deelnemers. Voor deelname aan het onderzoek ontvingen de deelnemers geen beloning.
Materiaal
Afname materiaal.
Protocol. Voor zowel de klassikale als individuele testafnames werd er door de onderzoekers gebruik gemaakt van een vooraf opgesteld en geoefend protocol (zie Appendix A, Bijlage 2). Het protocol diende ervoor te zorgen dat het onderzoek door alle vier de onderzoekers op een zo gelijk mogelijke manier werd afgenomen, om daarmee de betrouwbaarheid van het onderzoek te waarborgen. Beide protocollen bestaan uit een beschrijving van algemene aandachtspunten, benodigdheden, de procedure, mogelijk voorkomende vragen en situaties en de debriefing. Het protocol voor de individuele afname bevat tevens een beschrijving over hoe de manipulatie uitgevoerd dient te worden in de verschillende condities. Ten slotte bevat het protocol twee bijlages met daarin informatie over de randomisatie van de condities en hoe de proefpersoon nummers toegekend diende te worden (zie Appendix A: Bijlage 3.g en 3.h).
9 Logboek. De onderzoekers hadden tevens per deelnemer een logboek (op papier), waarop algemene informatie (participantnummer, naam, klas, school en testdata) en eventuele bijzonderheden over de testafname op genoteerd konden worden.
Qualtrics. Het gehele individuele deel van het onderzoek werd op een laptop middels het online programma Qualtrics afgenomen en nam gemiddeld tussen de 15 en 25 minuten in beslag.
Condities. Via een online randomizer (zie Appendix A: bijlage 3.g) werd er een random nummer reeks gegenereerd van 20 nummers. De conditie briefjes werden vervolgens op volgorde gelegd van de nummer reeks (conditie 1 hoorde bij: nummers 1 t/m 5; conditie 2: 6 t/m 10; conditie 3: 11 t/m 15; conditie 4: 16 t/m 20), zodat de condities random waren verdeeld. De vier condities waren conditie 1: onmiddellijke positieve feedback; conditie 2: onmiddellijke neutrale feedback; conditie 3: vertraagde positieve feedback en conditie 4: vertraagde neutrale feedback.
Prestatie.
De afhankelijke maat, de prestatie van de leerlingen, is gemeten middels een matrix taak (Mazar, Amir & Ariely, 2008), waarbij de deelnemers binnen twee minuten zo veel mogelijk opgaven, zo accuraat mogelijk moesten maken. Een opgave bestond uit acht antwoordopties en de instructie om twee getallen te vinden die opgeteld precies een gevraagd getal waren. Per opgave was er telkens maar één juiste antwoordmogelijkheid.
In het eerste deel (10 opgaven) moesten telkens twee getallen gekozen worden die samen optelden tot acht en in het tweede deel (10 opgaven) was het gevraagde getal 12. Een voorbeeld van een matrix opgave uit deel 1 (opgave B) is: Zoek twee getallen die samen optellen tot precies 8 en waarbij het juiste antwoord was: 5.2 + 2.8. Zie Voorbeeld 1 voor een matrix opgave zoals deze werd aangeboden aan de deelnemers.
10 Per goed beantwoorde vraag kreeg de deelnemer een punt, waarmee de minimaal te behalen score per deel nul goed en de maximaal te behalen score 10 goed was. De
uiteindelijke verbetering in prestatie van de deelnemer werd berekend door de score op het eerste deel af te trekken van het tweede deel, waardoor er een verschilscore uit kwam. De verschilscore is gebruikt in de uiteindelijke analyse.
Manipulatie.
Valentie. De feedback die werd gegeven aan de deelnemer bestond uit twee zinnen: een feedback zin (positief/neutraal) en een aankondiging van de volgende taak. De aankondiging was: “Je mag nu verder gaan met het tweede deel”. Positieve feedback was: “Het eerste deel heb je goed gedaan!”. Neutrale feedback was: “Het eerste deel heb je nu afgerond”. De volgorde van de twee zinnen was afhankelijk van de timing van de feedback.
Timing. De timing van de feedback werd gemanipuleerd door de feedback op twee verschillende manieren aan te bieden. Een wachtwoordscherm was hierbij van belang. Bij het direct geven van de feedback werd voor het invullen van het wachtwoord (de letter f), feedback gegeven aan de deelnemer. Daarbij werd eerst de feedback zin (positief/neutraal) gezegd en vervolgens de aankondiging van de volgende taak. Wanneer er vertraagd feedback
Voorbeeld 1. Een matrixtaak (deel 1, Opgave A), waarbij twee getallen
gezocht moeten worden die samen optellen tot precies acht. In deze opgave bestaat het juiste antwoord uit 4.3 en 3.7.
11 gegeven moest worden, werd voor het invullen van het wachtwoord de aankondiging van de volgende taak gegeven, waarna de deelnemer de instructies kon lezen voor de volgende taak. Na het lezen van de instructies kwam er een wachtscherm van 12 seconden, waarin de onderzoeker de feedback zin (positief/neutraal) moest geven.
Resultaten Databehandeling
Van de 276 deelnemers is van zes deelnemers de data niet meegenomen in de verdere
dataverwerking. Eén van de deelnemers gaf aan te willen stoppen, een andere deelnemer heeft het onderzoek niet serieus ingevuld en bij de derde deelnemer viel de internetverbinding telkens uit, waardoor de data onbruikbaar werd. Verder bleek uit de boxplots van een outlier-analyse, dat de data van drie deelnemers op de variabele verschilscores voorbij de grens van anderhalf keer de kwartielafstand lagen. Daarom zijn tevens de gegevens van deze deelnemers niet meegenomen in de analyse. De uiteindelijk geselecteerde steekproef bevatte in totaal 270 deelnemers, waarvan 130 jongens en 140 meisjes met een gemiddelde leeftijd van 13.74 jaar (SD = .74).
Standaardisatiechecks
Of de condities van elkaar verschillen in het aantal mannen en vrouwen is bekeken door middel van een Chi-kwadraat toets. Aan de assumptie van onafhankelijkheid en aan de assumptie van verwachte frequenties is voldaan. Er bleek dat er geen significant verschil is in de man-vrouw verhouding tussen de onmiddellijk positieve feedback (OP) conditie, de onmiddellijk neutrale feedback (ON) conditie, de vertraagde positieve feedback (VP) conditie en de vertraagde neutrale feedback (VN) conditie, χ2
(3) = .393, p = .942. Er is tevens met een Chi-kwadraat toets gekeken naar de verdeling van leerlingen uit de drie schoolniveaus
12 (VMBO, HAVO en VWO) over de condities. Daarbij werd aan de assumpties voldaan. De verdeling van leerlingen uit de schoolniveaus VMBO, HAVO en VWO bleek niet significant te verschillen tussen de condities, χ2
(6) = 2.068, p = .913. Tenslotte is er gekeken naar de normaliteit van de scores op deel één en op deel twee per conditie. Op basis van de skewness en kurtosis z-waardes (tussen -1.96 en 1.96) en de gegenereerde boxplots, kon geconcludeerd worden dat de scores op deel één en deel twee per conditie bij benadering normaal is
verdeeld.
Hoofdanalyse
In de hoofdanalyse werd gekeken of de valentie van de feedback (positief of neutraal) en de timing van feedback (direct of vertraagd) van invloed zijn op het aantal sommen die deelnemers goed maken. In Tabel 1 zijn het gemiddeld aantal sommen goed (weergegeven als scores) voor deel één en deel twee, als ook de gemiddelde verschilscores per conditie
weergegeven.
Tabel 1.
Gemiddelden en Standaarddeviaties (tussen Haakjes) van Aantal Sommen Goed (Scores) op Deel 1, Deel 2 en de Verschilscores*A voor de vier Condities.
Conditie*B
Scores OP (n = 68) ON (n = 68) VP (n = 69) VN (n = 65) Deel 1 5.16 (2.15) 5.07 (2.56) 4.94 (2.05) 4.65 (2.51) Deel 2 5.44 (2.48) 5.44 (2.37) 5.22 (2.36) 5.52 (2.54) Verschilscores 0.28 (2.39) 0.37 (2.18) 0.28 (2.36) 0.88 (2.27) * ANoot. Verschilscores: het gemiddelde verschil in het aantal sommen goed tussen deel 1 en deel 2.
* BNoot. OP= onmiddellijk positieve feedback; ON = onmiddellijk neutrale feedback; VP = vertraagde positieve feedback en VN = vertraagde neutrale feedback.
13 Om te kijken of de verschillen in gemiddelden van het aantal sommen goed significant waren, is er een Independent Factorial ANOVA uitgevoerd, met de verschilscore in het aantal sommen goed tussen deel twee en deel één als afhankelijke variabele en valentie en timing van de feedback als onafhankelijke variabelen. Het hoofdeffect van valentie van feedback was niet significant, F(1, 266) = 1.51, p = .220. Het hoofdeffect van timing van feedback was eveneens niet significant, F(1, 266) = .81, p = .369. Daarnaast werd er geen significant interactie-effect gevonden tussen valentie en timing van feedback, F(1, 266) = .84, p = .361. Op basis van deze analyse blijkt dat zowel valentie als timing niet zorgen voor een
significante verbetering in gemiddelde scores. Ook hangen de prestaties niet af van een interactie tussen valentie en timing.
Explorerende analyses
Explorerende analyse 1. Aangezien er uit de Independent Factorial ANOVA geen
significante hoofdeffecten en significant interactie-effect kwamen is het van belang om te kijken naar eventuele andere factoren die dat zouden kunnen verklaren. Eén van die factoren zou kunnen zijn dat de rekentaken te makkelijk of te moeilijk zijn voor de deelnemers. Uit Tabel 1 kwam naar voren dat de gemiddelde score per conditie bijna precies in het midden lag, namelijk rond de vijf (0 is niets goed en 10 is alles goed). Het zou echter kunnen zijn dat de opgaven voor deelnemers uit het VWO veel te makkelijk waren en voor de deelnemers uit de lagere schoolniveaus te moeilijk, waardoor het gemiddelde per conditie alsnog kan uitkomen rond de vijf. Daarom is het van belang om te kijken naar de gemiddelde scores tussen de schoolniveaus. In Tabel 2 zijn het gemiddelde aantal goede sommen voor deel één en deel twee per schoolniveau (VMBO, HAVO en VWO) weergegeven.
14
Tabel 2.
Gemiddelden en Standaarddeviaties (tussen Haakjes) van het Aantal Sommen Goed (Scores) op Deel 1 en Deel 2 voor de drie Schoolniveaus.
Schoolniveau
Scores VMBO (N = 82) HAVO (N = 89) VWO (N = 99) Deel 1 3.70 (2.06) 4.84 (2.00) 6.11 (2.24) Deel 2 4.21 (2.21) 5.21 (2.20) 6.57 (2.28)
De verwachting is dat op basis van de verschillende schoolniveaus een significante variantie bestaat in de scores op de rekentaken. Om dat te testen is een MANOVA uitgevoerd, met de scores op deel één en deel twee als afhankelijke variabelen en schoolniveau als factor. Uit de analyse bleek een significant verschil tussen schoolniveaus op scores in deel één: F(2, 267) = 29.70, p < .001 en in deel twee: F(2, 267) = 25.51, p < .001.
Verdere Post-Hoc Tests lieten zien dat deelnemers van het VWO significant beter presteerden dan deelnemers van het VMBO (deel één: M = 2.42, SD = .32, p < .001; deel twee: M = 2.36, SD = .33, p < .001) en deelnemers van het HAVO (deel één: M = 1.27, SD = .31, p < .001; deel twee: M = 1.35, SD = .33, p < .001) en dat deelnemers van het HAVO significant beter presteerden dan deelnemers van het VMBO (deel één: M = 1.15, SD = .32, p = .001; deel twee: M = 1.01, SD = .34, p < .05). Deze resultaten laten zien dat er een
voldoende variatie bestaat in de gemiddelde scores op de rekentaken op basis van schoolniveau. De afwezigheid van effecten van valentie en timing kan dus niet verklaard woorden met een vloer of plafondeffect.
Explorerende analyse 2. Om te kijken of de hoofdeffecten van valentie en timing en
het interactie-effect van valentie en timing wellicht afhankelijk zijn van schoolniveau werd opnieuw een Independent Factorial ANOVA uitgevoerd, waarbij middels split file alleen de
15 data op basis van schoolniveau werd meegenomen in de analyse. De verschilscore in het aantal sommen goed tussen deel één en 2 werd als afhankelijke variabele genomen en valentie en timing van de feedback als onafhankelijke variabelen. Het hoofdeffect van valentie was niet significant voor alle drie de schoolniveaus, VMBO: F(1, 78) = .37, p = .544; HAVO: F(1, 85) = .46, p = .501; VWO: F(1, 95) = .58, p = .448. Het hoofdeffect van timing was eveneens niet significant voor alle drie de schoolniveaus, VMBO: F(1, 78) = .05, p = .828; HAVO: F(1, 85) = .56, p = .457; VWO: F(1, 95) = .46, p = .497. Ten slotte werd voor alle drie de
schoolniveaus (VMBO: F(1, 78) = .01, p = .933; HAVO: F(1, 85) = .00, p = .989; VWO: F(1, 95) = 1.77, p = .187) geen significant interactie-effect gevonden tussen valentie en timing van feedback.
Uit deze analyse blijkt dat wanneer gekeken wordt naar de gemiddelde verschilscores per schoolniveau, zowel valentie als timing niet zorgen voor een significante verbetering en dat er ook geen sprake is van een verbetering in scores als gevolg van de interactie tussen valentie en timing van feedback.
Explorerende analyse 3. Het zou wellicht kunnen zijn dat de deelnemers ongeacht de
manipulatie beter zijn gaan presteren in deel twee dan in deel één. Middels een repeated measures ANOVA, met de scores op deel één en deel twee als afhankelijke variabelen is gekeken naar het verschil in gemiddelde scores tussen de beide blokken. Uit de analyse blijkt een significant verschil in gemiddelde scores tussen de blokken (F(1, 269) = 10.03, p < .05), waarbij in deel twee (M = 5.40, SD = 2.43) hoger is gescoord dan in deel één (M = 4.96, SD = 2.32). Hieruit blijkt dat ongeacht de manipulatie er een verbetering in gemiddelde scores heeft plaatsgevonden.
16
Discussie
Door middel van het aanbieden van positieve of neutrale feedback die voor het aankondigen van een volgende taak of erna werd gegeven, is er in dit onderzoek gekeken naar de rol die valentie en timing van feedback spelen in het verbeteren van prestaties van
middelbare scholieren. Aan de hand van het idee van mindsets (Alexopoulos et al., 2012) was de verwachting dat een prestatie zou verbeteren afhankelijk van het moment waarop de positieve feedback werd gegeven.
Er werd geen effect gevonden van valentie en timing van feedback: er was geen sprake van een verbeterde prestatie van de deelnemers bij het ontvangen van neutrale of positieve feedback en directe of vertraagde feedback. Ook bleek er geen sprake te zijn van een interactie-effect waarbij het effect van timing op prestatie afhankelijk was van de valentie of waarbij het effect van de valentie op prestatie afhankelijk was van de timing van feedback. Daarmee lijken de gevonden resultaten niet aan te sluiten bij het theoretische idee dat het vertraagd aanbieden van positieve feedback, zodat de positieve valentie ervoor zorgt dat de informatie die het voorziet congruent wordt verwerkt binnen de taak, niet leidt tot een verbeterde prestatie.
Hoewel er in dit onderzoek geen ondersteuning gevonden kon worden voor het theoretisch idee wat de hypotheses heeft onderbouwd, kunnen er een aantal verklaringen worden genoemd, waarmee wellicht het uitblijven van een effect kan worden verklaard. Zo is het allereerst van belang om te kijken of de gehanteerde onderzoeksmethoden wel dusdanig waren om een eventueel aanwezig effect te kunnen meten.
Voor het meten van de prestaties van de deelnemers is er gebruik gemaakt van matrix taak opgaven. Het zou kunnen zijn dat de gekozen taak geen goede manier is geweest om een verbetering in prestatie te meten. Zoals echter uit de explorerende analyse al blijkt, bestaat er een natuurlijk verschil in scores op de taak tussen de schoolniveaus, waarbij het VWO het beter doet dan de lagere schoolniveaus. Dit effect is te verwachten als de gekozen sommen in
Comment [SdV1]: WTF, kijk hier nog naar.
Comment [SdV2]: Dit nog even nagaan of dit inderdaad is wat ik wil zeggen en het even iets fijner formuleren.
17 de taak precies goed te maken zijn. Oftewel het uitblijven van een effect, heeft niet te maken met het feit dat deelnemers op ons meetinstrument voor de afhankelijke maat niet in staat waren om beter te gaan presteren.
Een tweede verklaring kan liggen in eventuele variatie in de manier waarop de feedback aan de deelnemers is gegeven, doordat er in het onderzoek is gewerkt met vier onderzoekers. Om de afname van het onderzoek en de manipulatie van de feedback op een zo gestandaardiseerd mogelijke manier te laten verlopen, zijn de protocollen opgesteld en de manipulaties voorafgaand aan het onderzoek door alle onderzoekers geoefend. Dat neemt niet weg dat er verschillen tussen de onderzoekers bestaan, afhankelijk van bijvoorbeeld hun persoonlijkheid of onbewust gedrag, die van invloed hebben kunnen zijn op de afname en feedbackmanipulatie. Zo kan het zijn dat middels onbewust non-verbaal gedrag, zoals intonatie of gezichtsuitdrukkingen, ook de neutrale feedback op een positieve manier is gegeven. Om hiervoor te controleren, is het verstandig in het vervolg nog te controleren of er een hoofdeffect bestaat van onderzoeker en een interactie-effect van onderzoeker en feedback manipulatie.
Indien het protocol er in geslaagd is de verschillen in afname en feedbackmanipulatie tussen de onderzoekers tot een minimum te beperken, kan het zijn dat de feedbackmanipulatie zelf niet sterk genoeg was om een verbetering in prestatie te bewerkstelligen. Doordat de feedback bestond uit één zin, die maar op één moment tijdens de afname werd gegeven, kan het zijn geweest dat de feedback te subtiel was. Dit zou in vervolgonderzoek veranderd kunnen worden door de positieve valentie van de feedback zin wat sterker te maken door bijvoorbeeld te zeggen dat een deelnemer het ‘heel goed’ heeft gedaan in plaats van alleen ‘goed’. Daarnaast zou eventueel voor aanvang van het onderzoek aan de deelnemers kenbaar gemaakt kunnen worden dat ze op een bepaald punt in de taak feedback zullen ontvangen.
18 Het idee daarachter is dat de deelnemers meer zullen uitkijken naar het feedback moment en wellicht de feedback meer aandachtig zullen verwerken.
Bovendien is bekend dat er een sterker effect van feedback bestaat wanneer het in relatie staat tot een duidelijk vastgesteld doel (Baumeister et al., 1990). In het dagelijks leven ontvangen mensen positieve feedback meestal nadat ze een doel hebben bereikt. In ons onderzoek was het bij het ontvangen van de feedback voor de deelnemer niet duidelijk hoe hij of zij op dat moment had gepresteerd ten opzichte van een bepaald doel: positieve feedback werd, ongeacht de prestatie, gegeven als de deelnemer in een positieve feedback conditie was ingedeeld. Dat de gekregen feedback niet duidelijk in relatie stond tot een te behalen doel, zou kunnen verklaren waarom enkele deelnemers verbaasd opkeken of nog om extra bevestiging van de positieve feedback vroegen, zoals is vermeld op sommige van de logboeken. De feedbackmanipulatie kan in vervolgonderzoek worden versterkt door bij het geven van de feedback aan te geven dat een van te voren kenbaar gemaakt doel is behaald.
Uit een andere explorerende analyse kwam naar voren dat deelnemers ongeacht de manipulatie, beter zijn gaan presteren in het tweede deel ten opzichte van het eerste deel. Daarmee ontstaat het idee dat de eventuele verbetering in prestatie is toe te kennen aan een leereffect. Om de deelnemers te laten oefenen met de matrix taken, moesten ze eerst enkele oefenopgaven maken. De antwoordopties bij de oefenopgaven werden echter opgebouwd van vier, naar zes tot de uiteindelijke acht antwoordopties: de hoeveelheid die ook in de twee delen werd gebruikt. Daarmee werd er wel bekendheid opgebouwd met het maken van een matrix taak, maar kon er nog niet echt geoefend worden met de vragen die gesteld werden in deel één en twee. Hierdoor kan het zijn dat de opgaven in het eerste deel hebben gefungeerd als oefenfase waarin de deelnemers leerden hoe ze de opgaven konden maken. Het is daarmee aannemelijk dat wanneer ze doorhadden hoe de opgaven gemaakt dienden te worden, ze daardoor in het tweede deel beter presteerden. In vervolgonderzoek is het aan te raden om de
19 deelnemers een oefenfase te laten doorlopen met opgaven die meer identiek zijn aan die in de test delen; op die manier kan er beter gecontroleerd worden voor leereffecten.
Ondanks het uitblijven van een effect van valentie en timing van feedback, zijn er genoeg mogelijkheden voorgesteld voor nader onderzoek, die wellicht beter rekening houden met andere factoren die van invloed kunnen zijn op het effect wat feedback kan hebben in het verbeteren van prestaties. Omdat de gevonden resultaten geen duidelijke ondersteuning maar tevens geen harde ontkenning zijn van het theoretische concept van mindsets, is het wel van belang om in eventueel volgend onderzoek, opnieuw te kijken of deze de rol van timing zou kunnen verklaren. Dit kan op den duur helpen met het opzetten van een theoretisch framework wat alle aspecten van de effectiviteit van feedback kan uitleggen. Er bestaan al veel theorieën die zich focussen op de relatie tussen bepaalde aspecten van de feedback en de effectiviteit ervan, zoals bijvoorbeeld het niveau waarop feedback gegeven kan worden (Kluger & DeNisi, 1996; Hattie & Timperley, 2007; Skipper & Douglas, 2012), maar een compleet
overkoepelend theoretisch framework ontbreekt nog tot op heden. Het opstellen van een dergelijk framework, zal ook zeker van belang zijn voor de toepassingen van feedback in de onderwijspraktijk: inzicht in hoe feedback op de beste manier kan bijdragen aan de
20
Literatuurlijst
Alexopoulos, T., Fiedler, K., & Freytag, P. (2012). The impact of open and closed mindsets on evaluative priming. Cognition & Emotion, 26(6), 978-994.
doi:10.1080/02699931.2011.630991
Baumeister, R. F., Hutton, D. G., & Cairns, K. J. (1990). Negative effects of praise on skilled performance. Basic and Applied Social Psychology, 11(2), 131-148.
doi:10.1207/s15324834basp1102_2
Butler, A. C. (2007). The effect of type and timing of feedback on learning from multiple-choice tests. Journal of Experimental Psychology: Applied, 13(4), 273-281. doi:10.1037/1076-898x.13.4.273
Butler, A. C., Karpicke, J. D., & Roediger, H. L. (2007). The effect of type and timing of feedback on learning from multiple-choice tests. Journal of Experimental Psychology: Applied, 13(4), 273-281. doi:10.1037/1076-898x.13.4.273
Carver, C. (2003). Pleasure as a sign you can attend to something else: Placing positive feelings within a general model of affect. Cognition & Emotion, 17(2), 241-261. doi:10.1080/02699930302294
Erpenbeck, J., & Rosenstiel, L. V. (2007). Entwicklungsorientiertes Scanning (EOS). [Development-oriented scanning (EOS)]. In Handbuch der Kompetenzmessung [Handbook of competence measurement] (p. 428–453). Heidelberg, Germany: Schäffer-Poeschel.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research,77(1), 81-112. doi:10.3102/003465430298487
21 Henderlong, J., & Lepper, M. R. (2002). The effects of praise on children's intrinsic
motivation: A review and synthesis. Psychological Bulletin, 128(5), 774-795. doi:10.1037/0033-2909.128.5.774
Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention
theory.Psychological Bulletin, 119(2), 254-284. doi:10.1037/0033-2909.119.2.254 Kluger, A. N., & DeNisi, A. (1998). Feedback interventions: Toward the understanding of a
double-edged sword. Current Directions in Psychological Science, 7(3), 67-72. doi:10.1111/1467-8721.ep10772989
Kulik, J. A., & Kulik, C. C. (1988). Timing of feedback and verbal learning. Review of Educational Research, 58(1), 79-97. doi:10.3102/00346543058001079
Lam, S., Yim, P., & Ng, Y. (2008). Is effort praise motivational? The role of beliefs in the effort–ability relationship. Contemporary Educational Psychology, 33(4), 694-710. doi:10.1016/j.cedpsych.2008.01.005
Mazar, N., Amir, O., & Ariely, D. (2008). The dishonesty of honest people: A theory of self-concept maintenance. Journal of Marketing Research, 45(6), 633-644.
doi:10.1509/jmkr.45.6.633
Skipper, Y., & Douglas, K. (2012). Is no praise good praise? Effects of positive feedback on children's and university students’ responses to subsequent failures. British Journal of Educational Psychology, 82(2), 327-339. doi:10.1111/j.2044-8279.2011.02028.x
