Het Effect van de Timing van Lof
Feedback op Prestatie
- Emma ten Brink -
0590045
Masterthese Sociale Psychologie
Onder begeleiding van dhr. dr. N. B. (Nils) Jostmann Tweede beoordelaar dhr. dr. M. (Mark) Rotteveel Datum 3 december 2014, Amsterdam
Inhoudsopgave
Abstract 3
Inleiding 4
Introductie 4
Eerder onderzoek naar Positieve Feedback 5
De PSI theorie en Positief Affect 8
De onderhavige studie 11 Methode 13 Proefpersonen en Design 13 Materialen 14 Metingen 16 Procedure 18 Resultaten 20 Variabelen 20 Manipulatie 22 Hypotheses 25 Exploratief onderzoek 32 Discussie 32 Hypotheses 33
Implicaties en Toekomstig Onderzoek 37
Concluderende opmerkingen 40
Literatuur 41
Abstract
Lof feedback wordt gebruikt om mensen te motiveren om beter te presteren, maar eerder onderzoek toont aan dat de effecten van lof niet eenduidig zijn. De onderhavige studie onderzoekt het effect van de timing van lof op de prestatie aan de hand van de PSI theorie van Kuhl (2000), die stelt dat door positief affect op het juiste moment op te wekken, intenties om iets uit te voeren kunnen worden omgezet in actie en er op die wijze een betere prestatie volgt. In de onderhavige studie wordt deze theorie toegepast, waarbij positief affect geoperationaliseerd wordt door het ontvangen van lof. Bij 159 deelnemers werd feedback (positief vs. neutraal), timing van feedback (voor vs. na aankondiging van de volgende taak) en het soort taak (makkelijk vs. complex) gemanipuleerd en werd het effect van de timing van lof op de prestatie getest. Uit de studie blijkt dat lof de prestatie kan verbeteren maar ook kan verslechteren en dat dit, zoals verwacht, afhankelijk is van het moment waarop de lof gegeven wordt.
Het Effect van de Timing van Lof Feedback op Prestatie
_________________________________________________________________________ To relate feedback directly to behavior is very confusing. Results are contradictory and seldom straight-forward. (Ilgen, Fisher, & Taylor, 1979, p. 368)
‘Praise, like penicillin, must not be administered haphazardly. There are rules and cautions that govern the handling of potent medicines - rules about timing and dosage, cautions about possible allergic reactions. There are similar regulations about the administration of
emotional medicine’ (H. Grinott, 1965, p. 39, aangehaald in Henderlong & Lepper, 2002)
“Good Job! Well Done!” Horen dat je iets goed doet, is leuk en kan motiverend zijn. Maar ga je er ook beter door presteren? Vaak wordt verondersteld dat feedback zorgt voor verbetering van het leerproces en de prestatie (Ammons,1956, aangehaald in Kluger & DeNisi, 1996). De effectiviteit van positieve feedback ten aanzien van de prestatie is echter niet eenduidig (Dihoff, Brosvic, & Epstein, 2003; Kluger & DeNisi, 1996; Hattie &
Timperley, 2007).
Een vorm van positieve feedback is lof, ofwel een algemene positieve evaluatie van andermans prestatie die zou moeten zorgen voor toekomstig succes (Feather, 1966,
aangehaald in Baumeister, Hutton, & Cairns, 1990) en geeft in tegenstelling tot andere feedback vormen geen specifieke informatie om de prestatie te verbeteren. Lof feedback wordt binnen organisaties, bij opvoeding, sport en in het onderwijs veelvuldig toegepast (Koka & Hagger, 2010; Hattie & Timperley, 2007), in de hoop anderen te motiveren om beter te presteren, maar niet altijd met het gewenste effect (DeNisi & Kluger, 2000). Meer
duidelijkheid is nodig over de invloed van lof feedback om anderen niet alleen op een juiste en positieve manier te kunnen motiveren, maar ook beter te laten presteren.
Lof feedback wordt met een positieve en motiverende bedoeling gegeven, maar het heeft dus niet altijd een positieve uitkomst. In de onderhavige studie wordt de invloed van lof feedback op prestatie onderzocht, met als standpunt dat lof de prestatie kan verbeteren maar ook kan verslechteren, afhankelijk van het moment waarop de lof wordt gegeven. Dit wordt onderzocht door middel van een experimenteel onderzoek, met als basis Kuhl’s
Persoonlijkheids Systeem Interacties (PSI) theorie (Kuhl, 1984, 2000). Kort samengevat beschrijft deze theorie de onderliggende mechanismen van motivatie en het daaropvolgend gedrag.
Eerst zal een overzicht gegeven worden van eerder onderzoek waarbij de
tegenstrijdige bevindingen van algemene positieve feedback en van lof feedback worden besproken. Vervolgens zal de PSI theorie van Kuhl (1984, 2000) worden toegelicht, waarmee een mogelijke verklaring wordt gegeven voor de wisselende effecten van lof. Onderzoek gebaseerd op de PSI theorie zal besproken worden en hierop aansluitend volgen de introductie en verwachtingen van de onderhavige studie, met als doel meer duidelijkheid te verkrijgen wat betreft de effecten van lof feedback op prestatie en wat hierbij de invloed is van het moment waarop de lof wordt gegeven.
Eerder onderzoek naar Positieve Feedback
Positieve feedback is het geven of ontvangen van positieve informatie, als gevolg van een geleverde prestatie (Hattie & Timperley, 2007), maar het effect van deze feedback op prestatie blijkt wisselend en afhankelijk van een aantal factoren te zijn.
Een visie is dat positieve feedback de prestatie verbetert (Lewin, Dembo, Festinger, & Sears, 1944, aangehaald in Kluger & DeNisi, 1996), wat bijvoorbeeld het geval blijkt
wanneer positieve feedback wordt gegeven als men gemotiveerd is een doel te behalen of wanneer deze feedback voor uitvoering van een simpele taak wordt gegeven (Kluger & DeNisi, 1996). Ook als positieve feedback aangeeft dat iemands prestatie is verbeterd in
vergelijking tot vroeger, zou de prestatie bij een daaropvolgende taak nog meer verbeteren (DeNisi & Kluger, 2000).
Uit onderzoek naar lof feedback, een veelgebruikte vorm van positieve feedback, blijkt dat lof kan zorgen voor meer self-efficacy, ofwel de mate waarin iemand zelf gelooft iets te kunnen (Bandura, 1977, aangehaald in Baumeister, Hutton, & Cairns, 1990). Deze factoren vergroten de inzet en het doorzettingsvermogen, waardoor de prestatie verbetert. Lofbetuigingen zouden ook effectief zijn omdat ze de ontvanger in een positieve stemming brengen (Delin & Baumeister, 1994) en hem zelfverzekerder maken (Blumenfeld et al., 1982, aangehaald in Henderlong & Lepper, 2002), wat een positief effect op de prestatie heeft.
Anderzijds blijkt ook dat positieve feedback niet altijd een prestatieverbeterend effect heeft. Kulhavy (1977, aangehaald in Hattie & Timperley, 2007) stelt dat feedback niet noodzakelijk aansporend werkten volgens Farson (1963, aangehaald in Henderlong & Lepper, 2002) kan de positief bedoelde feedback zelfs als bedreigend ervaren worden. Over lof wordt beweerd dat deze feedback vorm geen leer-gerelateerde informatie bevat en zo niet voor verbetering van prestatie zou kunnen zorgen (Hattie & Timperley, 2007).
De positieve feedback kan de focus van de taak daarbij naar de persoon zelf brengen en hem daardoor onzeker maken, waardoor concentratie op complexe taken vermindert en men daardoor slechter presteert (Osman, 2012), wat met name een negatief effect blijkt te hebben op mensen met een laag zelfvertrouwen (Denisi & Kluger, 2000). Ook als iemand na het uitvoeren van een vrij makkelijke taak geprezen wordt, zou dat bij hem de gedachte kunnen opwekken dat de ander een lage verwachting van hem heeft. Dat kan een negatief effect hebben op het zelfbeeld en de toekomstige prestatie (Meyer, 1992).
Kortom, er zijn veel wisselende effecten gevonden van lof op prestatie. Deze verschillende effecten wordt door Baumeister, Hutton, en Cairns (1990) verklaard met de uitleg dat lof een negatief effect op een prestatie zou hebben wanneer inzet en
doorzettingsvermogen niet de belangrijkste determinanten zijn van de prestatie. Zij wijzen op een belangrijk onderscheid tussen de invloed van lof op inzetstaken en lof op
bekwaamheidstaken.
Bij inzetstaken is de prestatie afhankelijk van de (bewuste) inzet en niet van
leerprocessen. Als een persoon gemotiveerd is om beter te presteren zou dit hem ook moeten lukken. Meer inzet en motivatie zouden bij inzetstaken dus zorgen voor een beter resultaat. Bekwaamheidstaken daarentegen zijn niet afhankelijk van inzet, maar van een leerproces. Verbetering kan niet bewust beïnvloed worden maar is afhankelijk van oefening en leren. Op een gegeven moment heeft men zich in een taak bekwaamd, waardoor het gedrag automatisch gaat (Baumeister et al., 1990)
Baumeister en collega’s (1990) stellen dat lof leidt tot verzwakking van de prestatie bij inzetstaken, als er na een taak en direct voor een volgende taak een compliment gegeven wordt. Een mogelijke verklaring hiervoor is volgens hen dat na lof de inzet wordt verminderd, omdat men denkt ‘er al te zijn’. De te behalen standaard lijkt reeds of bijna behaald en extra inzet wordt niet nodig geacht, waardoor de prestatie vermindert of gelijk blijft, in plaats van verbetert (Kluger & DeNisi, 1996). Dit blijkt het geval wanneer men zelf niet gemotiveerd is om zijn of haar doel te behalen, maar beïnvloed wordt door de verwachting van anderen.
Een andere studie laat daarentegen zien dat lof kan aansporen tot méér inzet, met een betere prestatie tot gevolg (Baumeister et al., 1990). Lof feedback zou de inzet ten aanzien van een taak vergroten wanneer het gaat om een taak die iemand zelf wil uitvoeren, dus wanneer iemand intrinsiek gemotiveerd is, maar verminderen bij een taak die men moet uitvoeren. Het effect van lof op inzetstaken lijkt daarom afhankelijk te zijn van motivatie. De effecten van lof feedback op bekwaamheidstaken zijn echter moeilijker te verklaren. Lof kan er namelijk voor zorgen dat iemand wel gemotiveerd is om beter te presteren maar het niet
daarmee een verstoring van het automatische gedrag, waardoor men weer terugvalt in een eerdere fase van het leerproces, met een slechtere prestatie tot gevolg (Baumeister et al., 1990).
Kortom, onderzoek laat verschillende effecten van lof feedback op prestatie zien. Lof zorgt over het algemeen bij een verhoogde motivatie voor een hogere prestatie in het geval
van inzetstaken, maar lof en een hoge motivatie zorgen over het algemeen voor een lagere prestatie in het geval van bekwaamheidstaken. Lof zorgt ervoor dat bekwaamheidstaken niet
meer automatisch worden uitgevoerd, maar de handelingen bewust gecontroleerd worden en de taak daardoor minder goed gaat. Hoe lof, in tegenstelling tot eerdere bevindingen, mogelijk toch voor een verbeterde prestatie bij het uitvoeren van bekwaamheidstaken kan zorgen, zal toegelicht worden aan de hand van de PSI theorie van Kuhl.
De PSI theorie en Positief Affect
De theorie van Persoonlijkheids Systeem Interacties (PSI), van Kuhl (2000, aangehaald in Kazen & Kuhl, 2005), beschrijft het onderliggende proces van motivatie en gedrag. De theorie kan mogelijk verklaren wat de oorzaak is van de eerder besproken verschillende effecten van lof op prestatie en vormt een basis voor onderzoek naar hoe lof feedback ook ten aanzien van bekwaamheidstaken de prestatie mogelijk kan verbeteren en hoe de negatieve effecten van lof mogelijk voorkomen kunnen worden.
In de PSI theorie staat het vormen van een intentie, affect en daaruit volgend gedrag centraal, evenals de vraag hoe deze factoren met elkaar in verbinding staan. Een intentie is een representatie van een doelgerichte actie, ofwel een actieplan dat iemand wil uitvoeren (Kazen & Kuhl, 2005). Een expliciete intentie wordt geactiveerd wanneer men iets moet doen dat bij voorhand niet gepland kan worden. Dit is het geval wanneer twee of meer
opeenvolgende actiestappen moeten worden uitgevoerd, wat een ‘complexe taak’ wordt genoemd. Bij de aankondiging van zo’n complexe taak wordt er dus een intentie gevormd.
Een intentie wordt opgeslagen en blijft geactiveerd in het intentiegeheugen, dat deel uitmaakt van het werkgeheugen, totdat het ‘juiste moment’ is aangebroken om de intentie uit te voeren (Kuhl & Kazen, 1999). Anders gezegd: activatie van het intentiegeheugen door meerdere uit te voeren actiestappen zorgt voor inhibitie van het nodige gedrag om de intentie te voltooien. De motivatie voor de complexe taak is dus aanwezig, maar de prestatie blijft uit. Hoe kan er voor gezorgd worden dat men niet alleen gemotiveerd is om een intentie uit te voeren, maar ook in staat is te presteren?
De PSI theorie komt met een mogelijke oplossing voor dit remmende effect van een actieve intentie. Volgens de theorie blijft het intentiegeheugen geactiveerd door na
aankondiging van een complexe taak positief affect op te wekken, en kunnen zo de meerdere actiestappen uitgevoerd worden (Kuhl, 1984).Positief affect zou namelijk het signaal zijn dat de twee systemen, het intentiegeheugen en het uitvoeringssysteem, met elkaar verbindt (Jostmann & Koole, 2007),waardoor de intenties uitgevoerd worden in plaats van alleen geformuleerd. Dit wordt in de PSI theorie “volitionele facilitatie” genoemd (Kuhl, 2000).
In eerder onderzoek van Kuhl en Kazen (1999; Kazen & Kuhl, 2005) werd volitionele facilitatie geoperationaliseerd door een complexe taak aan te kondigen die het
intentie-geheugen activeert en door vervolgens positief affect op te wekken door aanbieding van positieve primes, vlak voordat de taak uitgevoerd diende te worden.De taak die hierbij werd gebruikt was de ‘Stroop-test’, waarbij incongruente kleurwoorden aangeboden worden (het woord ‘rood’ afgebeeld in de kleur blauw). Alleen de kleur van het woord moet worden genoemd en de automatische aandrang om het woord te lezen dient te worden onderdrukt. Door de incongruentie tussen de kleur en het woord duurt het langer voordat men het juiste antwoord geeft dan bij congruente kleurwoorden (het woord ‘rood’ afgebeeld in de kleur rood). De taken werden in het onderzoek gemanipuleerd door soms slechts een en soms twee Stroop-testen aan te bieden, met de verwachting dat alleen bij aankondiging van twee
opeenvolgende taken het intentiegeheugen geactiveerd zou worden en daaropvolgend positief affect zou zorgen voor volitionele facilitatie.
Het opwekken van positief affect werd door Kuhl en Kazen geoperationaliseerd door positieve primes aan te bieden, waarbij woorden op het scherm verschenen die gerelateerd waren aan positief of negatief affect. Eerder onderzoek bevestigde dat korte blootstelling aan emotionele woorden bijpassende emotionele reacties opwekken (Brody et al., 1987,
aangehaald in Kuhl & Kazen, 1999). Bij een andere studie binnen dit onderzoek werden de primes aangeboden als prestatie feedback, in de vorm van plusjes (+++), minnetjes (---) en blokjes, wat aangaf of de prestatie op de taak was verbeterd, verminderd of gelijk was gebleven in vergelijking met een eerdere Stroop-test en/of met deelnemers uit de referentie groep (Kazen & Kuhl, 2005).
De positieve primes werden na een taakaankondiging gegeven en bleken, zoals verwacht, bij complexe taken te zorgen voor verbetering van de prestatie op deze taken, waarmee de verwachting van volitionele facilitatie werd bevestigd. Deelnemers konden de incongruente woorden op de eerste Stroop-test sneller benoemen wanneer volgend op de aankondiging van een complexe taak (het vormen van een intentie) men positieve primes ontving (positief affect), vergeleken met de condities waarin geen positief affect werd opgewekt. Het met de lof opgewekte positief affect zou hebben gezorgd voor het ‘afvuren’ van de intentie (Kuhl & Kazen, 1999), waardoor zich een verbetering van de prestatie voordeed bij de eerste van de twee opeenvolgende Stroop-testen binnen een complexe taak. Ook in een studie waar twee verschillende opeenvolgende taken werden aangeboden, bleek er alleen prestatieverbetering te zijn bij de eerste van de twee opeenvolgende taken (Jostmann & Koole, 2007). Bij een enkele ofwel een ‘makkelijke taak’ bleek er geen prestatieverbetering te zijn wanneer positieve feedback na de aankondiging gegeven werd. Dit wijst erop dat er
meerdere taken aangekondigd moeten worden om een intentie te activeren (Kazen & Kuhl, 2005).
Met dit onderzoek bleek zoals gesteld door de PSI theorie dat aankondiging van een complexe taak zorgt voor het vormen van een intentie. Als er vervolgens positief affect wordt opgewekt, zorgt dit voor volitionele facilitatie, waarbij alleen prestatie verbetering volgt bij de eerste van de twee opeenvolgende taken (Kazen & Kuhl, 2005; Studie 5, zie ook Kuhl & Kazen, 1999). Uit de theorie en het onderzoek lijkt duidelijk te worden dat het moment waarop lof wordt gegeven, namelijk na het vormen van een intentie, van belang is voor toekomstig succes. Echter is er door hen binnen het onderzoek niet getest wat het effect van de lof is als het op een ander moment aangeboden wordt en of lof daadwerkelijk dit
faciliterende effect alleen heeft indien het na de taakaankondiging gegeven wordt. De onderhavige studie
Voortbouwend op deze eerdere bevindingen zal in de onderhavige studie de PSI theorie worden toegepast, met als doel een duidelijker beeld te krijgen van het effect van lof feedback en het belang van de timing van deze lof. Er wordt onderzocht of het opwekken van positief affect door het geven van lof na activatie van het intentiegeheugen net als bij Kazen en Kuhl (2005) zorgt voor een verbeterde prestatie bij de eerstvolgende bekwaamheidstaak, maar ook wordt getest wat het effect is van lof voor activatie van het intentiegeheugen op de prestatie. Het intentiegeheugen zal net als in eerder onderzoek door aankondiging van een complexe (dubbele) taak geactiveerd worden. Bij aankondiging van een enkele, ‘makkelijke’ taak daarentegen wordt niet verwacht dat het intentiegeheugen geactiveerd wordt en daarom wordt verwacht dat de timing van lof bij een makkelijke taak niet van invloed zal zijn op de
prestatie.
In deze studie wordt in plaats van de veelgebruikte Stroop-test een matrixtaak gebruikt, waarbij men de juiste twee cijfers moet vinden die opgeteld exact 10 zijn. De taak
bestaat voornamelijk uit rekenvaardigheid, wat prestatie niet afhankelijk maakt van inzet maar van bekwaamheid, zodat de matrixtaak als bekwaamheidstaak kan fungeren. Prestatie bij de taak is afhankelijk van accuratesse (het vinden van de juiste twee cijfers) en wordt
gecontroleerd door middel van reactietijd (accuratesse mag niet ten koste gaan van reactietijd).Manipulatie van het intentiegeheugen wordt gecreëerd door net als in eerder besproken onderzoek aan elke deelnemer afwisselend een complexe taak of een makkelijke taak aan te kondigen. In dit onderzoek bestaat een complexe taak uit twee opeenvolgende maar verschillende taken en een makkelijke taak uit slechts één taak.
De lof feedback (Good Job!/Well Done!) wordt afgewisseld met neutrale feedback, en een belangrijke toevoeging aan eerder onderzoek is dat deze feedback op verschillende momenten wordt gegeven. Zo kan getest worden of er verschillende effecten zijn bij lof voor aankondiging van een daaropvolgende complexe taak en lof na aankondiging van een
daaropvolgende complexe taak. Het effect van timing bij het geven van lof feedback op de prestatie bij een volgende taak wordt daarmee voor het eerst binnen een onderzoek
onderzocht.
Kortom, het soort taak (makkelijk/complex), het type feedback (lof/neutraal) en het moment waarop feedback wordt gegeven (aankondiging gevolgd door feedback of andersom) wordt gemanipuleerd om het effect van de timing van lof feedback te onderzoeken. Met als onderzoeksvraag of de prestatie ook bij complexe bekwaamheidstaken verbeterd kan worden door het geven van lof feedback na aankondigen van een dergelijke complexe taak.
Mijn eerste hypothese is een hoofdeffect van taak, waarbij de verwachting is dat over het algemeen de matrixtaak sneller wordt uitgevoerd als er een ‘makkelijke’ enkele taak wordt aangeboden dan wanneer er een ‘complexe’ dubbele taak wordt aangeboden. Ik
effect van lof afhankelijk is van het moment waarop die lof wordt gegeven en de moeilijkheid van de taak die op de feedback volgt.
De tweede hypothese is daarom dat er een interactie tussen feedback en timing zal zijn, waarbij ik verwacht dat wanneer lof wordt gegeven na aankondiging van een taak er sprake zal zijn van volitionele facilitatie, in vergelijking met wanneer lof direct na de trial en
voor de aankondiging van een volgende taak wordt aangeboden.
De derde hypothese is dat deze interactie tussen feedback en timing zal worden beïnvloed door de complexiteit van de taak. Ik verwacht dat het interactie effect sterker is als de taakaankondiging twee taken behelst, ofwel complex is, vergeleken met wanneer er maar ééntaak wordt aangekondigd. Daarbij verwacht ik dat deze effecten allemaal niet optreden bij neutrale feedback.
Methode Deelnemers en Design
Het onderzoek is gedaan door middel van een online experiment, gebouwd via Qualtrics.com, en data zijn verzameld via de website www.crowdflower.com. Dit is een Amerikaans online platform waar mensen boven de 18 jaar zich vrijwillig kunnen opgeven om mee te doen in ruil voor een financiële vergoeding. Aan het onderzoek hebben 159 deelnemers meegedaan, die 4,5 dollar (3,61 euro) kregen voor deelname aan het gemiddeld drie kwartier durende onderzoek. Zie de resultatensectie voor meer informatie over de deelnemers.
De studie heeft een 2x2x2 mixed design waarbij de within-subjects variabelen Feedback (positief of neutraal), Taak (een makkelijke taak vs. een complexe taak) en Timing (feedback na aankondiging van de volgende taak of feedback voor aankondiging van de volgende taak) zijn gemanipuleerd. In totaal leverde dat acht condities op die door alle deelnemers acht keer gerandomiseerd doorlopen werden. Ook is met deze variabelen een tweede analyse uitgevoerd met een 2x2x2x2 mixed design met als extra variabele Blok (1 =
voor de pauze vs. 2 = na de pauze). Elke conditie werd vier keer voor en vier keer na de pauze aangeboden. Prestatie is gemeten in alle acht de condities door accuraatheid en reactietijd tussen de condities te vergelijken, waarbij de condities met neutrale feedback als controle conditie fungeerden.
Materialen
Onafhankelijke Variabelen. In het onderzoek zijn de onafhankelijke variabelen ‘taak’, ‘feedback’ en ‘timing’ gebruikt. Zie Tabel 1 voor de rol van deze variabelen in de
verschillende condities. In een tweede analyse is ‘Blok’ meegenomen als extra variabele, waardoor de condities voor en na de pauze met elkaar vergeleken konden worden.
Tabel 1. Inhoud en Opbouw van de Condities
Conditie Feedback/Aankondiging Feedback/Aankondiging Taak 1 Taak 2 1 Positieve Feedback Aankondiging Complexe Taak Matrix Statement
2 Positieve Feedback Aankondiging Makkelijke Taak Matrix -
3 Aankondiging Complexe Taak Positieve Feedback Matrix Statement
4 Aankondiging Makkelijke Taak Positieve Feedback Matrix -
5 Neutrale Feedback Aankondiging Complexe Taak Matrix Statement
6 Neutrale Feedback Aankondiging Makkelijke Taak Matrix -
7 Aankondiging Complexe Taak Neutrale Feedback Matrix Statement
8 Aankondiging Makkelijke Taak Neutrale Feedback Matrix -
Taak. Er zaten twee soorten trials in het onderzoek, bestaande uit een ‘complexe’ dubbele taak, waarbij twee verschillende taken werden aangekondigd en uitgevoerd, en een
‘makkelijke’ enkele taak. De wijze waarop taak aankondigingen gepresenteerd werden op het scherm zie je terug in voorbeelden 1 en 2. In iedere trial werd als eerste de matrixtaak
aangeboden en in de condities met een complexe taak werd er als tweede taak een statement taak aangeboden.
The next test item includes: Task 1
Voorbeeld 1. Taakaankondiging Makkelijke Taak
The next test item includes: Task 1 + Task 2
Voorbeeld 2. Taakaankondiging Complexe Taak
- Matrixtaak. De taak was om de twee juiste nummers uit acht nummers te vinden die
opgeteld precies het cijfer 10 waren (bijvoorbeeld 2.78 + 7.22 = 10.00). Per matrix was er slechts één goed antwoord. Aangezien de taak vooral uitdagend is onder tijdsdruk, kregen deelnemers de opdracht de taak zo snel mogelijk uit te voeren en verscheen er een zichtbare klok op het scherm. De accuraatheid en reactietijd zijn hierbij van belang om de prestatie te meten. Zie Voorbeeld 3 voor een matrix voorbeeld en de bijlage voor de in de test gebruikte matrixtaken. In totaal maakten de deelnemers 66 verschillende matrixtaken gedurende de test.
9.35 4.02 7.81 6.16 4.00 3.77 8.84 5.98
Voorbeeld 3. Een matrixtaak, waarbij twee getallen die opgeteld exact 10 zijn onder tijdsdruk
moeten worden gevonden. Met als goede antwoorden in deze taak 4.02 + 5.98 = 10,00
- Statement taak. Bij de statement taak werd er telkens een stelling gegeven, bijvoorbeeld
‘Louis Armstrong was the first man on the moon’. Deelnemers moesten zo snel mogelijk aangeven of de stelling goed of fout was. Er is alleen gebruikgemaakt van makkelijke en middelmatige items, omdat complexiteit afhankelijk dient te zijn van het aankondigen van meerdere taken (het uitvoeren van meerdere actiestappen) en niet van de inhoud van de taak zelf. De reactietijden werden hier (niet zichtbaar) gemeten, al zijn deze tijden niet meegenomen in de analyse. De statement taak werd alleen in de helft van de trials aangeboden, als tweede taak bij condities met een complexe taak. Zie de bijlage voor de gebruikte statement taken.
Feedback. Deelnemers kregen als toelichting dat bij een goed antwoord en/of een snellere reactietijd in vergelijking tot eerdere taken en andere deelnemers uit hun referentiegroep (zelfde leeftijd, sekse en opleidingsniveau) zij positieve feedback (lof) zouden krijgen en dat bij een gelijke of verminderde prestatie op eerdere taken en/of in vergelijking tot andere deelnemers er neutrale feedback (geen lof) gegeven zou worden. Bij lof verschenen de woorden ‘Good Job!’ of ‘Well Done’ in groene letters in beeld. Bij neutrale feedback verscheen het tekentje ‘-♦-‘ in beeld. Feedback werd willekeurig gegeven en was dus niet afhankelijk van de werkelijke prestatie op de taak.
Timing. De taakaankondiging en de feedback werden op twee afwisselende manieren
aangeboden: feedback kon na aankondiging van een daaropvolgende taak worden aangeboden (taakaankondiging + feedback = timing 1) en feedback kon voor aankondiging van een
daaropvolgende taak worden aangeboden (feedback + taakaankondiging = timing 2).
Blok. De acht condities werden in het eerste en tweede deel van de taak met elkaar vergeleken om te controleren of er geen vermoeidheids- en/of leereffecten zijn ontstaan gedurende de drie kwartier durende test.
Metingen
Vragenlijsten. De volgende vragenlijsten zijn in het onderzoek gebruikt: - Algemene Gegevens
Aan het begin van de test werd gevraagd naar leeftijd, sekse, afkomst en hoogst afgeronde opleiding van de deelnemers. Bij ‘opleiding’ waren de antwoordmogelijkheden ‘middelbare school’, ‘eerste of tweede jaar universiteit’, ‘derde jaar of vierde jaar universiteit’ en ‘doctoraal’.
Drie maal tijdens het experiment (vooraf, in de pauze, achteraf) gaven deelnemers hun stemming aan op een 6-punt Likertschaal (1 = zeer negatief, 6 = zeer positief) en gaven deelnemers aan in welke mate men zich op dat moment energiek voelde (1 = zeer vermoeid, 6 = zeer energiek).
- BIS/BAS Schalen
Dit is een betrouwbare en valide test waarbij gekeken wordt naar de gevoeligheid voor affectieve reacties bij beloning en straf en de effecten hiervan op het gedrag (Carver & White, 1994). De gegevens zijn echter niet gebruikt voor verdere analyse.
- Manipulatiecheck vragenlijst
Een manipulatiecheck vragenlijst aan het einde van het onderzoek diende als controle voor de opzet van de test, zoals een vraag naar het begrip van instructies, waarbij met ‘ja’ of ‘nee’ geantwoord kon worden. Op een 5-punts Likertschaal werd gevraagd naar ervaring van moeilijkheid van de test (1 = zeer makkelijk, 5 = zeer moeilijk). Het effect van feedback werd gemeten door middel van een vraag naar de inschatting van de prestatie op de matrixtaken op een 5-punts Likertschaal (1 = zeer goed, 5 = helemaal niet goed). Ook werd gevraagd of de deelnemers dachten dat hun prestatie positief beïnvloed was door de positieve feedback, met antwoordmogelijkheden op een 4-punts Likertschaal (1 = heel veel, 4 = helemaal niet) Er was ook een open vraag over hoe zij de invloed van de positieve feedback op hun prestatie zouden omschrijven. De lijst bevatte daarop aansluitend ook een vraag over hoe gemotiveerd ze waren geweest om goed te presteren op de matrixtaak, met antwoordmogelijkheden op een 6-punts Likertschaal (1 = zeer gemotiveerd, 6 = zeer ongemotiveerd) Tot slot kon men zo nodig eigen opmerkingen kwijt over de test.
Prestatie. De deelnemers kregen te horen dat de prestatie op de taak vergeleken zou worden met andere deelnemers. Door reactietijden en accuraatheid op de matrixtaak in de acht verschillende condities te meten en met elkaar te vergelijken, kon (verbetering of
vermindering van) de prestatie op de matrixtaken worden gemeten. Een verbeterde prestatie betekent een verhoogde accuratessescore zonder dat de reactietijd langzamer werd.
Procedure
Informed Consent. Allereerst lazen de deelnemers het Informed Consent dat het doel aangaf om de prestatie te meten op de aangeboden taken en dat deelname aan het onderzoek op elk moment stop gezet mocht worden. Bij akkoord met het Informed consent werd het onderzoek gestart, bij afwijzing werd men bedankt en stopte het experiment direct (zie de bijlage voor
Informed Consent).
Experiment. Deelnemers werden welkom geheten, vulden een vragenlijst in met basisinformatie (sekse, leeftijd, opleiding, afkomst) en gaven hun stemming aan (zie materialen). Daarna verscheen de opbouw van het experiment op het scherm (33 trials, 1 minuut pauze, 33 trials) en werd een uitleg van de taakaankondigingen gegeven. Er werd vervolgens uitgelegd dat men na elke taak positieve of neutrale feedback kon krijgen, wat de betekenis hiervan was (zie materialen) en dat men ook in het geval van een fout positieve feedback kon ontvangen, omdat in dat geval de meeste personen in de referentiegroep dezelfde fout hadden gemaakt maar de deelnemer de taak sneller beantwoord had.
Deelnemers kregen de instructie dat de feedback soms direct na de taak en soms pas later gegeven zou worden aangezien men in het echte leven vaak ook allang weer met iets anders bezig is voordat feedback ontvangen wordt. Vervolgens werden de taken uitgelegd en van beiden een voorbeeld gegeven (zie materialen voor beschrijving van de taken) met de goede antwoorden erbij. Er werd tot slot vermeld dat de bedoeling was de matrices zo snel mogelijk te beantwoorden en fouten te vermijden. Deelnemers mochten daarna beginnen wanneer ze er klaar voor waren en er werd gevraagd de test af te maken zonder onderbrekingen, tenzij iemand de deelname wilde stoppen. Allereerst maakten de deelnemers de startrial, waarvan de
prestatie zonder dat ze het wisten niet meetelde voor de analyse. Hierna volgde namelijk het eerste feedback moment en/of aankondiging van een volgende taak, waarbij de volgorde van de condities willekeurige werd aangeboden. Daarna volgden nog 65 trials, zodat iedereen acht keer in elke conditie deelnam. Feedback volgde afhankelijk van de conditie direct na de trial of na aankondiging van de (complexe of makkelijke) komende trial en was positief of neutraal. Na de eerste 33 trials volgde een pauze van een minuut zodat de concentratie behouden zou blijven, waarbij er een zandloper op het scherm verscheen en op een zichtbare klok de minuut werd afgeteld. Deelnemers vulden weer twee vragen in over hun stemming en konden op ‘Next’ klikken om weer te beginnen met het tweede deel van de test. Er volgde een starttrial, waarvan de prestatie zonder hun weten niet meetelde voor de analyse, maar weer als een aanzetje tot het eerste feedback moment diende van het tweede deel van de test. Daarna volgden 32 trials en verscheen op er het scherm de mededeling dat de test ten einde was, maar dat er nog wat vragen over het onderzoek volgden.
Trial. In elke trial werden feedback en taakaankondiging afwisselend als eerste gegeven en volgden ze elkaar in elke trial op. De feedback bleef twee seconden in beeld en verdween automatisch weer. De taakaankondiging bleef ook twee seconden in beeld, daarna was er een mogelijkheid om op ‘Next’ te klikken, om er zeker van te zijn dat men klaar zat om de volgende taak te gaan maken en er geen verschil in reactietijd zou ontstaan doordat men te laat begonnen zou zijn. De tijden zijn gekozen om er zeker van te zijn dat de deelnemers dat wat op het beeld stond, zouden lezen opdat er een intentie gevormd zou worden. Er werd in elke trial een matrixtaak aangeboden en bij condities met een complexe taak daaropvolgend ook een statement taak.
Extra Vragenlijsten. Na de test gaven deelnemers een derde keer hun stemming aan. Daarna vulden ze de BIS/BAS schalen in (zie materialen) en tot slot vulde men de manipulatiecheck vragenlijst in. Deelnemers werden bedankt en ontvingen een code waarmee ze een financiële
vergoeding op hun account gestort kregen. Zie Tabel 2 voor en schematisch overzicht van de procedure en de bijlage voor het volledige experiment.
Tabel 2. Schematisch Overzicht van de Procedure voor elke deelnemer 1. Informed consent. Bij akkoord start Test
2. Basis informatie vragenlijst
3. Vragen Stemming 1: Positieve/Negatieve gevoelens en Mate van Energie 4. Taak instructies
5. Start trial matrix deel 1 (voor iedereen gelijk)
6. Test Blok 1, met afgewisseld 4 keer conditie 1 t/m 8 (gerandomiseerd): 32 trials
7. 1 minuut Pauze
8. Vragen Stemming 2: Positieve/Negatieve gevoelens en Mate van Energie 9. Start trial matrix deel 2 (voor iedereen gelijk)
10. Test Blok 2, met afgewisseld 4 keer conditie 1 t/m 8 (gerandomiseerd): 32 trials 11. Extra vragenlijst: BIS/BAS Schalen
12. Vragen Stemming 3: Positieve/Negatieve gevoelens en Mate van Energie 13. Manipulatie check vragenlijst
14. Dank voor deelname en ontvangen van code
Resultaten Variabelen
In elke conditie zijn de variabelen Feedback (positief vs. neutraal), Timing van de feedback (aankondiging volgende taak gevolgd door feedback vs. feedback gevolgd door aankondiging volgende taak) en Taak (een makkelijke taak vs. een complexe taak) gemanipuleerd, zoals besproken in de methode. De hoofdtaak van de deelnemers was het oplossen van een matrixtaak, waarbij ik geïnteresseerd was in de mate van accuratesse en de reactietijden per conditie bij het maken van deze taak in de verschillende condities. De accuratesse en reactietijd in seconden geven samen de prestatie van de deelnemers in de verschillende condities weer.
Accuratesse. Er zijn acht nieuwe variabelen aangemaakt met de somscores van de accuratesse van alle deelnemers in de acht verschillende condities. Deelnemers kregen per
matrix een score van 1 bij het vinden van de juiste twee antwoorden en een score 0 wanneer een of beiden antwoorden fout waren. Per conditie werden alle acht scores opgeteld,
aangezien elke conditie acht keer werd doorlopen. Zo kreeg elke deelnemer per conditie een somscore tussen de 0 tot 8 (0 = geen enkel correct antwoord in de conditie, 8 = alle
antwoorden correct in de conditie). Op dezelfde wijze zijn er zestien nieuwe variabelen aangemaakt die de accuraatheid van de acht condities voor en na de pauze weergeven. Aangezien alle condities vier keer voor de pauze en vier keer na de pauze doorlopen werden, ontstonden er zestien somscores van de deelcondities met een mogelijke score van 0 tot 4.
Reactietijd. Bij de analyse van reactietijd zijn ook zestien nieuwe variabelen aangemaakt die van de acht condities voor en na de pauze per deelnemer de gemiddelde reactietijd op de matrixtaken weergeven. Alleen de reactietijden van de correcte antwoorden zijn meegenomen in de analyse.
Outlier grenzen. Er is een outlier analyse gedaan van de reactietijden, om extremen uit te sluiten. Per conditie zijn de gemiddelden berekend en werd daar de standaarddeviatie drie keer bij opgeteld. Zie Tabel 3voor de outlier grenzen van reactietijden per deelconditie van het tweede gedeelte van de test. Alleen de reactietijden en bijbehorende extremen na de
pauze zijn relevant (zie de analyses van accuratesse en reactietijd). De reactietijden boven de
outlier grens werden niet meer meegerekend in de analyse van reactietijd.
Tabel 3. Outlier Grenzen van de Reactietijden in seconden van de deelcondities na de pauze, berekend door het
Gemiddelde per deelconditie (M) + drie maal de Standaarddeviatie (SD)
Conditie M SD Grens (s) Conditie 1b 15.13 9.63 44.02 Conditie 2b 14.68 13.33 54.67 Conditie 3b 15.99 9.08 43.23 Conditie 4b 16.36 27.94 100.18 Conditie 5b 17.70 8.70 43.80 Conditie 6b 17.63 12.28 54.47 Conditie 7b 14.05 7.92 37.81 Conditie 8b 18.79 17.30 70.69
Correlatieanalyse. Na een correlatie analyse van accuratesse en reactietijd blijkt dat de score op accuratesse geen significant verband had met de score op de reactietijd. Daarom
zijn accuratesse en reactietijd in de analyses niet als controle variabelen voor elkaar gebruikt, aangezien er geen sprake is van trade-off tussen deze twee vormen van prestatie: een betere score op de matrixtaak heeft geen langzamere reactietijd tot gevolg.
Deelnemers. Van de 159 personen zijn er 19 verwijderd uit de analyse. Twee personen hiervan zijn verwijderd vanwege hun leeftijd onder de 18 en drie personen
aangezien ze tussendoor een pauze hebben genomen tijdens het beantwoorden van een van de matrixtaken, waarbij de pauzes liepen van vijf tot 23 minuten. Veertien personen zijn
verwijderd wegens een grote gok kans op de taken, aangezien men het grootste deel van de test fout had en ze bij de correcte antwoorden een extreem snelle reactietijd hadden.
De overige 140 deelnemers bestaan uit 59 mannen en 81 vrouwen, met een
gemiddelde leeftijd van 37.8 jaar, een minimale leeftijd van 18 en een maximale leeftijd van 67. De deelnemers komen uit verschillende landen, zie voor een overzicht Tabel 4. De hoogst afgeronde opleidingen van de deelnemers staan in Tabel 5.
Tabel 4. Land van afkomst deelnemers, met aantal deelnemers (n) en percentage (%)
Land van afkomst n %
Amerika 51 36.4 Canada 42 30.0 UK 38 27.2 Anders 9 6.4 namelijk: Nederland 6 Australië 2 Griekenland 1
Tabel 5. Hoogste opleiding van de deelnemers, met aantal deelnemers (n) en percentage (%)
Opleiding n % Middelbare School 33 23.6 Universitair 1e of 2e jaar 38 27.1 Universitair 3e of 4e jaar 64 45.7 Doctoraal 5 3.6 Manipulatie
Bij sommige van de manipulatievragen hebben enkele personen de vragen niet ingevuld, aangezien er bij de start van het experiment bij de manipulatievragen nog een mogelijkheid
was tot doorklikken. De matrices zijn echter wel allen ingevuld. Er zijn geen deelnemers uit de analyse verwijderd aan de hand van deze gegevens.
Test. Van de 140 deelnemers gaven 138 personen aan dat ze instructies van de test hadden begrepen, de overige twee personen hebben geen antwoord op de vraag gegeven. Verder gaven dezelfde 138 personen hun ervaring van de test aan op een 5-puntschaal (1 = zeer makkelijk, 5 = zeer moeilijk), waar gemiddeld een score bleek van M = 2.67, met SD = 0.81. Een vraag was hoe ze dachten te hebben gepresteerd op de matrixtaken, op een 5-puntschaal (1 = zeer goed, 5 = helemaal niet goed). Uit het gemiddelde bleek dat men dacht gemiddeld te hebben gepresteerd, met M = 2.28 met SD = 0.82.
Feedback. Op de vraag of deelnemers vonden dat hun prestatie was verbeterd door het ontvangen van lof, kon men antwoorden op een 4-puntschaal (1 = zeer veel, 4 = helemaal niet). Van de 140 deelnemers gaven 137 personen antwoord op deze vraag wat een
gemiddelde score opleverde van M = 2.34 met SD = 0.80. Ook is gevraagd hoe men de invloed van de positieve feedback op hun prestatie zou omschrijven, waaruit verschillende antwoorden naar voren kwamen. Het grootste deel van de deelnemers antwoordde dat de positieve feedback hen aangespoord had hun best te blijven doen en/of het zien van de positieve feedback op het scherm hen een positief gevoel gaf. Terwijl anderen, in mindere mate, ook aangaven er juist een gestrest gevoel van te krijgen. Ook was er een aantal dat aangaf er helemaal niet door beïnvloed te zijn geweest. Zie Voorbeeld 4 voor een aantal antwoorden op de vraag.
- No effect of positive feedback, only negative feedback gave me the idea to do it faster.
- The positive feedback made me want to go faster
- Bad and stressful
- Interesting, it showed me that I can do well, but not to worry if I get some tests wrong. Also makes me look forward to the next positive feedback.
- It makes me feel good and made me want to go faster
- It had no effect, as some of the questions I had no idea about the answers; my mind also went blank
at one stage, near the beginning. My performance, is best judged by my own self assessment
- It helped more on the second half & the other feedback would leave me wondering or anxious at the
answers
- I actually felt really happy to see "Good Job!" written. It made me feel like I was actually doing well. I know that's kind of pathetic... but I really did like seeing Good Job on my screen compared to the other symbol.
Voorbeeld 4. Een aantal genoemde verschillende ervaren effecten van feedback door verschillende deelnemers, aan de hand van de exit-vraag ‘Hoe zou jij het effect van de positieve feedback op jouw prestatie omschrijven?’. Een deel van de deelnemers ervoer de lof als stressvol, het grootste deel kreeg er zoals bedoeld, een positief en gemotiveerd gevoel door.
Motivatie. Van de 140 deelnemers gaven 138 personen antwoord op een 6-puntschaal op de vraag hoe gemotiveerd ze waren geweest om goed te presteren op de matrixtaken (1 = zeer gemotiveerd, 6 = zeer ongemotiveerd). Uit de gemiddelde score bleek dat de deelnemers gemiddeld aangaven gemotiveerd te zijn geweest. (M = 2.06, SD = 0.84). Slechts een
deelnemer gaf aan ongemotiveerd te zijn geweest goed te presteren op de matrixtaken. De prestatie van deze persoon valt binnen de extremen van de test en is niet opvallend en daarom ook niet verwijderd uit de analyse.
Stemming. Aan de deelnemers is op drie momenten (aan het begin van de test, direct na de pauze en aan het einde van test) gevraagd naar hoe men zich voelde. Ten eerste werd gevraagd hoe deelnemers zich in het algemeen voelden met antwoordmogelijkheden op een 6-puntschaal (1 = zeer negatief, 6 = zeer positief). Deelnemers bleken gemiddeld in een redelijk positieve tot positieve staat te verkeren. Ook werd gevraagd of ze zich vermoeid of energiek voelden op een 6-puntschaal (1 = zeer moe, 6 = zeer energiek). Gemiddeld voelden
deelnemers op de verschillende momenten zich lichtelijk energiek. Zie Tabel 6 voor gemiddelde scores op deze vragen.
Tabel 6.Gevoelens van de deelnemers op drie momenten van de test gevraagd. Met een te behalen score van 1 tot 6, waarbij 1 bij de eerste vraag ‘zeer negatief’ is en bij de tweede vraag ‘zeer vermoeid’, en 6 bij de eerste vraag ‘zeer positief’ is en bij de tweede vraag ‘zeer energiek’. Met gemiddelde score (M) en standaarddeviatie tussen haakjes (SD).
Gevoelens Start van de Test Pauze van de Test Einde van de Test Negatief tot Positief 4.41 (0.90) 4.42 (0.92) 4.22 (0.91) Mate van energie 3.72 (1.05) 3.66 (1.13) 3.62 (1.12)
Hypotheses
In deze paragraaf zullen de hypotheses en onverwachte resultaten die van belang zijn voor het onderzoek besproken worden. Allereerst wordt de accuratesse analyse behandeld, waarbij het aantal correcte antwoorden van de deelnemers in de verschillende condities met elkaar zijn vergeleken. Vervolgens wordt de accuratesse van de deelnemers voor en na de pauze met elkaar vergeleken en zal daarna kort een exploratieve analyse besproken worden. Tot slot zullen de belangrijkste bevindingen uit de accuratesse analyse gecontroleerd worden door middel van de de reactietijd analyse.
Analyse van de accuratesse. Om de accuratesse te meten van de 140 deelnemers in de verschillende condities, is er een 2x2x2 Repeated Measures analyse uitgevoerd met als variabelen Feedback (positief vs. neutraal) x Taak (makkelijk vs. complex) x Timing
(taakaankondiging gevolgd door feedback vs. feedback gevolgd door taakaankondiging). Zie Tabel 7voor gemiddelden van accuratesse scores per conditie.
Tabel 7. Gemiddelde Accuratesse Score (M) en Standaard Deviaties (SD) van de deelnemers (n) in de acht
condities, met een mogelijke minimale score van 0 en een maximale score van 8. Met Pos FB = Positieve Feedback (lof), Neu FB = Neutrale Feedback, AK = Aankondiging van de volgende taak, en soort taak (Complex of Makkelijk).
Conditie n M SD 1: Pos FB + AK + Complexe Taak 140 7.48 0.93
2: Pos FB + AK + Makkelijke Taak 140 6.88 0.94
3: AK + Pos FB + Complexe Taak 140 7.51 0.80
4: AK + Pos FB + Makkelijke Taak 140 7.70 0.73
5: Neu FB + AK + Complexe Taak 140 7.36 1.07
6: Neu FB + AK + Makkelijke Taak 140 7.48 1.03
7: AK + Neu FB + Complexe Taak 140 7.35 1.04
Wat betreft de hoofdeffecten bleek uit de analyse zoals verwacht een significant hoofdeffect van taak, F (1,139) = 9.99, p = 0.002. Er bleek echter onverwacht dat deelnemers over het algemeen op een complexe taak (M= 7.42, SE = 0. 07) een gemiddeld hogere accuratesse score hadden dan op een makkelijke taak (M = 7.32, SE = 0.06). Dit was tegengesteld aan mijn verwachting dat er over het algemeen beter gescoord zou worden op een makkelijke taak.
Ook bleek er onverwacht een hoofdeffect van timing te zijn, F(1,139) = 13.13, p < .001, waarbij er bij timing 1 (M = 7.44, SE = 0.06) gemiddeld beter werd gescoord dan bij timing 2 (M= 7.30, SE = 0.07), wat betekent dat over het algemeen en onafhankelijk van de variabelen ‘feedback’ en ‘taak’ er bij lof na de taakaankondiging beter werd gescoord dan bij lof voor aankondiging van een taak. Er bleek zoals verwacht geen hoofdeffect van feedback te zijn, F(1,139) < 1, p = 0.374.
Als er gekeken wordt naar de tweewegsinteracties en daarmee mijn belangrijkste hypothese, bleek er zoals verwacht een significante interactie tussen feedback en timing te zijn, F(1,139) = 49.45, p < .001, waarbij de accuratesse score gemiddeld hoger was als er bij timing 1 (feedback na de taakaankondiging) lof feedback werd gegeven (M = 7.60, SE = 0.06) in vergelijking met wanneer er neutrale feedback werd gegeven bij timing 1 (M = 7.28, SE = 0.08). Lof gegeven bij timing 2 (M = 7.18, SE = 0.07) daarentegen zorgde voor een lagere accuratesse score dan wanneer neutrale feedback bij timing 2 werd gegeven (M = 7.42, SE = 0.08).
Onverwacht bleek er ook een significante interactie tussen feedback en taak, F(1,139) = 5.24, p = 0.024. Bij lof feedback bleek er beter te zijn gescoord bij complexe taken (M = 7.49, SE = 0.06) dan bij makkelijke taken (M = 7.29, SE = 0.06), ook in vergelijking tot complexe taken en makkelijke taken bij neutrale feedback (M= 7.35, SE = 0.08).
F(1,139) = 13.59, p < .001. Bij een complexe taak werd er ongeveer gelijk gescoord op de
matrix bij timing 1 (M= 7.43, SE = 0.07) en timing 2 (M = 7.42, SE = 0.08), terwijl bij een
makkelijke taak er beter werd gescoord bij timing 1 (M = 7.46, SE = 0.06), in vergelijking met
timing 2 (M = 7.18, SE = 0 .07).
Als er naar de derde hypothese wordt gekeken, bleek er zoals verwacht een
significante driewegsinteractie tussen feedback, timing en taak te zijn, F(1,139) = 58.20, p < .001. Zie Tabel 8 voor gemiddelden en standaarderrors.
Tabel 8. Driewegsinteractie tussen Feedback, Timing en Taak, Gemiddelde Score (M) en Standaard Errors (SE)
van de 140 deelnemers, waarbij een minimale score van 0 en een maximale score van 8 haalbaar is. Type Taak Timing Feedback M SE
Makkelijk 1.Aankondiging + Positief 7.70 0.06 Feedback
Makkelijk 2. Feedback + Positief 6.88 0.08 Aankondiging
Makkelijk 1. Aankondiging + Neutraal 7.21 0.09 Feedback
Makkelijk 2. Feedback+ Neutraal 7.48 0.09 Aankondiging
Complex 1. Aankondiging + Positief 7.51 0.07 Feedback
Complex 2. Feedback + Positief 7.48 0.08 Aankondiging
Complex 1. Aankondiging + Neutraal 7.35 0.09 Feedback
Complex 2. Feedback + Neutraal 7.36 0.09 Aankondiging
Om te testen of de interactie feedback x timing geldt voor beiden soorten taken (makkelijk en complex) heb ik een nadere 2 (Feedback) x 2 (Timing) Repeated Measures analyse
uitgevoerd apart voor de condities met een makkelijke taak en daarna met alleen de condities met een complexe taak. Uit deze analyses werd duidelijk dat er tegen de verwachting in geen significante feedback x timing interactie was bij een complexe taak, F (1,139) < 1, p = 0.712, maar wel bij een makkelijke taak, F (1,139) = 91.40, p < .001.
Nu kan gesteld worden dat de interactie feedback x timing gemodereerd wordt door een makkelijke taak, waarbij er sprake is van een hogere accuratesse score bij lof na een taakaankondiging in vergelijking met bij neutrale feedback, en een lagere accuratesse score bij lof voor een taakaankondiging in vergelijking met bij neutrale feedback.
Effecten Accuratesse voor en na de pauze
Om de resultaten van de deelnemers in de acht condities voor en na de pauze te vergelijken, is er ook een 2x2x2x2 Repeated Measures analyse uitgevoerd met als extra variabele ‘Blok’ (Blok 1 vs. Blok 2). De eerder besproken bevindingen van de accuratesse bleken alleen significant te zijn bij Blok 2, ofwel het tweede deel van de test. Vanwege de complexiteit van de studie worden alleen de resultaten van de hypotheses binnen deze analyse besproken.
Er bleek in Blok 2 net als bij de vorige analyse sprake te zijn van een hoofdeffect van taak, F(1,139) = 14.15, p < .001 en niet in Blok 1, F(1,139) < 1, p = 0.938, waarbij
onverwacht een betere accuratessescore is behaald bij een complexe taak (M = 3.72, SE = 0.04) dan bij een makkelijke taak (M = 3.62, SE = 0.03).
Mijn belangrijkste hypothese van een interactie tussen feedback en timing bleek beïnvloed te worden door Blok, F(1,139) = 44.70, p < .001. De interactie feedback x timing bleek alleen significant is bij Blok 2, F(1,139) = 106.96, p < .001 en niet bij Blok 1, F(1,139) < 1, p = 0.489. In Blok 2 werd er bij lof beter gescoord bij timing 1 (M = 3.79, SE = 0.04), dan bij neutrale feedback bij timing 1 (M = 3.58, SE = 0.04). Dit betekent dat in het tweede deel van de test er een hogere score werd behaald wanneer lof na de taakaankondiging werd gegeven in vergelijking met wanneer neutrale feedback na de taakaankondiging werd gegeven. Lof bij timing 2 (M = 3.50, SE = 0.04) zorgde zoals verwacht voor een lagere accuratessescore, in vergelijking met neutrale feedback bij timing 2 (M = 3.81, SE = 0.04). Dit betekent dat bij lof voor de taakaankondiging er een lagere accuratesse score is behaald dan bij neutrale feedback voor de taakaankondiging, zie Figuur 1.
De hypothese van de drieweginteractie feedback x timing x taak bleek ook significant met Blok te interacteren, F(1,139) = 79.96, p < .001. Uit verdere analyse bleek dat deze drieweginteractie significant is bij Blok 2, F(1,139) = 156.35, p < .001, zie Figuur 2, maar wederom niet bij Blok 1, F(1,139) < 1, p = 0.618.
Bij nadere analyses met als variabelen feedback en timing binnen Blok 2, apart getest voor de twee soorten taken, bleek dat de interactie bij een complexe taak niet significant is,
F(1,139) < 1, p = 0.664, maar dat na de pauze de interactie tussen feedback en timing bij een makkelijke taak wel significant is, F(1,139) = 244.73, p < .001. Ook in deze analyse bleek dus
dat de interactie tussen feedback en timing wordt gemodereerd door een makkelijke taak, maar nu is gebleken dat dit alleen het geval is na de pauze, zie Figuur 2.
Figuur 1. Gemiddelde Accuratesse Score (minimaal Figuur 2. Gemiddelde Accuratesse Score (minimaal 0,
0, maximaal 4) op de matrixtaak bij de significante maximaal 4) op de matrixtaak bij de significante interactie Feedback x Timing, na de pauze (Blok 2) interactie tussen feedback en timing, wanneer sprake is
van een Makkelijke taak, na de pauze (Blok 2)
Aan Figuur 2 valt af te lezen dat er na de pauze bij een makkelijke taak en timing 1 bij positieve feedback beter gescoord wordt op de matrixtaak (M = 3.91, SE = 0.03) in
vergelijking tot bij neutrale feedback (M = 3.53, SE = 0.06). Lof bij timing 2 (M = 3.17, SE = 0.05) zorgde zoals verwacht voor een verminderde prestatie in vergelijking met neutrale feedback bij timing 2 (M= 3.86, SE = 0.04).
Kortom, gebleken is dat er alleen in het tweede deel sprake is van een betere accuratesse score bij een makkelijke taak bij lof en timing 1, in vergelijking met neutrale feedback, en dat de accuratesse score lager werd bij lof en timing 2, in vergelijking met neutrale feedback. Alhoewel deze effecten overeenkomen met mijn verwachting blijkt de invloed van het soort taak tegengesteld te zijn aan mijn verwachting dat feedback en timing sterker zouden interacteren bij een complexe taak. Voor deze gevonden effecten van Blok en van het soort taak zullen in de discussie mogelijke verklaringen worden aangekaart.
Analyse van de reactietijd. Om de gemiddelde reactietijd van de deelnemers per conditie te meten, is er een 2x2x2x2 Repeated Measures analyse uitgevoerd met als variabelen Feedback (positief vs. neutraal) x Taak (makkelijk vs. complex) x Timing (taakaankondiging gevolgd door feedback vs. feedback gevolgd door taakaankondiging) x Blok (voor vs. na de pauze). Vanwege de complexiteit van de vele analyses vermeld ik alleen de resultaten van de feedback x timing interactie en de feedback x timing x makkelijke taak interactie in Blok 2, om te controleren of de gevonden verbetering in accuratesse niet een verminderde reactietijd tot gevolg heeft.
In de reactietijdanalyse binnen Blok 2 blijkt een significant interactie effect tussen feedback en timing, met F(1,139) = 20.69, p < .001, zie Figuur 3, maar blijkt de
driewegsinteractie tussen feedback, timing en een makkelijke taak niet significant, F(1,139) < 1, p = 0.591, zie Figuur 4.
Figuur 3. Gemiddelde Reactietijd (s) bij een Figuur 4. Gemiddelde Reactietijd (s) bij niet
significant interactie effect tussen feedback significante interactie tussen feedback en timing en timing bij Blok 2. bij een makkelijke taak bij Blok 2.
Aan Figuur 3 valt af te lezen dat er bij timing 1 zoals verwacht een snellere reactietijd is bij positieve feedback dan bij neutrale feedback en alhoewel Figuur 4 niet significant is, lijkt het erop dat ook hier bij timing 1 de reactietijd niet verminderd is vergeleken met neutrale feedback. Kortom, bij timing 1 blijkt er naast een verhoogde accuratesse score geen
vermindering in reactietijd te zijn in vergelijking met neutrale feedback, wat aantoont dat lof bij timing 1 zorgt voor een verbeterde prestatie.
Opvallend is dat er in Figuur 3 te zien is dat de lijn van timing 2 dezelfde richting op gaat als de lijn van timing 2 in Figuur 1 van de accuratesse analyse. Dit wijst zoals verwacht op een trade off tussen accuratesse en reactietijd bij timing 2, wat betekent dat de twee vormen van prestatie elkaar tegenwerken: een verhoogde reactietijd zorgt voor een lagere accuratesse als lof voor de taakaankondiging gegeven wordt.
Kortom, er blijkt dat er prestatieverbetering is bij lof met timing 1, ofwel lof gegeven
na de taakaankondiging en dat er prestatievermindering is bij lof met timing 2, ofwel lof
Exploratief onderzoek
In een exploratieve analyse is er gekeken of sekse en leeftijd als covariaat mogen dienen bij accuratesse door sekse en leeftijd als ‘tussen proefpersoon’ factoren mee te nemen. Deze bleken beiden niet significant te zijn, met leeftijd, F(1,138) < 1, p = 0.348, en sekse, F(1,138) < 1, p = 0.748 en ze zijn daarom niet als covariaten meegenomen in de analyses. Aangezien de analyse van reactietijd alleen ter controle dient of er geen sprake is van trade-off met accuratesse, acht ik een analyse met covariaat van reactietijd niet van belang om te vermelden.
Discussie
In deze studie werd het effect van lof op prestatie onderzocht aan de hand van de PSI theorie (Kuhl, 1984, 2000) met als standpunt dat een prestatie kan verbeteren maar ook kan
verslechteren afhankelijk van het moment waarop lof wordt gegeven en de wijze waarop de taak wordt aangekondigd.
Dit is onderzocht door alle deelnemers afwisselend lof of neutrale feedback te geven, deze feedback voor en na de taakaankondiging te geven en onderscheid te maken tussen de aanbieding van makkelijke en complexe taken. Door alledrie deze variabelen afwisselend te combineren ontstonden er acht condities die door alle deelnemers acht keer doorlopen zijn. De deelnemers maakten 64 matrixtaken, waarbij hun accuratesse en reactietijden zijn gemeten en de prestatie in elke conditie met elkaar vergeleken kon worden. Bij de helft van de trials maakte men een extra taak die niet gebruikt is voor prestatie meting maar die diende als extra actiestap bij een complexe taak.
De belangrijkste hypothese van dit onderzoek is bevestigd: er blijkt een interactie effect van feedback en timing op accuratesse en reactietijd. Tegen mijn verwachting in geldt dit alleen bij de makkelijke taken en niet bij de complexe taken. Ook is dit effect alleen in het tweede deel van de test gevonden.
Hypotheses
Alle hypotheses zullen nu apart besproken worden en vervolgens zullen er conclusies gedaan worden van het gedane onderzoek. Ook zullen opvallende resultaten, implicaties en
belangrijke aspecten besproken worden die interessant kunnen zijn voor vervolgonderzoek. Tot slot volgt er een kort onderzoeksvoorstel om de bevindingen van deze studie te toetsen in de praktijk.
Hypothese 1: een hoofdeffect van taak. De verwachting was dat prestatie op een taak wordt beïnvloed door het soort taak dat wordt uitgevoerd. Hierbij werd verwacht dat over het algemeen op een makkelijke taak (alleen een matrixtaak) beter zou worden gescoord dan op een complexe taak (een matrixtaak en daarna een statement taak) wanneer de andere
variabelen niet worden meegerekend.
Deze hypothese werd bevestigd maar tegen de verwachting in bleek er over het algemeen beter te worden gescoord op een complexe taak in plaats van op een makkelijke taak. Volgens de PSI theorie zou echter alleen door de aankondiging van een complexe taak een intentie worden gevormd. Het effect van het type taak blijkt dus tegengesteld aan wat ik had verwacht. Ik zal na bespreking van de hypotheses hier een mogelijke verklaring voor aandragen. Verder was er zoals verwacht geen sprake van een hoofdeffect van feedback, maar het effect van feedback blijkt afhankelijk te zijn van de andere variabelen.
Hypothese 2: de interactie feedback x timing. De tweede hypothese was dat de prestatie op een taak beïnvloed wordt door een interactie tussen feedback en timing, of met andere
woorden: dat de prestatie afhankelijk is van het moment waarop de lof wordt gegeven. De hypothese werd bevestigd bij accuratesse en bij reactietijd, waarbij er zoals verwacht bij lof met timing 1 sprake was van een verbeterde accuratesse score zonder dat de reactietijd was verslechterd. Er bleek dus een verbetering van de prestatie op de volgende taak wanneer lof na de taakaankondiging werd gegeven, in vergelijking met wanneer er neutrale feedback
werd gegeven. Als lof daarentegen voor een taakaankondiging werd gegeven (timing 2), zorgde dit voor een snellere reactietijd maar een lagere accuratesse score, in vergelijking met neutrale feedback.
Als we deze bevindingen koppelen aan de PSI theorie, kan geconcludeerd worden dat er door het opwekken van positief affect na activatie van een intentie, sprake is van
volitionele facilitatie. Het opwekken van positief affect daarentegen voor activatie van een intentie kan wel voor meer inzet zorgen, maar de intentie kan hierbij niet goed worden omgezet tot actie, waardoor de prestatie omlaag gaat.
Deze bevindingen van lof en timing komen overeen met mijn verwachting dat lof de prestatie kan verbeteren maar ook kan verslechteren, afhankelijk van de timing van de lof. Duidelijk is geworden dat het moment waarop lof wordt gegeven inderdaad van belang is om de prestatie te kunnen verbeteren. Deze interactie tussen timing en feedback bleek echter alleen het geval in het tweede blok van de test. Mogelijke redenen hiervoor zullen nog besproken worden.
Hypothese 3: de driewegsinteractie feedback x timing x taak. De derde hypothese van een driewegsinteractie tussen feedback, timing en taak werd bevestigd. Alhoewel de verwachting was dat de interactie tussen feedback en timing sterker zou zijn als de taakaankondiging twee taken behelst, ofwel complex is, vergeleken met een makkelijke taak, bleek uit een nadere analyse dat deze driewegsinteractie alleen geldt bij een makkelijke taak en niet bij een complexe taak, en dat dit alleen het geval is in het tweede deel van de test.
Als we deze bevindingen bekijken vanuit de PSI theorie is het opvallend dat er in dit geval wel een intentie geactiveerd lijkt te zijn bij aankondiging van een makkelijke (enkele matrix) taak maar niet bij een complexe taak. Hier zullen mogelijke verklaringen voor worden aangedragen.
Kortom, uit de verschillende hypothese besprekingen is duidelijk geworden dat er zoals verwacht sprake is van volitionele facilitatie wanneer lof na de taakaankondiging wordt gegeven, in vergelijking tot bij neutrale feedback na een aankondiging. Ook is bevestigd dat wanneer lof voor de taakaankondiging wordt gegeven de prestatie verslechtert, in vergelijking met neutrale feedback voor de taakaankondiging. Uit dit onderzoek is dus gebleken dat het moment waarop lof wordt gegeven van invloed is op de prestatie, wel is hierbij een
tegengesteld effect van de moeilijkheid van de taak gevonden en zijn de hypotheses alleen bevestigd in het tweede deel van test. Voor het tegengestelde effect van de taak en het
verschil in effect voor en na de pauze zullen nu mogelijke verklaringen aangedragen worden. Een tegengesteld effect van taak. Zoals besproken zou volgens de PSI theorie alleen een complexe taak een intentie activeren en het nodige gedrag zou worden afgeremd als er geen positief affect op deze intentie volgt. Echter bleek in deze studie tegen de verwachting in dat de interactie tussen feedback en timing werd gemodereerd door een makkelijke taak in plaats van een complexe taak wat opvallend is omdat er volgens de PSI theorie en eerder onderzoek bij een makkelijke taak geen intentie geactiveerd zou worden en door middel van lof zo ook geen volitionele facilitatie kan ontstaan.
Een mogelijk verklaring voor dit tegenovergestelde gevonden effect van de taak is dat een enkele matrixtaak op zichzelf al complex genoeg was om een intentie te activeren, omdat er meerdere actiestappen gedaan moesten worden binnen een enkele matrixtaak (twee
nummers zoeken, herinneren, optellen en vergelijken) en werd hierdoor alsnog het intentiegeheugen geladen waardoor lof het bijbehorende gedrag vervolgens faciliteerde. Aangezien men na de oefenvragen wist om wat voor soort taken het ging was de abstracte aankondiging van de taken daarna gekleurd.
De reden dat er geen faciliterend effect van lof bij een complex bedoelde taak
waren, waardoor deze positief affect opgewekt hebben (zie de bijlage voor de in de test gebruikte vragen). Hierdoor kan er bij een complexe taak minder druk ervaren zijn, omdat de taak elke keer luchtig en positief eindigde. Ook werd bij een dubbele taak mogelijk geen intentie actief gehouden, omdat het positieve affect gelijktijdig met de aankondiging van een complexe taak werd ervaren en de intentie mogelijk niet werd opgeslagen, of dat er mogelijk hierdoor geen effect van daaropvolgende lof ervaren werd.Om dit te testen zou het voor vervolgonderzoek interessant zijn om als tweede taak een minder eventueel positief affect opwekkende taak te gebruiken en de taak achteraf te evalueren, aangezien de invloed van affect een prominente rol speelt binnen het onderzoek.
Kortom, in deze studie lijkt er sprake te zijn van intentievorming door middel van het aankondigen van een makkelijke (bedoelde) taak, aangezien er prestatieverbetering is bij lof
na de aankondiging van een makkelijke taak, in tegenstelling tot wanneer er neutrale feedback
op deze taakaankondiging volgt en in tegenstelling tot wanneer de lof voor de taakaankondiging wordt gegeven. Op deze wijze blijkt ondanks het onverwachte
tegengestelde effect van de taak de verwachting uit te komen dat lof na het vormen van een intentie zorgt voor volitionele facilitatie.
Verschillen voor en na de pauze. Aangezien de test met de vele taken langdurige concentratie vereiste, is er onderzocht of er verschillen waren in de prestatie bij de
matrixtaken voor en na de pauze, om eventuele vermoeidheidseffecten uit te sluiten. Uit de analyses bleek onverwacht dat zowel de feedback x timing interactie en de feedback x timing x taak interactie alleen significant waren na de pauze.
Een reden hiervoor zou kunnen zijn dat de deelnemers tijd nodig hadden om inzicht in de taak te krijgen en strategieën te creëren om de taak uit te voeren. In het begin moesten ze vertrouwen krijgen in hun kunnen, aangezien ze onder tijdsdruk werden gezet. Er zou dus sprake van een leereffect kunnen zijn, wat in het geval van deze taak laat zien dat het
inderdaad gaat om een bekwaamheidstaak. Dit is het soort taak dat graag gebruikt wordt om de hypothese gebaseerd op de PSI theorie en eerder onderzoek te testen, omdat de prestatie dan niet alleen afhankelijk is van de inzet. Bij de uitvoering van de taken moest men elke keer een nieuwe combinatie van getallen vinden, dus de taak kon niet uit het hoofd geleerd
worden. Wel was er blijkbaar oefening nodig in de taak, waardoor de effecten pas goed gemeten konden worden in het tweede deel van de test. Voor vervolgonderzoek zou het daarom handig zijn meer dan één oefenvraag voor aanvang van de test aan te bieden.
Het verschil tussen voor en na de pauze kan zijn versterkt door het aansporende effect van de lof. Alhoewel de lof willekeurig en onafhankelijk van de werkelijke prestatie gegeven werd, kan het de deelnemers wel beïnvloed hebben voor wat betreft hun zelfverzekerdheid. Na de pauze was men mogelijk meer gemotiveerd en minder afgeleid door onzekerheden na vaker ontvangen van lof. Uit de exit vragenlijst blijkt ook bij velen dat men de feedback als aansporend en motiverend heeft ervaren.
Een vermoeidheidseffect kan worden uitgesloten, aangezien de reactietijd sneller bleek in het tweede deel van de test. Van afraffelen lijkt ook geen sprake te zijn omdat alleen de reactietijden van de goede antwoorden worden geanalyseerd. Het is niet aannemelijk dat men zoveel antwoorden gegokt en goed beantwoord heeft.
Implicaties en Toekomstig Onderzoek
Test Setting. De data is verzameld via een online experiment, omdat dit een snelle en betrouwbare manier is om veel data van goede kwaliteit binnen te halen (Buhrmeister,
Kwang, & Gosling, 2011). Het nadeel van het doen van een online experiment is echter dat er weinig controle is over de omstandigheden waarin het onderzoek wordt uitgevoerd (tijd, plaats en omgeving). Via meting van de reactietijd kon de testafname echter gecontroleerd worden. Deelnemers die een pauze namen of hebben gegokt konden op deze wijze verwijderd worden uit de analyse.
Positief Affect. Uit de meting hoe de deelnemers zich voelden tijdens de test (voor, tijdens de pauze en na de test), bleek dat ze over het algemeen in een positieve stemming verkeerden. Hierdoor kan lof feedback minder invloed hebben gehad op het opwekken affect, aangezien men zich al positief voelde. Aan de hand van de resultaten lijkt er door middel van lof
voldoende invloed van positief affect te zijn geweest. Ook is het belangrijk om het verschil te onthouden tussen het kortdurend opwekken van positief affect en een positieve stemming, want alleen de kortdurende invloed van positief affect na een intentie zou volgens de theorie zorgen voor volitionele facilitatie.
Timing. Er bleek een hoofdeffect van timing te zijn, waarbij er bij een timing van lof na een taakaankondiging er over het algemeen beter gepresteerd werd, onafhankelijk van de andere variabelen. Een mogelijke verklaring hiervoor is dat men bij deze timing van lof langer de tijd had zich voor te bereiden om de matrixtaak te maken, aangezien de taakaankondiging twee seconden eerder werd gegeven dan bij de andere timing. Voor vervolgonderzoek is het interessant om verschillen in tijdsduur tussen aankondiging van de taak en het maken van de taak te onderzoeken.
Persoonlijkheidsverschillen. Wegens complexiteit van de huidige studie is de meting op BIS/BAS schalen die individuele verschillen in effect van beloning of straf op gedrag meet, achterwege gelaten. Wel moet er rekening mee gehouden worden dat er onderling verschillen kunnen bestaan in reactie op lof.
Prestatie op de tweede taak. Uit eerder onderzoek is, zoals besproken, gebleken dat volitionele facilitatie alleen het geval is bij de eerste van de twee taken. Onduidelijk is nog hoe er ook bij de tweede taak binnen deze complexe taak prestatieverbetering kan ontstaan. Het zou voor vervolgonderzoek interessant zijn om dit te meten.
Debriefing. In het onderzoek zijn de deelnemers niet geïnformeerd over de werkelijke opzet en de uitkomsten van het onderzoek. Aangezien de feedback willekeurig werd gegeven, zou
