Het Effect van Positieve Feedback op Motivatie.
Iris GravemakerStudentnummer: 10530770 Universiteit van Amsterdam Begeleider: Nils Jostmann Aantal woorden: 4850 woorden
Abstract
In dit onderzoek werd het effect van timing en framing van positieve feedback op motivatie onderzocht. Het onderzoek werd uitgevoerd op middelbare scholen bij leerlingen uit de onderbouw van de niveaus mavo, havo en vwo. Deelnemers deden een aantal
prestatietaken en kregen daarover directe positieve feedback, vertraagde positieve feedback of geen feedback afhankelijk van de conditie waar ze in zaten. Deelnemers werden willekeurig over de condities verdeeld. Er werd een MANOVA uitgevoerd en er werd geen verschil in prestatie gevonden tussen de verschillende condities. Er werd geen effect gevonden van positieve feedback op motivatie, wat mogelijk verklaard kan worden door te weinig variatie in de data.
Inleiding
Nederland heeft meer top-presterende 15-jarige leerlingen dan de meeste andere Europese landen (OECD, 2016). Vooral op het gebied van basisvaardigheden blinken
Nederlandse leerlingen uit. Er blijft echter een prestatie verschil bestaan tussen Nederland en Aziatische landen, want er zijn veel leerlingen in Nederland die meer potentie in zich hebben dan datgene wat daadwerkelijk wordt bereikt. De OECD verklaart het verschil in prestatie aan de hand van de lage motivatie bij hoog presterende leerlingen. Er zijn namelijk veel leerlingen in Nederland die niet gemotiveerd zijn. Het Nederlandse schoolsysteem beloont excellentie niet en Nederlandse ouders zijn weinig betrokken met de schoolprestaties van hun kinderen (OECD, 2016). Om ervoor te zorgen dat hoog presterende leerlingen hun volledige potentie behalen, adviseert de OECD docenten om het gebruik van bekrachtiging te stimuleren door middel van track promotion, het belonen van leerlingen wanneer ze een subdoel binnen een leerweg hebben behaald.
Wanneer een leraar een leerling een compliment geeft over hoe de leerling heeft gepresteerd, geeft de leraar hiermee informatie aan de leerling over zijn of haar prestatie (Hattie & Timperley, 2007). Deze informatie kan worden gegeven door een leraar,
medescholier, ouder of door de leerling zelf. Volgens Kluger en DeNisi (1996) heeft kennis over hoe iemand heeft gepresteerd een positief effect op motivatie. Als een scholier meer motivatie heeft, dan zal deze op toekomstige taken beter presteren. Het motiveren van scholieren is voor scholen dan ook een dagelijkse bezigheid om op deze manier prestatie van leerlingen te verbeteren.
Feedback geeft niet alleen informatie over hoe de leerling heeft gepresteerd, maar wanneer feedback positief is kan het ook een manier zijn waarop de leraar zijn of haar waardering toont (Hattie & Timperley, 2007). Positieve feedback is informatie die gegeven wordt over een prestatie die een positieve evaluatieve waarde heeft, een voorbeeld hiervan is
“Dat heb je goed gedaan!”. Positieve feedback kan bij leerlingen er echter ook voor zorgen dat ze druk voelen om te presteren en hierdoor juist minder gemotiveerd raken (Henderlong & Lepper, 2002). Aangezien de effecten van positieve feedback op motivatie uiteenlopen, is het van belang te onderzoeken wat de consequenties van positieve feedback op de motivatie van kinderen zijn (Henderlong & Lepper, 2002).
Onderzoek naar de effectiviteit van positieve feedback kan ook een economische waarde hebben. Interventietechnieken worden geproduceerd met het achterliggende idee dat het geven van feedback een positief effect heeft op prestatie (Kluger & DeNisi, 1996). In een onderzoek van Van Dijk en Kluger (aangehaald in Hattie & Timperley, 2007) kwam naar voren dat positieve feedback in vergelijking met negatieve feedback een positief effect (op prestatie) heeft voor een taak die de deelnemers ‘wilden’ doen, dit gold niet voor een taak die de deelnemers niet ‘wilden’ doen. Als dit soort wetenschappelijke bevindingen over feedback niet op de juiste manier worden verwerkt bij het maken van een nieuwe interventietechniek, dan wordt er overmatig geld uitgegeven aan interventietechnieken die niet effectief zijn. Het is voornamelijk van belang om de effectiviteit van positieve feedback te onderzoeken, omdat dit een veelgebruikte manier van feedback geven is.
Feedback
De Feedback Intervention Theory is een theorie die uitlegt wanneer feedback het meeste effect heeft op prestatie (FIT; Kluger & DeNisi, 1996). Prestatie is hierbij een consequentie van motivatie. Volgens FIT zijn er drie variabelen die het effect van een
Feedback Intervention (FI) op prestatie bepalen. Een FI is een actie die door een leraar, ouder of andere buitenstaander wordt ondernomen en welke informatie geeft over bepaalde aspecten van de prestatie. Ten eerste heeft de inhoud van de boodschap die de feedback over brengt een effect op prestatie. Deze inhoud bepaalt aan welk gedeelte van de feedback de ontvanger
de meeste aandacht geeft. Op deze manier beïnvloedt de inhoud van de boodschap ook
toekomstig handelen van de ontvanger van de feedback. In een eerder onderzoek van Cimpian en collega’s (2007) wordt dit bevestigd. Deze onderzoekers vroegen vierjarige kinderen om verschillende scenario’s uit te beelden met een handpop. De kinderen hadden een eigen handpop en de proefleider had een handpop die de leraar was. In elk scenario vroeg de leraar-handpop de kind-leraar-handpop een bepaald object te tekenen. Het was een net-alsof opdracht, dus kinderen tekenden niet echt. In de eerste vier scenario’s wist de kind-handpop de objecten goed te tekenen en werd deze of met een generiek compliment (“Jij bent een slimme
jongen!”) of met een niet-generiek compliment (“Je hebt een goede manier gevonden om die taak uit te voeren!”) bekrachtigd. In het scenario daarna maakte het kind een fout, waar de leraar-handpop in beide condities identiek op reageerde. Uit dit onderzoek kwam naar voren dat kinderen die een generiek compliment kregen, bij tegenslag emotioneel reageerden en minder hard hun best gingen doen. Dit in tegenstelling tot kinderen die een niet-generiek compliment kregen. Deze kinderen reageerden minder emotioneel op tegenslagen en namen betere strategieën aan om eerdere fouten te verbeteren. Het geven van positieve feedback op een eerdere taak kan er dus voor zorgen dat kinderen betere strategieën toepassen in een volgende taak, zo kan positieve feedback toekomstig handelen beïnvloeden.
Naast de inhoud van de boodschap wordt het effect op prestatie ook bepaald door de aard van de uitgevoerde taak. De aard van de taak geeft namelijk een indicatie van hoe waarschijnlijk het is dat de aandacht van de taak af raakt. Bij een taak waar een hoge
concentratie voor nodig is, zal de aandacht sneller van de taak af raken dan wanneer een taak een lage concentratie vereist. Aandacht zorgt voor focus op de taak en daardoor verbetert prestatie. Wanneer er een taak lastig is en daardoor hoge concentratie vereist, zal de focus op de taak minder zijn en daardoor prestatie afnemen.
Als laatste wordt het effect op prestatie bepaald door situationele en persoonlijke variabelen. Deze variabelen bepalen hoe de ontvanger van de feedback omgaat met de discrepantie tussen de taakstandaard en de prestatie waar de feedback over gaat. Wanneer feedback wordt gegeven, wordt een FI door de ontvanger vergeleken met de taakstandaard. Als de feedback die de ontvanger krijgt in vergelijking met de taakstandaard negatief is, dan zet de ontvanger zich in de toekomst meer in. Als de feedback in vergelijking met de
taakstandaard positief is, dan wordt in de toekomst de inzet verlaagd of constant gehouden. Zo wordt de prestatiestandaard verhoogt en in de toekomst beter gepresteerd (Kluger & DeNisi, 1996).
Timing
Een andere factor die effect heeft op prestatie is de timing van de positieve feedback. Een theorie die het effect van timing van positieve feedback op prestatie in kaart brengt is de Perseveration-interference Theory (Kulhavy & Anderson, 1972). Deze theorie gaat ervanuit dat wanneer de feedback over de prestatie op een moeilijke taak wordt uitgesteld (of
vertraagd), dit ervoor zal zorgen dat de prestatie verbetert wanneer de taak later nogmaals uitgevoerd wordt. Dit komt doordat eerdere verkeerd gegeven antwoorden dan vergeten zijn tijdens de tijdsspanne waarin de feedback werd uitgesteld. Er is in dit geval minder
interferentie tijdens het feedback moment wanneer de juiste antwoorden worden gegeven. Dit is wat de onderzoekers Clariana, Wagner en Murphy (2000) vonden. Zij kwamen erachter dat vertraagde feedback alleen effectief was wanneer gecontroleerd werd voor de
moeilijkheidsgraad van de taak. Vertraagde feedback was effectief wanneer de taak een hoge moeilijkheidsgraad had. Deelnemers die vertraagde feedback kregen, kregen meer
mogelijkheid om de informatie van de moeilijke items te verwerken dan deelnemers die direct feedback kregen. Deze deelnemers presteerden dan ook beter wanneer ze de taak hierna
nogmaals moesten uitvoeren. Ook Kulhavy en Anderson (1972) vonden dat deelnemers waarbij de feedback direct na de taak werd gegeven een grotere kans hadden om dezelfde fouten nogmaals te maken vergeleken met deelnemers in de vertraagde feedback conditie. Deze uitkomst is in overeenstemming met de theorie over de timing van feedback.
Framing
Op basis van de eerder besproken inzichten kan worden verwacht dat wanneer positieve feedback vertraagd wordt gegeven dit een positief effect heeft op prestatie. In dit onderzoek is dit getoetst door deelnemers twee op elkaar volgende taken te laten maken en de positieve feedback op twee verschillende manieren te geven. De feedback wordt ofwel direct na de eerste taak gegeven, de post-prestatie conditie, ofwel vertraagd voor de tweede taak gegeven, de pre-prestatie conditie. Volgens de Perseveration-interference Theory (Kulhavy & Anderson, 1972) zullen deelnemers in de pre-prestatie conditie beter presteren, omdat ze meer tijd hebben om na te kunnen denken over de eerdere taak en zich voor te bereiden op de volgende taak. Daarnaast zou in deze conditie een effect van framing kunnen optreden. Framing is het uit elkaar trekken van de taak en de voorbereiding. Deelnemers die in de pre-prestatie conditie zitten krijgen eerst een taak, vervolgens bereiden ze zich voor op de volgende taak, maar voordat ze beginnen met de tweede taak wordt positieve feedback (“Je hebt de eerste ronde goed gedaan!”) gegeven over de eerste taak. Dit kan tot interferentie leiden en op deze manier prestatie op de tweede taak verlagen. Een ander mogelijk effect is dat de positieve feedback als een motiverende factor werkt en op deze manier prestatie op de tweede taak verhoogt. Aan de hand van de Perseveration-interference Theory en eerder onderzoek van Clariana en collega’s (2000) is het waarschijnlijker dat er in deze conditie interferentie optreedt en dat de timing van de positieve feedback op deze wijze prestatie verlaagt.
Het is van belang om onderzoek te doen naar de invloed van framing van de positieve feedback op prestatie, omdat hier nog weinig eenduidigs over bekend is. Framing is een fenomeen wat zelden eerder is onderzocht en is daarom volledig nieuw in de
onderzoekswereld. Theoretisch gezien is het voor de hand liggend dat er een effect van
framing op zou kunnen treden, maar empirisch gezien is het van belang hier verder onderzoek naar te doen.
Het onderzoek
In dit onderzoek kijken we naar het effect van framing en timing van de valentie van feedback op motivatie bij middelbare scholieren. Prestatie werd gebruikt als maat om motivatie te meten. Om prestatie te meten hebben we deelnemers een aantal denkopgaves laten maken. De verschilscore tussen de twee rondes werd als maatstaf van prestatie gebruikt. We hebben scholen benaderd en gevraagd of ze mee wilden doen aan het onderzoek. De scholen kozen zelf hoeveel en welke klassen meededen aan het onderzoek, klassen moesten uit de onderbouw komen en konden het niveau mavo, havo of vwo hebben. Aan de gehele klas werd een toestemmingsformulier uitgedeeld wat door de ouders van de deelnemers moest worden ondertekend, zonder toestemming geen deelname. Deelnemers met toestemming werden vervolgens random onderverdeeld in een van de drie condities; (1) directe positieve feedback, (2) vertraagde positieve feedback, (3) geen feedback.
Er wordt een positief effect van positieve feedback op prestatie verwacht vergeleken met geen feedback. Daarnaast wordt een effect van framing op motivatie verwacht, waarbij directe positieve feedback een positiever effect heeft op prestatie dan vertraagde positieve feedback.
Methoden Deelnemers
Voor het onderzoek waren 180 leerlingen van drie middelbare scholen in de provincies Noord-Holland en Utrecht gevraagd om deel te nemen. Alle leerlingen kwamen uit de
onderbouw van de middelbare school. Er deden twee tweedejaars mavo-klassen, twee eerstejaars havo/vwo-klassen, een tweedejaars havo-klas, een tweedejaars atheneumklas en een tweedejaars gymnasiumklas.
Uiteindelijk heeft 77% van de leerlingen na toestemming van de ouders deelgenomen aan het onderzoek, dit waren 138 leerlingen. Deelnemers kregen geen beloning voor
deelname aan het onderzoek. Er deden 63 jongens en 71 meisjes mee aan het onderzoek met een gemiddelde leeftijd van 13 jaar (SD = 0,61).
Materialen
Toestemmingsverklaringen. Aangezien we te maken hebben met minderjarigen,
hebben wij voorafgaand aan het onderzoek toestemmingsverklaringen uitgedeeld aan de kinderen. Deze leverden de kinderen uiterlijk de dag van het van het onderzoek ondertekend door de ouders in. Zonder deze toestemmingsverklaring konden de kinderen niet meedoen aan het onderzoek. In de bijlage is een voorbeeld van deze toestemmingsverklaring te vinden.
Klassikale afname. Tijdens de klassikale afname hebben we een papieren vragenlijst
gebruikt die prestatiemotivatie meet bij de deelnemers. In deze vragenlijst zaten zes items van de Operant Motive Test, deze items meten impliciete prestatiemotivatie. Daarnaast bevatte de vragenlijst twintig items van de Motive Enactment Test, deze items meten expliciete
prestatiemotivatie bij kinderen. Als laatste bevatte de vragenlijst veertien items van de Action Control Scale voor kinderen (Kuhl & Henseler, 2003). Voor dit onderzoek is de klassikale vragenlijst niet relevant en daarom zal hier verder niet op in worden gegaan.
Individuele afname. Voor de individuele sessies hebben we in Qualtrics een taak
geprogrammeerd. De taak bestaat uit een instructieblok, oefenronde, eerste ronde, tweede ronde en een blok algemene vragen. Tijdens het instructieblok worden de getal-zoektaken en de woord-zoektaken geïntroduceerd die in de oefenronde, eerste ronde en de tweede ronde door de deelnemers worden gemaakt.
In de getal-zoekopgaves wordt een reeks getallen gepresenteerd, waaruit de deelnemer de juiste twee getallen bij elkaar moet zoeken die tot het doelgetal leiden (Mazar, Ami & Ariely, 2008). Zie voor een voorbeeld van een getal-zoekopgave Figuur 1. Het juiste antwoord van deze opgave is 6,7 + 1,3 = 8. De antwoordopties en het doelgetal verschillen per opgave. Het doelgetal kan 8, 10 of 12 zijn.
‘Zoek twee getallen die samen optellen tot precies 8.’
6,7 1,3
6,5 3,4
5,3 6,8
4,3 4,7
Figuur 1. Voorbeeldopgave van de getal-zoektaak.
De woord-zoekopgaves bestaan uit een matrix van 4 keer 4 blokken met letters daarin, zie Figuur 2. In de matrix zit een Nederlands vierletterwoord verstopt dat de deelnemer moet vinden. Het woord kan zowel vooruit als achteruit als horizontaal als verticaal als schuin staan. Hieronder een voorbeeld van een woord-zoekopgave. Het juiste antwoord is in dit geval: ‘auto’.
‘Welk woord zit hier verstopt?’
Figuur 2. Voorbeeldopgave van de woord-zoektaak.
Voordat deelnemers aan de eerste ronde beginnen, krijgen zij gedurende zeven seconden ‘Een ogenblik geduld…’ te zien op het computerscherm. Hierna krijgen de deelnemers de mogelijkheid zich voor te bereiden op de eerste ronde. Tijdens deze voorbereiding zien de deelnemers in welke volgorde de opgaves gerangschikt zijn. De voorbereiding gaat als volgt, ‘In de volgende ronde doe je eerst 3 getal-zoekopgaves en daarna 3 woord-zoekopgaves.’. Deze zin om deelnemers voor te bereiden verschilt per deelnemer en is afhankelijk van de volgorde waarin ze de opgaves zullen maken. Na deze tekst krijgt de deelnemer nogmaals zeven seconden ‘Een ogenblik geduld…’ op het
computerscherm te zien. Dit proces wordt vóór de eerste en vóór de tweede ronde herhaald, maar de tweede ronde is de volgorde van de taken omgedraaid. Wanneer de deelnemer net eerst drie getal-zoekopgaves en daarna drie woord-zoekopgaves heeft gemaakt, krijgt de deelnemer in de tweede ronde eerst drie woord-zoekopgaves en daarna drie
getal-zoekopgaves.
Manipulatie. Er zijn drie mogelijke condities waarin de deelnemers terecht kunnen
komen; (1) onmiddellijke positieve feedback, (2) vertraagde positieve feedback en (3) geen feedback. De manipulatie wordt uitgevoerd na de eerste ronde en voor de tweede ronde. In de eerste conditie, de onmiddellijke positieve feedback conditie, wordt “Je hebt het eerste deel
N Y M U
N C K O
O T U A
goed gedaan!” gezegd tijdens de zeven seconden dat deelnemer aan het wachten is op de voorbereiding op ronde twee. In de tweede conditie, de vertraagde positieve feedback
conditie, wordt “Je hebt het eerste deel goed gedaan!” gezegd tijdens de zeven seconden na de voorbereiding op ronde twee. In de derde conditie, de geen feedback conditie, wordt niks tussen ronde een en ronde twee gezegd.
Manipulatiecheck. Om te kijken of de positieve feedback aan is gekomen, krijgt de
deelnemer na de tweede ronde een aantal algemene vragen waaronder twee
manipulatievragen. De eerste vraag laat de deelnemer terugdenken aan de eerste ronde en evalueren hoe ze vonden dat deze ronde verliep, ‘Denk even terug aan RONDE 1. Ronde 1 deed je direct na de oefenronde. Wat vind je zelf: Hoe goed heb je RONDE 1 gedaan?’. Deelnemers beantwoorden deze vraag op een vijfpuntschaal die loopt van ‘heel goed’ naar ‘heel slecht’. De tweede vraag laat de deelnemer evalueren hoe goed de deelnemer denkt dat de proefleider de prestatie van de deelnemer vond, ‘Wat denk je dat de proefleider vond: Hoe goed vond de proefleider dat je RONDE 1 hebt gedaan?’. Deze kon ook beantwoord worden op een vijfpuntschaal lopend van ‘heel goed’ naar ‘heel slecht’.
Scoren zoektaak. De zoektaak wordt als volgt gescoord. Bij de
woord-zoekopgaves wordt per ronde geteld hoeveel woorden de deelnemers correct hebben
gevonden. Sommige kinderen schrijven de woorden in hoofdletters, andere kinderen in kleine letters, dit verschil maakt niet uit en wordt hetzelfde gescoord. Als er spelfouten uit
slordigheid zijn gemaakt worden deze meegeteld, maar als er een ander woord wordt bedoeld dan wordt deze als fout gerekend.
Scoren zoektaak. De zoektaak wordt als volgt gescoord. Bij de
getal-zoekopgaves wordt eerst voor beide rondes gescoord in hoeverre de deelnemer de twee juiste getallen heeft aangekruist. Als een deelnemer bij een opgave de juiste twee getallen bij elkaar heeft gevonden, wordt deze opgave met 1 gescoord. Wanneer de deelnemer niet de juiste
getallen bij elkaar heeft gevonden, wordt de opgave met 0 gescoord. In totaal zijn er zo zes punten voor de getal-zoekopgaves te behalen per deelnemer. Na beide rondes gescoord te hebben, worden voor beide rondes apart de hoeveelheid correct opgeloste getal-zoekopgaves gescoord.
Procedure
Toestemmingsverklaringen. De toestemmingsverklaringen hebben we bij elke
school een week voordat we de eerste onderzoeksdag hadden staan uitgedeeld. Bij het uitdelen van de formulieren hebben we de kinderen duidelijk gemaakt dat het inleveren van het formulier van groot belang is, want zonder toestemmingsformulier kunnen de kinderen niet deelnemen. We vroegen de kinderen om de formulieren voor het einde van de week in te leveren bij de receptie of administratie, afhankelijk van de afspraak die we hadden gemaakt met de school.
Individuele afname. Voordat de deelnemer uit de klas wordt gehaald, is in de
onderzoekskamer de onderzoeksopstelling al klaargezet. Dit betekent dat in de kamer een tafel staat met daarop een laptop waarop de deelnemer de denkopgaves kan maken. Schuin achter de deelnemer staat nog een tafel waaraan de onderzoeker zit. De onderzoeker kan op deze manier over de schouder van de deelnemer meekijken wat er op het laptopscherm gebeurd. Op de tafel van de onderzoeker liggen logboeken en conditiebriefjes klaar. Bij iedere deelnemer wordt tijdens het onderzoek door de onderzoeker bijgehouden in welke conditie de deelnemer zat, of er dingen anders dan verwacht zijn verlopen, of het onderzoek voortijdig is afgebroken en of de participant serieus werkte. In welke conditie de deelnemer zit weet de onderzoeker niet van tevoren en is door middel van randomisatie bepaald (zie protocol in Appendix voor verdere toelichting). Wanneer de deelnemer de oefenrondes van het onderzoek heeft afgerond en is begonnen aan de eerste ronde kijkt de onderzoeker in
welke conditie de deelnemer zit. De proefleider schrijft in het logboek (zie Appendix) op in welke conditie de deelnemer zit. Aan de hand van deze informatie geeft de onderzoeker de positieve feedback direct na de eerste ronde, vertraagd voor de tweede ronde of geeft de onderzoeker geen feedback.
Afronding. Nadat de deelnemer de positieve feedback wel of niet heeft ontvangen
begint deze aan ronde twee. Ondertussen schrijft de onderzoeker in het logboek op in welke conditie de deelnemer zit. Na de tweede ronde beantwoordt de deelnemer de algemene vragen. Wanneer deze vragen zijn ingevuld geeft de onderzoeker een korte debriefing en kan de deelnemer terug naar de klas om de volgende leerling naar de onderzoekskamer te leiden. Mocht de deelnemer vragen stellen of zich vervelend voelen tijdens het onderzoek, dan staat in het protocol (zie Appendix) verdere toelichting over hoe moet worden gehandeld in dit soort gevallen.
Debriefing. Alle deelnemers kregen na afloop van de individuele afname een korte
debriefing waarin de deelnemer werd bedankt voor de deelname aan het onderzoek en eventuele vragen werden beantwoord. Mocht een deelnemer tijdens de individuele afname aan hebben gegeven zich vervelend te voelen, dan werd de uitgebreide debriefing bij deze deelnemer gedaan. In de uitgebreide debriefing werd een gesprek aangegaan met de
deelnemer over de taak en werd de deelnemer gerustgesteld. Wanneer bij alle deelnemers de individuele afname is geweest en de dataverzameling is gestopt, gaan we terug naar de school voor een uitgebreide debriefing. Tijdens de debriefing delen we een brief uit waarin het daadwerkelijke doel van het onderzoek uitgelegd wordt, zodat de deelnemers weten aan wat voor onderzoek ze mee hebben gedaan.
Resultaten
Van de 138 deelnemers zijn vijf mensen uitgesloten, twee vanwege technische
problemen en drie aangezien ze geraden hadden waar het onderzoek over ging. Van hen zaten er twee deelnemers in de onmiddellijke feedback conditie, een in de vertraagde feedback conditie en twee in de geen feedback conditie. De gegevens van deze deelnemers zijn niet meegenomen in verdere dataverwerking.
De overgebleven gegevens zijn gebruikt in de analyses. Een variantieanalyse (ANOVA) is uitgevoerd om te controleren of de manipulatie effectief was. Hiervoor is ten eerste gekeken naar of de deelnemer zichzelf in de eerste ronde beter beoordeelde dan in de tweede ronde, zie Tabel 1 voor de gemiddelden en standaarddeviaties. Een hogere score betekent dat de deelnemer vond dat deze minder goed presteerde. Het effect was significant, F(2, 133) = 4,14, p = 0,018. Deelnemers in de directe en vertraagde positieve feedback conditie beoordeelden zichzelf significant als beter presterend dan de geen feedback conditie. Daarnaast is ook gekeken naar hoe de deelnemer dacht dat de proefleider vond hoe de eerste ronde was verlopen, zie Tabel 1 voor de gemiddelden en standaarddeviaties. Ook hier betekende een hogere score dat de deelnemer dacht dat de proefleider de prestatie minder goed zou vinden. Het effect was ook bij deze vraag significant, F(2, 133) = 6,82, p = 0,002. Deelnemers in de directe en vertraagde positieve feedback conditie beoordeelden dat de proefleider ze beter vond presteren dan de deelnemers in de geen feedback conditie.
Tabel 1
Gemiddelde per conditie voor zowel de zelf-beoordelingsvraag als de proefleider-beoordelingsvraag, met bijbehorende Standaarddeviaties (tussen Haakjes).
Conditie Zelf Proefleider
Directe positieve feedback 1,96 (0,67) 1,96 (0,56)
Vertraagde positieve feedback 2,32 (0,69) 2,05 (0,64)
Geen feedback 2,34 (0,79) 2,40 (0,65)
In de onmiddellijke positieve feedback conditie zaten 46 deelnemers, in de vertraagde positieve feedback conditie zaten 40 deelnemers en in de geen feedback conditie zaten 47 deelnemers. Voor iedere conditie werd de gemiddelde score per ronde per taak met bijbehorende standaardafwijkingen berekend, zie Tabel 2. Een hogere score betekent een hoger aantal opgaves correct beantwoord. Daarnaast werd de verschilscore per onderdeel met de bijbehorende standaardafwijkingen berekend, zie Tabel 2. De verschilscore werd berekend door de totale score in de eerste ronde af te trekken van de totale score in de tweede ronde. Een hogere score betekent in dit geval dat deelnemers in de tweede ronde een hoger aantal opgaves correct hebben beantwoord vergeleken met de eerste ronde.
Tabel 2
Gemiddelde score per ronde en de verschilscore voor de Getal-zoektaken en de Woord-zoektaken per conditie, met bijbehorende Standaarddeviaties (tussen Haakjes).
Conditie Score ronde 1 Score ronde 2 Verschilscore
Woord-zoektaak
Directe positieve feedback 2,65 (0,10) 2,67 (0,09) -0,02 (0,68) Vertraagde positieve feedback 2,63 (0,12) 2,53 (0,12) 0,10 (0,78)
Geen feedback 2,55 (0,12) 2,72 (0,08) -0,17 (0,76)
Getal-zoektaak
Directe positieve feedback 2,93 (0,04) 2,91 (0,04) 0,02 (0,39) Vertraagde positieve feedback 2,87 (0,05) 2,97 (0,03) -0,10 (0,38)
Geen feedback 2,87 (0,06) 2,81 (0,07) 0,06 (0,57)
Noot. Verschilscore = score ronde 2 – score ronde 1.
Een meervoudige variantieanalyse (MANOVA) is uitgevoerd op deze gemiddelden met twee afhankelijke variabelen (getal-zoektaak en woord-zoektaak) en een onafhankelijke variabele (conditie). Het effect van conditie was niet significant, F(4, 260) = 1,21, p = 0,308, het maakte niet uit of deelnemers onmiddellijke, vertraagde of geen feedback kregen. Het effect van conditie was zowel op de getal-zoektaken niet significant, F(2, 132)=1,45, p = 0,237, als op de woord-zoektaken, F(2, 132)=1,46, p = 0,237.
Discussie
In dit onderzoek werd het effect van positieve feedback op motivatie onderzocht. Dit werd onderzocht door middelbare scholieren prestatietaken te laten doen en hier directe, vertraagde of geen feedback op te geven. Ten eerste werd verwacht dat er een positief effect zou zijn van positieve feedback op prestatie vergeleken met geen feedback. Daarnaast werd verwacht dat deelnemers in de directe feedback conditie beter zouden presteren op de taken dan deelnemers in de vertraagde feedback en geen feedback conditie.
Ondanks dat de opzet van de methode goed was en de uitvoering daarvan geslaagd was, werd er geen effect gevonden van positieve feedback op prestatie. Deelnemers in de directe feedback of vertraagde feedback conditie presteerden niet beter op denkopgaves dan deelnemers in de geen feedback conditie. De manipulatie daarentegen was wel geslaagd, want deelnemers die onmiddellijke of vertraagde feedback kregen gaven tijdens de evaluatie aan dat de proefleider vond dat ze de denkopgaves beter hadden gedaan dan deelnemers die geen feedback kregen. Met deze uitkomsten zijn de verwachtingen niet bevestigd.
Er zijn een aantal mogelijke verklaringen waarom er geen effect van positieve
feedback op prestatie werd gevonden. Ten eerste was er bijna geen variatie tussen deelnemers in de hoeveelheid opgaves die ze correct hadden opgelost. De meeste deelnemers hadden alle opgaven juist. Dit zou kunnen komen doordat de opgaven te makkelijk waren. Als iedereen alle denkopgaven goed heeft, kan er niet hoger worden gescoord en hebben we daardoor te maken met het plafondeffect (Mook, 2001). Bij het plafondeffect kunnen deelnemers in de onmiddellijke en vertraagde condities niet anders presteren dan in de geen feedback conditie, waardoor er geen variatie ontstaat. Op deze manier kan er ook geen effect worden gevonden tussen de verschillende condities, ook als deze wel bestaat. De moeilijkheidsgraad van de denkopgaves kan dus verklaren waarom er in ons onderzoek geen effect van positieve feedback op motivatie is gevonden.
En tweede mogelijke verklaring is dat de taken zo waren opgebouwd dat het goede antwoord te detecteren was in de vraag. Het correcte antwoord zat al in de taak en kon gevonden worden, aangezien de deelnemers het antwoord niet zelf hoefden te genereren. Als deelnemers geen tijdsdruk voelen, dan kunnen ze oneindig veel tijd nemen om het juiste antwoord te vinden. Dit zal ook het geval zijn geweest, want er zat geen tijdsslot op de opgaves. Op deze manier is er geen variatie te vinden in de hoeveelheid opgaves die deelnemers correct oplossen. Zo kan daar waar misschien wel een effect ligt, geen effect worden gevonden vanwege de oneindige hoeveelheid tijd die per opgave gebruikt kan worden.
Een derde mogelijke verklaring is dat de rondes relatief kort waren. Per ronde kregen deelnemers drie getal-zoektaken en drie woord-zoektaken. De oefenronde bestond uit precies dezelfde opbouw. Het is mogelijk dat deelnemers tijdens de oefenronde al zo geoefend
werden in de opgaves dat ze tijdens de ‘echte’ rondes alle opgaven correct maakten. Dit is een mogelijk effect wat hand in hand werkt met de moeilijkheidsgraad van de opgaves en kan wederom voor minder variatie zorgen.
Een vierde mogelijke verklaring is gebaseerd op een aantal incidentele observaties bij de deelnemers van de mavo. De opgaves leken uitdagend voor de mavodeelnemers, dit was te merken aan de hoeveelheid moeite die ze met de opgaves hadden en de tijd die ze namen om de opgaves te maken. Aangezien de taken zo ontwikkeld zijn dat de onderbouwscholieren van alle niveaus de denkopgaves kunnen maken, kan het zo zijn dat de opgaves voor
mavoscholieren uitdagend zijn terwijl ze voor vwo-scholieren wellicht te makkelijk waren. De taak kan op deze manier op een te brede doelgroep zijn gebaseerd. De denkopgaves zijn in dit geval niet goed toegespitst op de leerlingen die de opgaves maken, omdat alle niveaus in staat moeten zijn om ze op te lossen.
Als laatste verschilde de onderzoeksopzet per school. Bij de ene school zat de
onderzoekskamer aan een rustige gang waar nauwelijks geluiden vandaan kwamen. Waar bij de andere school de onderzoekskamer aan de aula grensde waar regelmatig scholieren luidruchtig waren terwijl ze daar hun tussenuren doorbrachten. Het kan zijn dat wanneer een kamer grensde aan een rumoerige ruimte, dat kinderen minder gefocust waren op de positieve feedback die werd gegeven en daardoor het effect van de positieve feedback afnam.
Aanbevelingen
Toekomstig onderzoek kan gebruik maken van de huidige opstelling van dit
onderzoek, maar de denkopgaves moeilijker maken. Dit kan bijvoorbeeld door een grotere woord-zoektaak toe te voegen waarin meerdere woorden verstopt zitten. De deelnemers krijgen dan de opdracht om binnen een bepaalde tijd zoveel mogelijk woorden in de
woordzoeker te vinden. Er zijn dan meer antwoordopties binnen eenzelfde denkopgave en er kan meer variatie ontstaan in de hoeveelheid vragen die deelnemers correct hebben
beantwoord. Als er meer variatie is, zal het plafondeffect afnemen en op deze manier kan er een mogelijk effect van positieve feedback naar voren komen.
Daarnaast zou het een goede toevoeging zijn om de rondes langer te maken of meer rondes toe te voegen. Door meer vragen of rondes toe te voegen kunnen er meer verschillen in score ontstaan tussen deelnemers en dan zal de data meer variëren. Wederom zou in dit geval een effect van positieve feedback kunnen worden gevonden.
Conclusie
Met dit onderzoek hebben we onze verwachtingen niet kunnen bevestigen. We hebben niets kunnen zeggen over prestatiemotivatie. Daarentegen hebben we wel een aantal
geven. Deze onderzoekers moeten nog eens een blik op het effect van positieve feedback op motivatie werpen, aangezien het belangrijk is dat het effect van positieve feedback kan worden benut om de motivatie van middelbare scholieren te verhogen.
Literatuur
Cimpian, A., Arce, H. C., Markman, E. M., & Dweck, C. S. (2007). Subtle linguistic cues affect Children’s motivation. Psychological Science, 18(4), 314-316.
Clariana, R. B., Wagner, D., & Murphy, L. C. R. (2000). Applying a connectionist description of feedback timing. Springer, 48(3), 5-21.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Henderlong, J., & Lepper, M. R. (2002). The effects of praise on children's intrinsic motivation: A review and synthesis. Psychological Bulletin, 128(5), 774-795.
Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.
Kuhl, J., & Henseler, W. (2003). Entwicklungsorientiertes Scanning (EOS). Handbook of competence measurement, 428–453.
Kulhavy, R. W., & Anderson, R. C. (1972). Delay-retention effect with multiple-choice tests. Journal of Educational Psychology, 68(5), 505-512.
Mazar, N., Amir, O. & Ariely, D. (2008). The Dishonesty of Honest People: A Theory of Self-Concept Maintenance. Journal of Marketing Research, XLV, 633-644.
Mook, D. G. (2001). Psychological research: The ideas behind the methods (1e ed.). United States of America, New York: W. W. Norton & Company.
OECD (2016). Netherlands 2016: Foundations for the Future, Reviews of National Policies for Education. OECD Publishing, 79-89.
Rijksoverheid. (Onbekend). Leerplicht en kwalificatieplicht. Gevonden 10 juli 2016 op https://www.rijksoverheid.nl/
Appendix A
PROTOCOL ONDERZOEK FEEDBACK GEVEN
Versie 07 november 2016
Nils Jostmann, N.B.Jostmann@uva.nl
Inhoudsopgave:
2 Protocol klassikale afname
a. Algemene aandachtspunten b. Benodigdheden
c. Procedure
d. Mogelijk voorkomende vragen en situaties 8 Protocol individuele afname
a. Algemene aandachtspunten b. Benodigdheden
c. Procedure d. MANIPULATIE
e. Mogelijk voorkomende vragen en situaties 14 Protocol debriefing
15 Bijlage A: randomisatie
16 Bijlage B: proefpersoon nummers
Protocol klassikale afname
a. Algemene aandachtspunten
• Als je acute vragen hebt, neem dan contact op met Nils: 0619220362. Als het geen haast heeft, mail me dan op n.b.jostmann@uva.nl
• Het is essentieel dat je aan alle leerlingen dezelfde informatie geeft. Blijf dus steeds zo dicht mogelijk bij de oorspronkelijke instructies.
• Vertel niet aan leerlingen waar het onderzoek over gaat. Als je hier vragen over krijgt vanuit de klas, kun je alleen zeggen dat je onderzoek doet naar hoe leerlingen denkopgaven doen.
• Draag nette kleding
• Neem de tijd om ervoor te zorgen dat iedereen de instructie begrijpt. Als
bepaalde kinderen de instructie hebben gemist (omdat ze praatten, met de rug naar je toe zaten, enzovoorts), vraag dan om hun aandacht en herhaal de instructie.
• Als je ziet dat iemand al is begonnen voordat je instructie hebt gegeven, zeg dan tegen de klas “Nog niet beginnen met de volgende vragen. Ik geef zo meteen eerst een uitleg.”
• Zet je telefoon op stil voordat je de klas in gaat.
• Vertel de leerkracht dat je een paar vragenlijsten zult afnemen, wat ongeveer 40 minuten zal duren. Dit is een ruime schatting.
• Bespreek van te voren met de leerkracht wat te doen met leerlingen die geen toestemming hebben, en wat kinderen kunnen doen als ze klaar zijn. Wellicht kunnen kinderen zonder toestemming en kinderen die klaar zijn verder werken met schoolwerk of iets voor zichzelf gaan doen. Het is belangrijk dat ze rustig werken, en deelnemende kinderen dus niet storen.
• Vraag de leerkracht of er leerlingen afwezig zijn. Zo ja, noteer hun namen, zodat je weet bij wie geen vragenlijsten zijn afgenomen. Denk na over manieren om de vragenlijsten alsnog af te nemen voordat je individuele sessies met deze kinderen doet.
• Als iemand niet serieus heeft gewerkt, schrijf dit dan na afloop op de voorkant van de vragenlijst van deze participant: beschrijf hoe de participant zich precies gedroeg.
• Let op dat je geen kinderen test die geen toestemming hebben gekregen (ook niet als ze zeggen dat hun ouders het toch wel goed vinden). Kinderen
moeten actieve toestemming hebben gekregen;; als ouders het
toestemmingsformulier niet hebben geretourneerd, kan het betreffende kind niet meedoen.
• Zorg dat het stil is in de klas tijdens de afname, ook als de meeste leerlingen al klaar zijn. Laat de leraar je helpen om de rust in de klas te bewaren. Als kinderen onrustig zijn, leg dan uit waarom het belangrijk is dat ze stil zijn:
bijvoorbeeld “Probeer stil te zijn tot iedereen klaar is, zodat leerlingen die nog bezig zijn zich goed kunnen concentreren.”
• Laat tafels zo ver mogelijk uit elkaar zetten (in een toets-opstelling) en zorg dat kinderen niet met elkaar praten. Als kinderen het idee hebben dat ze niet anoniem/ongestoord de vragen kunnen beantwoorden kan dit grote invloed hebben!
• Geef kinderen geen complimenten of kritiek, en stel ze niet gerust over het onderzoek, ook niet tijdens de klassikale sessie, want het zijn dezelfde kinderen waarmee je later de individuele afname doet.
b. Benodigdheden
*Voldoende vragenlijsten.
*Namenlijsten voor elke klas (hieronder: klassenlijst), met daarop aangegeven wie wel en wie geen toestemming heeft.
*Een lege doos waarin je ingevulde vragenlijsten kunt bewaren.
*Pennen voor jezelf. Leerlingen kunnen hun eigen pen (geen potlood) gebruiken voor de klassikale afname.
*Hou back-up-pennen bij de hand, voor het geval kinderen zelf geen pen hebben. Zwarte of donkerblauwe pennen zijn het best. Pennen kun je afhalen bij één van de secretaresses van sociale psychologie, mevrouw Ho Jung Mulder of mevrouw Annemiek Hoffer, in kamer G2.15.
c. Procedure
Hallo allemaal, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen onderzoek naar de hoe leerlingen denkopgaven doen. Dit onderzoek wordt in jullie klas uitgevoerd. Vandaag is het eerste deel van het onderzoek, waarvoor jullie een aantal vragenlijsten invullen. In het volgend deel doen jullie een soort denkopgavespel. Dit komt een volgende keer, maar daar vertel ik straks meer over.
Let op: het onderzoek is geen toets, en je krijgt er dus geen cijfer voor.
Voordat we beginnen, wil ik jullie vragen om jullie tafels zo ver mogelijk uit elkaar te zetten. Kijk even of je echt zo ver mogelijk bij je buurman of buurvrouw vandaan zit.
Jullie ouders een brief gekregen. Om mee te doen heb je toestemming van je ouders nodig. Er zijn een paar leerlingen die geen toestemming hebben gekregen van hun ouders. Jullie leerkracht zal zo meteen bij deze leerlingen langskomen om te vertellen wat ze ondertussen kunnen doen. [Als de leerkracht
De kinderen die WEL toestemming hebben gekregen geef ik zo de vragenlijst. Als je de vragenlijst hebt gekregen, begin dan nog niet. Ik geef jullie zo meteen eerst een uitleg.
Heeft iedereen een vragenlijst? Kijk even mee op de voorkant van de vragenlijst. Lees voor jezelf wat daar staat.
Op de voorkant staat ook: Jouw antwoorden zijn privé. Niemand krijgt jouw antwoorden te zien: je ouders niet, je docenten niet en je klasgenoten niet. Om ervoor te zorgen dat jouw antwoorden ook echt privé blijven spreken we het volgende af.
1. Werk voor jezelf en probeer stil te zijn. Ga niet met andere leerlingen praten, of bij andere leerlingen meekijken.
2. Vertel -als we zo dadelijk klaar zijn- niet aan andere leerlingen wat jouw antwoorden waren. Sommigen vinden het prima om daarover te vertellen maar anderen vinden dat niet fijn, en dat kan vervelend zijn. Het beste is dus als niemand daar iets over zegt.
Zo weten we zeker dat jouw antwoorden privé blijven. Je kunt dus steeds eerlijk jouw eigen mening geven.
Oké, neem de voorkant van de vragenlijst voor je [Houd de eerste bladzijde
omhoog zodat iedereen kan zie wat je bedoelt]. Deze bladzijde mag je gaan
maken, dus je naam en andere gegevens invullen. Wacht nog even met bladzijde 2, daarbij geef ik zo uitleg. Als je vragen hebt, steek dan even je vinger op.
Is iedereen klaar met bladzijde 1? Dan gaan we nu naar bladzijde 2 en 3. Er staan instructies die ik met jullie samen wil doornemen.
Op de volgende bladzijdes zie je straks een aantal plaatjes. Op elk plaatje staat een situatie afgebeeld. Bekijk ieder plaatje eventjes en bedenk dan een kort verhaaltje dat past bij het plaatje.
Het maakt echt niet uit wat voor verhaal je bedenkt. Kijk maar wat er spontaan in je opkomt. Alles mag. Denk er vooral niet te lang over na.
Je hoeft het verhaaltje niet op te schrijven. Het is wel de bedoeling dat je de drie vragen die naast het plaatje staan, beantwoordt.
Als je klaar bent met plaatje 1 mag je meteen doorgaan naar het volgende plaatje totdat je ze allemaal hebt gehad. Ga alle plaatjes één voor één langs in de juiste volgorde. Sla geen vragen over.
Is alles duidelijk? Dan mag je beginnen met het eerste plaatje.
[In totaal staan voor dit deel van de klassikale vragenlijst ongeveer 15-20 minuten. Als je merkt dat sommige leerlingen veel langzamer zijn dan anderen, kan je ongeveer halverwege herhalen dat ze er niet te lang over hoeven te doen: “Wat je
opschrijft hoeft niet lang te zijn. Het is prima als je bij iedere vraag één korte zin opschrijft”. Zorg ervoor dat leerlingen die klaar zijn met dit deel, rustig op hun
plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Als je merkt dat de grote meerderheid klaar is maar enkele leerlingen nog niet zeg dan: “Ik zie dat de
meesten klaar zijn met de plaatjes. Willen jullie even allemaal stoppen. Ik ga jullie nu uitleggen hoe het nu verder gaat. Diegenen die de plaatjes nog niet helemaal afhebben, mogen na mijn uitleg verder gaan.
Kijk nu op bladzijde 8 de vragenlijst. De vragen gaan over hoe je over jezelf denkt en wat voor persoon je bent.
[Houd het formulier duidelijk omhoog zodat de kinderen kunnen zien waar je naar verwijst;; draai rond zodat iedereen het kan zien] Kijk naar het voorbeeld: “Ik vind
het leuk om naar school te gaan”. Jij moet aangeven in hoeverre deze zin klopt VOOR HOE JIJ BENT. Als het helemaal niet klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje helemaal links. Als het een beetje klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de tweede plek van links. Als het meestal klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje de tweede plek van rechts. En als het altijd klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de meest rechter plek. Zet per zin één kruisje.
Is alles duidelijk? Dan mogen diegenen die met de plaatjes klaar zijn, beginnen en de vragenlijst maken tot en met vraag 20. Diegenen die nog niet klaar zijn met de plaatjes, mogen nu alsnog eerst de plaatjes afmaken en daarna meteen doorgaan met de vragenlijst.
Als kinderen bezig zijn, zeg dan: Het is soms moeilijk om te kiezen tussen
antwoorden, maar probeer toch altijd één antwoord te kiezen. Je kunt niet twee antwoorden kiezen. Als je een antwoord wilt veranderen, kun je het
doorkrassen, en dan een kruisje op de goede plek zetten.
Als je al bij het stopteken op bladzijde 9 bent, controleer dan even of je overal antwoord hebt gegeven.
Op bladzijde 10 en 11 staan allemaal gebeurtenissen, zoals de eerste: “Je hebt veel huiswerk te doen voor school maar je hebt er helemaal geen zin in. Maar het moet toch wel echt nu gebeuren.” Bij elke gebeurtenis is de vraag hoe jij
echt niet waar ik moet beginnen en (b) dan ga ik er meteen mee aan de slag. Kies de reactie die het best bij jou past, ook als deze niet perfect past, en omcirkel de letter a of b.
Zijn er nog vragen? Je mag de vragenlijst nu helemaal afmaken.
[Zorg ervoor dat leerlingen die klaar rustig op hun plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Vertel ze wat ze kunnen doen totdat iedereen klaar is.]
Als je helemaal klaar bent, controleer dan of je je naam hebt opgeschreven, en of je overal antwoord hebt gegeven en niet per ongeluk ergens een dubbel antwoord hebt gegeven.
Is er nog iemand bezig? [Haal de vragenlijsten op. Als er leerlingen zijn die niet
serieus hebben gewerkt waarvan je de naam niet weet, zet een onopvallend kruisje op de vragenlijst en schrijf na afloop op de voorkant van de vragenlijst van deze participant hoe de participant zich precies gedroeg.]
Ik kom de vragenlijsten nu ophalen, maar ik ga zo nog iets uitleggen.
Volgende week [of een ander moment, als dat zo is] gaan we beginnen met het andere deel van het onderzoek. Dan halen we jullie individueel, dus om de beurt, uit de klas om denkopgaven te maken. Als je aan de beurt bent zal ik precies vertellen wat de bedoeling is. [Stel leerlingen niet gerust, en vertel ze niet
wat ze precies gaan doen.]
Dankjewel allemaal!
Als iedereen de vragenlijst heeft ingeleverd, controleer dan z.s.m. (liefst buiten zicht van de leerlingen) of de voor- en achternaam van de leerlingen leesbaar zijn. Als er tijd over is, controleer dan eveneens of leerlingen alle vragen hebben beantwoord en niet meer dan één antwoord hebben gegeven per vraag. Als er dubbele antwoorden zijn ingevuld, iets is overgeslagen of iets onleesbaar is, ga dan terug om het te laten corrigeren, maar alleen als de situatie daarvoor geschikt is (e.g., als leerlingen nog tijd en zin hebben).
Leg alle gecontroleerde vragenlijsten in de aparte doos voor ingevulde vragenlijsten.
d. Mogelijk voorkomende vragen en situaties
dag de klassikale vragenlijst alsnog bij het kind af te nemen, bijvoorbeeld 1- op-1 op de gang, of door het kind ergens individueel te laten werken en dat je vooraf instructies geeft. Plan dit sowieso voor de individuele afname. Als dit echt niet kan, sla dan de klassikale afname voor dit specifieke kind over, en doe alleen de individuele afname.
• Als een kind zegt: “Het is zo saai!” Dan kun je simpelweg zeggen hoelang het nog duurt (e.g., “Het duurt nog 15 minuten, nog even dus”).
• Wat doen jullie met de gegevens? “We doen onderzoek met deze gegevens. School krijgt de gegevens niet te zien.”
• Wat gaan we de volgende keer doen? Als je het nog niet klassikaal hebt besproken: “Dat ga ik zo meteen klassikaal uitleggen.” Als je al wel klassikaal hebt besproken: “Jullie gaan denkopgaven doen. Ik vertel er de volgende keer meer over.” Stel kinderen niet gerust, want dit gaat ten koste van de
manipulatie. Zegt dus NIET dat het best meevalt of dat het heel leuk is om te doen.
• Waarom moet ik mijn naam opschrijven? Zijn mijn antwoorden wel
anoniem? “Jouw antwoorden zijn privé;; dus alleen de onderzoekers krijgen
jouw antwoorden te zien—je klasgenoten niet, je ouders niet en je
leerkrachten niet.” Alleen als je er specifiek naar wordt gevraagd: “Je moet je naam opschrijven zodat we weten welke vragenlijsten bij welke leerling horen. Maar jouw gegevens worden straks wel losgekoppeld van jouw naam, dus het is wel anoniem.”
• “Ik twijfel tussen twee antwoorden. Mag ik ze allebei omcirkelen?” à
“Probeer per vraag één antwoord te kiezen. Als geen enkel antwoord precies past, kies dan het antwoord dat het best past”.
• “Als ik een vraag niet wil invullen, mag ik die dan overslaan?” à “Probeer
alle vragen te beantwoorden”. Als het kind zegt de vraag niet te willen
beantwoorden, kun je naar hem/haar toegaan en zeggen: “Als je deze niet wilt beantwoorden, dan mag je die overslaan”.
• “Ik begrijp deze vraag niet, wat bedoelen jullie ermee?” Ga naar de
leerling toe, en herhaal de vraag. Als de vraag dan nog niet duidelijk is, herhaal de vraag in simpelere bewoording.
Protocol individuele afname
a. Algemene aandachtspunten
• Dit is een experimenteel onderzoek. In dit onderzoek is het cruciaal dat je alle kinderen precies dezelfde instructie geeft en op precies dezelfde manier behandelt. Het enige dat mag verschillen tussen kinderen is de inhoud van de envelop met de feedback.
• Je mag als proefleider niet vooraf weten welke feedback een kind krijgt. Dit voorkomt dat je kinderen “uitkiest” voor een bepaalde conditie. Pas tijdens het experiment kom je erachter in welke conditie het kind zit (dus welke feedback je geeft).
• Stel je tijdens het experiment altijd neutraal op tegenover kinderen. Dus
probeer kinderen niet gerust te stellen, op hun gemak te stellen, spanning weg te nemen, et cetera.
• Geef kinderen geen complimenten of kritiek. Dit is cruciaal, want een
compliment of kritiek zou direct interfereren met de experimentele manipulatie. De ervaring leert dat dit erg lastig is. Complimenten als ‘wat heb je een leuke trui aan’ ‘ik vind je tas zo stoer’ zijn erg snel gegeven maar probeer dit te allen tijde te voorkomen. Als je per ongeluk toch een compliment of kritiek geeft, noteer dit dan direct op het logformulier. Dan kunnen we hier rekening mee houden in de analyses.
• Sommige kinderen zijn heel stil terwijl andere kinderen heel extravert zijn. Het kan moeilijk zijn om stille en extraverte kinderen precies op dezelfde manier te bejegenen omdat extraverte kinderen vaak een gesprek met je proberen aan te gaan en omdat je introverte kinderen misschien gerust wilt stellen. Probeer alle kinderen precies gelijk te behandelen.
• Zorg dat op alle documenten van een kind zijn/haar proefpersoon nummer komt te staan. Zo weet je achteraf met zekerheid welke documenten bij elkaar horen.
• Draag nette kleding
• Zorg dat je tijdens het onderzoek altijd een mobiele telefoon bij je hebt met mijn nummer erin, zodat je me kunt bellen in noodgevallen. Zorg dat je telefoon op stil staat (dus trilfunctie ook uit). Kinderen mogen geen piepje horen.
• Zorg ervoor dat je een stabiele internetverbinding hebt voor de laptop in de kamer waar je de individuele sessie afneemt. Een verbinding met kabel is vaak stabieler dan WIFI.
• Zorg dat de laptop aangesloten is op het stroomnetwerk (de accu’s zijn vaak onbetrouwbaar), dat de computer muis goed werkt en dat je een fatsoenlijke ondergrond (mousepad) hebt voor de muis. Test dit van tevoren. Zorg er ook voor dat Windows geen updates kan uitvoeren tijdens de afname. Je kunt de laptop ook ca. één uur vóór de test alvast aanzetten, dan zijn de updates klaar.
• Zorg dat het kind goed kan zien wat er op het scherm staat (vraag het even van tevoren en ga desnoods de helderheid instellen en/of de hoek van het
b. Benodigdheden
• Laptop met stroom- en internetaansluiting + muis en mousepad (test van tevoren de werking van alles)
• Papieren:
1. Dit protocol
2. Het logboek (met het juiste proefpersoon nummer)
3. Stapel briefjes met experimentele manipulatie (zie Bijlage A voor hoe te randomiseren)
• Schrijfspullen: pennen voor jezelf
• Klassenlijst (met daarop aangeven wie wel/geen toestemming heeft)
c. Procedure
[Zet het programma klaar en vul het juiste proefpersoon nummer in qualtrics in. Maak oogcontact met het kind]
Hallo, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen vandaag het individuele deel van het onderzoek. [Geen small talk voordat
kinderen helemaal klaar zijn.] Je gaat zo denkopgaven doen. Dat gebeurt
allemaal op deze laptop.
Lees de instructies altijd goed door. Alles wijst zich vanzelf. Als je toch een vraag hebt mag je die aan mij gaan stellen. Je mag nu eerst je voor- en achternaam en de naam van je school invullen.
Je mag nu naar het volgende scherm gaan. Ik ga ondertussen hier zitten.
[Neem schuin achter het kind plaats. Het kind moet zich niet ongemakkelijk voelen door jouw aanwezigheid maar mag wel merken dat je meekijkt. Houd dus voldoende afstand. Let op tekens van ongemak en ga in een dergelijk geval iets verder weg zitten. Als het kind vraagt waarom je meekijkt zeg dan: “Ik ga een tijdje meekijken
of alles duidelijk is”. In principe werkt het kind nu zelfstandig. Houd in de gaten of
het kind de oefenopgaven goed doet. Soms kunnen kinderen een tijdje niets meer doen. Als je het gevoel hebt dat een kind dichtslaat of niet weet wat het moet doen, zeg dan: “Ik zie dat je hier niet verder gaat. Heb je misschien uitleg nodig?” Herhaal vervolgens de instructies in een simpele bewoording. Vraag het kind of het nu duidelijk is en of het nu verder wil gaan? Vermijd complimenten! Probeer
geruststellende woorden in eerste instantie te vermijden maar voorkom dat het kind zich vervelend gaat voelen. Als je het gevoel hebt dat het kind echt emotionele steun nodig heeft, moet je die natuurlijk geven. Noteer in ieder geval duidelijk in het
analyses. Hetzelfde geldt als een kind het emotioneel moeilijk heeft tijdens de echte rekentaak]
[Houd in de gaten of het kind bij iedere oefenopgave twee getallen aanklikt (in plaats van 0, 1, of meer dan 2. Zeg indien nodig: Ik zie dat je maar 1 getal/meer dan 2
getallen aan vinkt. Je moet precies 2 getallen zoeken en aanvinken]
[terwijl het kind nog bezig is met het de oefenopgaven, pak je de bovenste brief van de conditie stapel en kijk je in welke conditie het kind zit]
d. MANIPULATIE
[Na de oefenopgaven volgt de echte test. Deze bestaat uit twee rondes. Tijdens iedere ronde moeten de kinderen 3 getal-zoekopgaves en 3 woord-zoekopgaves doen. Er zijn twee condities: sommige kinderen gaan in RONDE 1 eerst de getal- zoekopgaves doen en daarna de woord-zoekopgaves. In RONDE 2 draait de volgorde om. Bij andere kinderen is het precies omgekeerd: ze doen in RONDE 1 eerst de woord-zoekopgaves en daarna de getal-zoekopgaves. In RONDE 2 draait de volgorde om. Jij hoeft hier niets mee te doen – de computer bepaalt de volgorde condities.
Na RONDE 1 (na de 6e opgave) verschijnt op het scherm gedurende 7 secondes “een ogenblik geduld…” Daarna verandert het scherm en staat er informatie over de volgorde van de volgende ronde, bijvoorbeeld “In de volgende ronde doe je eerst 3 woord-zoekopgaves en daarna 3 getal-zoekopgaves”. Na 7 secondes kan het kind het scherm verlaten door op “volgende” te klikken. Dan staat er weer gedurende 7 secondes “een ogenblik geduld…”. Daarna begint vanzelf RONDE 2.
[Tijdens deze gebeurtenissen volgt de manipulatie. Lees de manipulatie niet voor vanaf het papier, maar zeg het zo natuurlijk mogelijk tegen het kind. Zorg dat je elke conditie met dezelfde neutrale lichaamshouding en intonatie uitspreekt. Spreek rustig en duidelijk zodat het kind alles goed kan verstaan.]
Conditie 1: onmiddellijke positieve feedback
•
Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Tijdens deze 7 secondes zeg jij:“Het eerste deel heb je goed
gedaan!”
Conditie 2: vertraagde positieve feedback
•
Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Het scherm verandert automatisch naar “In de volgende ronde doe je eerst3…opgaves en daarna 3…opgaves”. Het kind kan na 7 secondes zelf verder klikken. Daarna verschijnt wederom gedurende 7 secondes “een ogenblik geduld…”. Tijdens deze 7 secondes zeg jij:
“Het eerste deel heb
je goed gedaan!”
Conditie 3: geen feedback
• Op het scherm verschijnt gedurende 7 secondes “een ogenblik geduld…”. Het scherm verandert automatisch naar “In de volgende ronde doe je eerst 3… en daarna 3…”. Het kind kan na 7 secondes zelf verder klikken. Daarna
verschijnt gedurende 7 secondes “een ogenblik geduld…”.
àPak ondertussen het conditie briefje en kijk in welke conditie het kind zat, en
schrijf dit op het logformulier. Dit is de enige manier waarop je achteraf kunt achterhalen in welke conditie het kind zat, dus werk zorgvuldig.ß
[Het kind werkt verder aan RONDE 2. Jij blijft gewoon zitten]
[Het kind gaat als eerste invullen of het zich goed of slecht voelt nu nadat het de opgaves van RONDE 2 heeft gemaakt. Zorg dat je meekrijgt of het kind aangeeft dat het zich “een beetje van allebei”;; “best slecht” of “heel slecht” invult. Als dat zo is moet je na afloop hierover een gesprek beginnen – zie onder;; Na deze vraag ga je niet meer meekijken wat het kind invult;; sta op en ga ergens anders in de kamer zitten]
[Het kind zal zelf aangeven wanneer het klaar is met het computer gedeelte.]
Nu ben je klaar met het onderzoek. Dankjewel voor het meedoen! Vond je het leuk?
Controleer of het eindscherm van qualtrics verschijnt.
Doe nu de beknopte debriefing (zie Protocol debriefing).
[Vul na de debriefing, als het kind weg is, het logformulier in]
• Het kind zoekt contact met je tijdens de afname (e.g., zoekt oogcontact,
denkt hardop). Ga hier niet in mee, zwijg als het kan. Je hoeft geen
oogcontact te maken als het kind werkt. Alleen als het kind letterlijk iets
vraagt, moet je antwoorden, en kun je beschrijvend antwoorden. Bijvoorbeeld: als het kind vraagt of het zojuist het goede antwoord hebt gegeven, zeg je dat je dat niet kunt zeggen.
• Het kind moet naar de WC. Als dit plaatsvindt voordat het kind begint, laat het kind dan naar de WC gaat. Als dit plaatsvindt als je al bent begonnen, vraag dan of het kind het een kwartier kan ophouden. Als het dat echt niet kan, laat het kind dan naar de WC gaan, en noteer op het logformulier dat dit gebeurde en op welk punt in het experiment dit precies gebeurde.
• Het kind begint te huilen. Stel het kind gerust [dit kun je uiteraard alleen doen als je weet dat je het onderzoek moet afbreken, en de data van het kind dus niet kunt gebruiken]. Vraag waarom het huilt. Noteer dit op het
logformulier (wat er gebeurde en vooral op welk punt in de procedure). Breek het onderzoek af en breng het kind terug naar de klas. Je mag het kind
natuurlijk ook het onderzoek laten afmaken als het kind dat graag wil (maar wij zullen niets aan de data hebben, dus het is belangrijk dat je alles goed
noteert). Doe alleen een debriefing als de manipulatie al is geweest. Als de manipulatie nog niet is geweest, heeft de debriefing weinig zin.
• Het kind wil stoppen. Geef aan hoe lang het onderzoek ongeveer nog duurt. Als het kind echt wil stoppen, doe de debriefing (indien het kind na de
manipulatie wil stoppen), en laat het kind daarna terug gaan naar de klas. Noteer dit alles op het logformulier (wat er gebeurde en vooral op welk punt in de procedure).
• Het kind werkt enorm traag. Als dit geldt voor het invullen van de vragen aan het eind, zeg dan: “Het gaat om jouw mening, dus je hoeft niet lang te twijfelen over vragen.” Let op: voorkom dat je kinderen gerust gaat stellen;; zeg
bijvoorbeeld niet: “Er zijn geen goede of foute antwoorden, dus maak je geen zorgen” (dit kan ongewenste invloed hebben op onze interventie).
• “Wat moet ik opschrijven” (als de participant de open vragen aan het
invullen is). “Vul in wat jouw mening is. De vragen gaan over jouw mening.
Als je niets wilt invullen mag dat ook”
• “Ik weet het niet meer” (als de participant de vragenlijst aan het invullen
is). “Vul het antwoord in dat jij het beste vindt passen. De vragen gaan over
jouw mening.”
Protocol beknopte debriefing
Bedankt dat je hebt deelgenomen aan het onderzoek. Wat vond je ervan om deel te nemen? [Laat het kind vertellen.]
