Unrooting the illusion of one-size-fits-all feedback in digital learning environments
Brummer, Leonie
DOI:
10.33612/diss.171647919
IMPORTANT NOTE: You are advised to consult the publisher's version (publisher's PDF) if you wish to cite from
it. Please check the document version below.
Document Version
Publisher's PDF, also known as Version of record
Publication date:
2021
Link to publication in University of Groningen/UMCG research database
Citation for published version (APA):
Brummer, L. (2021). Unrooting the illusion of one-size-fits-all feedback in digital learning environments.
University of Groningen. https://doi.org/10.33612/diss.171647919
Copyright
Other than for strictly personal use, it is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), unless the work is under an open content license (like Creative Commons).
Take-down policy
If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim.
Downloaded from the University of Groningen/UMCG research database (Pure): http://www.rug.nl/research/portal. For technical reasons the number of authors shown on this cover page is limited to 10 maximum.
Nederlandse Samenvatting
References
Appendix
Dankwoord
About the author
Nederlandse Samenvatting
In toenemende mate worden digitale leeromgevingen gebruikt in het onderwijs, onder andere bij
het lezen van vakspecifieke informatieve teksten. Het doel van mijn proefschrift is om te onderzoeken
welke situationele en intrapersoonlijke kenmerken van invloed zijn op de verwerking van
instruc-tieve feedback tijdens het leren met behulp van een digitale leeromgeving. Digitale
leeromgevin-gen kunnen via verplichte en/of optionele voorgeprogrammeerde instructieve feedback—soms
naar verwezen als hulp—ondersteuning bieden aan leerlingen tijdens het leerproces. Optionele
voorgeprogrammeerde instructieve feedback laat ruimte voor de leerling om feedback te zoeken.
Dit kunnen zij doen door expliciet feedback te vragen en/of door andere leerlingen te
observe-ren als deze feedback ontvangen. Middels vier studies, bestaande uit twee literatuurstudies
(me-ta-analyse en systematisch literatuuronderzoek) en twee empirische studies (persoonsgerichte
benadering), trachtte ik het doel van mijn proefschrift te operationaliseren en vanuit verschillende
perspectieven te onderzoeken. De meta-analyse richtte zich op de rol van situationele kenmerken
(geclusterd in context-, inhouds- en taakkenmerken) en hun relatie tot instructieve feedback in
digitale leeromgevingen, terwijl het systematische literatuuronderzoek zich richtte op
intraper-soonlijke kenmerken (geclusterd binnen cognitie, metacognitie en motivatie) en hun relatie tot
instructieve feedback in digitale leeromgevingen. In deze twee review studies heb ik onderzocht
hoe elk van deze verzameling van kenmerken in verschillende vakgebieden en met diverse
oplei-dingsniveaus en leertaken is geoperationaliseerd.
Vervolgens heb ik een persoonsgerichte benadering gevolgd om de rol van intrapersoonlijke
ken-merken binnen een specifieke leercontext te onderzoeken, namelijk dat van begrijpend lezen bij
aardrijkskunde, omdat het begrijpen van informatieve aardrijkskundige teksten met name in de
eer-ste jaren van het secundair onderwijs (10 tot 13 jaar) een uitdagende taak blijkt te zijn. De uitdaging
voor leerlingen zit voornamelijk in het combineren van leesstrategieën met vakspecifieke
vaardig-heden. Onderzoek heeft reeds aangetoond dat tijdens het zoeken naar en verwerken van digitale
instructieve feedback de intrapersoonlijke kenmerken een rol spelen. Een voorbeeld van deze
intra-persoonlijke kenmerken is metacognitie, zoals het voortdurend monitoren van eigen begrip. Indien
de leerling tot de conclusie komt dat hij/zij het niet begrijpt (door dit zelf op te merken of doordat
iemand anders hem/haar erop wijst) moet hij/zij bepalen welke aspecten meer hulp behoeven. Een
ander belangrijk intrapersoonlijk kenmerk is motivatie, waarbij de leerling toe kan werken naar
spe-cifieke doelen en door blijft werken totdat het doel bereikt is. Binnen de twee empirische studies
wordt onderzocht wat de gezamenlijke invloed is van de intrapersoonlijke kenmerken metacognitie
en motivatie en het zoeken van feedback op het lezen van informatieve aardrijkskundige teksten.
Enerzijds hebben intrapersoonlijke kenmerken invloed op het zoeken naar en verwerken van
digi-tale instructieve feedback. Anderzijds beïnvloeden deze kenmerken het bouwen van een mendigi-tale
tekstrepresentatie, wat gezien kan worden als een representatie van de betekenis van de tekst in het
geheugen van de leerling. Om dit onderscheid te kunnen onderzoeken gebruik ik twee verschillende
analysetechnieken, maar neem ik dezelfde concepten mee in beide studies.
In de volgende paragrafen geef ik hoofdstuksgewijs een samenvatting van de belangrijkste
resulta-ten van mijn proefschrift, gevolgd door een integratie van deze resultaresulta-ten. Ik reflecteer eveneens op
de beperkingen van mijn proefschrift als geheel en ik geef suggesties voor verder onderzoek. Tot slot
bespreek ik de implicaties van mijn studies voor de praktijk.
Belangrijkste Bevindingen
In Hoofdstuk 2 beschrijf ik de resultaten van een meta-analyse naar de invloed van context-, inhouds-,
en taakkenmerken van digitale instructieve feedback op de leerprestaties van (jong)volwassenen.
Er is gericht onderscheid gemaakt tussen context-, inhoud- en taakkenmerken om te onderzoeken
welke kenmerken de meeste invloed lijken te hebben op het verbeteren van de leerprestaties. Ook
wordt er een onderscheid gemaakt tussen interventies met en zonder een controle groep en/of met
één of meerdere experimentele groepen. De contextkenmerken die zijn meegenomen betreffen het
opleidingsniveau, het feedbackmoment, de mate waarin de leerling controle kan uitoefenen, het wel
of niet ontvangen van een beloning voor deelname aan het desbetreffende onderzoek, en de
leer-omgeving. Elk kenmerk is geoperationaliseerd in verschillende categorieën door bijvoorbeeld bij
opleidingsniveau te kijken of een studie in het basis-, voortgezet, of hoger onderwijs is uitgevoerd.
De inhoudskenmerken omvatten de feedback vorm, de feedback focus en de feedback functie. Tot
slot zijn aspecten zoals wie het instrument om leerprestaties te meten heeft ontwikkeld, het type
taak, het vakgebied en de feedback weergave meegenomen als taakkenmerken. De resultaten
toon-den een medium samenvattingseffect van Hedges’ g = .41 (SE = .05) op de leerprestaties uit de 116
interventies beschreven in de 46 geïncludeerde artikelen. In de steekproef van de artikelen was een
publicatie bias aanwezig en na correctie voor deze bias was het samenvattingseffect kleiner, namelijk
Hedges’ g = .23. Een vergelijking van interventies met controle- en experimentele groepen, waarbij er
een onderscheid gemaakt werd tussen controlegroepen die wel en geen feedback kregen, liet zien
dat enige feedback beter is dan géén feedback.
Vervolgens zijn moderatoranalyses uitgevoerd op de drie clusters van kenmerken (context, inhoud en
taak) om te onderzoeken of deze kenmerken significant positief bijdragen aan de leerprestaties. Als
we kijken naar de contextkenmerken die zijn meegenomen, zien we significante verschillen tussen
de geoperationaliseerde categorieën, waarbij de categorieën met de hoogste effecten weergegeven
zijn tussen haakjes: opleidingsniveau (basisonderwijs), feedback moment (uitgestelde feedback),
de mate van controle (beslissing genomen door anderen) en onderzoeksomgeving
(onderzoeksla-boratorium). De leerprestaties werden niet positief beïnvloed door het ontvangen van beloningen
voor participatie aan het desbetreffende onderzoek. Bij de inhoudskenmerken bleken de verschillen
tussen subkenmerken statistisch significant voor de feedback vorm (simpele feedback), de feedback
focus (proces) en de feedback functie (metacognitieve feedback). De procesgeoriënteerde focus kon
nader worden gespecificeerd in oppervlakkige en diepgaande strategieën met respectievelijk
Hed-ges’ g = .53 en .09—overeenkomstig met respectievelijk een sterk en zwak effect. De verschillen
tus-sen categorieën binnen taakkenmerken waren statistisch significant voor ontwikkelaars van de
leer-prestatie meting (gestandaardiseerde tests), het type taak (mondeling), het vakgebied (bèta) en de
feedback weergave (visualisatie). Met behulp van een stapsgewijze voorwaartse regressieanalyse is
onderzocht welke gezamenlijke moderatoren (de categorieën) invloed hadden op de leerprestaties.
Een voorwaarde voor deze analyse was dat binnen interventies experimentele groepen met
contro-legroepen vergeleken worden, die wel of geen feedback aangeboden kregen. We hebben hierbij de
volgende moderatoren meegenomen: de mate van de controle, het feedback moment, de feedback
vorm, de feedback focus, de feedback functie en de feedback weergave. We hebben deze gekozen
omdat dit aspecten zijn die docenten naar eigen wens en inschatting konden aanpassen in
aanvul-ling op het onderwijs dat werd aangeboden via een digitale leeromgeving. De feedback focus had als
enige moderator invloed op het basismodel (χ
2= 24, df = 6, p = .00). We vonden geen bewijs voor een
relatie tussen elk van de overige categorieën en de uiteindelijke leerprestatie. Ondanks dat veel
cate-gorieën een positieve invloed hadden op de leerprestaties—zoals weergeven in de reeks losse
mode-ratoranalyses per categorieën—was het doel van de metaregressie om een gezamenlijke invloed van
categorieën te presenteren. Deze gezamenlijke invloed zou generaliseerbaar zijn over verschillende
leercontexten. Echter de generaliseerbaarheid van de resultaten bleek beperkt te zijn en alleen de
feedback focus bleek invloed te hebben op de leerprestaties in verschillende onderwijscontexten.
In Hoofdstuk 3 rapporteer ik over de bevindingen van een systematisch literatuuronderzoek naar de
operationalisatie van intrapersoonlijke kenmerken in studies naar digitale feedback bij
(jong)vol-wassenen. Binnen dit hoofdstuk stonden de intrapersoonlijke kenmerken van de individuele
leer-ling centraal omdat onderzoek naar digitale feedback voornamelijk gericht wordt op de effecten van
feedback op leerprestaties, terwijl er niet of nauwelijks aandacht besteed wordt aan de rol van de
in-dividuele leerling met bijbehorende intrapersoonlijke kenmerken; dit terwijl de inin-dividuele leerling
een belangrijke positie inneemt binnen het feedbackverwerkingsproces en het leerproces.
Voor dit systematische literatuuronderzoek is eenzelfde selectie van artikelen als in de meta-analyse
gebruikt. Echter konden in dit literatuuronderzoek meer artikelen geïncludeerd worden omdat de
vraagstelling minder strenge statistische en methodologische eisen behoeft. De keuze om specifiek
een systematisch literatuuronderzoek uit te voeren heeft te maken met de ruimte voor voldoende
details. De studies beschreven in de artikelen zijn gecategoriseerd in twee dimensies om een
onder-scheid te kunnen maken tussen artikelen die de essentiële rol van het individu en/of intrapersoonlijke
kenmerken benadrukken (Dimensie A) en artikelen die deze belangrijke rol niet benadrukken
(Dimen-sie B). In totaal zijn 198 casussen op basis van 99 studies uit 71 artikelen geïncludeerd. De studies
ver-wijzen naar verschillende experimenten binnen één artikel en een casus verwijst naar één specifieke
meting binnen een studie. Dit betekent dat ik informatie op verschillende niveaus (studie- of
casusni-veau) evalueer. In de systematische review bespreek ik eerst aspecten van de geïncludeerde artikelen
op studieniveau. Daarmee bedoel ik algemene variabelen zoals de leeftijd van de deelnemers, de
verdeling van deelnemers over de onderzoekscondities (controle of experimentele groep), het
vak-gebied, het onderwijsniveau, het volgen van een feedback training, en de mate waarin de
deelne-mers controle konden uitoefenen over de instructieve feedback. Naast de algemene variabelen ga
ik in op specifieke variabelen, die op casusniveau worden geëvalueerd aan de hand van vijf thema’s.
De inhoud van deze vijf thema’s wordt geëvalueerd per dimensie om onderscheid te maken tussen
artikelen die de essentiële rol van het individu en/of intrapersoonlijke kenmerken wel benadrukken
(Dimensie A) en niet benadrukken (Dimensie B). Daarnaast is middels deze manier van presenteren
een vergelijking mogelijk tussen de dimensies. Het eerste thema is het cluster van intrapersoonlijke
kenmerken, waarin ik heb gekeken hoe elk van de casussen gericht zijn op kenmerken als cognitie,
metacognitie, of motivatie. Het tweede thema is het type meting dat is gebruikt, bijvoorbeeld of de
artikelen zelfrapportages of prestatiescores hebben gebruikt. Het derde thema gaat in op het gebruik
van meerdere metingen van hetzelfde kenmerk en het vierde thema betreft het doel van de meting
(voortoets en/of natoets). Tot slot bestaat het vijfde thema uit de focus van de meting: primair als
de casus in bijvoorbeeld een onderzoeksvraag wordt genoemd en secundair als de casus niet wordt
genoemd in een onderzoeksvraag.
In totaal zijn 71 artikelen geïncludeerd met 99 studies en 198 casussen. Tweeënzestig (62.2%) van de
99 studies benadrukten de belangrijke rol van het individu en/of intrapersoonlijke kenmerken, en
zijn daarom ingedeeld in Dimensie A. Er bestonden geen significante verschillen tussen studies
in-gedeeld in Dimensie A en studies passend bij Dimensie B als het gaat om hoe vaak de categorieën
binnen de vijf thema’s voorkomen. Een mogelijke interpretatie hiervan is dat het benadrukken van
de belangrijke rol van de individuele leerling en/of intrapersoonlijke kenmerken niet resulteerde in
een andere wijze van operationaliseren (gevat onder thema’s twee tot en met vijf) van
intrapersoon-lijke kenmerken binnen wetenschappelijk onderzoek. In beide dimensies waren cognitieve metingen
oververtegenwoordigd (Dimensie A: 57.6%; Dimensie B: 48.5%). Metacognitieve metingen werden
in mindere mate gebruikt (Dimensie A: 11,4%; Dimensie B: 13.6%), gevolgd door motivationele
me-tingen (Dimensie A: 12.9%; Dimensie B: 22.7%). Geen van de 99 studies, gerapporteerd binnen 71
artikelen van Dimensie A en B, werden alle drie clusters van intrapersoonlijke kenmerken
geïnclu-deerd. Het rapporteren van metingen uit twee clusters van intrapersoonlijke kenmerken geschiedde
in 11 van de 47 artikelen binnen Dimensie A en in 8 van de 24 artikelen binnen Dimensie B. Ten slotte
werd per dimensie bepaald of de casussen gebruikt konden worden voor eventuele effectmetingen,
waarbij het doel van de meting en de focus van de meting in een kruistabel werden geplaatst. Binnen
Dimensie A voldeden 29 (22.0%) casussen aan deze twee voorwaarden, tegen 19 (28.8%) casussen
in Dimensie B. Deze selecties gaven—theoretisch gesproken—voldoende indicatie om eventuele
ef-fecten van de desbetreffende intrapersoonlijke kenmerken op leerprestaties te kunnen berekenen.
Geen van de casussen, en daarmee ook geen van de artikelen, implementeerde een feedback training
voor de proefpersonen.
In Hoofdstuk 4 rapporteer ik over een empirisch onderzoek waaraan 123 leerlingen uit het
voortge-zet onderwijs hebben deelgenomen. In deze studie staat de relatie tussen feedback zoeken, twee
clusters van intrapersoonlijke kenmerken metacognitie en motivatie, en leesbegrip centraal.
Padmo-dellen werden uitgevoerd om de directe relatie van feedback zoeken (zelfrapportage vragenlijst) op
leesbegrip en van intrapersoonlijke kenmerken als metacognitie en motivatie (zelfrapportage
vra-genlijst) op leesbegrip voor het vak aardrijkskunde te onderzoeken. Het leesbegrip van leerlingen
werd gemeten aan de hand scores op tien meerkeuzevragen, de kwaliteit van een samenvatting en
een samengestelde indicator van de twee voorgaande indicatoren. Voor elke indicator voor
leesbe-grip is een structureel model uitgevoerd.
Daarbij wordt overigens onderscheid gemaakt tussen twee manieren van feedback zoeken. De
eer-ste is middels het observeren van anderen die instructieve feedback krijgen (monitoren). De tweede
manier van feedback zoeken is middels het direct vragen van instructieve feedback (inquiry). Het
in-trapersoonlijke kenmerk metacognitie is geoperationaliseerd als metacognitief monitoren. Motivatie,
het tweede intrapersoonlijke kenmerk, is enerzijds geconceptualiseerd als handelingen ter behoud
van het beeld dat anderen van je hebben en anderzijds als de ontvankelijkheid voor het krijgen van
instructieve feedback.
Het pad model met de directe relaties van het feedback zoeken, metacognitief monitoren en
motiva-tionele facetten op leesbegrip gemeten met meerkeuzevragen, liet alleen een significante,
zwak-ne-gatieve relatie zien tussen de inquiry methode van feedback zoeken en leesbegrip. Dit betekent dat
een hoge waarde van de inquiry methode van feedback (dus het vaker zoeken van feedback middels
directe vragen te stellen) gepaard gaat met een lage waarde van leesbegrip gemeten met
meerkeu-zevragen. Eenzelfde relatie werd gevonden voor de samengestelde indicator. Deze relatie werd niet
gevonden met leesbegrip gemeten met de kwaliteit van een samenvatting. Gewoonlijk zoekt men
naar indirecte relaties nadat er directe relaties zijn gevonden in de steekproef. Ondanks dat er geen
bewijs gevonden werd voor een directe relatie tussen feedback zoeken, metacognitie en motivatie
met leesbegrip, vond ik het belangrijk om ook indirecte relaties te evalueren. Hiermee beoogde ik
een goed beeld te kunnen krijgen van de invloed van de combinatie van kenmerken (het zoeken van
feedback, metacognitie, motivatie) op leesbegrip. Mijn hypothese was dat het zoeken van feedback
mogelijk een mediërende invloed zou hebben op de relatie tussen metacognitief monitoren en/of
motivatie (specifiek in de zin van handelingen ter behoud van het beeld dat anderen van je hebben)
met leesbegrip. Wederom werden drie padmodellen opgesteld om de mediërende rol van feedback
zoeken te onderzoeken. De complexe padmodellen, waarin de mediërende rol van beide manieren
van feedback zoeken werd uitgelicht, waren gesatureerd (dat wil zeggen dat het aantal parameters
gelijk is aan het aantal gemeten concepten) en konden de data slecht vangen. De mediërende rol
van beide manieren werd niet aangetoond. Dit kan mogelijk het gevolg zijn van de relatief kleine
steekproef in combinatie met de complexe modellen. Het is daarom belangrijk om met enige
terug-houdendheid de afwezigheid van de mediërende rol van feedback zoeken te interpreteren.
In Hoofdstuk 5 heb ik de relatie tussen een combinatie van intrapersoonlijke kenmerken en leesbegrip
onderzocht door een persoonsgerichte aanpak te hanteren. Deze persoonsgerichte aanpak zet de
leerling centraal binnen het verwerken van verplichte en optionele feedback. Ik heb profielen
opge-steld aan de hand van verschillende variabelen. Als eerste is het zoeken van feedback meegenomen,
wat gemeten is met het aantal keren dat een leerling klikt op de knop voor instructieve feedback in de
digitale leeromgeving. Als tweede is de bewustwording en het gebruik van metacognitieve
leesstra-tegieën meegenomen, wat gemeten is met een zelfrapportage vragenlijst over globale
leesstrategie-en, ondersteunde leesstrategieën, en probleem oplossende strategieën. Tot slot zijn motivationele
facetten meegenomen in de profielen, wat gemeten is met een zelfrapportage vragenlijst met
vra-gen gericht op taakwaarde, faalangst, zelfeffectiviteit, en controle over leerovertuiginvra-gen. Door naast
de reeds genoemde scores op de verschillende variabelen de scores voor de lees begrip indicatoren
(meerkeuzevragen, de kwaliteit van de samenvatting, en de gecombineerde indicator) toe te voegen
als afhankelijke variabele is het mogelijk om te bepalen welke variabelen de desbetreffende
leesbe-grip indicator voorspellen.
Uit de latente profielanalyse bleek dat een oplossing met drie verschillende profielen de data van 130
leerlingen uit het voortgezet onderwijs het beste beschreef. Omdat voor elke indicator van leesbegrip
een vergelijkbare drie-profielen oplossing naar voren kwam, werden alleen resultaten van de
samen-gestelde indicator gerapporteerd. De scores van leerlingen binnen het eerste profiel—aangeduid als
onderontwikkelde strategen (n = 47)—werden gekenmerkt door gemiddeld de laagste scores voor het
zoeken van feedback, metacognitieve leesstrategieën en motivationele facetten (m.u.v. faalangst) in
vergelijking met de andere profielen. Als je kijkt naar de scores op de faalangstschaal zullen deze
leerlingen meestal hoger dan het gemiddelde liggen. De scores van leerlingen binnen het tweede
profiel—de gemiddelde strategen (n = 64)—werden gekenmerkt door gemiddelde scores voor het
zoeken van feedback, metacognitieve leesstrategieën en motivationele facetten (m.u.v. faalangst) in
vergelijking met de andere profielen. Als je kijkt naar de schaal faalangst zullen de scores van deze
leerlingen meestal lager dan het gemiddelde liggen. De scores van leerlingen in het derde profiel—
gelabeld als vooruitstrevende strategen (n = 19)—konden het best beschreven worden door het
beha-len van gemiddeld de hoogste scores voor het zoeken van feedback, metacognitieve leesstrategieën
en motivationele facetten (m.u.v. faalangst) in vergelijking met scores van andere profielen. Als je
kijkt naar de scores op de faalangstschaal zullen deze leerlingen meestal rond het gemiddelde
lig-gen. De profielen verschilden niet significant in de scores op de metacognitieve leesstrategieën en
motivationele facetten maar wel in het zoeken van feedback. Met andere woorden, het onderscheid
tussen de profielen kan beter uitgelegd worden aan de hand van scores op het zoeken naar feedback,
maar de voorspellende waarde voor leesbegrip kan beter uitgelegd worden de scores op
metacognitie-ve leesstrategieën en motivationele facetten.
Reflecties op de Beperkingen van dit Onderzoek
Bij de interpretatie van de resultaten moet rekening gehouden worden met een aantal beperkingen.
Alhoewel er in de bestaande literatuur verschillende opvattingen bestaan over de steekproefgrootte
(zie Hooper, Coughlan, & Mullen, 2008; Hu & Bentler, 1999; Kline, 2010; Reinartz, Haenlein, &
Hense-ler, 2009), is in het huidige onderzoek de steekproefgrootte aan de kleine kant. De specifieke
leescon-text in de empirische studies roept ook vragen op of de bevindingen generaliseerbaar zijn naar
ande-re contexten waarin informatieve, maar niet aardrijkskundige, teksten centraal staan.
Ten tweede vormt de korte ontwikkelperiode en de selectie van de meetinstrumenten die zijn
ge-bruikt in hoofdstuk 4 en 5 een beperking. Het aantal mogelijkheden om bepaalde meetinstrumenten
af te nemen bij Nederlandse proefpersonen is klein. Om deze reden zijn Engelstalige items naar het
Nederlands vertaald. Het taalgebruik binnen de items werd vereenvoudigd om beter aan te sluiten
bij de doelgroep (d.w.z. leerlingen uit het eerste jaar van het voortgezet onderwijs). Hoewel deze
aanpassingen met zorg zijn uitgevoerd en meerdere malen zijn gecontroleerd door leden van het
projectteam en mijzelf, kan het zijn dat deze ingrepen mijn bevindingen hebben beïnvloed omdat
er geen pilottraject aan vooraf is gegaan om de betrouwbaarheid en de validiteit meermaals te
me-ten. Vervolgonderzoek kan zich richten op het ontwikkelen van Nederlandstalige meetinstrumenten
voor metacognitie en motivatie, waarbij tevens aansluiting gezocht dient te worden bij de specifieke
doelgroep van eerstejaars leerlingen uit het voorgezet onderwijs. In navolging van mijn
meta-analy-se vond ik het belangrijk om meerdere schalen mee te nemen van verschillende clusters van
intraper-soonlijke factoren in mijn empirische studies, maar de betrouwbaarheid van sommige schalen bleek
onvoldoende om verdere analyses uit te voeren. Om deze reden kon ik slechts voor enkele clusters
meerdere schalen meenemen (bijvoorbeeld voor motivatie, maar niet voor metacognitie), waardoor
ik onvoldoende tegemoet kon komen aan de complexiteit van de feedbacksituatie en er meer
on-derzoek nodig is om de invloed van intrapersoonlijke kenmerken op het zoeken en verwerken van
instructieve feedback tijdens het lezen in kaart te brengen.
Ten derde heb ik de concepten ‘feedback zoeken’ en ‘hulp zoeken’ als uitwisselbaar beschouwd, wat
gevolgen kan hebben voor de generalisatie van mijn resultaten. De keuze om het begrip ‘feedback
zoeken’ te gebruiken in plaats van ‘hulp zoeken’ heeft te maken met het gedetailleerde model van
Narciss (2013), waarin het zoeken naar feedback/hulp en de verwerking ervan verschillende stappen
in het leerproces zijn. Bijvoorbeeld tot de beslissing komen om feedback/hulp te zoeken kan gezien
worden als een stap evenals de beslissing waar deze instructieve feedback gevraagd kan worden
en wanneer het beste moment is om deze acties te ondernemen. Deze stappen sluiten aan bij de
verschillende onderdelen in het model van Narciss (2013)—waaronder de interne en externe
assess-ment en de noodzaak om een discrepantie tussen het huidige en gewenste niveau te verkleinen.
Een laatste reflectie betreft de inclusie van nulresultaten in dit proefschrift, maar vooral ook binnen
wetenschappelijk onderzoek. Ik heb dit gedaan omdat een focus op niet- significante bevindingen
eveneens informatief is voor zowel de theorie als de praktijk. Een voorbeeld hiervan zijn de resultaten
van hoofdstuk 4, waarbij ik de bevindingen van de directe modellen slechts beperkt en met
voorzich-tigheid kan interpreteren en de bevindingen van de indirecte maar overvolle modellen nauwelijks
kan interpreteren. Veel onderzoek rapporteert alleen significante bevindingen, wat mogelijk heeft
geleid tot een publicatie bias (zoals gevonden in hoofdstuk 2). Dit betekent dat de conclusies die
ge-trokken kunnen worden op basis van die gegevens vertekend kunnen zijn. Juist om deze vertekening
tegen te gaan, is het van belang om ook niet-significante resultaten te rapporteren. Deze
niet-signifi-cante bevindingen zijn tevens sturend voor toekomstig onderzoek, zodat we niet nogmaals het wiel
uitvinden en er binnen wetenschappelijk onderzoek voldoende transparantie bestaat om relevante
nulresultaten te communiceren.
Implicaties voor Onderzoek en Praktijk
De resultaten van dit proefschrift hebben verschillende implicaties voor onderzoek en de
onderwij-spraktijk. Ten eerste hoop ik met mijn proefschrift bewustzijn te creëren over het feit dat digitale
instructieve feedback niet ingezet wordt als een universele aanpak waarin elke individuele leerling
dezelfde feedback aangeboden krijgt omdat er tussen leerlingen verschillen kunnen bestaan bij het
zoeken, verwerken en implementeren van instructieve feedback. Ten tweede is het belangrijk dat
feedback gezien wordt als onderdeel van het leerproces en de leerling te beschouwt wordt als een
actor met een (pro)actieve rol in het feedbackproces, waarbij voornamelijk de interne processen een
essentiële rol hebben in het zoeken, verwerken en implementeren van instructieve feedback. Binnen
de context van het lezen van vakspecifieke teksten kan het zoeken van optionele instructieve
feed-back of het verplicht aangeleverd krijgen van instructieve feedfeed-back de lezer helpen om een coherente
mentale tekst representatie te bouwen. Dit betekent dat lezers (digitale) instructieve feedback
moe-ten zien als onderdeel van het lezen. Docenmoe-ten dienen op hun beurt lezers aan te zetmoe-ten tot het
zoe-ken en/of verwerzoe-ken van (digitale) instructieve feedback. Ten derde laten individuele leerlingen zien
dat zij moeite hebben met het verwerken van feedback door bijvoorbeeld geen
feedback-zoeken-de activiteiten te onfeedback-zoeken-dernemen bij foutieve of onvoldoenfeedback-zoeken-de (eind)resultaten of door dit wel te doen
maar dat dit wederom resulteert in een foutief of onvoldoende (eind)resultaat. Het gebrek aan
feed-back-zoekende activiteiten in combinatie met het ontbreken van een feedback training in veel
afge-rond wetenschappelijk onderzoek—waarbij onterecht wordt uitgegaan dat deelnemers instructieve
feedback ‘goed’ of ‘succesvol’ zullen verwerken en implementeren als dit wordt
aangeboden—sugge-reert dat het aanbieden van een training in het verwerken van instructieve feedback van meerwaarde
zou kunnen zijn. Deze training kan gericht zijn op bijvoorbeeld metacognitieve leesstrategieën en
motivationele facetten in de specifieke context van lezen, maar kan ook algemene elementen
bevat-ten die instructieve feedback als onderdeel van het leerproces beschouwen en welke ervoor zorgen
dat het individu de discrepantie tussen het huidige en gewenste leer-/leesbegrip kan overbruggen.
References
Articles marked with an asterisk indicate articles included in this meta-analysis (Chapter 2).
• Articles marked with the superscripts “a” and “b” refer to Dimension A (keyword: essential) and Dimension B (keyword: nonessential) are included in the systematic review (Chapter 3).
• Aben, J. E. J., Dingyloudi, F., Timmersmans, A. C., Strijbos, J.-W. (2019). Embracing errors for learning: Intrapersonal and interpersonal factors in feedback provision and processing in dyadic interactions. In M. Henderson, R. Ajjawi, D. Boud, & E. Molloy (Eds.), The Impact of Feedback in Higher Education (pp. 107–125). Cham, Switzerland: Springer Nature.
• aAbercombie, S., Parkes, J., & McCarty, T. (2015). Mo-tivational influences of using peer evaluation in pro-blem-based learning in medical education. Interdisci-plinary Journal of Problem-Based Learning, 9(1), 33–43. doi:10.7771/1541-5015.1501
• *aAbrami, P. C., Venkatesh, V., Meyer, E. J., & Wade, C. A.
(2013). Using electronic portfolios to foster literacy and self-regulated learning skill in elementary students. Journal of Educational Psychology, 105, 1188–1209. doi:10.1037/a0032448
• *bAbuSeileek, A. F. (2013). Using track changes and
word processor to provide corrective feedback to lear-ners in writing. Journal of Computer Assisted Learning, 29, 319–333. doi:10.1111/jcal.12004
• Ackerman, R., & Goldsmith, M. (2011). Metacognitive regulation of text learning: On screen versus on paper. Journal of Experimental Psychology: Applied, 17, 18–32. • Aho, K., Derryberry, D., & Peterson, T. (2014). Model se-lection for ecologists: The worldviews of AIC and BIC. Ecology, 95(3), 631–636.
• Akturk, A. O., & Sahin, I. (2011). Literature review on metacognition and its measurement. Procedia Social and Behavioral Sciences, 15, 3731–3736. doi:10.1016/j. sbspro.2011.04.364
• *bAlemán, J. L. F., Palmer-Brown, D., & Jayne, C. (2011).
Effects of response-driven feedback in computer sci-ence learning. IEEE Transactions on Education, 54(3), 501–508. doi:10.1109/TE.2010.2087761
• Alexander, P. A. (2005). The path to competence: A lifespan developmental perspective on reading. Jour-nal of Literacy Research, 37(4), 413–436. doi:10.1207/ s15548430jlr3704_1
• Anmarkrud, Ø, & Bråten, I. (2009). Motivation for reading comprehension. Learning and Individual Diffe-rences, 19(2), 252–256. doi:10.1016/j.lindif.2008.09.002 • Anseel, F., Beatty, A. S., Shen, W., Lievens, F., & Sackett, P.
R. (2015). How are we doing after 30 years? A meta-ana-lytic review of the antecedents and outcomes of feed-back-seeking behaviour. Journal of Management, 41(1), 318–348.
• Ashford, S. J., Blatt, R., & VandeWalle, D. (2003). Re-flections on the looking glass: A review of research on feedback-seeking behaviour in organizations. Journal of Management, 29(6), 773–799. doi:10.1016/S0149-2063(03)00079-5
• Ashford, S., De Stobbeleir, K., & Nujella, M. (2016). To seek or not to seek: Is that the only question? Recent developments in feedback-seeking literature. Annual Review of Organizational Psychology and Organiza-tional Behavior, 3, 312–239. doi:10.1146/annurev-org-psych-041015-062314
• Aydin, F. (2011). Geography teaching and metacogniti-on. Educational Research and Reviews, 6(3), 274–278. • Bacha, N. (2001). Writing evaluation: what can
ana-lytic versus holistic essay scoring tell us? System, 29, 371–383. doi:10.1016/S0346-251X(01)00025-2
• *bBaralt, M. (2013). The impact of cognitive complexity
on feedback efficacy during online versus face-to-face interactive tasks. Studies in Second Language Acquisi-tion, 35, 689–725. doi:10.1017/S0272263113000429 • Bausch, A., & Becker, K. (2001). A study of students’ lack
of study and organizational skills with middle school and high school students. (Master’s thesis). Retrieved from https://eric.ed.gov/?id=ED455461.
• Beiswinger, K. L., & Grolnick, W. S. (2010). Interperso-nal and intrapersoBeiswinger, K. L., & Grolnick, W. S. (2010). Interperso-nal factors associated with auto-nomous motivation in adolescents’ after-school ac-tivities. Journal of Early Adolescence, 30(3), 369–394. doi:10.1177/0272431609333298
• Belland, B. R., Kim, C. M., & Hannafin, M. J. (2013). A framework for designing scaffolds that improve moti-vation and cognition. Educational Psychologist, 48(4), 243–270. doi:10.1080/00461520.2013.838920 • Bendermacher, N. (2010). Beyond Alpha: Lower bounds
for the reliability of tests. Journal of Modern Ap-plied Statistical Methods, 9(1), 95–102. doi:10.22237/ jmasm/1272687000
• Benjami, Y., & Hochberg, Y. (1995). Controlling the False Discovery Rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, 57(1), 289–300. doi:10.1111/j.2517-6161.1995.tb02031.x • Bensoussan, M. (2012). Alleviating test anxiety for
students of advanced reading comprehension, RELC, 43(2), 203–216. doi:10.1177/0033688212449511 • Bergman, L. R., & Trost, K. (2006). The person-oriented
versus the variable-oriented approach: Are they com-plementary, opposites, or exploring different worlds? Merrill-Palmer Quarterly, 52(3), 601–632.
• Berkeley, S., King-Sears, M. E., Vilbas, J., & Conklin, S. (2016). Textbook characteristics that support or thwart comprehension: The current state of social studies tex-ts. Reading & Writing Quarterly, 32(3), 247–272. doi:10.1 080/10573569.2014.970721
• Berstrom, T., Harris, A., & Karahalios, K. (2011). Encou-raging initiative in the classroom with anonymous feedback. In IFIP Conference on Human-Computer In-teraction (pp. 627–642). Berlin, Heidelberg: Springer. •
Best, R. M., Floyd, R. G., & McNamara, D. S. (2008). Diffe-rential competencies contributing to children’s compre-hension of narrative and expository texts. Reading Psy-chology, 29, 137–164. doi:10.1080/02702710801963951 • Bevan, R., Badge, J., Cann, A., Wilmott, C., & Scott, J.
(2008). Seeing eye-to-eye? Staff and student views of feedback. Bioscience Education, 12(1), 1–15. doi:10.3108/ beej.12.1
• Bhattacharya, M., & Coombs, S. (2018). Formalytics as real-time feedback and feedforward for sustainable li-felong learning pathways. Journal of Interactive Learn-ing Research, 29(4), 497–506.
• Bijsterbosch, R., Van der Schee, J., & Kuiper, W. (2017). Meaningful learning and summative assessment in geography education: An analysis in secondary educa-tion in the Netherlands. Internaeduca-tional Research in Geo-graphical and Environmental Education, 26(1), 17–35. doi:10.1080/10382046.2016.1217076
• *bBooth, J. L., Koedinger, K. R., Newton, K. J., & Lange,
K. E. (2013). Differentiating instruction: Providing the right kinds of worked examples for individual stu-dents. Society for Research on Educational Effective-ness. Retrieved from https://files.eric.ed.gov/fulltext/ ED563053.pdf
• Bokhove, C. (2010). Implementing feedback in a digital tool for symbol sense. International Journal for Techno-logy in Mathematics Education, 17(3), 121–126. • Borenstein, M., Hedges, L. V., Higgins, J. P. T., &
Ro-thstein, H. R. (2009). Introduction to meta-analysis. West Sussex, United Kingdom: John Wiley & Sons. • Boud, D., Ajjawi, R., Dawson, P., & Tai, J. (2018). Creating
an agenda for developing students’ evaluative judge-ment. In D. Boud, P. Dawson, R. Ajjawi, & J. Tai (2018), Developing Evaluative Judgement in Higher Educati-on: Assessment for Knowing and Producing Quality Work (pp. 186–195). London, UK: Routledge.
• Bozdogan, H. (1987). Model selection and Akaike’s in-formation criterion (AIC): The general theory and its analytical extensions. Psychometrika, 52, 345–370. • bBröder, A., & Schiffer, S. (2006). Adaptive flexibility
and maladaptive routines in selecting fast and frugal decision strategies. Journal of Experimental Psycho-logy: Learning, Memory, and Cognition, 32(4), 904–918. doi:10.1037/0278-7393.32.4.904
• Brosvic, G. M., Epstein, M. L., Cook, M. J., & Dihoff, R. E. (2005). Efficacy of error for the correction of initially incorrect assumptions and of feedback for the affirma-tion of correct responding: Learning in the classroom. The Psychological Record, 55(3), 401– 418.
• Brown, E., & Glover, C. (2006). Evaluating written feed-back. In C. Bryan, & K. Clegg (Eds.), Innovative assess-ment in higher education (pp. 102–112). New York, NY: Routledge.
• *Buder, J., & Bodemer, D. (2008). Supporting contro-versial CSCL discussions with augmented group aware-ness tools. Computer-Supported Collaborative Learn-ing, 3, 123–139. doi:10.1007/s11412-008-9037-5 • *aButchart, S., Forster, D., Gold, I., Bigelow, J., Korb,
K., Oppy, G., & Serrenti, A. (2009). Improving critical thinking using web based argument mapping exerci-ses with automated feedback. Australasian Journal of Educational Technology, 25(2), 268–291. doi:10.14742/ ajet.1154
• Butler, A. C., Godbole, N., & Marsh, E. J. (2013). Expla-nation feedback is better than correct answer feedback for promoting transfer of learning. American Psy-chological Association, 105(2), 290–298. doi:10.1037/ a0031026
• Butler, D. L., & Winne, P. H. (1995). Feedback and self-regulated learning: A theoretical synthesis. Review of Educational Research, 65(3), 245–281. doi:10.3102/00346543065003245
• Bryman, A. (2016). Social research methods. Cam-bridge, UK: Oxford University Press.
• aBye, L., Smith, S., & Rallis, H. M. (2009). Reflection
using an online discussion forum: Impact on student learning and satisfaction. Social Work Education, 28(8), 841–855. doi:10.1080/02615470802641322
• Cain, K., & Oakhill, J. (2006). Profiles of children with specific reading comprehension difficulties. British Journal of Educational Psychology, 76(4), 683–696. doi:10.1348/000709905X67610
• Calvo, M. G., & Carreiras, M. (1993). Selective influence of test anxiety on reading processes. British Journal of Psychology, 84, 375–388. doi:10.1111/j.2044-8295.1993. tb02489.x
• Carroll, D. W. (2008). Brief report: A simple stimulus for student writing and learning in the introductory psy-chology course. North American Journal of Psypsy-chology, 10(1), 159–164.
• Carver, C. S., & Scheier, M. F. (2000). Autonomy and self-regulation. Psychological Inquiry, 11(4), 284–291. • bChariker, J. H., Naaz, F., & Pani, J. R. (2011).
Compu-ter-based learning for neuroanatomy: A longitudinal study of learning, transfer, and retention, Journal of Educational Psychology, 103(1), 19–31. doi:10.1037/ a0021680
• Chasteauneuf, C. A. (2004). The role of goal orientati-ons in test-based learning. Obtained from https://ds- pace.library.uvic.ca/bitstream/handle/1828/637/chas-teauneuf_2004.pdf?sequence=1
• Cheung, A. C. K., & Slavin, R. E. (2012). How features of educational technology applications affect stu-dent reading outcomes: A meta-analysis. Educati-onal Research Review, 7, 198–215. doi:10.1016/j.edu-rev.2012.05.002
• aClariana, R. B. (2004). An interaction of screen
co-lour and lesson task in CAL. British Journal of Edu-cational Technology, 35(1), 35–43. doi:10.1111/j.1467-8535.2004.00366.x
• Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning. Educational Psychology Re-view, 24(2), 205–249. doi:10.1007/s10648-011-9191-6 • Clark-Gordon, C. V., Bowman, N. D., Watts, E. R., Banks,
J., & Knight, J. M. (2018). “As good as your word”: Fa-ce-threat mitigation and the use of instructor nonver-bal cues on students’ perceptions of digital feedback. Communication Education, 67(2), 1–19. doi:10.1080/03 634523.2018.1428759
• Cohen, J. (1988). Statistical power analysis for the be-havioral sciences (2nd ed.). New York, NY: Academic Press.
• Cole, J. S., Bergin, D. A., & Whittaker, T. A. (2008). Predic-ting student achievement for low stakes tests with ef-fort and task value. Contemporary Educational Psycho-logy, 33, 609–624. doi:10.1016/j.cedpsych.2007.10.002 • Cole, R., Haimson, J., Perez-Johnson, I., & May, H. (2011).
Variability in pretest-posttest correlation coefficients by student achievement level (NCEE Reference • Report 2011-4033). Washington, DC: U.S. Department
of Education, National
• Center for Education Evaluation and Regional Assistan-ce, Institute of Education
• Sciences.
• Cook, D. A. (2012a). If you teach them, they will learn: Why medical education needs comparative effective-ness research. Advances in Health Sciences Education, 17, 305–310. doi:10.1007/s10459-012-9381-0
• Crews, T. B., & Wilkinson, K. (2010). Students’ perceived preference for visual and auditory assessment with e-handwritten feedback. Business Communication Quarterly, 73(4), 399–412. doi:10.1177/1080569910385566 • Crommelinck, M., & Anseel, F. (2013). Understanding
and encouraging feedback-seeking behaviour: A litera-ture review. Medical Education, 47, 232–241. doi:10.1111/ medu.12075
• Cubukcu, F. (2008). Enhancing vocabulary development and reading comprehension through metacognitive strategies. Issues in Educational Research, 18(1), 1–11. • Cumming, G. (2012). Understanding the New Statistics:
Effect sizes, confidence intervals, and meta-analysis. New York, NY: Routledge.
• Cutumisu, M. (2019). The association between feed-back-seeking and performance is moderated by growth mindset in a digital assessment game. Com-puters in Human Behavior, 93, 267–278. doi:10.1016/j. chb.2018.12.026
• Daher, T. A., & Kiewra, K. A. (2016). An investigation of SOAR study strategies for learning from multiple onli-ne resources. Contemporary Educational Psychology, 46, 10–21. doi:10.1016/j.cedpsych.2015.12.004 • Debuse, J., Lawley, M., & Shibl, R. (2007). The
imple-mentation of an automated assessment feedback and quality assurance system for ICT courses. Journal of In-formation Systems Education, 18(4), 491–502. •
Deeley, S. J. (2017). Using technology to facilitate effec-tive assessment for learning and feedback in higher edu-cation. Assessment & Evaluation in Higher Education, 43(3), 439–448. doi:10.1080/02602938.2017.1356906 • Denton, C. A., Wolters, C. A., York, M. J., Swanson, E.,
Kulesz, P. A., Francis, D. J. (2015). Adolescents’ use of reading comprehension strategies: Differences related to reading proficiency, grade level, and gender. Learn-ing and Individual Differences, 37, 81–95. doi:10.1016/j. lingif.2014.11.016
• Delgado, P., Vargas, C., Ackerman, R., & Salmerón, L., (2018). Don’t throw away your printed books: A me-ta-analysis on the effects of reading media on reading comprehension. Educational Research Review, 25, 23– 38. doi:10.1016/j.edurev.2018.09.003
• De Stobbeleir, K. E. M., Ashford, S. J., & Buyens, D. (2011). Self-regulation of creativity at work: The role of feedback-seeking behavior in creative performan-ce. Academy of Management Journal, 54(4), 811–831. doi:10.5465/amj.2011.64870144
• Dihoff, R. E., Brosvic, G. M., & Epstein, M. L. (2003). The role of feedback during academic testing: The delay retention effect revisited. The Psychological Record, 53, 533–548. doi:10.1007/BF03395451
• Dillon, J. T. (1986). Student questions and individual learning. Educational Theory,
• 36, 333–341.
• Dillon, A., & Jobst, J. (2005). Multimedia learning with hypermedia. In R. Mayer (Ed), The Cambridge hand-book of multimedia learning (pp. 569–588). Cam-bridge, MA: Cambridge University Press.
• Dimitrov, D. M., & Rumrill Jr., P. D. R. (2003). Pre-test-posttest designs and measurement of change. Work, 20, 159–165.
• Dillon, A., & Jobst, J. (2005). Multimedia learning with hypermedia. In R. Mayer (Ed.), The Cambridge Hand-book of Multimedia Learning (pp. 569–588). Cam-bridge, MA: Cambridge University Press.
• bD’Mello, S. K., Wodell, N., & Graesser, A. (2011). Does it
really matter whether students’ contributions are spo-ken versus typed in an intelligent tutoring system with natural language? Journal of Experimental Psychology:
Applied, 17, 1–17. doi:10.1037/a0022674
• Donker, A. S., De Boer, H., Kostons, D., Dignath van Ewijk, C. C., & Van der Werf, M. G. C. (2014). Effective-ness of learning strategy instruction on academic per-formance: A meta-analysis. Educational Research Review,
11, 1–26. doi:10.1016/j.edurev.2013.11.002
• Dressler, R., Chu, M.-W., Crossman, K., & Hilman, B. (2019). Quantity and quality of uptake: Examining sur-face and meaning-level feedback provided by peers and an instructor in a graduate research course.
Asses-sing Writing, 39, 14–24. doi:10.1016/j.asw.2018.11.001
• Duncan, S., & Feldman Barrett, L. (2007). Affect is a form of cognition: A neurobiological analysis. Cognition and
Emotion, 21, 1184–1211. doi:10.1080/02699930701437931
• Duval, S., & Tweedie, R. (2000a). Trim and Fill: A simple funnel-plot-based method of testing and adjusting for publication in meta-analysis. Biometrics, 56, 455–463. doi:10.1111/j.0006-341X.2000.00455.x
• *aDzikovska, M., Steinhauser, N., Farrow, E., Moore, J., &
Campbell, G. (2014). BEETLE II: Deep natural language understanding and automatic feedback generation for intelligent tutoring in basic electricity and electronics.
International Journal of Artificial Intelligence in Education, 24, 284–332. doi:10.1007/s40593-014-0017-9
• Efklides, A. (2008). Metacognition. Defining its facets and levels of functioning in relation to self-regulation and co-regulation. European Psychologist, 13(4), 277–287. doi:10.1027/1016-9040.13.4.277
• Ellis, P. D. (2010). The essential guide to effect sizes: Statis-tical power, meta-analysis, and the interpretation of rese-arch results. Cambridge, MA: Cambridge University Press. • aEl Saadawi, G. M., Azevedo, R., Castine, M., Payne, V.,
Medvedeva, O., Tseytlin, E., ... & Crowley, R. S. (2010). Factors affecting feeling-of-knowing in a medical intel-ligent tutoring system: The role of immediate feedback as a metacognitive scaffold. Advances in Health Sciences
Education, 15(1), 9–30. doi:0.1007/s10459-009-9162-6
• Eshet-Alkalai, Y., & Geri, N. (2010). Does the medium affect the message? The effect of congruent versus incongruent display on critical reading. Human Systems Management, 29(4), 243–251. doi:10.3233/HSM-2010-0730
• Evans, C. (2013). Making sense of assessment feedback in higher education. Review of Educational Research,
83(1), 70–120. doi:10.3102/0034654312474350
• Evans, M. A., Charland, A. R., & Saint-Aubin, J. (2009).
A new look at an old format: Eye-tracking studies of shared book reading and implications for eBook and eBook research
(pp. 89–111). In G. Bus and S. Neuman (Eds.), Multime-dia and Literacy Development. New York, NY: Rout-ledge.
• Everson, H. T., Smodlaka, I., & Tobias, S. (1994). Ex-ploring the relationship of test anxiety and met-acognition on reading test performance: A cogni-tive analysis. Anxiety, Stress, & Coping, 7(1), 85–96. doi:10.1080/10615809408248395
• Falchikov, N., & Goldfinch, J. (2000). Student peer-as-sessment in higher education: A meta-analysis compa-ring peer and teacher marks. Review of Educational
Rese-arch, 70(3), 287–322. doi:10.3102/00346543070003287
• Flavell, J. H. (1979). Metacognition and cognitive moni-toring. A new area of cognitive-developmental inquiry.
American Psychologist, 34, 906–911.
doi:10.1037/0003-066X.34.10.906
• Fokkema, M., & Greiff, S. (2017). How performing PCA and CFA on the same data equals trouble: Overfitting in the assessment of internal structure and some edi-torial thoughts on it. European Journal of Psychological
Assessment, 33(6), 399–402. doi:10.1027/1015-5759/
a000460
• Fordham, N. W. (2006). Crafting questions that address comprehension strategies in content reading. Journal of
Adolescent and Adult Literacy, 49(5), 390–396.
• Freyer R. G., Jr., (2010). Financial incentives and student achievement: Evidence from randomized trials. Retrie-ved from http://www.nber.org/papers/w15898. • Fyfe, E. R., & Rittle-Johnson, B. (2015). Feedback both
helps and hinders learning: The causal role of prior knowledge. Journal of Educational Psychology, 108(1), 1–16. doi:10.1037/edu0000053
• Fyfe, E. R., DeCaro, M. S., & Rittle-Johnson, B. (2015). When feedback is cognitively-demanding: The impor-tance of working memory capacity. Instructional Science,
43(1), 73–91. doi:10.1007/s11251-014-9323-8
• Fyfe, E. R., Rittle-Johnson, B., & DeCaro, M. S. (2012). The effects of feedback during exploratory mathema-tics problem solving: Prior knowledge matters. Journal
of Educational Psychology, 104(4), 1094–1108. doi:10.1037/
a0028389
• Gibbs, G., & Simpson, C. (2004a). Does your assessment support your students’ learning. Journal of Teaching and
learning in Higher Education, 1(1), 1–30.
• Gibbs, G., & Simpson, C. (2004b). Measuring the res-ponse of students to assessment: The Assessment Ex-perience Questionnaire. Paper presented at the 11th Improving Student Learning Symposium, Hinckley, UK. Retrieved from https://www.open.ac.uk/fast/pdfs/ Gibbs%20and%20Simpson%202003.pdf
• *bGerard, L. F., Ryoo, K., McElhaney, K. W., Liu, O. L.,
Raf-ferty, A. N., & Linn, M. C. (2016). Automated guidance for student inquiry. Journal of Educational Psychology,
• Gernsbacher, M. A. (2018). Writing empirical articles: Transparency, reproducibility, clarity, and memorabili-ty. Advances in Methods and Practice in Psychological
Scien-ce, 1(3), 403–414. doi:10.1177/2515245918754485
• Gobert, J., Sao Pedro, M., Baker, R. S., Toto, E., & Mon-talvo, O. (2012). Leveraging educational data mining for real time performance assessment of scientific inquiry skills within microworlds. Journal of Educational Data
Mi-ning, 4(1), 153–185.
• Goetz, T., Lipnevich, A. A., Krannich, M., & Gogol, K. (2018). Performance feedback and emotions. In A. A. Lipne-vich, & J. K. Smith (Eds.), The Cambridge Handbook of Instructional Feedback (pp. 554–574). Cambridge, New York, NY: Cambridge University Press.
• Gogol, K., Brunner, M., Goetz, T., Martin, R., Ugen, S., Keller, U., Fischbacch, A., & Preckel, F. (2014). “My questionnnaire is too long!” The assessments of mo-tivational-affective constructs with three-item and single-item measures. Contemporary Educational
Psycho-logy, 39(3), 188–205. doi:10.1016/j.cedpsych.2014.04.002
• Goodman, J. S., Wood, R. E., & Chen, Z. (2011). Feedback specificity, information processing, and transfer of trai-ning. Organizational behavior and human decision
proces-ses, 115 253–267. doi:10.1016/j.obhdp.2011.01.001
• Gordijn, J., & Nijhof W. J. (2002). Effects of complex feedback on computer-assisted modular instruction.
Computers & Education, 39, 183–200.
doi:10.1016/S0360-1315(02)00025-8
• Gould, J., & Day, P. (2013). Hearing you loud and clear: Student perspectives of audio feedback in higher education. Assessment & Evaluation in Higher Education,
38(5), 554–566. doi:10.1080/02602938.2012.660131
• Graham, S., Courtney, L., Tonkyn, A., & Marinis, T. (2016). Motivational trajectories for early language learning across the primary-secondary school transi-tion. British Educational Research Journal, 42(2), 682–702. doi:10.1002/berj.3230
• Gregg, M., & Sekeres, D. C. (2006). Supporting children’s reading of expository text in geography classroom. The
Reading Teacher, 60(2), 102–110. doi:10.1598/RT.60.2.1
• Guthrie, J. T., & Wigfield, A. (2005). Roles of motivation
and engagement in reading comprehension assessment. In S.
G. Paris & S. A. Stahl (Eds.), Children’s Reading Compre-hension and Assessment (pp. 187–213). Mahwah, NJ: Lawrence Erlbaum Associates.
• Guthrie, J. T., Wigfield, A., Metsala, J. L., & Cox, K. E. (1999). Motivational and cognitive predictors of text comprehension and reading amount. Scientific Studies of
Reading, 3(3), 231–256. doi:10.1207/s1532799xssr0303_3
• Hacker, D. J. (1997). Comprehension monitoring of written discourse across early-to-middle adolescence.
Reading and Writing: An Interdisciplinary Journal, 9, 207–
240.
• *aHagemans, M. G., Van de Meij, H., & De Jong, T. (2013).
The effects of a concept map-based tool on simulati-on-based inquiry learning, Journal of Educational
Psycho-logy, 105(1), 1–24. doi:10.1037/a0029433
• aHagmayer, Y., & Meder, B. (2012). Repeated causal decision making. Journal of Experimental Psycho-logy: Learning, Memory, and Cognition, 39(1), 33–50. doi:10.1037/a0028643
• Hall, K. M., Sabey, B. L., & McClellan, M. (2005). Expo-sitory text comprehension: Helping primary-grade tea-chers use expository texts to full advantage. Reading
Psy-chology, 26, 211–234. doi:10.1080/02702710590962550
• Hancock, T. E., Thurman, R. A., & Hubbard, D. C. (1995). An expanded control model for the use of instructional feedback. Contemporary Educational Psychology, 20(4), 410–425. doi:10.1006/ceps.1995.1028
• Harniss, M. K., Dickson, S. V., Kinder, D., & Hollenbeck, K. L. (2001). Textual problems and instructional soluti-ons: Strategies for enhancing learning from published history textbooks. Reading & Writing Quarterly, 17, 127– 150.
• Harrer, M., Cuijpers, P., Furukawa, T. A, & Ebert, D. D. (2019). Doing Meta-Analysis in R: A Hands-on Guide, obtained from https://bookdown.org/MathiasHar-rer/Doing_Meta_Analysis_in_R/. doi:105281/zeno-do.2551803
• Hattie, J. A. (1999). Influences on student learning (Inau-gural lecture, University of Auckland, New Zealand). Retrieved from https://cdn.auckland.ac.nz/assets/edu- cation/about/research/documents/influences-on-stu-dent-learning.pdf
• Hattie, J., & Timperley, H. (2007). The power of feed-back. Review of Educational Research, 7(1), 81–112. doi:10.3102/003465430298487
• Hayduk, L. (2014). Seeing perfectly fitting factor models that are causally misspecified: understan-ding that close-fitting models can be worse.
Educa-tional and Psychological Measurement, 74(6), 905–926.
doi:10.1177/0013164414527449
• Hayduk, L. A., Pazderka-Robinson, H., Cummings, G. G., Boadu, K., Verbeek, E. L., & Perks, T. A. (2007). The weird world, and equally weird measurement models: Reactive indicators and the validity revo-lution. Structural Equation Modeling, 14, 280–310. doi:10.1080/10705510709336747
• Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77–89. doi:10.1080/19312450709336664
• Hedges, L. V., & Olkin, I. (1985). Statistical methods for
• *aHegele, M., & Heuer, H (2013). Age-related variations
of visuomotor adaptation result from both the acquisi-tion and the applicaacquisi-tion of explicit knowledge.
Psycho-logy and Aging, 28(2), 333–339. doi:10.1037/a0031914
• *aHeift, T. (2010). Prompting in CALL: A longitudinal
study of learner uptake. The Modern Language Journal,
94(2), 198–216. doi:10.1111/j.1540-4781.2010.01017.x
• *bHendriksson, M. P., Elwin, E., & Juslin, P. (2010). What
is coded into memory in the absence of outcome feed-back? Journal of Experimental Psychology: Learning,
Memory, and Cognition, 36(1), 1–16. doi:10.1037/a0017893
• *bHeo, M., & Chow, A. (2005). The impact of computer
augmented online learning and assessment tool.
Edu-cational Technology & Society, 8(1), 113–125.
• Herold, D. M., & Fedor, D. B. (2003). Individual differen-ces in feedback propensities and training performan-ce. Human Resource Management Review, 13, 675–689. doi:10.1016/j.hrmr.2003.11.008
• Hooper, D., Coughlan, J., & Mullen, M. (2008). Struc-tural equation modelling: Guidelines for determining model fit. The Electronic Journal of Business Research
Me-thods, 6(1), 53–60.
• *aHooshyar, D., Ahmad, R. B., Yousefi, M., Fathi, M.,
Abdollahi, A., Horng, S. J., & Lim, H. (2016). A soluti-on-based intelligent tutoring system integrated with an online game-based formative assessment: Develop-ment and evaluation. Educational Technology Research
and Development, 64(4), 787–808.
doi:10.1007/s11423-016-9433-x
• *bHsiao, H.-S., Chang, C.-S., Chen, C.-J., Wu, C.-H., & Lin,
C.-Y. (2015). The influence of Chinese character hand-writing diagnosis and remedial instruction system on learners of Chinese as a foreign language. Computer
As-sisted Language Learning, 28(4), 306–324. doi:10.1080/09
588221.2013.818562
• *aHuang, C.-J., Wang, Y.-W., Huang, T.-H., Chen, Y.-C., Chen, H.-M., & Chang, S.-C. (2011). Computers & Educa-tion, 57, 1270–1280. doi:10.1016/j.compedu.2011.01.013 • *aHuang, T.-H., Liu, Y.-C., & Shiu, C.-Y. (2008).
Con-struction of an online learning system for decimal numbers through the use of cognitive conflict strategy.
Computers & Education, 50, 61–76.
doi:10.1016/j.compe-du.2006.03.007
• *aHung, P.-H., Hwang, G.-J., Lin, Y.-F., Wu, T.-H., & Su,,
I.-H. (2013). Seamless connection between learning and assessment- Applying progressive learning tasks in mobile ecology inquiry. Educational Technology & Society,
16(1), 194–205.
• Hu, L. T., & Bentler, P. M. (1999). Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria Versus New Alternatives. Structural Equation
Modeling, 6(1), 1–55.
• Husman, J., Pitt Derryberry, W., Crownson, H. M., & Lomax, R. (2004). Instrumentality, task value, and in-trinsic motivation: Making sense of their independent interdependence. Contemporary Educational Psychology,
29, 63–76. doi:10.1016/S0361-476X(03)00019-5
• Hwang, A., & Arbaugh, J. B. (2006). Virtual and tradi-tional feedback-seeking behaviors: Underlying com-petitive attitudes and consequent grade performance.
Decision Sciences Journal of Innovative Learning, 4(1), 1–28.
doi:10.1111/j.1540-4609.2006.00099.x
• Ilgen, D. R., & Davis, C. A. (2000). Bearing bad news: Reactions to negative performance feedback. Applied
Psychology: An international perspective, 49(3), 550–565.
doi:10.1111/1464-0597.00031
• bJackson, G. T., & McNamara, D. S. (2013). Motivation and performance in a game-based intelligent tutoring system. Journal of Educational Psychology, 105, 1036–1049. doi:10.1037/a0032580
• Jaehnig, W., & Miller, M. L. (2007). Feedback types in programmed instruction: A systematic review. The Psy-chological Record, 57, 219–232. doi:10.1007/BF03395573 • Jenkins, J. R., Fuchs, L. S., Van den Broek, P., Espin, C., & Deno, S. L. (2003). Sources of individual differences in reading comprehension and reading fluency. Journal of
Educational Psychology, 95(4), 719–729.
doi:10.1037/0022-0663.95.4.719
• Johnson, W. L., Rickel, J. W., & Lester, J. C. (2000). Ani-mated pedagogical agents: Face-to-face interaction in interactive learning environments. International Journal
of Artificial Intelligence in Education, 11 , 47–78.
• Jordan, S., & Mitchell, T. (2009). E-Assessment for learning? The potential of short-answer free-text questions with tailored feedback. British Journal of
Edu-cational Technology, 40(2), 371–385.
doi:10.1111/j.1467-8535.2008.00928.x
• Jonsson, A. (2013). Facilitating productive use of feed-back in higher education. Active Learning in Higher Education, 14, 63–76. doi:10.1177/1469787412467125 • aKang, S. H., Cepeda, N. J., Rohrer, D., Carpenter, S. K., &
Mozer, M. C. (2011). Does incorrect guessing impair fact learning? Journal of Educational Psychology, 103(1), 48–59. doi:10.1037/a0021977
• Karabenick, S. A. (2003). Seeking help in large college classes: A person-centered approach. Contemporary
Educational Psychology, 28, 27-58.
doi:10.1016/S0361-476X(02)00012-7
• Karpicke, J. D., & Blunt, J. R. (2011). Retrieval practice produces more learning than elaborative studying with concept mapping. Science, 331, 772–775. doi:10.1126/sci-ence.1199327
• Kelemen, W. L., Frost, P. J., & Weaver III, C. A. (2000). Individual differences in metacognition: Evidence against a general metacognitive ability. Memory &
• Kitsantas, A., & Chow, A. (2007). College students’ per-ceived threat and preference for seeking help in traditi-onal, distributed, and distance learning environments.
Computers & Education, 48(3), 383–395. doi:10.1016/j.
compedu.2005.01.008
• Kline, R. B. (2010). Principles and practice of structural
equation modelling. New York, NY: Guilford.
• Kluger, A. N., & DeNisi, A. (1996). The effects of feed-back interventions on performance: A historical review, a meta-analysis, and a preliminary feedback interven-tion theory. Psychological Bulletin, 119(2), 254–284. • Krasman, J. (2010). The feedback-seeking personality:
Big Five and feedback-seeking behaviour. Journal of Leadership & Organizational Studies, 17(1), 18–32. • *aKrause, U.-M., & Stark, R. (2010). Reflection in
exam-ple- and problem-based learning: Effects of reflection prompts, feedback and cooperative learning.
Evaluati-on & Research in EducatiEvaluati-on, 23(4), 255–272. doi:10.1080/0
9500790.2010.519024
• Krull, J. L., & McKinnon, D. P. (2001). Multilevel mode-ling of individual and group level mediated effect.
Mul-tivariate Behavioral Research, 36(2), 249–277. doi:10.1207/
S15327906MBR3602_06
• Kulik, J. A., & Kulik, C. C. (1988). Timing of feedback and verbal learning. Review of Educational Research, 58, 79–97. doi: 10.3102/00346543058001079
• Kulikowich, J. M., Mason, L. H., & Brown, S. W. (2008). Evaluating fifth- and sixth-grade students’ expository writing: Task development, scoring, and psychometric issues. Reading and Writing, 21, 153–175. doi:10.1007/ s11145-007-9068-8
• *bLan, Y.-F., Tsai, P.-W., Yang, S.-H., & Hung, C.-L.
(2012). Comparing the social knowledge construction behavioral patterns of problem-based online asyn-chronous discussion in e/m-learning environments.
Computers & Education, 59, 1122–1135.
doi:10.1016/j.com-pedu.2012.05.004
• bLane, C., Hays, M. J., Core, M. G., & Auerbach, D. (2013). Learning intercultural communication skills with virtu-al humans: Feedback and fidelity. Journvirtu-al of Educationvirtu-al
Psychology, 105, 1026–1035. doi:10.1037/a0031506
• *aLee, H. W., Lim, K. Y., & Grabowski, B. (2009). Gene-rative learning strategies and metacognitive feedback to facilitate comprehension of complex science topics and self-regulation. Journal of Educational Multimedia
and Hypermedia, 18(1), 5–25.
• *aLee, C., Wong, K. C. K., Cheung, W. K., & Lee, F. S. L.
(2009). Web-based essay critiquing and EFL students’ writing: A quantitative and qualitative investigati-on. Computer Assisted Language Learning, 22(1), 57–72. doi:10.1080/09588220802613807
• Lee, Y.-H., & Wu, J.-Y. (2013). The indirect effects of online social entertainment and information seeking activities on reading literacy. Computers & Education, 67, 168–177. doi:10.1016/j.compedu.2013.03.001
• Leenknecht, M., Hompus, P., & Van der Schaaf, M. (2019). Feedback seeking behaviour in higher educa-tion: The association with students’ goal orientation and deep learning approach. Assessment & Evaluation in
Higher Education, 44, 1069–1078. doi:10.1080/02602938
.2019.1571161
• aLehman B., D’Mello, S., & Graesser, A. (2012). Confusion and complex learning during interactions with compu-ter learning environments. The Incompu-ternet and Higher
Edu-cation, 15(3), 184–194. doi:10.1016/j.iheduc.2012.01.002
• Lehmann, T., Hähnlein, I., & Ifenthaler, D. (2014). Cog-nitive, metacognitive and motivational perspectives on reflection in self-regulated online learning.
Com-puters in Human Behavior, 32, 313–323. doi:10.1016/j.
chb.2013.07.051
• *aLeopold, C., & Mayer, R. E. (2015). An imagination
ef-fect in learning from scientific text. Journal of
Educatio-nal Psychology, 107(1), 47–63. doi:10.1037/a0037142
• Leopold, C., & Leutner, D. (2015). Improving students’ science text comprehension through metacognitive self-regulation when applying learning strategies.
Met-acognition and Learning, 10, 313–346.
doi:10.1007/s11409-014-9130-2
• Levenson, R. W. (1999). The intrapersonal functions of emotion. Cognition and Emotion, 13(5), 481–504. doi:10.1080/026999399379159
• bLimniou, M., & Smith, M. (2014). The role of feedback
in e-assessments for engineering education. Education
and Information Technologies, 19(1), 209–225. doi:10.1007/
s10639-012-9200-5
• bLin, C.-H., & Huang, Y. (2018). Tell me only what I want
to know: Congruent self-motivation and feedback.
So-cial Behavior and Personality, 46, 1523–1536. doi:10.2224/
sbp.7112
• Linderbaum, B. A., & Levy, P. E. (2010). The Develop-ment and Validation of the Feedback Orientation Scale (FOS). Journal of Management, 36, 1372–1405. doi:10.1177/0149206310373145
• Lipsey, M. W. (2009). The primary factors that charac-terize effective interventions with juvenile offenders: A meta-analytic overview. Victims & Offenders, 4, 124–147. doi:10.1080/15564880802612573
• Lipsey, M. W., & Wilson, D. B. (2001). Practical
Meta-ana-lysis. California, United States: Sage Publications.
• *aLlorens, A. C., Vidal-Abarca, E., & Cerdán, R. (2016).
Formative assessment to transfer self-regulation of task-oriented reading strategies. Journal of Computer
Assisted Learning, 32, 314–331. doi:10.1111/jcal.12134
• *aLoewen, S., & Erlam, R. (2006). Corrective feed-back in the chatroom: An experimental study.
Computer Assisted Language Learning, 19(1), 1–14.
