De effectiviteit van spaced practice in een Massive Open
Online Course (MOOC)
Steven van Schuppen
Studentnummer: 10533605 Universiteit van Amsterdam Begeleiders: Alexander Savi en Annemarie Zand Scholten Aantal woorden: 6517
Abstract In dit onderzoek werd de effectiviteit van spacing in een Massive Open Online Course (MOOC) onderzocht. De cursus was voor iedereen met een internetverbinding toegankelijk. Mensen die zich aanmeldden voor de cursus werden willekeurig over de spaced, massed of controle conditie verdeeld. Deelnemers in de spaced en massed conditie kregen in de quizzen extra vragen volgens een spacing of een massing studieschema, respectievelijk verspreid over de quizzen of tegelijkertijd in één quiz. Aan het eind van de cursus volgde er een eindtoets, welke door 61 van de deelnemers werd gemaakt. Er werd geen verschil gevonden in de scores op de eindtoets tussen de verschillende condities. Er zijn in dit onderzoek geen aanwijzingen gevonden voor een spacing-effect in MOOCs, wat mogelijk verklaard kan worden door een lage power.
Inleiding Sinds de opkomst van het internet is het mogelijk geworden om onderwijs aan een groot publiek online aan te bieden. In het hoger onderwijs wordt dit in toenemende mate gedaan (Larreamendy-Joerns & Leinhardt, 2006). In Nederland zijn bijvoorbeeld al zes grote universiteiten begonnen met het aanbieden van Massive Open Online Courses (MOOCs) bij twee grote aanbieders van online onderwijs, Coursera en edX. MOOCs zijn online cursussen die voor iedereen toegankelijk zijn, in tegenstelling tot online onderwijs vanuit universiteiten dat slechts voor studenten toegankelijk is. Aangezien deze nieuwe vorm van onderwijs in steeds grotere mate wordt aangeboden, is het relevant om meer over de leeropbrengst van MOOCs te weten te komen. In dit artikel wordt daarom gekeken naar de effectiviteit van spacing in MOOCs. Er zijn een aantal verschillen te benoemen tussen MOOCs en traditioneel onderwijs. Ten eerste is het feit dat MOOCs via het internet worden aangeboden een kenmerk dat ze onderscheid van traditioneel onderwijs. Doordat ze online worden aangeboden kan een groot aantal cursisten tegelijkertijd worden bereikt, en zitten cursisten niet vast aan beperkingen met betrekking tot plaats of tijd. Hierdoor is deze vorm van onderwijs potentieel efficiënter in tijd dan traditioneel onderwijs. Daarnaast zijn MOOCs voor iedereen met een internetverbinding toegankelijk. Dit is een groot verschil met traditioneel onderwijs van universiteiten waar in de meeste landen collegegeld betaald moet worden. De toegankelijkheid van MOOCs kan ervoor zorgen dat een grotere groep mensen aangesproken wordt die mogelijk hun kennis kunnen vergroten. Echter, onderzoek naar de werkelijke achtergrond van deelnemers aan MOOCs, laat zien dat een groot deel van de
deelnemers al hoogopgeleid is (Emanuel, 2013). Desalniettemin liggen de ingangseisen bij MOOCs lager dan bij onderwijs aan traditionele universiteiten. Bovendien is deze vorm van onderwijsaanbod interessant voor universiteiten, omdat de kosten van deze onderwijsvorm mogelijk lager zijn dan die van de traditionele onderwijsvorm (Bowen, Chingos, Lack & Nygren, 2012). Dit is voordelig, aangezien universiteiten hierdoor meer geld te besteden hebben aan de kwaliteit van andere aspecten van het onderwijs. MOOCs zijn dus in potentie efficiënter in tijd, toegankelijker en goedkoper. Echter, de bovengenoemde voordelen kunnen alleen iets betekenen wanneer de kwaliteit van het onderwijs in MOOCs niet slechter is ten opzichte van de kwaliteit van van traditioneel onderwijs. Om de kwaliteit van het onderwijs in deze nieuwe omgeving te vergroten is het belangrijk dat er onderzocht wordt hoe MOOCs het beste ingericht kunnen worden en hoe de leerstof aangeboden moet worden. Tegelijkertijd kan onderzoek in een omgeving waar grote hoeveelheden data beschikbaar zijn en de omstandigheden niet gecontroleerd zijn veel inzicht geven over de effectiviteit van verschillende leerstrategieën in een natuurlijke setting. Dit soort onderzoek heeft echter nog weinig opgeleverd voor het onderwijs (Reich, 2015). De effectiviteit van spacing en andere leerstrategieën is wel veel in andere omgevingen onderzocht (Dunlosky, Rawson, Marsh, Nathan & Willingham, 2013). Voor het huidige onderzoek is het van belang dat een leerstrategie wordt onderzocht waarvoor genoeg ondersteuning voor de effectiviteit wordt geboden. Dit is vanwege twee redenen, ten eerste is een doel van dit onderzoek om MOOCs te verbeteren en dus de beste manier te vinden om de cursus in te richten. Daarnaast is
de omgeving waar dit onderzoek in plaats vindt dusdanig ongecontroleerd, dat er veel ruis in de data zal zitten. Er is namelijk geen controle op hoe snel ze de cursus doorlopen, hoe veel tijd ze eraan besteden of dat ze meer hulpmiddelen gebruiken bij het maken van de toetsen dan alleen hun eigen kennis. Bij een leerstrategie die minder robuust is of een minder groot effect heeft is de kans dus groter dat er niks gezegd kan worden over de betreffende leerstrategie, omdat deze onzichtbaar wordt door de vele ruis. Daarom is het belangrijk om een stevig onderbouwde en robuuste leerstrategie te onderzoeken. Om deze redenen hebben we besloten het spacing-effect te onderzoeken. Het spacing-effect is een verschijnsel waarbij leerstof op lange termijn beter wordt onthouden wanneer de leermomenten verdeeld zijn over afzonderlijke sessies dan wanneer de leerstof in één keer wordt bestudeerd (Toppino, Fearnow-Kenney, Kiepert & Teremula, 2009; Dunlosky et al., 2013). Het bestuderen van de leerstof in meerdere afzonderlijke momenten wordt ook wel distributed practice genoemd en het in één keer bestuderen van de leerstof wordt ook wel massed practice genoemd (Melton, 1970; Dunlosky et al., 2013). Bij het spacing-effect gaat het erom dat er een grotere verbetering te zien is in het onthouden van bepaalde stimuli op langere termijn dan bij massed practice, terwijl de totale hoeveelheid oefening in beide leerstrategieën gelijk blijft. Dit effect wordt goed ondersteund in de literatuur. In een literatuuroverzicht van Dunlosky et al. (2013), zijn tien leerstrategieën geëvalueerd op basis van hun effectiviteit. Dit is gedaan door ze te beoordelen op hoe sterk ze generaliseren naar studievorm, eigenschappen van de student, gebruikte materialen en de vorm van toetsing van de stof. Het spacing-effect werd op al deze criteria goed beoordeeld.
Vooral het feit dat dit effect goed generaliseert naar de eigenschappen van de student en de studievorm is belangrijk voor dit onderzoek, omdat hier weinig controle op is. Dit maakt de kans groter dat het effect ook generaliseert naar een MOOC. Voor het spacing-effect zijn verschillende verklaringen te vinden in de literatuur. Twee veelgenoemde verklaringen zijn de encoding variability theorie en de deficient-processing theorie, waaronder vier subtheorieën vallen. Deze theorieën zijn in te delen naar een vrijwillige of automatische oorzaak voor het spacing-effect. Met ons experiment hopen we iets te kunnen zeggen over deze twee groepen theorieën. Vanuit de encoding variability theorie (Martin, 1968, aangehaald in Melton, 1970; Dempster, 1989) wordt gesteld dat de kans dat een bestudeerde stimulus succesvol uit het geheugen wordt opgehaald, groter is wanneer de stimulus op verschillende manieren is geëncodeerd. De tijd die tussen de presentatie van stimuli bij spaced practice zit, geeft een grotere kans op veranderingen in context of persoon, welke tot een andere encodering zouden kunnen leiden. Op deze manier ontstaan er meerdere cues waarmee de stimulus uit het geheugen opgehaald kan worden. Aangezien er bij massed practice geen grote kans is op veranderingen in context of persoon, is het aantal verschillende encoderingen kleiner en dus ook de kans dat de stimulus uit het geheugen wordt opgehaald. In ons onderzoek zou leerstof beter worden onthouden door deelnemers die leerstof gespaced aangeboden krijgen door dit automatische proces. De deficient-processing theorie daarentegen, stelt dat een spacing-effect optreedt doordat de verwerking van een stimulus die kort na de eerste presentatie
wordt gepresenteerd minder is dan die van een stimulus die na een langer tijdsinterval wordt gepresenteerd. Hierbij is de kans dat een stimulus herinnerd wordt afhankelijk van de mate van verwerking van deze stimulus (Dellarosa & Bourne, 1985; Dempster, 1989). Er wordt gesteld dat wanneer een stimulus nog actief is in het geheugen, deze minder volledig wordt verwerkt (Glenberg, 1979; Toppino & Bloom, 2002; Toppino, Fearnow-Kenney, Kiepert & Teremula, 2009). Zodat bij stimuli die dichter op elkaar gepresenteerd worden in tijd, een herhaling van een stimulus kwalitatief of kwantitatief minder verwerking ondervindt. Dit heeft vervolgens invloed op hoe goed een stimulus onthouden wordt. Binnen deficient-processing theorieën bestaan verschillende subtheorieën. Hierin wordt een scheiding gemaakt tussen een automatisch en een vrijwillig proces als oorzaak van mindere verwerking van stimuli bij massed practice. (Dempster, 1989; Smolen, Zhang & Byrne, 2016). De consolidation en habituation hypothesen behoren tot de hypothesen die een automatische proces als oorzaak aanwijzen voor de mindere mate van verwerking van een stimulus, terwijl de attention en lack of rehearsal hypothesen een vrijwillig proces zien als de oorzaak van de mindere mate van verwerking van een stimulus (Dempster, 1989; Smolen, Zhang & Byrne, 2016). De consolidation hypothese stelt dat overlappende geheugensporen eerder bij massed practice voorkomen en dat deze minder bijdragen aan de consolidatie in het geheugen dan afzonderlijke geheugensporen. Een optimaal effect van een herhaling van een stimulus wordt dan pas bereikt wanneer de effecten van de vorige presentatie zijn verdwenen (Dellarosa & Bourne, 1985; Smolen, Zhang & Byrne, 2016). De habituation hypothese lijkt enigszins op de consolidation hypothese, maar stelt dat het encoderen van de eerste presentatie van een stimulus tijdelijk een
habituatie veroorzaakt bij de encoderingsprocessen, waardoor er minder verwerking plaatsvindt (Dellarosa & Bourne, 1985; Dempster, 1989). In ons onderzoek zouden deze automatische processen ervoor zorgen dat deelnemers die leerstof gespaced aangeboden krijgen deze beter onthouden dan wanneer de leerstof massed wordt aangeboden. De laatste twee hypothesen wijzen ieder een vrijwillige handeling als oorzaak aan. De attention hypothese wijst namelijk een gebrek aan aandacht bij een herhaling van een stimulus op een kort tijdsinterval als oorzaak aan (Hintzman, 1974). Dit gebrek aan aandacht zou verklaard kunnen worden door een gevoel of overtuiging die bij de leerling aanwezig is, dat de gepresenteerde stimulus nog goed in het geheugen zit wanneer er slechts een kort tijdsinterval tussen de verschillende presentaties zit (Zechmeister & Shaughnessy, 1980). Deze ‘hoogmoed’ zou dan vervolgens voor minder aandacht voor de stimulus en dus ook minder verwerking van de stimulus kunnen zorgen. Daarnaast zou een gebrek aan interesse bij massed practice voor minder aandacht kunnen zorgen. Leerlingen zouden een herhaling met een erg kort tijdsinterval namelijk als overbodig en minder informatief kunnen zien dan met een groter tijdsinterval in distributed practice (Dempster, 1986, aangehaald in Dempster, 1989). In ons onderzoek kan dit echter niet een mogelijk spacing-effect verklaren, omdat wij geen gebruik maken van letterlijke herhalingen van items, waardoor de items als even informatief gezien zullen worden. Tot slot verklaart de lack of rehearsal hypothese het spacing-effect door het feit dat er bij massed practice minder tijd tussen de verschillende presentaties van een stimulus zit (Hintzman, 1974; Dempster, 1989; Smolen, Zhang & Byrne, 2016). Hierdoor krijgt een leerling minder tijd om de stimulus te herhalen en zal de stimulus
minder verwerking ondervinden. Ook deze verklaring zal in ons onderzoek geen verschil veroorzaken tussen spaced en massed practice, omdat de totale tijd om de cursus af te ronden voor alle deelnemers gelijk is. Naast de onderbouwing van de verschillende theorieën van het spacing-effect is er ook een stevige onderbouwing voor de generaliseerbaarheid van het spacing-effect. Er is veel onderzoek gedaan om de omstandigheden te achterhalen waaronder het spacing-effect optreedt (Dunlosky et al., 2013). Hieruit blijkt dat het spacing-effect op meerdere vlakken goed generaliseert. Ten eerste is een belangrijk aspect van de algemeenheid van het effect, wat het bereik is van het interval tussen de presentaties waaronder het spacing-effect zich voordoet. Peterson, Wampler, Kirkpatrick en Saltzman (1963) onderzochten in twee experimenten wat het effect is van het tijdsinterval tussen twee presentaties op leren. In het eerste experiment kregen deelnemers woordparen te zien met variërende tijdsintervallen tussen twee presentaties. In het tweede experiment werd hetzelfde gedaan, maar met zowel tussen de twee presentaties variërende tijdsintervallen als tussen de tweede presentatie en de test. De tijdsintervallen in deze experimenten lagen tussen 0 en 60 seconden. Uit deze experimenten bleek dat het spacing-effect zich voordoet bij relatief kleine tijdsintervallen. Als het effect algemener is dan zou het zich ook moeten voordoen bij grotere tijdsintervallen. Ook geeft een mogelijke interactie tussen het tijdsinterval tussen verschillende presentaties van een stimulus en het tijdsinterval tussen de laatste presentatie en een test aan hoe algemeen het effect is. Capeda, Pashler, Vul, Wixted en Rohrer (2006) onderzochten de algemeenheid van het spacing-effect. Dit deden ze op het gebied van tijdsintervallen
die tussen verschillende presentaties van leermateriaal zaten en de interactie tussen deze tijdsintervallen en de tijd die tussen de laatste presentatie en de test zit. Ze vergeleken hiervoor van 271 studies de verschillen in test scores tussen spaced en massed learning met een t-test. De resultaten lieten zien dat er een duidelijk spacing-effect was. Slechts 12 van de 271 vergelijkingen lieten een negatief of geen effect zien van spacing. In een later onderzoek van Capeda et al. (2008) is duidelijk onderzocht of en wat voor interactie er bestaat tussen het tijdsinterval tussen de presentaties en het interval tussen de laatste presentatie en de test. In 26 condities werden deze intervallen gevarieerd. Hieruit bleek dat bij alle tijdsintervallen tussen de tweede presentatie en de test, er eerst een toename van testscores was bij een toenemend interval tussen de verschillende presentaties van het studiemateriaal en vervolgens een lichte afname. De bovenstaande onderzoeken geven aan dat het spacing-effect erg algemeen is op het gebied van tijdsintervallen. Dit is belangrijk voor de effectiviteit van spacing in een MOOC, aangezien iedereen een eigen tempo heeft en dus ook een eigen tijdsinterval. Een ander aspect dat belangrijk is voor de algemeenheid van het spacing-effect is de omgeving waar het zich in voordoet. Veel onderzoek wordt gedaan in het lab (Dempster, 1988). Dit soort onderzoek kan goede informatie geven over of bepaalde effecten bestaan, maar de mate waarin deze generaliseren naar omgevingen waar allerlei variabelen niet gecontroleerd of constant gehouden kunnen worden, wordt niet altijd goed duidelijk. Bovendien wordt onderzoek naar het spacing-effect dat wel in onderwijsomgevingen wordt gedaan, met versimpelde leertaken gedaan, in plaats van met complexere leermethoden die in het onderwijs
worden gebruikt (Dempster, 1988). Voor het spacing-effect is het relevant of het ook optreedt in het onderwijs, aangezien het hier in de praktijk veel kan betekenen. Sobel, Cepeda en Kapler (2011) onderzochten of het spacing-effect ook buiten het lab stand hield. Ze gaven basisschool kinderen twee keer dezelfde Engelse les met één minuut tijdsinterval of zeven dagen tijdsinterval, respectievelijk de massed en de spaced conditie. Vijf weken na de laatste les werden ze getest op hun woordkennis, welke in de spaced conditie hoger was dan in de massed conditie. Dit onderzoek laat zien dat het spacing-effect ook stand houdt in een natuurlijkere omgeving. Dit maakt het waarschijnlijker dat het spacing-effect zich ook in een MOOC kan voordoen. Er valt echter nog wel te discussiëren over de validiteit van een vergelijking met een massed conditie als controle conditie. Zoals dit in het experiment van Sobel, Cepeda en Kapler (2011) is gedaan komt dit namelijk bijna niet voor in het onderwijs (Seabrook, Brown & Solity, 2005). Het is niet waarschijnlijk dat lessen direct na een eerste presentatie herhaald worden en vervolgens niet meer op een later moment herhaald worden. Dit hebben Seabrook, Brown en Solity (2005) geprobeerd meer met de praktijk overeen te laten komen door de massed conditie te vervangen door een clustered conditie. In deze condities krijgen leerlingen clusters van presentaties, dus groepjes van herhalingen met tussen de groepjes herhalingen een tijdsinterval. Op deze manier ligt dit tussen massed practice en distributed practice in. De leerlingen kregen les in leesvaardigheid. De resultaten lieten vervolgens zien dat kinderen in de spaced conditie een grotere toename in leesvaardigheid lieten zien dan de kinderen in de clustered conditie. Hieruit werd geconcludeerd dat het
spacing-effect voordelig kan zijn voor leeropbrengst wanneer het wordt toegepast op het onderwijs. Een dergelijke vergelijking met een clustered conditie is in ons experiment niet te controleren, doordat deelnemers hun tempo zelf kunnen bepalen. Desalniettemin is het schema van de cursus zo gemaakt dat de leerstof geclusterd wordt aangeboden. Terwijl er in het traditioneel onderwijs al onderzoek is gedaan naar het spacing-effect is er in MOOCs nog weinig onderzoek gedaan naar de effectiviteit van effect. De vraag is dus ook of dit effect zich ook voordoet in een online omgeving waar heel weinig variabelen gecontroleerd of constant gehouden kunnen worden. Terwijl in het onderzoek van Seabrook, Brown en Solity (2005) nog bepaald kan worden hoe vaak en hoe lang leerlingen oefenen met het studiemateriaal, is dit in een MOOC niet meer te controleren. De leerlingen in een MOOC kunnen namelijk zelf kiezen hoe lang ze over bepaalde studiestof doen en wanneer ze dit doen. Dit roept de vraag op of zelfs in een erg ongecontroleerde omgeving, het spacing-effect de leeropbrengst kan verhogen. Miyamoto, Coleman, Williams, Whitehill, Nesterko en Reich (2015) hebben in 20 verschillende MOOCs onderzoek gedaan naar de relatie tussen distributed practice en leeropbrengst. Ze verzamelden de totale tijd dat studenten aan een cursus besteedden en over hoeveel verschillende studiesessies deze verdeeld was. Uit de resultaten bleek dat cursisten die meer studiesessies startten vaker een certificaat behaalden, onafhankelijk van de totale tijd die ze besteedden aan de cursus. Hieruit kan geconcludeerd worden dat er ook in de omgeving van een MOOC een relatie bestaat tussen het verdelen van de studiestof en de leeropbrengst.
Het onderzoek van Miyamoto et al. (2015) geeft aanwijzingen dat ook in MOOCs zich een spacing-effect kan voordoen. Echter, gezien het feit dat het correlationeel onderzoek is, kan geen conclusie getrokken worden over het effect dat het verdelen van de totale studietijd in meerdere studiesessies heeft op de leeropbrengst. Dit wordt in ons experiment opgelost de verdeling van de leerstof te manipuleren in verschillende condities. Daarnaast is de operationalisatie van de leeropbrengst en het verdelen van leerstof door Miyamoto et al. (2015) erg algemeen. Het aantal studiesessies zegt slechts indirect wat over het verdelen van bepaalde studiestof. Ook zegt het aantal certificaten dat behaald wordt slechts indirect wat over welke studiestof goed onthouden is. Er valt dus geen expliciete koppeling te maken tussen bepaalde studiestof die verdeeld is en of deze zelfde studiestof ook echt beter onthouden wordt op een later moment. Dit wordt in ons onderzoek anders gedaan door de studiestof volgens een schema te verdelen, waardoor de spacing niet in studiesessies, maar in leerstof plaatsvindt. Ook wordt als uitkomstmaat niet een algeheel slagingspercentage genomen, maar het eindcijfer op een toets dat gaat over de precieze stof waarover onze manipulatie is uitgevoerd. Ons onderzoek zou dus meer duidelijk kunnen maken over de invloed van spaced practice op de leeropbrengst in MOOCs. Samenvattend, blijkt het spacing-effect een algemeen effect te zijn. Het treedt namelijk bij zowel korte als lange tijdsintervallen tussen verschillende presentaties van stimuli op en er is ook ondersteuning voor een effect van spaced practice in de praktijk. Ook zijn er aanwijzingen dat er een spacing-effect in MOOCs optreedt, waar erg weinig variabelen gecontroleerd of constant gehouden kunnen
worden. Deze ondersteuning is echter nog zwak en dus is het relevant om de invloed van spaced practice te onderzoeken in MOOCs. In dit onderzoek is gebruik gemaakt van de cursus Quantitative Methods op Coursera die door de Universiteit van Amsterdam is gepubliceerd. Cursisten die een account hebben bij Coursera kunnen zich aanmelden voor de cursus en worden automatisch willekeurig in één van de drie condities ingedeeld. Er wordt een controle conditie, een spaced conditie en een massed conditie vergeleken. De deelnemers doorliepen de cursus van acht weken, waar in de zevende week gekeken wordt naar de resultaten op een oefentoets en in de achtste week naar de resultaten op de eindtoets. De oefentoets in de zevende week kan dienen als controle voor recency effecten die kunnen optreden doordat er in het spaced studieschema een kortere tijd zit tussen oefening met leerstof en de eindtoets, wat tot makkelijker herinneren kan leiden. Vanuit de eerste drie theorieën op basis van een automatisch proces werd verondersteld dat spaced practice tot een hogere leeropbrengst zou leiden. Hieruit volgt dat deelnemers in de spaced conditie een hogere score op de eindtoets zullen halen dan deelnemers in de massed conditie. Vanuit de laatste twee theorieën op basis van een vrijwillig proces werd verondersteld dat spaced practice tot een even hoge leeropbrengst zou leiden. Hieruit volgt dat deelnemers in de spaced conditie even hoog zullen scoren als de deelnemers in de massed conditie. Tot slot is de verwachting dat deelnemers in zowel de spaced als de massed conditie door de extra oefening hoger zullen scoren op de eindtoets dan deelnemers in de controleconditie.
Methode Deelnemers Iedereen met een internetverbinding kon zichzelf inschrijven voor de cursus en zo deelnemen in het experiment. Dit leverde 454 mensen op die aan de cursus begonnen. Twee van deze deelnemers zijn uitgesloten omdat ze voordat het experiment startte al zijn begonnen met de cursus. Uiteindelijk hebben 61 van deze deelnemers de eindtoets gemaakt binnen de periode dat het experiment gehouden werd. Het grootste deel van deze deelnemers kwam uit westerse landen, namelijk 38 van de 61 deelnemers. Er zijn geen criteria op basis waarvan deelnemers vooraf werden uitgesloten van deelname met betrekking tot de eigenschappen van de deelnemers. Zodra de deelnemers zich hadden aangemeld voor de cursus zijn ze willekeurig ingedeeld in de controle conditie, de spaced conditie of de massed conditie. Materiaal Het onderzoek is uitgevoerd in een acht weken durende cursus op het online leerplatform Coursera, welke binnen een specialisatie van vijf cursussen over statistiek en onderzoeksmethoden valt. De betreffende cursus, Quantitative Methods, bestaat uit stukjes leestekst, videocolleges, quizzen en toetsen waarvoor een cijfer gehaald wordt. De cursus wordt in het Engels gepresenteerd. Elke week beslaat een onderwerp, welke weer is onderverdeeld in subonderwerpen. De meeste videocolleges worden vooraf gegaan door een kort stukje tekst waarin wordt beschreven waar het videocollege over gaat en kritische vragen waar een cursist bij het betreffende onderwerp over na kan denken. De videocolleges hebben een lengte van tussen de vier en zeven minuten. Aan het eind van elke week volgt een quiz van
ongeveer tien vragen en een schrijfopdracht over het onderwerp van die week, welke meetellen voor het eindcijfer. De schrijfopdracht wordt door andere cursisten beoordeeld. De vragen in de quizzen zijn multiple-choice vragen met drie antwoordmogelijkheden. Een voorbeeld hiervan is ‘In contrast to Plato, Aristotle asserts that:’ met als antwoordopties a) ‘the physical world around us does provide knowledge’ b) ‘only knowledge obtained through reasoning can lead to the truth’ c) ‘sensory experience is prone to errors’. In de zevende week wordt er geen nieuwe studiestof gepresenteerd, maar worden twee oefentoetsen van ieder 30 multiple-choice vragen gemaakt. Na deze oefentoetsen kan een videocollege bekeken worden waar de vragen van de oefentoets worden besproken. In de achtste en laatste week is de eindtoets, welke bestaat uit dertig multiple-choice vragen. Bij de multiple-choice vragen van de quizzen oefentoetsen en eindtoets wordt korte feedback gegeven. Tot slot zijn er nog transcripten beschikbaar van de videocolleges. In de controle conditie volgden de deelnemers de cursus zoals hierboven beschreven. In de massed conditie kregen de deelnemers bij elke quiz van de tweede week tot en met de zesde week tien extra vragen. Deze vragen zijn geen herhalingen van de originele vragen van die quiz, maar nieuwe vragen over dezelfde inhoud. De extra vragen zijn gemaakt door derdejaars psychologiestudenten en vervolgens gecontroleerd, waarna ze nog zijn aangepast. Een voorbeeld van zo’n vraag is ‘When different independent researchers, over different points in time find the same results, this means’ met als antwoordopties a) ‘The results have shown to be reliable’ b) ‘The results have shown to be valid’ c) ‘The results have shown to be both reliable and valid’.
In de spaced conditie kregen de deelnemers in plaats van extra vragen over het onderwerp van de betreffende week, extra vragen over alle voorgaande weken vanaf week twee. Om te zorgen dat deelnemers in de spaced en massed conditie evenveel oefening kregen met de studiestof, is het schema in Tabel 1 gebruikt bij het verdelen van de vragen. Om de leeropbrengst te meten wordt de score op de eindtoets gebruikt, die bestaat uit 30 multiple-choice vragen met drie antwoordmogelijkheden. Deze toets gaat over alle stof die in de cursus behandeld is. Er wordt bijvoorbeeld een fictief onderzoek beschreven, waarover verschillende vragen beantwoord moeten worden. Een voorbeeld hiervan is ‘If we don’t take into account the average exam grade at the start of the course, the described research design may be called’
,
met als antwoordopties a) ‘within (subjects)’ b) ‘between (subjects)’ c) ‘within-between (subjects)’. Het bereik van de scores ligt tussen 0 en 30. Tabel 1 Aantal extra vragen voor de massed, spaced en controle conditie per week Week: 1 2 3 4 5 6 7 8 Totaal Massed conditie 10 10 10 10 0 40 Controle conditie 0 0 0 0 0 0 Extra vragen spaced conditie over week 2 4 3 2 1 Extra vragen spaced conditie over week 3 5 3 2 Extra vragen spaced conditie over week 4 5 5 Extra vragen spaced conditie over week 5 10 Totaal aantal extra vragen voor spaced conditie 4 8 10 18 40Procedure Bij het aanmelden voor de cursus werd een deelnemer automatisch in één van de drie condities ingedeeld. Het was volledig willekeurig in welke conditie een deelnemer belandde. Omdat de drie groepen ieder een net andere cursus aangeboden kregen werd de cursusomgeving van de drie groepen volledig gescheiden. Hier zouden anders verwarringen of andere verstoringen kunnen optreden, bijvoorbeeld op het discussieforum. Door een vertraging in het proces van implementeren van het experiment op Coursera, kon het experiment pas in de tweede cursusweek van start gaan. Dit betekent dat deelnemers in de drie groepen in de eerste week de cursus zoals het origineel hebben doorlopen. In de tweede week volgde er vooraf aan de eerste quiz een informed consent, waar deelnemers informatie kregen over het onderzoek en toestemming konden geven voor het gebruik van hun data. Deze is onbedoeld als graded quiz aangemaakt waardoor deelnemers ‘correct’ of ‘incorrect’ als feedback kregen op hun antwoord. Dit leverde wat verwarring op, maar heeft geen invloed gehad op de rest van de cursus. Tijdens het doorlopen van de rest van de weken konden deelnemers op het forum vragen stellen of onduidelijkheden aangeven. In de zevende week maakten de deelnemers vervolgens de twee oefentoetsen en de week erna de eindtoets. Wanneer de deelnemers, zoals in de originele cursus, aan alle eisen van de cursus hadden voldaan, slaagden ze voor de cursus.
Analyses Ten eerste wordt de onafhankelijkheid van groep op geslacht met een chi-kwadraat toets gecontroleerd. Daarnaast wordt de gemiddelde leeftijd en opleidingsniveau met een one-way ANOVA tussen de condities vergeleken. Ook wordt gecontroleerd of de verschillende condities de manipulatie in dezelfde mate hebben doorlopen. Dit wordt gedaan door het aantal quizzen dat ze hebben gemaakt voordat ze de eindtoets maakten en de gemiddelde tijd die tussen twee quizzen zit met een one-way ANOVA te vergelijken tussen de condities. Tot slot wordt de data van de eindtoets gebruikt om de groepen aan het einde van de cursus te vergelijken op de kennis die ze in de cursus hebben opgedaan. Hiervoor wordt de proportie correcte antwoorden gebruikt. Deze worden met een one-way ANOVA getoetst op verschillen tussen de groepen. In de one-way ANOVA worden twee contrasten aangebracht, de eerste om te toetsen of er een verschil is tussen de controle conditie en de andere twee condities, de tweede om te toetsen of er een verschil is tussen de spaced conditie en de massed conditie. Resultaten Nadat de cursus volgens het cursusschema afliep, is de data van de deelnemers opgevraagd bij Coursera. Alleen het deel van de deelnemers dat de eindtoets heeft afgerond wordt gebruikt in de analyses, omdat dit de uitkomstmaat is waarnaar gekeken wordt en waarschijnlijker de volledige manipulatie heeft ondergaan. Aangezien het niet noodzakelijk was om de quizzen te maken voordat de eindtoets werd gemaakt, worden deelnemers die minder dan twee quizzen hebben gemaakt ook niet meegenomen in de analyses. Wanneer er namelijk geen quiz is
gemaakt is de deelnemer niet blootgesteld aan de manipulatie. Wanneer er slechts één quiz is gemaakt, kan er geen spacing-effect optreden, omdat er geen vorige quiz is waarover gespaced wordt. Dit was voor geen van de deelnemers het geval. Verder is de data van twee deelnemers niet meegenomen in de analyses, omdat deze voordat het experiment online stond, waren begonnen met de cursus. Hierdoor is de data van 61 deelnemers gebruikt voor de analyses. Omdat demografische gegevens niet verplicht waren om in te vullen zijn deze slechts voor een klein deel van de deelnemers beschikbaar. Hierdoor is de kans groot dat deze data vertekend zijn, doordat bijvoorbeeld bepaalde groepen minder geneigd zijn om zo’n vragenlijst vrijwillig in te vullen. Daarnaast wordt door de lage hoeveelheid observaties bij de test van onafhankelijkheid tussen groep en geslacht niet voldaan aan de assumptie van de chi-kwadraat toets dat niet meer dan 20% van de verwachte waarden lager dan vijf is (Field, 2013). Ook over andere demografische gegevens valt lastig een uitspraak te doen, omdat hiervoor dezelfde lage aantallen deelnemers de vragen hebben beantwoord. Om deze redenen worden deze data slechts in een tabel weergegeven om een beeld te geven hoe deze data eruitzien. In Tabel 2 is de verdeling van geslacht, de gemiddelde leeftijd met standaardafwijking over de verschillende condities en het aantal deelnemers dat zijn gegevens niet heeft ingevuld weergegeven. Hierin is vooral te zien er in de massed en spaced erg weinig en in de controle conditie geen informatie beschikbaar is over deze gegevens.
Tabel 2
Aantallen vrouwen en mannen, de gemiddelde leeftijd met standaardafwijking in de verschillende condities en aantal deelnemers dat geen gegevens heeft ingevuld
Spaced conditie Massed conditie Controle conditie
Man 1 3 0 Vrouw 2 1 0 Gemiddelde Leeftijd 37,0 (16,5) 35,5 (15,2) - Aantal niet ingevuld 17 19 18 Ook over het opleidingsniveau van de deelnemers is weinig informatie beschikbaar. Om toch enigszins een beeld te kunnen geven van de deelnemers in dit experiment kan worden gekeken naar de informatie die Coursera beschikbaar stelt van een grotere groep deelnemers van voorgaande cursussessies. Hierin is te zien dat rond de 86% van de deelnemers die aan deze cursus heeft meegedaan een Bachelor diploma of hoger heeft behaald. Ook is te zien dat ongeveer 64% man en 36% vrouw is, en dat de leeftijd voornamelijk tussen de 25 en 54 jaar ligt. Dit geeft een algemeen beeld van de groep, hoewel onduidelijk blijft hoe de precieze verdeling van de variabelen over de condities is en deze data mogelijk ook vertekend zijn. Vervolgens werd gecontroleerd of deelnemers uit verschillende condities niet verschillen op het aantal quizzen dat ze hebben gemaakt voordat ze de eindtoets maakten. Als ze hierop verschillen ontstaat er namelijk een vertekening door verschillende hoeveelheid oefening die de deelnemers hebben gehad en er ontstaat tussen de spaced en massed conditie ook een verschil in blootstelling aan de manipulatie. In Tabel 3 zijn voor de verschillende condities de gemiddelden en
standaardafwijkingen van het aantal afgemaakte quizzen berekend. Er is een one-way ANOVA uitgevoerd met conditie als onafhankelijke variabele en aantal gemaakte quizzen als afhankelijke variabele. Hieruit bleek dat er geen significant effect was van conditie op het aantal quizzen dat gemaakt werd voordat de eindtoets werd gemaakt F(2, 58) = 0,346, p = 0,709 Tabel 3 Gemiddelden en standaardafwijkingen tussen haakjes van het aantal afgemaakte quizzen per conditie Conditie Aantal afgemaakte quizzen Spaced practice 5,7 (0,66) Massed practice 5,7 (0,63) Controle 5,8 (0,38) Daarnaast wordt gecontroleerd of het cursusschema aangehouden wordt door de deelnemers en of hier geen verschil tussen condities is opgetreden. Volgens het cursusschema moet er van week één tot en met zes elke week een quiz worden gemaakt. Wanneer dit niet wordt aangehouden door de deelnemers en ze deze met bijvoorbeeld veel kortere of langere tussenpozen maken, kan dit de manipulatie beïnvloeden. In Tabel 4 zijn de gemiddelde tijd in dagen tussen quizzen en de standaardafwijking per conditie weergegeven. Er is een one-way ANOVA uitgevoerd met conditie als onafhankelijke variabele en gemiddelde tijd tussen de quizzen als afhankelijke variabele. Het resultaat liet zien dat er geen significant effect bleek te zijn van conditie op gemiddelde tijd tussen quizzen F(2, 58) = 1,504, p = ,231. Wel is te zien dat de deelnemers de quizzen met gemiddeld minder dan een week ertussen maakten.
Tabel 4 Gemiddelde tijd tussen de quizzen in dagen en de standaardafwijking tussen haakjes per conditie Conditie Tijd in dagen Spaced practice 4,35 (1,44) Massed practice 4,26 (1,45) Controle 3,69 (1,71) Een ander gegeven dat gecontroleerd moet worden is het optreden van een mogelijk recency effect in de spaced conditie. Deelnemers in de spaced conditie hebben zoals in Tabel 1 te zien is namelijk recenter nog geoefend met de stof uit week twee tot en met vijf dan deelnemers in de andere condities. Doordat in week zeven, twee oefentoetsen beschikbaar zijn kan dit effect rechtgetrokken worden. Het is dus belangrijk om te controleren of de deelnemers in de verschillende condities deze toetsen ook daadwerkelijk maken. Uit de resultaten blijkt dat alle deelnemers ten minste één oefentoets hebben gemaakt en 94% van de deelnemers allebei de oefentoetsen heeft gemaakt. Het is dus onwaarschijnlijk dat het recency-effect een grote invloed heeft op de data. Tot slot wordt gekeken naar de resultaten op de eindtoets. In Tabel 5 zijn de gemiddelden en standaardafwijkingen van de proporties correcte antwoorden per conditie weergegeven. In Figuur 1 is in de verdeling van de proportie correcte antwoorden te zien dat er sprake is geweest van plafond effecten in alle drie de condities.
Tabel 5 Gemiddelden en standaardafwijkingen tussen haakjes van de proportie correct beantwoorde vragen op de eindtoets Conditie Proportie correcte antwoorden Spaced practice 0,81 (0,10) Massed practice 0,83 (0,11) Controle 0,81 (0,12) In Figuur 1 is in de verdeling van de proportie correcte antwoorden te zien dat er sprake is geweest van plafond-effecten in alle drie de condities. Figuur 1. Verdeling van proportie correcte antwoord per conditie.
Op deze data is een one-way ANOVA uitgevoerd met conditie als onafhankelijk variabele en proportie correcte antwoorden als afhankelijke variabele. Aan de assumpties van normaliteit en gelijke varianties werd voldaan. Uit deze analyse bleek dat er geen significant effect was van conditie op proportie correcte antwoorden op de eindtoets, F(2,58) = 0,253, p = ,778. De geplande contrasten zijn na het niet significante resultaat op de ANOVA niet uitgevoerd. Dit resultaat gaat in tegen de verklaring van een automatische oorzaak van het spacing-effect. Daarnaast komt het overeen met de verklaring van een vrijwillige oorzaak van het spacing-effect in de zin dat er geen verschil is gevonden tussen de massed en spaced conditie, maar gaat hier tegelijkertijd tegen in doordat er ook geen verschil gevonden is met de controleconditie. Discussie In dit onderzoek is onderzocht of het spacing-effect een effectieve strategie is om de leeropbrengst in een MOOC te vergroten. De resultaten lieten zien dat er geen verschil was in leeropbrengst tussen deelnemers die leerstof spaced of massed kregen aangeboden. Dit biedt geen ondersteuning voor de hypothesen die een automatische proces als verklaring van het spacing-effect geven. Bovendien bleek de grotere hoeveelheid oefening in de spaced en massed conditie niet tot hogere resultaten te leiden op de eindtoets dan in de controle conditie. Deze resultaten gaan in tegen zowel de hypothesen die een automatisch proces als verklaring geven als de hypothesen die een vrijwillig proces als verklaring geven van het spacing-effect.
Deze resultaten zijn tegenstrijdig met de resultaten in het onderzoek van Miyamoto et al. (2016), waar een relatie gevonden werd tussen het spreiden van de leerstof en de resultaten in een MOOC. Dit kan verklaard worden door het feit dat het onderzoek van Miyamoto et al. correlationeel was en confounders de relatie kunnen veroorzaken. Er is namelijk niet gecontroleerd voor opleidingsniveau of vaardigheid tussen de deelnemers. Hoger opgeleiden zouden bijvoorbeeld van zichzelf leerstof al meer kunnen verdelen en hogere cijfers halen dan lager opgeleiden. Naast deze variabelen kan de relatie altijd door andere niet bekende variabele worden veroorzaakt en is het onmogelijk om voor al deze variabelen te controleren. Dit is in ons onderzoek opgelost door een experimenteel design te gebruiken waarbij deelnemers willekeurig in een van de drie condities werden ingedeeld. Ondanks het experimentele design zitten er aan onze resultaten ook een aantal punten die twijfel kunnen veroorzaken. Zo heeft de kleine steekproefgrootte en een vertroebeld effect waarschijnlijk voor een lage power in dit onderzoek gezorgd. Door deze punten zijn de theoretische implicaties van dit onderzoek minder groot. Ten eerste is de steekproefgrootte in dit experiment een stuk kleiner dan verwacht, doordat slechts een klein deel van de deelnemers binnen de cursusperiode de eindtoets afmaakte. Hierdoor is het aantal deelnemers per conditie erg laag, waardoor de kans kleiner wordt dat een bestaand effect wordt gedecteerd. Een cursus waaraan meer deelnemers meedoen kan in toekomstig onderzoek de kans om een effect te detecteren in een MOOC vergroten.
Daarnaast is het spacing-effect waarschijnlijk vertroebeld door onvolkomenheden in de manipulatie en de ongecontroleerde omgeving waarin het experiment is uitgevoerd. Een eerste discussiepunt in de manipulatie is de hoeveelheid gelijkenis die tussen de bestaande items en de extra items die de manipulatie vormen zit. Vanuit de automatische processen die het spacing-effect zouden verklaren volgt namelijk dat het voordeel dat bereikt wordt met spacing ten opzichte van massing groter wordt wanneer de herhalingen van items meer gelijkend zijn. Dit omdat de verklaringen zijn gebaseerd op de verwerking en encodering van hetzelfde item in het geheugen. De verschillen die tussen de herhalingen van items in ons experiment zaten kunnen het spacing-effect dus hebben verzwakt. In het vervolg kan meer aandacht worden besteed aan de hoeveelheid gelijkenis die tussen de bestaande items en de extra items moet zitten. Bovendien kan onderzoek gedaan worden in een ander soort cursus waar de leerstof meer gericht is op letterlijke herhalingen, zoals een taalcursus. Een ander punt is dat we maar één spacing interval en één interval tussen de quizzen en de toets onderzocht hebben. Het kan zijn dat dit voor de stof een te lang of te kort interval is. Uit onderzoek (Bahrick, 1979; Bahrick & Phelps, 1987, aangehaald in Bahrick & Hall, 2005) bleek namelijk dat massed practice en kortere spacing intervallen beter scoorden direct na verschillende oefensessies, terwijl bij een interval van 30 dagen tussen de oefensessies en de test een spacing interval van 30 dagen tot beter onthouden leidde. Dit effect bleek na acht jaar nog groter te zijn geworden. Omdat in ons experiment relatief weinig stof zat tussen de laatste oefensessie en de eindtoets, zal de tijd hiertussen voor veel deelnemers ook relatief kort zijn ten opzichte van de tijd tussen de eerdere cursusweken. Het is dus mogelijk
dat bij een langere tijd tot de eindtoets er wel een effect optreedt van spacing. In vervolgonderzoek kan dit onderzocht worden door per conditie de eindtoets na een verschillend tijdsinterval pas vrij te geven. Daarnaast lieten de resultaten zien dat er sprake is geweest van een licht plafond-effect. Er was slechts één onvoldoende onder de deelnemers en het gemiddelde van de proportie correcte antwoorden lag voor alle groepen boven de acht met een vrij lage spreiding. Het niveau van de vragen is dus waarschijnlijk te laag geweest, waardoor de test ook minder goed discrimineerde in de vaardigheid tussen deelnemers. Hierdoor is een mogelijk spacing-effect ook minder goed terug te zien in de data. Dit probleem zou opgelost kunnen worden door de moeilijkheid van de vragen op de eindtoets sterker te laten variëren. Tot slot kan de hoeveelheid spacing te laag zijn geweest. Zeker omdat we geen letterlijke herhalingen van items hebben gebruikt kan het zijn dat een paar vragen per week over een bepaald onderwerp niet voldoende herhaling is om een spacing-effect te laten optreden. Er moet voor vervolgonderzoek dus opnieuw gekeken worden naar hoe er extra vragen toegevoegd kunnen worden aan de manipulatie zonder dat de quizzen daarmee te lang worden. Naast de beperkingen in de manipulatie is het experiment bovendien in een erg ongecontroleerde omgeving uitgevoerd. Bijvoorbeeld bleek uit de resultaten dat de spreiding vrij hoog ligt voor de gemiddelde tijd die tussen twee quizzen zit van een deelnemer. Dit zou in een lab experiment een stuk gecontroleerder zijn, waar het precieze spacing interval kan worden opgelegd aan een deelnemer en de spreiding dus ook nagenoeg nul zou zijn. De oncontroleerbaarheid over dit soort variabelen is verbonden met een MOOC op zich en dit is dus lastig te veranderen.
Wel zorgt dit ervoor dat deelnemers zich minder goed aan de procedure houden, waardoor er meer spreiding in de manipulatie ontstaat. De bovengenoemde punten kunnen de impact van het spacing-effect verzwakken en daarmee de kans verkleinen dat dit effect wordt teruggevonden in de resultaten. Het tegenstrijdige resultaat in dit onderzoek met veel ander onderzoek op het gebied van spacing en het onderzoek van Miyamoto et al., kan dus mogelijk verklaard worden door een lage power. Dit wordt ondersteund door het resultaat dat deelnemers in de spaced en massed conditie niet hogere cijfers haalden dan deelnemers in de controle conditie. Hier zou een verschil verwacht worden, omdat deelnemers in de spaced en massed conditie simpelweg 40 vragen meer gekregen hebben om mee te oefenen dan deelnemers in de controle conditie. Als dit experiment een lage power heeft gehad dan moet er minder waarde worden gehecht aan de resultaten en zijn ook de theoretische implicaties minder groot. Ook betekent dit dat deze resultaten niet zomaar te generaliseren zijn naar andere MOOCs. De effectiviteit van het spacing-effect in een MOOC is vooralsnog niet bevestigd. Toch is het belangrijk om verder onderzoek naar leerstrategieën te doen in MOOCs, om zo meer over de leerstrategieën zelf te weten te komen én de leeropbrengst in MOOCs te kunnen verhogen. Dit is het begin van een groeiende hoeveelheid onderzoek in MOOCs, dat de komende jaren waarschijnlijk meer duidelijkheid zal verschaffen op het gebied van leren in MOOCs.
Literatuurlijst Bahrick, H. P., & Hall, L. K. (2005). The importance of retrieval failures to long-term retention: A metacognitive explanation of the spacing effect. Journal of Memory and Language, 52, 566-577. Bowen, W. G., Chingos, M. M., Lack, K. A., & Nygren, T. I. (2012). Interactive learning online at public universities: Evidence from randomized trials. Ithaka S+ R. Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., & Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological bulletin, 132, 354-380. Cepeda, N. J., Vul, E., Rohrer, D., Wixted, J. T., & Pashler, H. (2008). Spacing effects in learning a temporal ridgeline of optimal retention. Psychological science, 19, 1095-1102. Dellarosa, D., & Bourne, L. E. (1985). Surface form and the spacing effect. Memory & Cognition, 13, 529-537. Dempster, F. N. (1988). The spacing effect: A case study in the failure to apply the results of psychological research. American Psychologist, 43, 627. Dempster, F. N. (1989). Spacing effects and their implications for theory and practice. Educational Psychology Review, 1, 309-330. Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14, 4-58. Emanuel, E. J. (2013). Online education: MOOCs taken by educated few. Nature, 503, 342-342.
Field, A. (2013). Discovering statistics using ibm spss statistics (4th ed.). London: SAGE Publications. Glenberg, A. M. (1979). Component-levels theory of the effects of spacing of repetitions on recall and recognition. Memory & Cognition, 7(2), 95-112. Hintzman, D. L. (1974). Theoretical implications of the spacing effect. Larreamendy-Joerns, J., & Leinhardt, G. (2006). Going the distance with online education. Review of educational research, 76, 567-605. Melton, A. W. (1970). The situation with respect to the spacing of repetitions and memory. Journal of Verbal Learning and Verbal Behavior, 9, 596-606. Miyamoto, Y. R., Coleman, C. A., Williams, J. J., Whitehill, J., Nesterko, S. O., & Reich, J. (2015). Beyond time-on-task: The relationship between spaced study and certification in MOOCs. Journal of Learning Analytics, 2, 47–69. Peterson, L. R., Wampler, R., Kirkpatrick, M., & Saltzman, D. (1963). Effect of spacing presentations on retention of a paired associate over short intervals. Journal of Experimental Psychology, 66, 206. Reich, J. (2015). Rebooting MOOC research. Science, 347, 34-35. Seabrook, R., Brown, G. D., & Solity, J. E. (2005). Distributed and massed practice: From laboratory to classroom. Applied Cognitive Psychology, 19, 107-122. Smolen, P., Zhang, Y., & Byrne, J. H. (2016). The right time to learn: Mechanisms and optimization of spaced learning. Nature Reviews Neuroscience, 17, 77-88. Sobel, H. S., Cepeda, N. J., & Kapler, I. V. (2011). Spacing effects in real-world classroom vocabulary learning. Applied Cognitive Psychology, 25, 763-767.
Toppino, T. C., & Bloom, L. C. (2002). The spacing effect, free recall, and two-process theory: A closer look. Journal of Experimental Psychology: Learning, Memory, and Cognition, 28, 437-444. Toppino, T. C., Fearnow-Kenney, M. D., Kiepert, M. H., & Teremula, A. C. (2009). The spacing effect in intentional and incidental free recall by children and adults: Limits on the automaticity hypothesis. Memory & Cognition, 37, 316-325. Zechmeister, E. B., & Shaughnessy, J. J. (1980). When you know that you know and when you think that you know but you don’t. Bulletin of the Psychonomic Society, 15, 41-44
Bijlage 1: Rcode analyses
Commentaar in het blauw aangegeven.
R Code cursustempo:
rm(list = ls()); usePackage = function(p) { if (!is.element(p, installed.packages()[, 1])) install.packages(p, dep = TRUE);
require(p, character.only = TRUE); }
usePackage('dplyr'); # connect to db
con = src_postgres(dbname = "coursera", host = "rens.amsterdam", user = "coursera",
password = "Coursera123"); # get the course_id
#var_course_id <- con %>% tbl("courses") %>%
filter(course_slug == "classical-sociological-theory") %>% select(course_id) %>% collect
#var_course_id <- as.matrix(var_course_id)[1];
# get the course_item_type_id's for 'quiz' and 'exam' var_type_ids <- con %>% tbl("course_item_types") %>% filter(course_item_type_desc == "quiz" ||
course_item_type_desc == "exam") %>% select(course_item_type_id) %>% collect var_type_ids <- as.matrix(var_type_ids);
# check how many users completed the final exam var_completed_final_exam = con %>% tbl(sql(paste(' SELECT DISTINCT(progress.amsterdam_user_id) FROM course_formative_quiz_grades AS progress
INNER JOIN course_branch_items AS items ON items.course_item_id = progress.course_item_id WHERE items.course_branch_item_name = \'Final Exam\' AND items.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude unbranched items.
', sep = ''))) %>% collect
# get the grade timestamps for all users var_timestamps_old = con %>% tbl(sql(paste(' SELECT progress.amsterdam_user_id, MIN(progress.course_progress_ts) AS timestamp, grades.course_branch_id AS condition, 0 AS difference, 0 AS average, items.course_item_id, types.course_item_type_desc, progress.course_progress_state_type_id AS state FROM course_progress AS progress
INNER JOIN course_branch_items AS items ON items.course_item_id = progress.course_item_id
INNER JOIN course_item_types AS types ON types.course_item_type_id = items.course_item_type_id
--INNER JOIN course_grades AS grades ON grades.amsterdam_user_id = progress.amsterdam_user_id
INNER JOIN course_branch_grades AS grades ON grades.amsterdam_user_id = progress.amsterdam_user_id WHERE
items.course_item_type_id IN (', var_type_ids[1], ', ', var_type_ids[2], ')
AND progress.course_progress_state_type_id = 2 -- Item has been completed.
AND progress.course_progress_ts > \'2016-04-10\' -- ... after the experiment has started.
--AND grades.course_passing_state_id > 0 -- Participants have completed the course.
AND items.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude unbranched items. AND grades.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude before-experiment participants. AND progress.amsterdam_user_id IN ( SELECT DISTINCT(progress.amsterdam_user_id) FROM course_formative_quiz_grades AS progress INNER JOIN course_branch_items AS items ON items.course_item_id = progress.course_item_id
WHERE
items.course_branch_item_name = \'Final Exam\'
AND items.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude unbranched items. ) GROUP BY progress.amsterdam_user_id, grades.course_branch_id, items.course_item_id, types.course_item_type_desc, progress.course_progress_state_type_id ORDER BY progress.amsterdam_user_id ASC, timestamp ASC ', sep = ''))) %>% collect var_timestamps = con %>% tbl(sql(paste(' SELECT progress.amsterdam_user_id, MIN(progress.course_quiz_grade_ts) AS timestamp, grades.course_branch_id AS condition, 0 AS difference, 0 AS average, items.course_item_id, types.course_item_type_desc FROM course_formative_quiz_grades AS progress INNER JOIN course_branch_items AS items ON items.course_item_id = progress.course_item_id
INNER JOIN course_item_types AS types ON types.course_item_type_id = items.course_item_type_id
--INNER JOIN course_grades AS grades ON grades.amsterdam_user_id = progress.amsterdam_user_id
INNER JOIN course_branch_grades AS grades ON grades.amsterdam_user_id = progress.amsterdam_user_id WHERE items.course_item_type_id IN (', var_type_ids[1], ', ', var_type_ids[2], ') AND progress.course_quiz_grade_ts > \'2016-04-11\' -- ... after the experiment has started.
--AND grades.course_passing_state_id > 0 -- Participants have completed the course.
AND items.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude unbranched items. AND grades.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude before-experiment participants. AND progress.amsterdam_user_id IN ( SELECT DISTINCT(progress.amsterdam_user_id) FROM course_formative_quiz_grades AS progress INNER JOIN course_branch_items AS items ON items.course_item_id = progress.course_item_id
WHERE
items.course_branch_item_name = \'Final Exam\'
AND items.course_branch_id !=
\'rTTFFgb8EeWJMSIAC7Jl0w\' -- Exclude unbranched items. )
-- Exclude bad data users.
AND progress.amsterdam_user_id != \'ff069d3156f5001b96b0bff4f24810f7\' AND progress.amsterdam_user_id != \'c5dc966de13c5b4079d91280e755ca99\' GROUP BY progress.amsterdam_user_id, grades.course_branch_id, items.course_item_id, types.course_item_type_desc ORDER BY progress.amsterdam_user_id ASC, timestamp ASC
', sep = ''))) %>% collect
# Total number of unique user ids:
length(unique(var_timestamps$amsterdam_user_id)); users1 =
unique(var_completed_final_exam$amsterdam_user_id); users2 = unique(var_timestamps$amsterdam_user_id); setdiff(users1, users2); # This should be empty. for(i in 1:nrow(var_timestamps)) { row = var_timestamps[i, ]; if (row["condition"] == "branch~ip5_pQDmEeazAhK2M8bWmQ")
var_timestamps[i, "condition"] = "control" else if (row["condition"] ==
"branch~iqDxTgDmEeapgRKsUGvS7w")
var_timestamps[i, "condition"] = "spaced" else if (row["condition"] ==
"branch~iqkt6QDmEeaXKAohPoPYww")
var_timestamps[i, "condition"] = "massed" } for(i in 2:nrow(var_timestamps)) { row = var_timestamps[i, ]; prev = var_timestamps[i - 1, ];
# Check if user id's match. if (row["amsterdam_user_id"] == prev["amsterdam_user_id"]) { time1 = as.POSIXct(as.matrix(row["timestamp"][1])); time2 = as.POSIXct(as.matrix(prev["timestamp"][1]));
var_timestamps[i, "difference"] = difftime(time1, time2, units = "secs");
} }
aggr = aggregate(var_timestamps$difference, list(var_timestamps$amsterdam_user_id), mean);
aggr_cond = aggregate(var_timestamps$condition, list(var_timestamps$amsterdam_user_id), function(values) { return(values[1]); }); aggr_start = aggregate(var_timestamps$timestamp, list(var_timestamps$amsterdam_user_id), min); aggr_end = aggregate(var_timestamps$timestamp, list(var_timestamps$amsterdam_user_id), max); var_summary = data.frame( user = character(nrow(aggr)), condition = numeric(nrow(aggr)), avg_sec = numeric(nrow(aggr)), started = numeric(nrow(aggr)), ended = numeric(nrow(aggr)) ); var_summary$user = aggr[, 1]; var_summary$condition = aggr_cond[, 2]; var_summary$avg_sec = aggr[, 2] / (60 * 60 * 24); # Seconds to hours. var_summary$started = aggr_start[, 2]; var_summary$ended = aggr_end[, 2]; var_summary$duration = as.double(difftime(var_summary$ended, var_summary$started, units = "weeks")); var_summary; # N per condition: nrow(var_summary[var_summary$condition == "control", ]); nrow(var_summary[var_summary$condition == "massed", ]); nrow(var_summary[var_summary$condition == "spaced", ]); # Histogrammen: def.par = par(no.readonly = T); xmax = max(var_summary$avg_sec);
layout(matrix(c(1), nrow = 1, ncol = 1, byrow = T)); hist(var_summary$avg_sec, prob = T, xlim = c(0, xmax), breaks = 100, main = "Average time between quizzen (overall)", xlab = "Time in hours");
lines(density(var_summary$avg_sec));
layout(matrix(c(1, 2, 3), nrow = 3, ncol = 1, byrow = T));
hist(var_summary[var_summary$condition == "control", ]$avg_sec, prob = T, xlim = c(0, xmax), breaks = 100, main = "Control", xlab = "Time in hours");
lines(density(var_summary[var_summary$condition == "control", ]$avg_sec));
hist(var_summary[var_summary$condition == "massed", ]$avg_sec, prob = T, xlim = c(0, xmax), breaks = 100, main = "Massed", xlab = "Time in hours");
lines(density(var_summary[var_summary$condition == "massed", ]$avg_sec));
hist(var_summary[var_summary$condition == "spaced", ]$avg_sec, prob = T, xlim = c(0, xmax), breaks = 100, main = "Spaced", xlab = "Time in hours");
lines(density(var_summary[var_summary$condition == "spaced", ]$avg_sec));
# De 2 outliers in de spaced conditie hebben maar 2 quizzen gedaan, met ongeveer een maand ertussen: var_timestamps[var_timestamps$amsterdam_user_id == 'ff069d3156f5001b96b0bff4f24810f7', ];
var_timestamps[var_timestamps$amsterdam_user_id == 'c5dc966de13c5b4079d91280e755ca99', ];
xmax = max(var_summary$duration);
layout(matrix(c(1), nrow = 1, ncol = 1, byrow = T)); hist(var_summary$duration, prob = T, xlim = c(0, xmax), breaks = 100, main = "Course completion duration
(overall)", xlab = "Time in weeks"); lines(density(var_summary$duration));
layout(matrix(c(1, 2, 3), nrow = 3, ncol = 1, byrow = T));
hist(var_summary[var_summary$condition == "control", ]$duration, prob = T, xlim = c(0, xmax), breaks = 100, main = "Control", xlab = "Time in weeks");
lines(density(var_summary[var_summary$condition == "control", ]$duration));
hist(var_summary[var_summary$condition == "massed", ]$duration, prob = T, xlim = c(0, xmax), breaks = 100, main = "Massed", xlab = "Time in weeks");
lines(density(var_summary[var_summary$condition == "massed", ]$duration));
hist(var_summary[var_summary$condition == "spaced", ]$duration, prob = T, xlim = c(0, xmax), breaks = 100, main = "Spaced", xlab = "Time in weeks");
lines(density(var_summary[var_summary$condition == "spaced", ]$duration));
times = c( var_summary[var_summary$condition == "control", ]$avg_sec, var_summary[var_summary$condition == "massed", ]$avg_sec, var_summary[var_summary$condition == "spaced", ]$avg_sec ); groups = c( rep('control', length(var_summary[var_summary$condition == "control", ]$avg_sec)), rep('massed', length(var_summary[var_summary$condition == "massed", ]$avg_sec)), rep('spaced', length(var_summary[var_summary$condition == "spaced", ]$avg_sec)) );
data = data.frame(times, groups);
res = aov(times ~ groups, data = data); summary(res);
# ANOVA course duration times = c( var_summary[var_summary$condition == "control", ]$duration, var_summary[var_summary$condition == "massed", ]$duration, var_summary[var_summary$condition == "spaced", ]$duration ); groups = c( rep('control', length(var_summary[var_summary$condition == "control", ]$duration)), rep('massed', length(var_summary[var_summary$condition == "massed", ]$duration)), rep('spaced', length(var_summary[var_summary$condition == "spaced", ]$duration)) );
data = data.frame(times, groups);
res = aov(times ~ groups, data = data); summary(res);
#####
#gemiddelden en standaardafwijkingen
#userids en gemiddelde tijd tussen quizzen in uren. control <- var_summary[var_summary$condition ==
"control", c(1,3)]
massed <- var_summary[var_summary$condition == "massed", c(1,3)]
spaced <- var_summary[var_summary$condition == "spaced", c(1,3)] mean(control[,2]) mean(spaced[,2]) mean(massed[,2]) sqrt(var(control[,2])) sqrt(var(massed[,2])) sqrt(var(spaced[,2]))
R code gemaakte quizzen en practice exams:
itemids <- read.csv2('public.course_formative_quiz_grades.csv', header = TRUE) # Final Exam ID users_ids <- as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE)) qi <- as.matrix(users_ids[which(users_ids[,6] == 'Final Exam'), 2])[1] # item ids voor verschillende branches zijn hetzelfde
course_items <-
as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE))
itemid <- as.matrix(course_items[which(course_items[,6] == 'Informed Consent Form'), c(1,2)])
# condities id geven c1 <- itemid[1,1] c2 <- itemid[2,1] c3 <- itemid[3,1] item_answers <- as.data.frame(read.csv2('public.course_formative_quiz_gra des.csv', header = TRUE))
# IDS van quizzen
# User ID's van mensen die Final Exam hebben gemaakt
finusid <- item_answers[which(item_answers[,2] == qi), 3] depraw1 <- item_answers[which(item_answers[,2] == qi), c(3,5,6)]
# Filter ID's 'ff069d3156f5001b96b0bff4f24810f7' en 'c5dc966de13c5b4079d91280e755ca99' eruit (Aan de cursus begonnen voordat het experiment gestart was)
depraw2 <- depraw1[-(which(depraw1[,1] == 'ff069d3156f5001b96b0bff4f24810f7')), ] depraw <- depraw2[- (which(depraw1[,1] == 'c5dc966de13c5b4079d91280e755ca99')), ] # kijken wie welke quizzen heeft gemaakt
m <- matrix(data = NA, length(finusid), length(item_ids)) for(i in 1:length(item_ids))
{
m[,i] <- finusid %in%
item_answers[which(item_answers[,2] == item_ids[i]),3] }
## Standaardisatiecheck:
# Maken mensen in verschillende condities evenveel quizzen?
# deelnemers per conditie connec <-
as.data.frame(read.csv2('public.course_branch_grades.csv' , header = TRUE))[,c(1,2)]
ids1 <- connec[which(connec[,1] == c1), 2] # user ids per conditie
ids2 <- connec[which(connec[,1] == c2), 2] ids3 <- connec[which(connec[,1] == c3), 2]
# indices van userids die final exam afmaakten per conditie
i1 <- na.omit(match(depraw[,1], ids1)) i2 <- na.omit(match(depraw[,1], ids2)) i3 <- na.omit(match(depraw[,1], ids3))
# indices van ids uit verschillende condities in depraw. I1 <- match(ids1[i1], depraw[,1])
I2 <- match(ids2[i2], depraw[,1]) I3 <- match(ids3[i3], depraw[,1])
# aantal afgemaakte quizzen per conditie
qc1 <- apply(m[I1,-c(3,5,8)], 1, sum) # spacing qc2 <- apply(m[I2,-c(3,5,8)], 1, sum) # massing qc3 <- apply(m[I3,-c(3,5,8)], 1, sum) # controle
# gemiddelden en standaardafwijkingen per conditie, respectievelijk spacing, massing en controle
mean(qc1) mean(qc2) mean(qc3) sqrt(var(qc1)) sqrt(var(qc2)) sqrt(var(qc3))
# anova op afgemaakte quizzen per conditie
manch <- data.frame(finq = c(qc1, qc2, qc3), con =
c(rep('a', length(qc1)), rep('b', length(qc2)), rep('c', length(qc3))))
manres <- aov(finq ~ con, data = manch) summary(manres)
# cijfers per conditie
cijfers_con1 <- depraw[I1, 2]/30 * 10 cijfers_con2 <- depraw[I2, 2]/30 * 10 cijfers_con3 <- depraw[I3, 2]/30 * 10 # Wie heeft de practice exams gemaakt? pe <- m[,c(3,8)]
prop_pe1 <- sum(pe[,1]) / nrow(pe) # proportie gemaakt practice exam 1
prop_pe2 <- sum(pe[,2]) / nrow(pe) # proportie gemaakt practice exam 2
r <- apply(pe, 1, sum)
sum(ifelse(r > 1, 1, 0)) / length(r) # proporie ten minste 1 practice exam gemaakt.
R code uitkomstmaat:
rm(list = ls()) # Final Exam ID users_ids <- as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE)) qi <- as.matrix(users_ids[which(users_ids[,6] == 'Final Exam'), 2])[1] # item ids voor verschillende branches zijn hetzelfde
course_items <-
as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE))
itemid <- as.matrix(course_items[which(course_items[,6] == 'Informed Consent Form'), c(1,2)])
c1 <- itemid[1,1] # spacing c2 <- itemid[2,1] # massed c3 <- itemid[3,1] # controle item_answers <-
as.data.frame(read.csv2('public.course_formative_quiz_gra des.csv', header = TRUE))
infans1 <- item_answers[which(item_answers[,2] ==
itemid[1,2]), 5] # blijkbaar mensen die goedkeuring gaven al gefilterd...
infans2 <- item_answers[which(item_answers[,2] == itemid[2,2]), 5]
infans3 <- item_answers[which(item_answers[,2] == itemid[3,2]), 5]
# uitkomstmaat Final Exam
depraw1 <- item_answers[which(item_answers[,2] == qi), c(3,5,6)]
# Filter ID's 'ff069d3156f5001b96b0bff4f24810f7' en 'c5dc966de13c5b4079d91280e755ca99' eruit (Deze zijn begonnen aan de cursus voordat het experiment startte depraw2 <- depraw1[-(which(depraw1[,1] ==
'ff069d3156f5001b96b0bff4f24810f7')), ] depraw <- depraw2[- (which(depraw1[,1] == 'c5dc966de13c5b4079d91280e755ca99')), ] # userids scheiden op basis van conditie. connec <-as.data.frame(read.csv2('public.course_branch_grades.csv' , header = TRUE))[,c(1,2)] ids1 <- connec[which(connec[,1] == c1), 2] ids2 <- connec[which(connec[,1] == c2), 2] ids3 <- connec[which(connec[,1] == c3), 2] # indices van userids die in depraw voorkomen. i1 <- na.omit(match(depraw[,1], ids1))
i2 <- na.omit(match(depraw[,1], ids2)) i3 <- na.omit(match(depraw[,1], ids3))
# indices van ids uit verschillende condities in depraw. I1 <- match(ids1[i1], depraw[,1])
I3 <- match(ids3[i3], depraw[,1]) # cijfers per conditie
cijfers_con1 <- depraw[I1, 2]/30 cijfers_con2 <- depraw[I2, 2]/30 cijfers_con3 <- depraw[I3, 2]/30
# gemiddelden per conditie. m1 <- mean(cijfers_con1) m2 <- mean(cijfers_con2) m3 <- mean(cijfers_con3) c(m1,m2,m3) sqrt(var(cijfers_con1)) sqrt(var(cijfers_con2)) sqrt(var(cijfers_con3))
# ANOVA op cijfers op eindtoets in verschillende condities
Data <- data.frame(cijfers = c(cijfers_con1,
cijfers_con2, cijfers_con3),condities = factor(rep(c("1", "2", "3"), times=c(length(cijfers_con1),
length(cijfers_con2), length(cijfers_con3))))) res2 <- aov(cijfers ~ condities, data = Data) summary(res2)
# contrasten bij significant resultaat van anova condities <- factor(rep(c("1", "2", "3")))
res3 <- anova(lm(cijfers ~ condities, data = Data))
contrasts(condities) < cbind(c(1, 1/2, 1/2), c(0, 1, -1))
A <- aov(cijfers ~ condities, data = Data) summary.lm(A)
# histogrammen van cijfers per conditie
layout(matrix(c(1, 2, 3), nrow = 3, ncol = 1, byrow = T));
h1 <- hist(Data[1:20, 1], xlim = c(0,1), main =
'verdeling proportie correct spaced conditie', xlab = 'proportie correct', ylab = 'frequentie', breaks = 10) # spaced
h2 <- hist(Data[21:43, 1], xlim = c(0,1), main =
'verdeling proportie correct massed conditie', xlab = 'proportie correct', ylab = 'frequentie', breaks = 10) # massed
h3 <- hist(Data[44:61, 1], xlim = c(0,1), main =
'proportie correct', ylab = 'frequentie', breaks = 10) # controle
## Assumptie checks:
# Assumptie van normaliteit. shapiro.test(cijfers_con1) shapiro.test(cijfers_con2) shapiro.test(cijfers_con3)
# Assumptie homgeniteit van variantie. library(Rcmdr) leveneTest(Data[,1], Data[,2])
R code voor sekse en leeftijd:
rm(list = ls()) # condities course_items <- as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE)) itemid <- as.matrix(course_items[which(course_items[,6] == 'Informed Consent Form'), c(1,2)])
# conditie ids
c1 <- itemid[1,1] # Spaced c2 <- itemid[2,1] # Massed c3 <- itemid[3,1] # Control
# antwoorden op sekse die final exam hebben gemaakt users_ids <-
as.data.frame(read.csv2('public.course_branch_items.csv', header = TRUE))
qi <- as.matrix(users_ids[which(users_ids[,6] == 'Final Exam'), 2])[1] # item ids voor verschillende branches zijn hetzelfde
item_answers <-
as.data.frame(read.csv2('public.course_formative_quiz_gra des.csv', header = TRUE))
finusid <- item_answers[which(item_answers[,2] == qi), 3] demans <-
as.data.frame(read.csv2('public.demographics_answers.csv' , header = TRUE))
gans <- demans[which(demans[,1] == 11), c(2,4)]
sekse_ans <- gans[na.omit(match(gans[,1], finusid)),] # antwoorden op leeftijd die final exam hebben gemaakt lans <- demans[which(demans[,1] == 12), c(2,5)]
