Het verband tussen de Kennis van Grafieken van Leerkrachten en hun Begrip en Interpretaties van CBM-voortgangsgrafieken
Evelien Hulsebosch
Faculteit Sociale Wetenschappen, Universiteit Leiden
Naam: Evelien Hulsebosch Studentnummer: 0944858
Masterspecialisatie: Clinical Child and Adolescent Studies Titel Masterproject: CVE-onderzoek
Eerste begeleider: Mw. R.M. van den Bosch, MSc Tweede begeleider: Mw. E.K. Swart, MSc
Abstract
With the onset of the law Passend Onderwijs and the strive for opbrengstgericht werken, teachers are expected to monitor the achievements and progress of their students regularly. They have to do this by gathering student data frequently. Teachers should then interpret and use those data to make educational decisions. This study considers how teachers look at and interpret Curriculum-Based Measurement (CBM) progress graphs. The relation between teachers’ general knowledge of graphs and how they look at the progress graphs and how coherently they describe the graphs was studied.The participants were 23 teachers from primary and high schools. These teachers filled out a questionnaire to test their general knowledge of graphs. Then the teachers were shown two CBM-progress graphs which they had to describe while their eye-movements and –fixations were registered by an eye tracker. The results of this study show that teachers have difficulties with interpreting CBM-progress graphs. Further, there was a significant relation between teachers’ general knowledge of graphs and the cohesion of their graph interpretations (p = .021), but not between their general knowledge of graphs and their looking behaviour. Teachers with more general knowledge of graphs, have more cohesion in their graph interpretations. Furthermore there was no significant relation between the cohesion of the graph interpretations and looking at the graphs. The results indicate that it is advisable to pay attention to reading and interpreting progress-monitoring graphs in the education program of current and future teachers if they are expected to use these data properly for making educational decisions.
Keywords: graph interpretations, looking at graphs, general knowledge of graphs, CBM-progress graphs, Passend Onderwijs, opbrengst gericht werken
Het verband tussen de Kennis van Grafieken van Leerkrachten en hun Begrip en Interpretaties van CBM-voortgangsgrafieken
In het huidige onderwijsklimaat krijgen scholen steeds meer taken en verantwoordelijkheden die extra deskundigheid van leerkrachten vragen. Met het intreden van de Wet Passend Onderwijs (Koninkrijk der Nederlanden, 2012), hebben scholen een zorgplicht gekregen. Deze zorgplicht houdt in dat scholen ervoor dienen te zorgen dat alle leerlingen die extra ondersteuning nodig hebben, een goede onderwijsplek krijgen, daar waar mogelijk in het regulier onderwijs. Leerkrachten in het regulier onderwijs krijgen door de komst van de zorgplicht te maken met grotere verschillen tussen leerlingen, wat een bepaalde
deskundigheid van deze leerkrachten vereist (Tweede Kamer der Stagen Generaal, 2011). Leerkrachten moeten kennis hebben van leer- en gedragsproblemen. Zij moeten bedenken wat elke leerling nodig heeft en hierop anticiperen. Bijvoorbeeld door extra hulp of verlengde instructies te geven. Leerkrachten dienen bij leerlingen met extra onderwijsbehoeften ook goed op de hoogte te zijn van hun vooruitgang en
ontwikkeling (Parette, Peterson-Karlan, Wojcik & Bardi, 2007). Alleen wanneer leerkrachten goed zicht hebben op de voortgang van deze leerlingen, kunnen zij tijdig ingrijpen als er sprake is van een dreigende achterstand. In dat geval kunnen leerkrachten namelijk op tijd veranderingen in de instructie doorvoeren om de prestaties van de leerling te verhogen (Hojnoski & Missall, 2007). Het is daarom van belang om van elke individuele leerling de prestaties nauwkeurig te volgen en zo de onderwijsbehoeften van de leerlingen in kaart te brengen, te evalueren en als aanknopingspunt te gebruiken om leerprestaties te vergroten.
Opbrengstgericht Werken
Naast de Wet Passend Onderwijs wordt er in het Nederlandse onderwijsbeleid gestreefd naar opbrengstgericht werken. Wanneer er door een school doelgericht gewerkt wordt aan het vergroten van de prestaties van leerlingen, op basis van verzamelde gegevens over de leerprestaties en vooruitgang van leerlingen, werkt de school opbrengstgericht (Inspectie van het Onderwijs, 2010). Op scholen waar opbrengstgericht wordt gewerkt, zijn de leerresultaten beter dan op scholen waar dit niet wordt gedaan (Inspectie van het Onderwijs, 2010). Om opbrengstgericht te kunnen werken, moeten duidelijke doelen worden gesteld met betrekking tot de prestaties van de leerlingen, moet er goed zicht zijn op de resultaten van de leerlingen en resultaatgericht te werk worden gegaan. Op basis van de resultaten wordt er gekeken of een leerling een voldoende ontwikkeling laat zien, door te bekijken of de leerling de gestelde doelen behaalt. Wanneer dit niet het geval is, moeten er veranderingen worden aangebracht in het
onderwijsaanbod (bijvoorbeeld een aangepaste instructie) om ervoor te zorgen dat de leerling zich verder kan ontwikkelen en de vooraf gestelde doelen kan bereiken.
Om opbrengstgericht te kunnen werken en te voldoen aan onderwijsbehoeften van verschillende leerlingen, is het van belang om de resultaten van leerlingen goed te kunnen volgen en monitoren.
Minstens zo belangrijk is dat de leerkracht adequaat handelt op basis van deze gegevens, door bijvoorbeeld het onderwijsaanbod aan te passen. Ondanks dat er wel data wordt verzameld, blijkt dit laatste op veel scholen niet te gebeuren. In het huidige onderwijs wordt voor het verzamelen van data en het bepalen van het niveau van leerlingen op bepaalde momenten, gebruik gemaakt van
leerlingvolgsystemen zoals Cito (Cito, 2011). Bij dit soort volgsystemen worden prestaties op lange termijn (een half jaar of een jaar) gemeten. Veel leerkrachten nemen op vastgestelde momenten toetsen af bij hun leerlingen en gebruiken deze gegevens, voornamelijk om de ontwikkeling van de leerlingen bij te houden en verantwoording af te leggen aan bijvoorbeeld de ouders, maar zij gebruiken de gegevens vaak niet om hun manier van lesgeven te evalueren en veranderingen aan te brengen in hun onderwijs.
(Inspectie van het Onderwijs, 2011; Ledoux, Blok & Boogaard, 2009). Dit is een probleem, omdat het verzamelen van de data op zichzelf niet genoeg is om leerlingprestaties te vergroten. Een leerkracht dient de resultaten van de leerlingen te analyseren en hieraan consequenties te binden, bijvoorbeeld het bieden van extra hulp (Inspectie van het Onderwijs, 2011). Hiervoor is het meten van de voortgang van de leerlingen zoals dat momenteel met behulp van de leerlingvolgsystemen zoals Cito wordt gedaan niet voldoende.
CBM
Een voorbeeld van een leerlingvolgsysteem om de voortgang van leerlingen op korte termijn beter te kunnen volgen, is het Amerikaanse volgsysteem Curriculum-Based Measurement (CBM; Deno, 1985). De Nederlandse versie van CBM wordt aangeduid als Continue Voortgangsevaluatie (CVE; Espin, Wayman & Campbell, 2011). CBM is een methode om de voortgang in academische vaardigheden (bijvoorbeeld lezen of rekenen) van leerlingen te kunnen meten en in kaart brengen (Deno, Fuchs, Marston & Shin, 2001). Het doel bij het ontwikkelen van CBM was om leerkrachten te helpen met het evalueren van de effectiviteit van hun eigen instructie voor individuele leerlingen (Deno, 2003a). Dit betekent dat CBM gebruikt kan worden om educatieve beslissingen te maken en veranderingen aan te brengen in de instructie, ten behoeve van het verbeteren van leerling prestaties.
De voortgang van leerlingen wordt binnen CBM weergegeven in individuele voortgangsgrafieken. Op basis van deze grafisch weergegeven informatie kan bepaald worden of de leerling voldoende vooruit gaat. Een voorbeeld van een CBM-voortgangsgrafiek is weergegeven in Figuur 1. In de voortgangsgrafiek wordt via wekelijkse datapunten weergegeven hoe de leerling presteert. Deze datapunten worden
verkregen door wekelijks een korte taak af te nemen bij de leerlingen. Bij het volgen van leesvaardigheid kan de vooruitgang van de leerling bijvoorbeeld gemeten worden aan de hand van Mazetaken (Wayman, Wallace, Wiley, Tichá & Espin, 2007). Dit zijn teksten waarbij elk zevende woord is vervangen door een meerkeuze item van drie woorden: het juiste woord en twee alternatieven. De leerling heeft twee minuten de tijd om de tekst in stilte te lezen en kiest daarbij het juiste woord. Het aantal correct gemaakte keuzes
binnen twee minuten komt dan als datapunt voor de betreffende week in de grafiek te staan (zie stippen ‘Correcte keuzes’ in Figuur 1).
Figuur 1.Voorbeeld van een CBM-voortgangsgrafiek.
Deze datapunten (Correcte keuzes) worden in de voortgangsgrafiek afgezet tegen de vooraf gestelde doellijn. Het aantal foute keuzes wordt aangegeven door de driehoeken. Eerst wordt het
beginniveau van de leerling bepaald, door drie keer een Mazetaak af te nemen. Op basis daarvan wordt het doel gesteld voor de leerling, in Figuur 1 weergegeven als ster, en de doellijn naar het doel getrokken. Na een aantal metingen kan de leerkracht kijken of de leerling voldoende vooruit gaat. Er wordt dan door de datapunten van een aantal weken een (gestippelde) groeilijn getrokken. Deze lijn laat de gemiddelde groei van de leerling zien over de periode. De voortgang van de leerling, in de vorm van de groeilijn, wordt door de leerkracht bekeken in het licht van de doellijn (Deno, 2003a). Mocht er sprake zijn van geen of onvoldoende groei, dan dient er een aanpassing te worden gedaan in de leesinstructie, om zo te proberen om de leesprestaties van de betreffende leerling te verbeteren. Het monitoren van de voortgang continueert
vervolgens, zodat het effect van de aanpassing beoordeeld kan worden. Elke instructie of aanpassing wordt binnen twee verticale lijnen weergegeven. Hierdoor is het verschil in scores van de leerling voor de verschillende interventies duidelijk zichtbaar en kan een eventuele verbetering goed worden waargenomen (zie Figuur 1).
Gebruik en Interpreteren van Grafieken
Ondanks dat er veel onderzoek is gedaan naar CBM (Clarke, 2009), is er over een aantal essentiële onderdelen van het evaluatiesysteem nog weinig bekend. Zo is er bijvoorbeeld weinig onderzoek gedaan naar hoe de CBM-voortgangsgrafieken daadwerkelijk worden bekeken en geïnterpreteerd door leerkrachten. Dit is opvallend aangezien er op basis van dit soort grafieken, belangrijke beslissingen moeten worden genomen door leerkrachten. Zo kan er met behulp van de data gekeken worden welke leerlingen tot een risicogroep behoren en dus extra begeleiding nodig hebben, en kunnen er op basis van de resultaten van de leerling, veranderingen in het onderwijs worden gemaakt om de vooruitgang te bevorderen (McMaster & Espin, 2007). Een extra reden om te onderzoeken hoe leerkrachten CBM-voortgangsgrafieken interpreteren, is de bevinding dat het gebruik van CBM alleen effectief blijkt te zijn bij het verbeteren van de prestaties van leerlingen met leesproblemen, als de leerkracht de verkregen data uit de grafieken daadwerkelijk consequent gebruikt om veranderingen te maken in de manier van lesgeven (Stecker, Fuchs & Fuchs, 2005). Het verzamelen van voortgangsdata op zichzelf is niet voldoende. De verzamelde data moet geïnterpreteerd worden door leerkrachten, voordat zij deze data kunnen gebruiken om hun beslissingen op te baseren (Inspectie van het Onderwijs, 2011).
Het goed kunnen begrijpen en interpreteren van grafieken vereist verschillende vaardigheden. Om informatie uit een grafiek af te lezen, moet er ten eerste begrip zijn van het design van een grafiek (Friel, Curcio & Bright, 2001). Begrip van het design van grafieken bestaat uit meerdere componenten, zoals het begrijpen van de belangrijkste kwantitatieve informatie, de x- en y-relaties en betekenissen van de
verschillende onderdelen van de grafiek (Carpenter & Shah, 1998). Om de informatie uit de grafieken te hanteren, moeten daarnaast vergelijkingen en berekeningen worden gedaan (Friel et al., 2001). Zo moet er bij CBM-voortgangsgrafieken worden vergeleken hoe de groeilijn zich verhoudt tot de doellijn, om te bepalen of de leerling voldoende vooruit gaat. Om betekenis te geven aan de hoofdzaken uit de grafiek, moet de informatie ten slotte in de context worden geplaatst (Friel et al., 2001). Op basis van de CBM-scores dient bekeken te worden in hoeverre de door de leerkracht gegeven instructie effectief is voor de betreffende leerling en of de instructie al dan niet aangepast dient te worden.
Kennis van en vaardigheden om grafieken te interpreteren zijn niet vanzelfsprekend en moeten expliciet worden aangeleerd (Glazer, 2011). Individuen met goede vaardigheden in het aflezen en
interpreteren van grafieken, zullen sneller de grafieken correct interpreteren dan degene die hier minder in geschoold zijn (Shah & Freedman, 2011). Daarnaast zijn vaardigheden in het aflezen van grafieken extra
van belang bij lijngrafieken zoals CBM-voortgangsgrafieken, omdat bekend is dat dit soort grafieken moeilijker zijn te interpreteren (Shah & Freedman, 2011).
Het interpreteren van grafieken blijkt dus een lastige opgave te zijn. Het is daarom van belang inzicht te krijgen in de manier waarop leerkrachten grafieken interpreteren en in hoeverre zij dit correct doen. Er is tot op heden nog weinig onderzoek gedaan naar hoe leerkrachten grafieken in het algemeen en CBM-voortgangsgrafieken in het bijzonder interpreteren. Daarom wordt er in dit onderzoek met behulp van eye tracking en think aloud methoden onderzocht hoe leerkrachten de CBM-voortgangsgrafieken bekijken en interpreteren. Daarnaast wordt gekeken in hoeverre de algemene kennis die leerkrachten hebben over het aflezen van grafieken, gerelateerd is aan hoe zij CBM-grafieken bekijken en
interpreteren. Dit leidt tot de volgende onderzoeksvragen:
- Is er een verband tussen de algemene kennis van grafieken van leerkrachten en hoe zij CBM-voortgangsgrafieken bekijken en interpreteren?
- Is er een verband tussen de algemene kennis van grafieken van leerkrachten en hun score voor het bekijken van CBM-voortgangsgrafieken? Als een leerkracht over het algemeen meer kennis van grafieken heeft, zal deze de voortgangsgrafieken gerichter bekijken, zoals gemeten met de eye-tracking methode. Voor een goed begrip van grafieken moet het aantal fixaties verspreid zijn over de belangrijkste delen van de grafiek (Carpenter & Shah, 1998). Dit betreft de patronen/relaties in de grafieken en de delen van de grafiek die waarde geven aan deze patronen (bijvoorbeeld de x- en y-as). De verwachting is daarom dat de duur van de fixaties van de leerkrachten verdeeld zal zijn over de belangrijkste delen van de grafiek, waarbij het langst naar de patronen (de datapunten, groeilijnen en doellijn) in de grafiek gekeken wordt. Voor de CBM-voortgangsgrafieken is dit namelijk de belangrijkste informatie, omdat op basis van de datapatronen bepaald kan worden of de instructie effectief is en dus bepaald kan worden of de instructie aangepast dient te
worden.
- Is er een verband tussen de algemene kennis van grafieken van leerkrachten en hun score op het interpreteren van CBM-voortgangsgrafieken? Als een leerkracht over het algemeen meer kennis en ervaring heeft in het aflezen van grafieken, zal deze de
CBM-voortgangsgrafieken beter kunnen begrijpen en interpreteren, zoals gemeten met de think aloud methode. Een beperkte kennis van grafieken kan namelijk leiden tot een minder samenhangende interpretatie van de grafieken (Xi, 2010; Wayman, Espin, Deno, McMaster, Mahlke & Du, 2011). De hypothese is daarom dat leerkrachten die minder vaardig zijn in het aflezen van grafieken, een minder samenhangende interpretatie van de
CBM-voortgangsgrafieken zullen geven dan leerkrachten die vaardiger zijn in het aflezen van grafieken.
- Is er een verband tussen de tussen het bekijken van CBM-voortgangsgrafieken en het interpreteren van CBM-voortgangsgrafieken? In onderzoek wordt eye tracking ook wel gebruikt om de validiteit van think aloud te meten (Guan, Lee, Cuddihy & Ramey, 2006). Think aloud zorgt echter ook weer voor een uitleg bij de scores van de eye tracking, een interpretatie bij datgene waar de leerkracht naar kijkt. Eye tracking is een onbewuste reactie van de leerkracht en think aloud een bewuste reactie. De onderliggende processen bij het begrijpen van grafieken (zoals patronen zoeken en interpreteren) kan gemeten worden door te kijken naar hoe vaak er wordt gekeken naar de belangrijkste delen van de grafieken en hoe lang er wordt gekeken (Carpenter & Shah, 1998). Door beide methoden samen te nemen, kan mogelijk een vollediger beeld worden geschetst van hoe
leerkrachten CBM-voortgangsgrafieken interpreteren. Verwacht wordt daarom dat het bekijken van de CBM-voortgangsgrafieken (eye tracking) samenhangt met het interpreteren van CBM-voortgangsgrafieken (think aloud).
Methode Participanten
Er deden 23 leerkrachten mee aan het onderzoek, waarvan 4 mannen en 19 vrouwen. De leeftijd lag tussen de 22 en de 60 jaar met een gemiddelde leeftijd van 42 jaar (SD = 12.10). Het aantal jaar werkervaring in het onderwijs liep van 0 tot 37 jaar (M = 10.86, SD = 11.70). De leerkrachten kwamen van negen basisscholen en vier middelbare scholen. Van de basisscholen, waren er zeven scholen voor regulier onderwijs, een school voor speciaal basisonderwijs en een school voor speciaal onderwijs. Bij de middelbare scholen waren er verschillende niveaus; één gymnasium en drie VMBO scholen, waarvan twee kader gemengd en één theoretische leerweg.
Design
Het betreft een beschrijvend en correlationeel onderzoek. Er wordt gekeken naar de algemene grafiekkennis van de leerkrachten, hoe zij de CBM-voortgangsgrafieken bekijken en interpreteren en naar de relatie tussen deze variabelen.
Procedure
Door de onderzoekers en de studenten werden e-mails met een korte beschrijving van het
onderzoek naar basisscholen en middelbare scholen gestuurd met de vraag of zij interesse hadden om deel te nemen. Na een positieve reactie gingen de onderzoekers naar de school om extra informatie te bieden aan de school en afspraken te maken. Na deze eerste afspraak en een instemming van de leerkracht om
mee te doen, werd het onderzoek gestart. De leerkrachten kregen een brief, waarmee zij konden aangeven dat zij toestemming voor deelname aan het onderzoek en het maken van audio-opnames gaven.
De leerkrachten werden gevraagd een aantal vragenlijsten online in te vullen. De vragenlijsten voor dit onderzoek gingen over de achtergrondgegevens en de algemene kennis van grafieken van de leerkrachten. Na het invullen van deze vragenlijsten, vonden er evaluatiesessies plaats, waarbij de leerkrachten twee CBM-voortgangsgrafieken bekeken op het scherm van de eye tracker en deze tegelijkertijd hardop beschreven.
Deze sessies werden op de scholen zelf gehouden, op momenten die aangegeven werden door de leerkrachten. De sessies werden geleid door twee onderzoekers. Een van de onderzoekers gaf de instructie, de andere onderzoeker bediende de eyetracker. Aan het begin van de sessie legde de onderzoeker de bedoeling van de sessie uit en sprak een voorbeeld CBM-voortgangsgrafiek – de instructiegrafiek - met de leerkracht door. De onderzoeker wees tijdens de uitleg de verschillende onderdelen van de grafiek aan die ter sprake kwamen. Na deze uitleg volgde de instructie voor het hardop beschrijven van de eerste CBM-voortgangsgrafiek. De leerkrachten werden gevraagd de grafiek te bekijken en hardop te beschrijven wat zij zagen en dachten. Ook moesten ze aangeven waar ze naar keken en waarom ze daarnaar keken. Na deze instructie werd de eyetracker gekalibreerd en vervolgens werd de uitleg nog een keer kort herhaald. Hierna werden de grafieken getoond met tussendoor een tussenscherm om een korte toelichting te geven voor de tweede grafiek. Tijdens deze sessie registreerde de eye tracker de
oogbewegingen van de leerkrachten en daarnaast werden de grafiekbeschrijvingen en –interpretaties van de leerkrachten via audio opgenomen. De leerkrachten zagen twee CBM-voortgangsgrafieken in de volgorde A-B of B-A.
Meetinstrumenten
Vragenlijst algemene kennis van grafieken. Om de algemene kennis van grafieken van leerkrachten te meten, werd er een vragenlijst ontwikkeld die de leerkrachten online invulden. Deze vragenlijst bestond uit 24 vragen die de leerkracht moest beantwoorden naar aanleiding van in grafieken weergegeven informatie. Dit resulteerde in een score van 0 tot 24, één punt voor elk goed gegeven antwoord. Een voorbeeld van een vraag uit de vragenlijst behorend bij een staafgrafiek was: Hoeveel procent van de leerlingen met dyslexie ging vooruit nadat thuis meer gelezen was?. De vragenlijst was deels gebaseerd op een bestaande vragenlijst over de kennis en het kunnen interpreteren van grafieken (Galesic & Garcia-Retamero, 2011), voor het meten van het begrip van grafische informatie bij patiënten. Deze originele vragenlijst werd getest op een representatieve sample van de nationale populatie van Duitsland en de Verenigde Staten, in de leeftijdscategorie tussen de 25 en 69 jaar. Deze mensen namen deel aan een project om mensen met laag begrip van getallen te helpen medische informatie te begrijpen. De vragenlijst bleek voor deze nationale sample geschikt te zijn om te meten of de individuen een
bepaalde basiskennis van grafieken beheersten. Voor het huidige onderzoek werd de bestaande grafiektest vertaald vanuit het Engels, waarbij de Duitse versie werd gebruikt ter controle. Hierbij was de
duidelijkheid van de vraag het uitgangspunt. De vertaling werd gedaan door een onderzoeker. De andere onderzoekers hebben de vragen daarna ook bekeken en aanpassingen zijn gemaakt daar waar nodig. Als laatste controle werden de vragen gemaakt door een aantal masterstudenten en zijn er nog kleine aanpassingen gedaan om de vragen te verduidelijken. De inhoud van de vragenlijst werd ook aangepast aan de doelgroep. In plaats van grafieken met medische informatie te gebruiken, werd informatie uit het onderwijs gebruikt. Daarbij zijn een aantal vragen aangepast en toegevoegd om de vraagstelling te verduidelijken en de moeilijkheidsgraad van de vragenlijst te verhogen. De score op de
grafiekkennisvragenlijst geeft een indicatie van de algemene kennis van grafieken waarover leerkrachten beschikken.
Eye-tracking. Eye tracking laat zien welke onderdelen van de grafieken de meeste visuele aandacht krijgen (Carpenter & Shah, 1998). De eye tracker registreert de oogfixaties en de duur daarvan. Door eye tracking samen te nemen met de think aloud methode kan gekeken worden of de gedachten van de leerkrachten, overeen komen met datgene waar ze ook met hun ogen aandacht aan besteden.
Bij de eye tracking in dit onderzoek werd er via een infraroodcamera gekeken op welke delen van de grafiek de leerkracht zijn ogen richtte. Het betrof hier een Tobii Eyetracker T120 die ingesteld was op 60 Hz. De nauwkeurigheid is tot op 0,5 graden en geeft aan wat de afwijking is tussen de gemeten oogfixatie en de daadwerkelijke oogfixatie. De nauwkeurigheid hangt daarbij ook samen met andere factoren, zoals het licht en de kwaliteit van de kalibraties. De leerkracht moest op 60 centimeter afstand van het scherm zitten, midden voor het scherm met de ogen halverwege het scherm bij het recht vooruit kijken.
Voor een score werd er gekeken naar hoe lang de leerkracht focuste op bepaalde delen van de grafiek (totale fixatieduur). Om deze score te kunnen bepalen werd de eye-tracking opname verwerkt in het computerprogramma Tobii Studio versie 3.2.1. Per grafiek werden de Areas of Interest (AOI’s) aangegeven. Dit zijn de onderdelen van de grafiek die van belang zijn voor de interpretatie van de grafiek zoals het doel, de data van de verschillende instructies en de algemene lay-out van de grafiek. Er werd een onderscheid gemaakt in twee groepen: het bekijken van de datapatronen van de grafiek en het bekijken van het kader van de grafiek voor zowel grafiek A als B. Bij de datapatronen horen de baseline gegevens, de datapunten (per instructie de lijnen met het aantal goede keuzes en aantal foute keuzes), het beginpunt en het doel. Bij het kader van de grafiek horen de legenda, de titels, de verticale lijnen binnen de grafiek, de x-as en de y-as. Voor dit onderzoek ligt de focus op het bekijken van de datapatronen, aangezien deze informatie de daadwerkelijke voortgang van de leerling weergeeft, wat belangrijk is bij het bepalen van de effectiviteit van de instructie. Om een totaal score te berekenen, werd van grafiek A en B het totaal aantal
seconden dat naar de datapatronen werd gekeken, gedeeld door het aantal seconden dat er in totaal naar de AOI’s werd gekeken. Vervolgens werd dit getal vermenigvuldigd met 100 procent om zo een percentage te krijgen van hoe lang de leerkrachten gemiddeld naar de datapatronen van de grafiek kijken.
Think-aloud. Bij de think-aloud methode werden de leerkrachten gevraagd hardop te vertellen wat zij zagen en hoe zij deze gegevens interpreteerden, terwijl zij naar de CBM-voortgangsgrafieken keken. Leerkrachten werden bij deze methode dus gevraagd om hardop te denken. Dit is een goede methode om te laten zien op welk deel van de gepresenteerde informatie voor de leerkrachten de focus ligt en hoe deze informatie wordt geïnterpreteerd (Fonteyn, Kuipers & Grobe, 1993). Het gaat om een directe expressie van de gedachten, zonder dat de leerkracht van zijn analyse van de grafieken wordt afgehaald (Ericsson & Simon, 1993).
Tabel 1
Think-aloud codes
Onderdeel grafiek Uitleg onderdelen Framing the data
Baseline Goal Setting Phase 0 Phase 1 Phase 2 Phase 3 Phase 4 Goal Achievement General Progress
Leerkracht bespreekt de opbouw van de grafiek, e.g. de x- en y-as, de titels en de legenda.
Leerkracht bespreekt het beginniveau van de leerling
Leerkracht bespreekt het doel en de doellijn
Leerkracht bespreekt de huidige instructie
Leerkracht bespreekt Aanpassing 1 Leerkracht bespreekt Aanpassing 2 Leerkracht bespreekt Aanpassing 3 Leerkracht bespreekt Aanpassing 4 Leerkracht bespreekt of het doel wel of niet bereikt is
Leerkracht bespreekt de totale groei
De opmerkingen die de leerkrachten maakten tijdens het bekijken van de
CBM-voortgangsgrafieken, werden achteraf uitgetypt en gecodeerd naar de besproken onderdelen van de grafiek. Een overzicht van de codes die horen bij de verschillende onderdelen van de
CBM-voortgangsgrafiek en een beschrijving van deze codes zijn weergegeven in Tabel 1. Na deze codering, werd er gekeken naar de volgorde waarin de opmerkingen werden gemaakt, om op die manier de samenhang van de interpretatie van de grafiek te bepalen. Hierbij werd de volgorde van de onderdelen zoals deze benoemd zijn in Tabel 1 aangehouden. Dit is namelijk de manier waarop CBM-data
geïnterpreteerd zou moeten worden om de voortgang van de leerling te evalueren en de effectiviteit van de instructie voor de betreffende leerling te bepalen. De logische samenhang van de grafiekinterpretaties van de leerkracht, wordt de sequentiële coherentie genoemd. Het aantal sequentieel coherente opmerkingen werd in verhouding gebracht met het totaal aantal gemaakte opmerkingen. Hieruit volgde een percentage wat aangaf in welke mate de leerkrachten de gewenste samenhang lieten zien in hun interpretaties van de grafieken. De coherentiepercentages voor grafiek A en grafiek B werden samen genomen en gedeeld door tweeën, en dit gemiddelde coherentiepercentage is vervolgens gebruikt in de analyses.
Statistische Analyses
De drie hoofdvariabelen in dit onderzoek zijn: kennis van grafieken (vragenlijstscore 0-24), interpretaties van CBM-voortgangsgrafieken (think aloud; sequential coherence percentage 0-100%) en het bekijken van CBM-voortgangsgrafieken (eye tracking; percentage bekijken datapatronen ten opzichte van alle AOI’s). Deze variabelen zijn numeriek. Om de verbanden tussen deze drie variabelen en
eventuele interactie-effecten te meten, werd er gebruik gemaakt van een mediatiemodel (zie Figuur 2). Hierbij was de variabele voor de samenhang van de grafiekinterpretaties (gemiddelde sequentiële coherentiepercentage van de think alouds) de afhankelijke variabele, het bekijken van de grafiek
(gemiddeld percentage kijken naar datapatronen ten opzichte van alle AOI’s) de mediator en de algemene grafiekkennis (score op de grafiekkennisvragenlijst) de onafhankelijke variabele. De onderlinge verbanden binnen het mediatiemodel zijn getoetst aan de hand van enkelvoudige regressies. Vervolgens werd het mediatie-effect getoetst met een multipele regressie.
Resultaten Data-inspectie
De variabele voor de algemene grafiekkennis werd gemeten door de score van de
grafiekkennisvragenlijst te berekenen. Uit de beschrijvende analyse bleek dat er sprake was van weinig variatie in de scores van de leerkrachten op de vragenlijst algemene grafiekkennis. Buiten twee afwijkend lage scores, scoorde de rest van de leerkrachten vrij hoog. Voor de vragenlijst van de algemene
grafiekkennis behaalden de leerkrachten een gemiddelde score van 20.38 (SD = .66) en varieerden hun scores van 11 tot 24, waarbij 81.0% van de leerkrachten boven de 20 scoorde. Om die reden is besloten alleen de drie meest discriminerende items van deze vragenlijst mee te nemen in de analyses. Dit waren de drie items die door de meeste leerkrachten fout werden beantwoord (items; 10,11 en 23). De score op deze drie items werd samengenomen en hier werd een nieuwe variabele van gemaakt voor de algemene
grafiekkennis met een range van 0-3. Het bekijken van de grafiek werd gemeten door een gemiddeld percentage van hoe lang er naar de datapatronen werd gekeken, ten opzichte van hoe lang er naar alle AOI’s is gekeken van grafiek A en B. De interpretaties van CBM-voortgangsgrafieken zijn gemeten door te kijken naar de samenhang van de grafiekinterpretaties, weergegeven door het gemiddelde sequentiële coherentiepercentage bij de think aloud voor grafiek A en B samen te berekenen.
De drie variabelen bleken normaal verdeeld zonder uitbijters. De variabele voor de algemene grafiekkennis had twee missende waarden, doordat twee leerkrachten de grafiekkennisvragenlijst niet hebben ingevuld. Om het mediatiemodel te toetsen, werden er twee enkelvoudige regressies uitgevoerd en twee multipele regressie. Bij deze regressies was er sprake van homoscedasticiteit, lineairiteit en normaal verdeelde residuenplots.
Data-analyses
Beschrijvende statistieken. Bij de selectie van de drie meest discriminerende items van de grafiekkennisvragenlijst, behaalden de leerkrachten een gemiddelde score van 1.43 (SD = .19) en varieerden hun scores van 0 tot 3. De sequentiële coherentie van de grafiekinterpretaties van de leerkrachten was gemiddeld 43.4% (SD = 6.67) met een range van 0 tot 100%. De leerkrachten keken gemiddeld 22.8% (SD = 1.81) van de totale tijd dat ze naar de grafieken keken, daadwerkelijk naar de AOI’s. Van de totale tijd dat er gekeken werd naar de AOI’s, werd er gemiddeld 43.1% (SD = 11.27) van de tijd naar de datapatronen van de grafieken en 56.9% (SD = 11.27) van de tijd naar het kader van de grafieken gekeken.
Figuur 3.Mediatiemodel met resultaten.
Mediatie. Om te kijken of er sprake is van een mediatiemodel, werd er aan de hand van regressies stapsgewijs de onderlinge verbanden bekeken. In Figuur 3 is het mediatiemodel nogmaals weergegeven met de bijbehorende resultaten van de enkelvoudige regressies. Als eerste stap werd er gekeken naar het verband tussen de algemene kennis van grafieken van de leerkrachten en de samenhang van hun
interpretaties van CBM-grafieken. Uit de enkelvoudige regressie blijkt dat de algemene grafiekkennis een significante voorspeller is voor de samenhang van de grafiekinterpretaties, β = .50, t(19) = 2.53, p = .021 (zie Figuur 3). Hoe hoger de grafiekkennis van de leerkracht was, hoe beter de samenhang van zijn interpretaties van de CBM-grafiek was. De verklaarde variantie voor dit verband is R² = .25, F(1,19) = 6.38, p = .021. Daarna werd er gekeken naar het verband tussen de algemene grafiekkennis van leerkrachten en het bekijken van de CBM-grafieken. Algemene grafiekkennis bleek geen significante voorspeller te zijn voor het bekijken van de grafiek, t(19) = -.21, p = .834 (zie Figuur 3). De derde stap, het verband tussen het bekijken van de grafiek en de samenhang van de grafiekinterpretaties,
gecontroleerd voor de algemene grafiekkennis, bleek ook niet significant te zijn, t(18) = -0.26, p = .796. Door het gebrek aan significante verbanden bij stap twee en drie, werd er geen multipele regressie (stap 4) gedaan. Als deze verbanden niet significant zijn, kan er namelijk geen sprake zijn van mediatie (Baron & Kenny, 1986).
Het doel van dit onderzoek was om inzicht te krijgen in de manier waarop leerkrachten voortgangsgrafieken bekijken en interpreteren en welke rol hun algemene kennis van grafieken hierin speelt. Uit deze studie is gebleken dat leerkrachten moeite hebben met interpreteren van CBM-voortgangsgrafieken. Daarnaast is gebleken dat hun algemene grafiekkennis van invloed was op de samenhang van de grafiekinterpretaties, maar niet op het bekijken van de grafieken. Er is geen verband gevonden tussen de samenhang van de interpretaties van CBM-grafieken en hoe de leerkrachten deze grafieken hebben bekeken.
Bekijken en Interpreteren van CBM-voortgangsgrafieken.
De leerkrachten uit de huidige onderzoeksgroep hadden gemiddeld gezien lage scores (M = 43.4% , SD = 6.67) voor de samenhang van hun interpretaties van de CBM-voortgangsgrafieken. Deze scores ondersteunen het idee dat het aflezen en interpreteren van voortgangsgrafieken een lastige opgave is en dat er veel kennis en vaardigheden bij komen kijken (Wayman, Espin, Deno, McMaster, Mahlke & Du, 2011). Daarnaast hebben de leerkrachten gemiddeld maar een klein deel van de tijd gekeken naar de belangrijke delen van de grafieken (AOI’s) en werd er minder dan de helft van deze tijd gekeken naar de datapatronen. De leerkrachten lijken hun aandacht minder te vestigen op belangrijke informatie.
Algemene Grafiekkennis en Bekijken van CBM-voortgangsgrafieken
Verwacht werd dat bij een grotere algemene grafiekkennis, er langer naar de belangrijkste delen van de grafiek zou worden gekeken, in dit onderzoek waren dit de datapatronen. De datapatronen
bestonden uit de baseline gegevens, de datapunten, het beginpunt en het doel. De datapatronen werden als de belangrijkste delen beschouwd omdat hierin de informatie over de voortgang van de leerlingen werd beschreven. Om een grafiek goed te kunnen begrijpen moeten de oogfixaties van de kijker verspreid zijn over de belangrijkste delen van de grafiek (Carpenter & Shah, 1998). Er werd in de huidige studie echter geen significant verband gevonden tussen deze twee variabelen. Een mogelijke verklaring voor het ontbreken van een significant verband kan gevonden worden door de manier waarop het concept ‘het bekijken van de grafieken’ gemeten is, verder te analyseren.
De leerkrachten keken gemiddeld genomen erg kort naar de AOI’s in verhouding tot de totale tijd dat er naar de grafiek gekeken werd. Dit is opvallend omdat de AOI’s samen alle onderdelen van de grafieken omvatten. Dit zou betekenen dat de leerkrachten gemiddeld ongeveer 80% van de tijd niet naar de daadwerkelijke onderdelen van de grafiek keken, maar naar de lege plekken op het scherm. Deze onlogische bevinding zou verklaard kunnen worden door de wijze waarop de AOI’s geconstrueerd zijn. In het computerprogramma Tobii Studio versie 3.2.1 zijn de AOI’s zeer nauwkeurig langs de delen van de grafiek getekend. Aangezien de nauwkeurigheid van de eyetracker bij het meten van oogbewegingen niet perfect is, is het mogelijk dat de AOI’s te krap getekend zijn, waardoor fixaties op een bepaald onderdeel van de grafiek, mogelijk net buiten de door de onderzoekers gedefinieerde AOI viel en daardoor niet
meegerekend zijn. De onderzoekers zijn dus mogelijk te nauwkeurig te werk gegaan bij het aangeven van de AOI’s waardoor de eye tracker de oogfixaties minder nauwkeurig kon registreren. Een mogelijkheid is de AOI’s ruimer in te tekenen, zodat de oogfixaties op de juiste wijze kunnen worden geregistreerd. (Tobii, 2012).
Er kan naast het verder analyseren van het kijkgedrag, ook gezocht worden naar een verklaring voor het uitblijven van het verband door te kijken naar hoe de algemene grafiekkennis werd gemeten. Naast de kennis over het aflezen van grafieken, zoals gemeten in de gebruikte vragenlijst voor algemene grafiekkennis, kan mogelijk ook kennis over de inhoud van de grafieken een rol spelen. In dit onderzoek zou het gaan over de kennis van de leerkrachten over (het presteren) van hun leerlingen en de kennis die de leerkrachten hebben van CBM. Voorkennis over de inhoud van de data grafieken kan zorgen voor diepgaandere analyses. Studenten trekken eerder conclusies over de belangrijke zaken uit grafieken met voor hen bekende informatie (Shah & Hoeffner, 2002). Kennis over de inhoud van de grafiek kan ook zorgen voor het beter selecteren van belangrijke informatie en het geven van betere interpretaties en conclusies over de grafieken (Canham & Hegarty, 2010; Shah & Freedman, 2011). De fixaties zullen daarbij selectief zijn op de belangrijkste delen van de grafiek. Mogelijk wanneer niet alleen de kennis van het aflezen van de grafieken maar ook de kennis over de inhoud van de data in de grafieken wordt getest, er een verband worden gevonden met het bekijken van de CBM-voortgangsgrafieken. Wanneer de leerkrachten te weinig kennis hebben over de inhoud van een CBM-grafiek en de voortgang van een leerling, weten ze waarschijnlijk ook minder goed naar welke delen van de grafiek ze moeten kijken. Algemene Grafiekkennis en CBM-grafiekinterpretaties.
De verwachting was dat een leerkracht met meer kennis en ervaring in het aflezen van grafieken, beter in staat zou zijn om de grafieken juist te interpreteren. Uit de literatuur blijkt dat betere kennis in het aflezen van grafieken, ervoor zorgt dat een iemand een samenhangende interpretatie van de grafiek kan geven (Xi, 2010; Wayman et al., 2011). In het huidige onderzoek werd deze verwachting bevestigd. Er bleek een significant verband te zijn tussen de algemene grafiekkennis van de leerkrachten en de
samenhang van hun grafiekinterpretaties. Kennis van en ervaring met het aflezen van grafieken spelen een rol bij het samenhangend en dus beter interpreteren van CBM-voortgangsgrafieken. De moeite die
leerkrachten hebben met het interpreteren van de data uit grafieken suggereert dat er op voorhand
bepaalde kennis moet worden aangeleerd om een grafiek uiteindelijk op samenhangende wijze te kunnen interpreteren.
Bekijken van Grafieken en Grafiekinterpretaties
De samenhang van grafiekinterpretaties en het bekijken van grafieken zouden mogelijk van invloed op elkaar kunnen zijn. De methoden die werden gebruikt om deze twee variabelen te meten (think aloud en eye tracking) worden in andere onderzoeken ook aan elkaar verbonden (Guan, Lee, Cuddihy &
Ramey, 2006). In het huidige onderzoek bleek er echter geen significant verband te zijn tussen de samenhang van de grafiekinterpretaties en het bekijken van de grafieken. De nauwkeurigheid van de eyetracker in combinatie met de nauwkeurigheid van de onderzoekers bij het aangeven van de AOI’s kan ook bij dit verband gezien worden als een mogelijke verklaring.
Een andere mogelijke verklaring kan zijn dat er in de huidige studie voor het bekijken van de grafieken alleen is gekeken naar hoelang de leerkrachten naar de datapatronen van de grafiek keken. Aangezien er bij de grafiekinterpretaties is gekeken naar de samenhang, zou het een logische vervolgsstap kunnen zijn om voor het bekijken van de grafiek ook te kijken naar volgorde. De volgorde waarin er naar de verschillende datapatronen en/of onderdelen van de grafiek werd gekeken en de samenhang van de interpretaties zijn wellicht wel aan elkaar gerelateerd.
Limitaties en Suggesties voor Vervolgonderzoek
Onderzoeksgroep. In totaal deden er 23 leerkrachten mee aan het onderzoek. Daarvan was het grootste deel vrouw en gaf les op een basisschool. De onderzoeksgroep is daardoor vrij beperkt in variatie en hoeveelheid. Om daadwerkelijk conclusies te kunnen generaliseren naar de populatie, zal de groep verder uitgebreid moeten worden met meer leerkrachten met variatie in achtergrondgegevens en op wat voor type school ze les geven.
Inhoud van de interpretaties. In het huidige onderzoek is er voornamelijk gekeken naar de samenhang van de interpretaties. Vanuit de literatuur blijkt dat samenhangende interpretaties een indicator zijn voor het juist interpreteren en begrijpen van de grafiek (Xi, 2010; Wayman et al., 2011). Samenhang van de interpretaties is echter niet de enige indicator om het begrip van de grafieken te testen. Voor een vervolgonderzoek is het ook interessant om te kijken naar de inhoud van de interpretaties. Dit geeft namelijk extra informatie over of de leerkracht de grafiek daadwerkelijk begrijpt en welke conclusies worden verbonden aan de informatie uit de grafiek. Leerkrachten kunnen namelijk een hoge score behalen voor de samenhang van hun interpretaties, terwijl bepaalde delen van de grafiek onbesproken blijven. Er zou in het vervolg gekeken moeten worden naar een combinatie van beide aspecten om een completer beeld te krijgen van de interpretaties die de leerkrachten van een CBM-voortgangsgrafiek geven.
Vragenlijst algemene grafiekkennis. Waarschijnlijk is de gebruikte vragenlijst te makkelijk geweest voor de huidige onderzoeksgroep. Voor de analyses is daarom gebruik gemaakt van de drie meest discriminerende items uit de vragenlijst. Dit zijn er mogelijk te weinig om de validiteit van de vragenlijst te behouden. Voor vervolgonderzoek zou er dus gekeken kunnen worden naar een andere vragenlijst of een uitbreiding van de huidige vragenlijst met moeilijkere items. Daarbij kan naast de kennis in het aflezen van grafieken ook de kennis over de inhoud van de data in de grafieken als factor worden
meegenomen, zoals hierboven benoemd. In dit geval is dit kennis van de leerling van wie de voortgang in de CBM-grafiek te zien is en kennis van CBM om de grafieken op de juiste manier te kunnen aflezen.
Implicaties
Vergroten kennis leerkrachten. Ondanks dat in dit onderzoek niet alle verbanden uit de literatuur worden bevestigd, kan er wel worden gezegd dat de leerkrachten over het algemeen gezien moeite hebben met het interpreteren van CBM-voortgangsgrafieken. Met de uitbreiding van het onderzoek, door het verbeteren van de limitaties, kunnen hier mogelijk meer gedetailleerde uitspraken over worden gedaan. In ieder geval kan gezegd worden dat zowel uit dit onderzoek, als uit andere
onderzoeken naar voren komt dat het interpreteren van grafieken moeilijkheden met zich mee brengt. Als leerkrachten moeite hebben met het interpreteren van de data, zou dit ervoor kunnen zorgen dat ze de data niet gebruiken bij het maken van beslissingen of dat zij beslissingen nemen die niet in overeenstemming zijn met de data (Stecker, Fuchs, & Fuchs, 2005). Leerkrachten dienen hierbij beter ondersteund te worden (Wayman, Espin, Deno, McMaster, Mahlke & Du, 2011). Uit onderzoek blijkt ook dat wanneer
leerkrachten eigen schattingen moeten geven van de vooruitgang van hun leerlingen, deze niet gelijk zijn aan de vooruitgang zoals gemeten in CBM (Graney, 2008). Gebruik maken van voortgangsgrafieken en het goed interpreteren van de gegevens uit dit soort grafieken is dus wel nodig en van groot belang ter aanvulling op de inschattingen van de leerkracht zelf. Foutieve inschattingen kunnen gevolgen hebben voor de eventuele aanpassingen die leerkrachten maken in hun onderwijs en het stimuleren van de toekomstige resultaten van de leerlingen in de weg staan. De resultaten van dit onderzoek wijzen erop dat leerkrachten meer hulp en training nodig hebben bij het interpreteren van grafieken om daadwerkelijk belangrijke beslissingen te kunnen nemen over de voortgang van hun leerlingen (Graney, 2008). Om dit te bewerkstelligen, kan er in het curriculum van de opleiding tot leerkracht en in cursussen voor de huidige leerkrachten aandacht besteed worden aan het werken met leerlingvolgsystemen en het aflezen en interpreteren van voortgangsdata weergegeven in grafieken.
Passend Onderwijs en opbrengstgericht werken. Het beter opleiden van de leerkrachten in het kunnen monitoren van de voortgang van hun leerlingen sluit ook aan bij de verwachtingen die vanuit het Passend Onderwijs worden gesteld. Leerkrachten dienen een bepaalde deskundigheid te hebben om de zorg te kunnen bieden die door de scholen moet worden ingevuld (Tweede Kamer der Stagen Generaal, 2011). Leerkrachten moeten continu op de hoogte zijn van de vooruitgang van hun leerlingen, hierop reflecteren en eventuele aanpassingen maken in hun onderwijs (Inspectie van het Onderwijs, 2010). Het is daarom van belang om in de opleiding van toekomstige leerkrachten genoeg aandacht te besteden aan het interpreteren en bekijken van voortgang leerlingen zodat leerkrachten goede en onderbouwde educatieve beslissingen kunnen nemen. Op deze manier kunnen leerkrachten hun leerlingen daadwerkelijk Passend Onderwijs bieden.
Baron, R. M., & Kenny, D. A. (1986). The moderator-mediator variable distinction in social psychological research: Conceptual, strategic and statistical considerations. Journal of Personality and Social Psychology, 51, 1173–1182.
Canham, M. & Hegarty, M. (2010). Effects of knowledge and display design on comprehension of complex graphics. Learning and Instruction, 20, 155-166. doi:0.1016/j.learninstruc.2009.02.014 Carpenter, P. A., & Shah, P. (1998). A model of the perceptual and conceptual processes in graph
comprehension. Journal of Experimental Psychology, 4(2), 75-100. doi:10.1037/1076-898x.4.2.75
Cito. (2011). Toelichting bij applicatie “betekenis geven aan cijfer”. Verkregen van
http://www.cito.nl/~/media/cito_nl/Files/Voortgezet%20onderwijs/Cito_toelichting_beteke nis_cijfers_2011.ashx.
Clarke, S. (2009). Using Curriculum-Based Measurement to improve achievement. Principal, 88(3), 30-33.
Deno, S.L. (1985). Curriculum-Based Measurement: The emerging alternative. Exeptional Children, 52, 219-232.
Deno, S. L. (2003). Curriculum-Based Measures: Development and perspectives. Assessment for Effective Intervention, 28, 3-12. doi: 10.1177/073724770302800302
Deno, S. L. (2003). Developments in Curriculum-Based Measurement. The Journal of Special Education, 37(3), 184-192. doi: 10.1177/00224669030370030801
Deno, S. L., Fuchs, L. S., Marston, D. & Shin, J. (2001). Using Curriculum-Based Measurement to establish growth standards for students with learning disabilities. School Psychology Review, 30(4), 507-524.
Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis; Verbal reports as data (revised edition). Cambridge, MA: Bradford books/MIT Press.
Espin, C. A., Wayman, M. M., & Campbell, H. (2011). Continue voortgangsevaluatie (CVE). In Evalueren om te leren: Toetsen en beoordelen op school (pp.167 – 178). Bussum: Uitgeverij Coutinho.
Foegen, A., Jiban, C. & Deno, S. (2007). Progress monitoring measures in mathematics: A review of literature. The Journal of Special Education, 41(2), 121-139.
doi:10.1177/00224669070410020101
Fonteyn, M. E., Kuiper, B. & Grobe, S. J. (1993). A description of think aloud method and protocol analysis. Qualitative Health Research, 3, 430-441. doi: 10.1177/104973239300300403
Galesic, M. & Garcia-Retamero (2011). Graph literacy: A cross-cultural comparison. Medical Decision Making, 31, 444-457. doi:10.1177/0272989x10373805
Glazer, N. (2011). Challenges with graph interpretation: A review of the literature. Studies in Science Education, 47(2), 183-210. doi:10.1080/03057267.2011.605307
Graney, S. B. (2008). General education teacher judgments of their low-performing students’ short-term reading progress. Psychology in the Schools, 45(6), 537-549. doi:10.1002/pits.20322
Guan, Z., Lee, S., Cuddiy, E. & Ramey, J. (2006). The validity of the stimulated retrospective think-aloud method as measured by eye tracking. CHI 2006 Proceedings, 1253-1262.
doi:10.1145/1124772.1124961
Hojnoski, R. L. & Missall, K. N. (2007). Monitoring preschoolers’ language and early literacy growth and development. Young Exceptional Children, 10(3), 17-27. doi:10.1177/109625060701000303 Inspectie van het Onderwijs (2010). Opbrengstgericht werken in het basisonderwijs: Een onderzoek naar
opbrengstgericht werken bij rekenen-wiskunde in het basisonderwijs. Utrecht: Inspectie van het Onderwijs.
Inspectie van het Onderwijs (2011). Opbrengsten, maak er werk van!. Utrecht: Inspectie van het Onderwijs.
Koninkrijk der Nederlanden (2012). Wet van 11 oktober 2012 tot wijziging van enkele onderwijswetten in verband met een herziening van de organisatie en financiering van de ondersteuning van
leerlingen in het basisonderwijs, speciaal en voortgezet speciaal onderwijs, voortgezet onderwijs en beroepsonderwijs. Staatsblad, 533, 1-74. Verkregen van http://www.passendonderwijs.nl/wp-content/uploads/2014/09/Wet-passend-onderwijs.pdf
Ledoux, G., Blok, H. & Boogaard, M. (2009). Opbrengstgericht werken: over de waarde van meetgestuurd onderwijs. Amsterdam: SCO-Kohnstamm Instituut.
McMaster, K. & Espin, C. (2007). Techinal features of Curriculum-Based Measurement in writing: A literature review. The Journal of Special Education, 41(2), 68-84.
doi:10.1177/00224669070410020301
Parette, H. P., Peterson-Karlan, G. R., Wojcik B. W. & Bardi, N. (2007). Monitor that progress!
Interpreting data trends for assistive technology decision making. Teaching Exceptional Children, 40(1), 22-29.
Shah, P., & Hoeffner, J. (2002). Review of graph comprehension research: Implications for instruction. Educational Psychology Review, 14(1), 47-69. doi:1040-726x/02/0300-0047/0
Shah, P. & Freedman, E. G. (2011). Bar and line graph comprehension: an interaction of top-down and bottom-up processes. Topics in Cognitive Science, 3, 560-578.
Stecker, P. M., Fuchs, L. S. & Fuchs, D. (2005). Using Curriculum-Based Measurement to improve student achievement: Review of research. Psychology in the Schools, 42(8), 795-819. doi:10.1002/pits.20113
Tobii (2012). User Manual – Tobii Studio. Verkregen van
http://www.tobii.com/Global/Analysis/Downloads/User_Manuals_and_Guides/Tobii_UserManua l_TobiiStudio3.2_301112_ENG_WEB.pdf
Tweede Kamer der Staten Generaal (2011). Wijziging van enkele onderwijswetten in verband met een herziening van de organisatie en financiering van de ondersteuning van leerlingen in het basisonderwijs, speciaal en voortgezet speciaal onderwijs, voortgezet onderwijs en beroepsonderwijs. Verkregen van
http://www.passendonderwijs.nl/wp-content/uploads/2014/09/Memorie-van-toelichting.pdf
Wayman, M. M., Espin, C., Deno, S., McMaster, K., Mahlke, A. & Du, X. (2011). Teachers’
understanding of Curriculum-Based Measurement progress monitoring data. (RIPM 4-030). Verkregen van Universiteit van Minnesota, The College of Education & Human Development website: http://progressmonitoring.org/pdf/TR30ThinkAloud.pdf.
Wayman, M. M., Wallace, T., Wiley, H. I., Tichá, R. & Espin, C. A. (2007). Literature synthesis of Curriculum-Based Measurement in reading. The Journal of Special Education, 41(2), 85-120. doi:10.1177/00224669070410020401
Xi, X. (2010). Aspects of performance on line graph description tasks: Influenced by graph familiarity and different task features. Language Testing, 27(1), 73-100.
