In hoeverre meten leesvaardigheidstoetsen tekstbegrip? : een onderzoek naar de aspecten van tekstbegrip die door verschillende toetsen gemeten worden

In hoeverre meten leesvaardigheidstoetsen tekstbegrip?

Een onderzoek naar de aspecten van tekstbegrip die door

verschillende toetsen gemeten worden.

Masterscriptie Onderwijskunde Universiteit van Amsterdam P. Hooft van Huysduynen Prof. dr. G. Rijlaarsdam Amsterdam, augustus 2014

Inhoudsopgave

Samenvatting (Nederlands en Engels) ……….……3

1. Inleiding ………4

2. Theoretisch kader ………...…………6

2.1. Tekstbegrip ………..…………6

2.2. Toetsen van tekstbegrip ……….7

2.3. DIME-Model om toetsen mee te analyseren ………...…………9

3. Methode ………..…………12

3.1 Tekstbegriptoetsen ………12

3.2 Instrumentatie ………...………13

3.2.1 Variabele 1: tekstbegrip ………..14

3.2.2 Variabele 2: voorkennis ………..14

3.2.3 Variabele 3: verbanden kunnen leggen ………15

3.2.4 Variabele 4: leesstrategieën ……….15 3.2.5 Variabele 5: woordenschat ……….…16 3.2.6 Variabele 6: vakkennis ………..…16 3.3 Teksten ……….17 3.3.1 Woorden in de teksten ………..…17 3.3.2 Tekstlengte ………...…18 3.3.3 Gemiddelde zinslengte ………..……19 3.4 Procedure ……….……19 4. Resultaten ……….…….20

4.1 Deelvraag 1: Wat is het aandeel pure tekstbegripvragen per leerjaar en varieert dit aandeel over de leerjaren binnen het schoolvak Nederlands? ………...20

4.2 Deelvraag 2: Wat is het aandeel pure tekstbegripvragen per onderwijsniveau en varieert dit aandeel over de leerjaren binnen het schoolvak Nederlands? ….…22

4.3 Deelvraag 3: In hoeverre verschillen de teksten qua moeilijkheid wat de verschillende leerjaren en onderwijsniveaus betreft? ……….………26

4.3.1 Woorden ……….……….26

4.3.2 Gemiddelde zinslengte ………27

4.3.3 Tekstlengte en aantal teksten ……….27

4.4 Deelvraag 4: Wat is het aandeel pure tekstbegripvragen in leerjaar drie van het vwo bij een zaakvak en varieert dit aandeel met de tekstbegriptoetsen? …..…………29

5. Conclusie en discussie ……….………30

6. Aanbevelingen ………..…………....32

7. Literatuurlijst ………..………33

In hoeverre meten leesvaardigheidstoetsen tekstbegrip? Een onderzoek naar de aspecten van

tekstbegrip die door verschillende toetsen gemeten worden.

Eindexamens Nederlands lijken niet per se te meten in hoeverre leerlingen goed zijn in

tekstbegrip. In dit onderzoek wordt nagegaan of tekstbegrip aan de orde komt in de eerste drie

leerjaren van het voortgezet onderwijs. De auteur heeft negen tekstbegriptoetsen (Nieuw

Nederlands, vierde editie) geanalyseerd van de volgende leerjaren: 1 tot en met 3 vmbo-tl, 1 tot

en met 3 havo en 1 tot en met 3 vwo. De analyse heeft betrekking op de vragen die bij de teksten

in de toetsen worden gesteld en de moeilijkheid van de teksten zelf. De vragen zijn geanalyseerd

aan de hand van het direct and inferential mediation (DIME) model (Cromley & Azevedo,

2007). Er zijn hierbij zes variabelen onderscheiden: tekstbegrip, woordenschat, voorkennis,

leesstrategieën kunnen toepassen, verbanden kunnen leggen en vakkennis. De moeilijkheid van

de teksten is bepaald aan de hand van drie variabelen: tekstlengte, bekendheid van de woorden

en de lengte van de zinnen. Het blijkt dat de toetsen veel vragen bevatten die vakkennis (40,80

%) en het kunnen toepassen van een leesstrategie (37,03 %) meten. Weinig vragen daarentegen

blijken direct tekstbegrip te meten (3,15 %). De teksten worden naarmate het leerjaar en het

onderwijsniveau stijgt niet per se moeilijker: de gemiddelde zinslengte en tekstlengte nemen toe,

maar het percentage woorden dat onbekend is wordt juist lager.

Kernbegrippen: tekstbegrip, tekstbegriptoetsen

To which extent do reading test measure text comprehension? An investigation into the aspects

of comprehension measured by different tests.

Final exams in the Dutch Language do not seem to reflect that students have a good

understanding of the texts given. This study examines whether comprehension is a part of the

curriculum in the first three years of secondary education. The author has analyzed nine

comprehension tests (Nieuw Nederlands, fourth edition) of the following grades: 1 to 3 vmbo-tl,

1 to 3 havo, and 1 to 3 vwo. The analysis covers (1) the questions asked in the keys to the texts

and (2) the difficulty of the texts themselves. The questions are analyzed on the basis of the

direct and inferential mediation (DIME) model (Cromley & Azevedo, 2007). There are six

variables distinguished here: reading comprehension, vocabulary, background knowledge,

reading strategies, inference and knowledge of the school subject. The difficulty of the texts is

determined by three variables: text length, prominence of the words and the length of the

sentences. It appears that the keys contain many questions that measure knowledge of the school

subject (40.80%) and the ability to apply a reading strategy (37.03%). On the other hand few

questions appear to measure the text comprehension directly (3.15%). As the year’s course

advances and the level of education increases the texts do not become more difficult: the average

sentence and text lengths increase, but the percentage of unknown words actually decreases.

1. Inleiding

Van Oostendorp (2013) heeft een petitie aan de Tweede Kamer aangeboden – die door vakgenoten is ondertekend – om zijn ongenoegen te uiten over het eindexamen Nederlands. Uit de brief blijkt dat een aantal hoogleraren twijfelt of vragen over de tekststructuur inderdaad meten hoe goed een leerling is in het begrijpen van een tekst. Daarnaast worden er in de petitie kritische opmerkingen geplaatst over de manier waarop de vragen worden gesteld: kunnen meerkeuzevragen wel laten zien of iemand een tekst heeft begrepen? (Houtekamer, 2013). Hoewel niet alle deskundigen van mening zijn dat het eindexamen Nederlands niet deugt, zijn ze het wel met elkaar eens dat de manier waarop tekstbegrip het best gemeten kan worden nog niet bekend lijkt te zijn (Pander Maat, Evers-Vermeul & Sanders, 2013).

In 2005 hebben Kamalski, Sanders, Lentz en Van den Bergh een onderzoek gepubliceerd waarin vier methoden om tekstbegrip te meten met elkaar werden vergeleken. Zij concludeerden dat de manier waarop tekstbegrip op het huidige eindexamen getoetst wordt, namelijk door bij een tekst open en gesloten vragen te stellen, de minst goede manier is. Hun kritiekpunten waren de volgende: deze toetsvorm bleek de laagste interne betrouwbaarheid te hebben in vergelijking met andere toetsvormen, bleek weinig samenhang te hebben met de andere onderzochte toetsvormen en de toetsvorm bleek weinig in staat om de variatie tussen de capaciteiten van de leerlingen te kunnen aangeven (Kamalski et al., 2005, p. 8).

Dat het eindexamen Nederlands niet de beste manier is om tekstbegrip te meten, is een

zorgwekkende conclusie. Ten eerste omdat er erg veel van het eindexamencijfer afhangt: de toets - waar de tekst met vragen een groot onderdeel van is - bepaalt namelijk voor vijftig procent het eindcijfer. Hierbij komt dat er sinds het schooljaar 2012/2013 een strengere regeling voor het vak Nederlands geldt vergeleken met de meeste andere vakken: een leerling is geslaagd wanneer hij of zij maximaal één vijf heeft als eindcijfer voor een van de vakken Engels, Nederlands of wiskunde. Zorgwekkend is de

conclusie van Kamalski et al. (2005) ook omdat het vragen oproept over de inhoud van het onderwijs wat betreft tekstbegrip. Het is van belang om hierover na te denken en onderzoek hiernaar te doen aangezien begrijpend lezen een vaardigheid is die noodzakelijk is voor het succesvol afronden van elke

vervolgopleiding (Cromley & Azevedo, 2007).

Wanneer op het eindexamen Nederlands leesvaardigheid niet op de meest valide manier wordt gemeten, is het belangrijk om te weten wat leerlingen nu eigenlijk gedurende hun hele schoolcarrière leren over deze vaardigheid. Hoewel toetsen nooit alles kunnen meten wat leerlingen is bijgebracht (Koretz, 2009), is het wel het streven van het onderwijs dat een toets het geleerde zoveel mogelijk inzichtelijk kan maken. Op dit moment is het onduidelijk wat het verband is tussen de tekstbegriptoets en wat leerlingen over leesvaardigheid is geleerd. Het zou kunnen zijn dat de manier waarop leesvaardigheid op het eindexamen wordt gemeten overeenkomt met de manier waarop leerlingen leesvaardigheid wordt onderwezen. Dit zou kunnen betekenen dat, in ieder geval bij het vak Nederlands, niet de vaardigheid onderwezen wordt die hen helpt om teksten te begrijpen. Maar het is ook mogelijk dat leerlingen op meerdere manieren wordt geleerd hoe ze een tekst moeten lezen om deze te begrijpen en dat de

eindexamenopdracht niet direct aansluit op het onderwijs over begrijpend lezen. Dit zou kunnen wijzen op een gebrek aan inhoudsvaliditeit van de toets.

Leesvaardigheid is niet een vaardigheid die pas aan het eind van het voortgezet onderwijs wordt onderwezen. Integendeel, in het primair onderwijs worden leerlingen al onderwezen over leesvaardigheid en worden ze getoetst op tekstbegrip. Deze lijn wordt vervolgens in het voortgezet onderwijs

Daarnaast maken leerlingen gedurende hun middelbare schoolcarrière toetsen bij andere vakken, zoals geschiedenis en aardrijkskunde, aan de hand waarvan wordt nagegaan hoe goed ze de leerstof begrijpen. Vakken als aardrijkskunde en geschiedenis worden zaakvakken genoemd. Dit zijn vakken waar teksten een prominente rol innemen, de leerlingen bestuderen teksten waarin de vakkennis staat beschreven. Bij deze zaakvakken is dus niet uit te sluiten dat de leerlingen instructie krijgen over hoe ze moeten lezen om de te bestuderen teksten te begrijpen.

Het onderwijs heeft verschillende doelen met leesvaardigheidsonderwijs: het gaat zowel om de kennis over de wereld zoals deze in schoolvakken verwoord is te vergroten als om strategieën aan te leren die gebruikt kunnen worden bij het lezen van andere teksten. Het leren om teksten zo te lezen dat deze begrepen worden, is in het onderwijs dus een middel – zoals bij zaakvakken als geschiedenis en aardrijkskunde (Land, 2009, p. 79) – en een doel – zoals bij het vak Nederlands en bij andere talen.

In dit onderzoek wordt nagegaan wat leerlingen in de eerste drie jaren van het voortgezet onderwijs leren over leesvaardigheid. Het gaat in directe zin over tekstbegriptoetsen en daarmee indirect over leesvaardigheidsonderwijs, aangezien toetsen zouden moeten meten wat is onderwezen. De

aanleiding voor dit onderzoek is dat op het eindexamen wordt gesuggereerd dat het construct tekstbegrip getoetst wordt, hoewel het onduidelijk is in hoeverre deze toets meet wat leerlingen geleerd zouden moeten hebben wat betreft het leren begrijpen van een tekst. Omdat goed kunnen lezen een zeer belangrijke vaardigheid is voor succes in het onderwijs en in de maatschappij is het de taak van het onderwijs dat goed lezen iets is dat leerlingen geleerd wordt. Door te kijken naar wat leerlingen geleerd wordt in de eerste jaren van het voortgezet onderwijs op het gebied van leesvaardigheid kan er meer gezegd worden over de kwaliteit van het leesvaardigheidsonderwijs dan wanneer alleen gekeken wordt naar het eindexamen.

De vraag van dit onderzoek is dan ook: wat leren leerlingen in het voortgezet onderwijs over leesvaardigheid? Het zou goed kunnen zijn dat leerlingen in de jaren voorafgaand aan het eindexamen met name op deze eindtoets worden voorbereid, daarom zal dit onderzoek gaan over tekstbegriptoetsen die bij leerlingen in de onderbouw worden afgenomen. Door toetsen die in de eerste, tweede en de derde klas worden afgenomen te analyseren, wordt inzichtelijk gemaakt wat de opvattingen over het construct tekstbegrip zijn bij toetsontwikkelaars. Het zou kunnen zijn dat deze toetsen, net als het eindexamen, minder met tekstbegrip te maken hebben dan wenselijk is. Aan de andere kant zou het ook kunnen zijn dat de toetsen meer constructvalide zijn dan het eindexamen, wat zou kunnen betekenen dat leerlingen wel de handvatten wat vaardig kunnen lezen betreft mee krijgen bij het vak Nederlands om te kunnen functioneren in de maatschappij en het vervolgonderwijs.

Om de tekstbegriptoetsen te kunnen analyseren, zal gebruikgemaakt worden van een theoretisch model dat is ontwikkeld door Cromley en Azevedo (2007). Hun Direct and Inferential Mediation Model of Reading Comprehension, kortweg DIME-model genoemd, is gebaseerd op 98 onderzoeken naar tekstbegrip en de variabelen die er mede voor zorgen dat een tekst begrepen wordt. Tekstbegrip is namelijk een breed construct dat door meerdere variabelen tot stand komt. Het DIME-model brengt in kaart welke variabelen volgens onderzoek tekstbegrip zowel direct als indirect bewerkstelligen.

De hoofdvraag van dit onderzoek is: in hoeverre meten leesvaardigheidstoetsen tekstbegrip? Oftewel, hoe is de verhouding tussen tekstbegripvragen en vragen die vermoedelijk iets anders meten? De vier subvragen die deze onderzoeksvraag ondersteunen, zijn:

1) Wat is het aandeel pure tekstbegripvragen per leerjaar en varieert dit aandeel over de leerjaren binnen het schoolvak Nederlands? Het antwoord bevat het aandeel

tekstbegripvragen in de toetsen aansluitend bij drie verschillende leerjaren: leerjaar één, leerjaar twee en leerjaar drie.

2) Wat is het aandeel pure tekstbegripvragen per onderwijsniveau en varieert dit aandeel over de leerjaren binnen het schoolvak Nederlands? Het antwoord bevat het aandeel

tekstbegripvragen in de toetsen aansluitend bij drie verschillende onderwijsniveaus: vmbo-tl, havo en vwo.

3) In hoeverre verschillen de teksten qua moeilijkheid wat de verschillende leerjaren en de verschillende onderwijsniveaus betreft? Het antwoord bevat gemiddelden met betrekking tot de moeilijkheid van de verschillende teksten die bij de tekstbegriptoetsen horen.

4) Wat is het aandeel pure tekstbegripvragen in leerjaar drie van het vwo bij een zaakvak en varieert dit aandeel met de tekstbegriptoetsen?

Deze vragen worden gesteld om een zo compleet mogelijk beeld te krijgen van wat leerlingen in de onderbouw van het voortgezet onderwijs op het gebied van leesvaardigheid leren. De verwachting is dat de tekstbegriptoetsen die bij het vak Nederlands worden afgenomen wellicht andere aspecten van leesvaardigheid meten dan de toetsen die bij zaakvakken worden afgenomen aangezien deze vakken een ander leerdoel hebben. Aan de andere kant is de verwachting ook dat er overeenkomsten zullen zijn tussen de toetsen en opdrachten aangezien ze allen in kaart willen brengen in hoeverre een tekst begrepen is.

Meer kennis over de tekstbegriptoetsen die op dit moment worden gebruikt, is zowel voor de wetenschap als voor de onderwijspraktijk van belang. Voor de wetenschap is het noodzakelijk om een zo valide mogelijke test te hebben om tekstbegrip te meten omdat er vaak niet genoeg tijd is om deelnemers aan meerdere testen te onderwerpen. De test die wordt afgenomen moet dus zo valide mogelijk zijn om aan de hand van de resultaten uitspraken te kunnen doen over het construct tekstbegrip en om deze resultaten te kunnen vergelijken met andere onderzoeken naar tekstbegrip (Cain & Oakhill, 2006 en Cromley & Azevedo, 2007).

Voor de onderwijspraktijk is het ook noodzakelijk om meer te weten te komen over de validiteit van de toetsen die worden afgenomen aangezien de resultaten onder andere worden gebruikt bij

beslissingen over de schoolloopbanen van individuele leerlingen. Doordat er dus veel waarde aan de toetsen wordt gehecht en er voor de leerlingen veel van de behaalde resultaten afhangt, is het van belang dat ze deugen en dat bekend is wat ze precies meten. Daarnaast zou meer precieze informatie over de constructvaliditeit van de tekstbegriptoetsen ook toetsontwikkelaars kunnen helpen bij het ontwerpen van nieuwe toetsen.

2. Theoretisch kader

2.1 Tekstbegrip

Begrijpend lezen is een vaardigheid die moeilijk te omschrijven is. Dit komt doordat het construct tekstbegrip erg breed is en er verscheidene cognitieve processen een rol spelen bij het begrijpen van een tekst (Keenan, Betjemann & Olson, 2008).

Het begrijpen van een tekst is iets anders dan het reproduceren van een tekst. Volgens Kintsch (1994) is tekstbegrip te zien als het leren van teksten. Hiermee bedoelt hij dat iemand in staat is om de

gelezen informatie te integreren met de kennis die deze persoon al heeft en te gebruiken in nieuwe situaties. Het verschil met het onthouden en reproduceren van een tekst is dat voor het leren van een tekst een dieper begrip van het onderwerp nodig is. Hoewel er een correlatie is tussen het onthouden en begrijpen van een tekst, is het niet noodzakelijk om een tekst te onthouden om er wel van te leren en vice versa (Kintsch, 1994).

De definitie van tekstbegrip als het leren van een tekst impliceert dat elk individu een andere betekenis aan een tekst geeft aangezien elk individu andere voorkennis heeft. Er zijn dan ook oneindig veel betekenissen die verschillende mensen die allen de tekst begrepen hebben aan een tekst kunnen geven. Zelfs wanneer mensen dezelfde strategieën gebruiken om een betekenis aan een tekst geven kan de betekenis die aan de tekst gegeven wordt, verschillen (Royer & Cunningham, 1981).

Wel is de betekenis die iemand aan een tekst geeft, te beoordelen. Het gaat namelijk om het proces van betekenisverlening; wie meer kennis heeft, verricht een kwalitatief beter

betekenis-verleningsproces dan wie minder kennis heeft. Caillies, Denhière en Kintsch (2002, p. 268) bespreken dit proces aan de hand van de Construction–integration theorie van Kintsch. Deze theorie beschrijft hoe voorkennis wordt gebruikt bij het begrijpen van een tekst: voorkennis en de te lezen tekst worden voorgesteld als associatieve cirkels van informatie die samen één worden in het hoofd van de lezer. Dit proces bestaat uit twee elementen: constructie en integratie. Constructie houdt in dit geval in dat de tekst gelezen wordt en dat voorkennis wordt geactiveerd. Integratie betekent dat er informatie uit beide bronnen geselecteerd wordt en dat deze twee informatiebronnen met elkaar in verband worden gebracht zodat er een coherent geheel ontstaat. Zoals Caillies et al. (2002) beschrijven, wordt het werkgeheugen in dit model voorgesteld als een zaklamp die zin voor zin de tekst belicht en al construerend en integrerend tot een mentale representatie van de tekst komt. Op deze manier wordt de gelezen tekst onthouden en gebruikt in een andere situatie. Dit model laat dus zien dat de hoeveelheid voorkennis die een lezer heeft over het onderwerp van de tekst van invloed is op de kwaliteit van het tekstbegrip en de coherentie van de mentale representatie. Kennis van de wereld hebben, is daarom noodzakelijk voor het begrijpen van een tekst.

Het kunnen begrijpen van een tekst is een vaardigheid die niet op zichzelf staat. Om een tekst te kunnen begrijpen, is het beheersen van andere vaardigheden van belang. Een aantal van de meest

fundamentele cognitieve en taalvaardigheden die mede bepalen hoe goed een leerling een tekst begrijpt en een tekstbegriptoets maakt, zijn onder andere: de grootte van de woordenschat, het gemak waarmee woorden worden gelezen en hoe goed iemand is in het maken van toetsen an sich (Cain & Oakhill, 2006). De volgende paragraaf gaat over het toetsen van tekstbegrip en dan met name over de moeilijkheden bij het bepalen van de constructvaliditeit van dergelijke toetsen.

2.2 Toetsen van tekstbegrip

De redenen om te meten hoe goed een leerling is in begrijpend lezen, kunnen verschillen. Een

tekstbegriptoets kan dienen als diagnostisch instrument om na te gaan of iemand problemen heeft met lezen en zo ja, wat de problemen zouden kunnen zijn. Een toets kan daarnaast gebruikt worden om de voortgang van een leerling op het gebied van lezen in kaart te brengen. Een dergelijke toets dient dus om de leesvaardigheid te beoordelen (Cain & Oakhill, 2006 en Royer & Cunningham, 1981). Ten derde kan een tekstbegriptoets gebruikt worden om te bepalen in hoeverre een leerling de kennis heeft verworven die de tekst in principe aanlevert. Dit geldt met name voor het lezen bij zaakvakken.

Behalve dat de doelen om te meten hoe goed iemand is in tekstbegrip kunnen verschillen, kunnen ook de doelgroepen voor wie de resultaten van de toetsen van belang zijn, verschillen. Toetsen kunnen specifiek geschikt zijn om iets te zeggen over de capaciteiten van groepen leerlingen – bijvoorbeeld over een school, een regio of een land. Of ze zijn juist geschikt om inzicht te krijgen in de capaciteiten van een individuele leerling. Dit zijn verschillende toetsen, omdat ‘(A)dding large, complex, demanding tasks to an assessment may extend the range of skills you can assess, but at the cost of making information about individual students less trustworthy’ (Koretz, 2009, p. 13-14).

Een tekstbegriptoets kan dus een score geven die interessant is voor de individuele leerling die de toets gemaakt heeft, zoals bij een diagnostische toets, of een score geven die gebruikt kan worden om iets te zeggen over een specifieke groep, dit zijn gestandaardiseerde toetsen. De verschillende toetsdoelen die samenhangen met de doelgroep voor wie de toets informatie geeft, bepalen welke tekstbegriptoets het meest geschikt is (Royer & Cunningham, 1981).

De ideale situatie zou zijn als er voor elke doelgroep en elk doel een geschikte toets zou bestaan. Maar deze situatie is nog niet bereikt. De eerdergenoemde complexiteit van het construct tekstbegrip zal waarschijnlijk een reden zijn voor het ontbreken van perfecte toetsen. Cain en Oakhill (2006) stellen dat het haast onmogelijk lijkt om een meetinstrument te ontwikkelen dat puur het construct tekstbegrip meet. De verschillende resultaten op een toets hoeven namelijk niet per se iets te zeggen over de manier waarop een leerling een tekst heeft gelezen en proberen te begrijpen maar kunnen ook veroorzaakt zijn door de verschillen in de voorkennis (Royer en Cunningham, 1981).

Volgens Keenan et al. (2008) zijn toetsontwikkelaars wel op de hoogte van deze complexiteit maar wordt deze in de praktijk genegeerd. Tekstbegriptoetsen suggereren dan ook dat ze alle hetzelfde construct meten, terwijl tekstbegrip zo’n breed construct is dat het onmogelijk is dat elke tekstbegriptoets dezelfde vaardigheid of mate van vaardigheid meet (Keenan et al., 2008).

Dat een tekstbegriptoets niet een eenduidig construct meet omdat leesvaardigheid ook te maken heeft met bijvoorbeeld voorkennis en het gebruiken van strategieën, is het bij het toetsen van tekstbegrip erg lastig om te bepalen hoe hoog de constructvaliditeit is. Om dit type validiteit te kunnen beoordelen, heeft men een definitie nodig van tekstbegrip (Leslie & Caldwell, 2008). Een adequate definitie is die van Kintsch (1994): het leren van een tekst. Uitgaande van deze definitie zou onderzocht kunnen worden hoe te meten is hoeveel informatie uit de tekst nieuw is voor de lezer en wat hij of zij hiervan heeft geleerd.

Een complexiteit bij het bepalen van de constructvaliditeit van een toets is dat tekstbegriptoetsen uit twee onderdelen bestaan: de vragen én de tekst. De tekst is een belangrijk onderdeel van de

tekstbegriptoets aangezien er gemeten wordt of deze is begrepen middels de vragen. Elke tekst is anders en elke tekst wordt dus ook anders begrepen. Toch moet een toets zo valide mogelijk zijn, oftewel een adequaat instrument zijn om tekstbegrip te meten ongeacht de tekst zelf (Leslie & Caldwell, 2008). Bij het onderzoeken van de constructvaliditeit van een tekstbegriptoets zal er dus ook gekeken worden naar specifieke tekstkenmerken als de moeilijkheid van de woorden en de tekstlengte.

Wat de vragen betreft, geldt het probleem dat de manier van toetsen beïnvloedt hoe een leerling de tekst leest. Een leerling lijkt zich ten doel te stellen dat de vragen goed gemaakt worden, idealiter zou dit leesdoel overeen moeten komen met het willen begrijpen van de tekst. Maar het kan volgens Leslie en Caldwell (2008) goed zijn dat een leerling die een tekst wil begrijpen een andere leesstrategie gebruikt dan wanneer hij of zij een tekstbegriptoets maakt. Dit zou kunnen betekenen dat de toets iets anders meet dan wenselijk is.

In de volgende paragraaf wordt het DIME-Model besproken. Dit model maakt inzichtelijk hoe de vaardigheden die iemand moet hebben ontwikkeld om een tekst te kunnen begrijpen en de mate van voorkennis met elkaar samenhangen.

2.3 DIME-Model om toetsen mee te analyseren

Het model van Cromley en Azevedo (2007) zou kunnen helpen bij het interpreteren van een score op een tekstbegriptoets. Dit is namelijk een op vele onderzoeken gebaseerd model dat laat zien door welke variabelen tekstbegrip tot stand komt. Dit model heet het Direct and Inferential Mediation Model of Reading Comprehension (DIME-model) omdat het de variabelen laat zien die allen zowel direct als indirect van belang zijn voor tekstbegrip. Dit zijn de volgende variabelen: (1) de voorkennis die een lezer over het onderwerp van de tekst heeft, (2) het toepassen van leesstrategieën bij het lezen, (3) het kunnen leggen van verbanden binnen een tekst en tussen de tekst en de eigen voorkennis, (4) de grootte van de woordenschat van een lezer en (5) hoe goed een lezer is in technisch lezen.

Zoals in het model te zien is (figuur 1), zijn er paden aangegeven tussen de verschillende variabelen. Deze paden geven aan welke directe en indirecte verbanden er zijn tussen tekstbegrip en de andere vier variabelen. Hoewel het DIME-model in dit onderzoek niet gebruikt wordt om te verklaren hoe tekstbegrip tot stand komt maar om tekstbegriptoetsen te analyseren op wat ze precies meten, is het model waardevol in dit onderzoek. De paden tussen de variabelen onderling en die tussen de vijf specifieke variabelen en het construct tekstbegrip laten namelijk zien dat een tekstbegriptoets niet één variabele meet maar indirect ook andere variabelen.

Het DIME-Model helpt bij het bepalen van het onderscheid tussen directe en indirecte effecten aangezien het laat zien welke andere variabelen veel invloed hebben op tekstbegrip en hoe deze met elkaar zijn verbonden. Het model brengt in kaart dat tekstbegrip een construct is dat vooral door vijf variabelen wordt bepaald waarvan een aantal elkaar ook kan beïnvloeden. Dit betekent dat een

tekstbegriptoets, afhankelijk van de soort vragen, in meer of mindere mate deze vijf variabelen kan mee meten. Hieronder worden de vijf variabelen in directe en indirecte relatie tot tekstbegrip besproken.

Voorkennis (Background knowledge)

Met voorkennis wordt de kennis bedoeld die een leerling al heeft voordat de tekst wordt gelezen. Dit is een heel breed begrip waar zaken als de betekenis van de woorden, de tekstsoort en de boodschap van de tekst onder vallen (Royer & Cunningham, 1981). Alle kennis die een lezer al heeft en die bewust of onbewust gebruikt wordt tijdens het lezen is te zien als voorkennis. Deze kennis heeft een directe samenhang met tekstbegrip (pad 1) en hangt daarnaast indirect samen met de andere vier variabelen die een cruciale rol spelen bij tekstbegrip (pad 2, 3, 11 en 12).

Het directe effect van voorkennis op tekstbegrip is onder andere gemeten in een onderzoek waarbij de ene groep voor het lezen een presentatie kreeg over het onderwerp van de tekst en de andere groep dezelfde tekst kreeg te lezen zonder de presentatie. Het bleek dat de eerste groep significant meer vragen goed had na afloop van het lezen dan de andere groep (Cromley & Azevedo, 2007, p. 312). Voorkennis is volgens dit model dus niet zo breed als Royer en Cunningham (1981) het zien, maar enkel als kennis die de lezer heeft over het onderwerp van de tekst. Deze definitie zal in dit onderzoek ook gebruikt worden.

Bij het beoordelen welke en in welke mate voorkennis direct invloed heeft op de

constructvaliditeit van een tekstbegriptoets moet ervan uit worden gegaan dat voorkennis een vereiste is voor het begrijpen. Maar de voorkennis die vereist wordt bij de toets, zou zo algemeen bekend mogelijk moeten zijn om vertekening van de resultaten voor tekstbegrip te voorkomen (Royer & Cunningham, 1981).

Figuur 1. DIME-Model (Cromley en Azevedo, 2007, p. 313).

Leesstrategieën (Strategies)

Leerlingen aan wie geleerd is welke leesstrategieën ze tijdens het lezen kunnen gebruiken, scoren beter op tekstbegriptoetsen dan leerlingen die hier niet over zijn onderwezen. Ook schijnt het zo te zijn dat

leerlingen die leesstrategieën gebruiken tijdens het lezen gemiddeld meer hebben begrepen van een tekst dan leerlingen die dit niet doen. Dit zijn de conclusies uit 52 onderzoeken die Cromley en Azevedo (2007) hebben gebruikt ter ondersteuning bij het vormgeven van hun model. Deze relatie is in het DIME-Model weergegeven door pad 4.

Leesstrategieën zijn strategieën als: samenvatten, het maken van een woordweb, vragen aan zichzelf stellen tijdens het lezen en andere activiteiten die de lezer aanzet tot het nagaan of hij of zij de tekst nog begrijpt. Het gebruiken van leesstrategieën is een vaardigheid die een lezer helpt om een tekst te begrijpen (Cromley, Snyder-Hogan & Luciw-Dubas, 2010).

Eerder is genoemd dat voorkennis een effect heeft op de variabele leesstrategieën (pad 2). Dit verband is gebaseerd op twee studies naar de relatie tussen het niveau van voorkennis en de

moeilijkheidsgraad van de te lezen teksten. Uit deze onderzoeken bleek dat de leerlingen met veel

voorkennis meer vragen stelden toen ze de lastige tekst lazen, terwijl de leerlingen met weinig voorkennis meer vragen stelden tijdens het lezen van de makkelijke tekst (Cromley & Azevedo, 2007, p. 313). In het onderzoek waar Cromley en Azevedo (2007, p. 313) naar verwijzen, wordt gesteld dat het stellen van een

vraag alleen gebeurt wanneer men genoeg weet om te weten wat er nog onbekend is. Oftewel, vragen worden bij een tekst gesteld wanneer een lezer de tekst tamelijk goed begrijpt.

Verbanden kunnen leggen (Inferences)

Een derde variabele die van directe invloed is op tekstbegrip is het kunnen leggen van verbanden (pad 9). Schrijvers kunnen in een tekst niet alle verbanden expliciet maken. Verschillende soorten verbanden op verschillende tekstniveaus moeten door de lezer worden gelegd om een tekst te kunnen begrijpen. Het helpt leerlingen wanneer zij hierin onderwezen worden.

In tekstbegriptoetsen kan het zijn dat aan de leerling gevraagd wordt om zelf een aantal

verbanden aan te geven. Een dergelijke opdracht meet in hoeverre een leerling de tekst heeft begrepen en meet meer specifiek in hoeverre de lezer verschillende informatie in de tekst met elkaar in verband kan brengen (Cromley, Snyder-Hogan & Luciw-Dubas, 2010, p. 688). Er bestaan ook andere vragen die betrekking hebben tekstverbanden, dan is de vraag of de leerling weet hoe het verband tussen

bijvoorbeeld twee alinea’s genoemd wordt. Een dergelijke vraag meet iets anders dan tekstbegrip maar gaat meer over vakkennis. Maar een leerling het verband laten aangeven in een tekst tijdens het lezen is volgens Cain en Oakhill (2006) wel een goede vraag om inzicht te krijgen in de mate van tekstbegrip.

Wanneer een leerling een verband moet leggen, kan het zijn dat behalve de variabele verbanden kunnen leggen ook voorkennis wordt gemeten. Want zoals in het DIME-Model te zien is, kan voorkennis het effect van het kunnen leggen van verbanden vergroten (pad 3). Cromley en Azevedo (2007) baseren dit verband op een vijftal studies. Uit al deze onderzoeken blijkt dat wanneer er in een tekst meer

achtergrondinformatie wordt gegeven, wat geïnterpreteerd kan worden als voorkennis, leerlingen beter in staat zijn om vragen over de verbanden in de tekst te beantwoorden. Dit geldt zowel voor teksten waarin meer achtergrondinformatie wordt gegeven als voor teksten waarin én meer achtergrondinformatie wordt gegeven én meer verbanden worden geëxpliciteerd.

Woordenschat (Reading vocabulary)

Wanneer een lezer een geringe woordenschat heeft, hoeft dit niet per definitie te betekenen dat een tekst niet begrepen wordt (Cain & Oakhill, 2006). Maar het kennen van de betekenis van veel woorden helpt lezers zeker bij het vormen van een coherent mentaal model van de tekst. Cromley, Snyder-Hogan en Luciw-Dubas (2010) schrijven dat het begrijpen van woorden ervoor kan zorgen dat een lezer in staat is om verbanden tussen delen van de tekst te zien en om voorkennis te relateren aan de nieuwe informatie die in een tekst staat.

In het DIME-Model is het directe effect dat woordenschat heeft op tekstbegrip weergegeven met pad 8. Deze relatie in het model is gebaseerd op vijf interventiestudies waarbij de ene groep leerlingen wel woordenschatlessen kreeg en de andere groep niet. Het bleek dat de leerlingen die de lessen kregen, gemiddeld significant hoger scoorden op tekstbegriptoetsen die na afloop van de lessen werden

afgenomen. De gebruikte tekstbegriptoetsen bevatten zowel de geleerde woorden als woorden die waarschijnlijk onbekend waren bij de leerlingen (McKeown, Beck, Ohmanson & Perfetti, 1983, p. 7).

De variabele woordenschat is daarnaast ook indirect gerelateerd aan tekstbegrip. Zoals in het model te zien is, is er een correlatie tussen voorkennis en woordenschat (pad 11). Daarnaast heeft de omvang van de woordenschat van een leerling effect op de mate waarin hij of zij in staat is om verbanden te leggen (pad 7).

In dit onderzoek zal er gekeken worden naar zowel de tekst als naar de vragen om na te gaan in hoeverre de woordenschat van een leerling wordt getoetst. In een tekst kunnen woorden voorkomen die

niet gangbaar zijn voor de leeftijdsgroep voor wie de toets bedoeld is. Wanneer deze woorden niet worden uitgelegd, kan dit effect hebben op de mate waarin een leerling een tekst begrijpt. Er wordt op deze manier middels de tekst een beroep gedaan op de woordenschat van een leerling. Wat de vragen betreft, geldt dat wanneer er gevraagd wordt naar de betekenis van bepaalde woorden uit de tekst de woordenschat wordt gemeten.

Technisch lezen (Word Reading)

Hoe goed leerlingen zijn in het accuraat lezen van woorden, oftewel in technisch lezen, heeft invloed op hun niveau wat betreft het begrijpen van een tekst. Hoe beter een leerling de woorden leest, hoe hoger hij of zij scoort op een tekstbegriptoets en vice versa (Cain & Oakhill, 2006).

Deze vaardigheid kan gemeten worden door leerlingen een tekst te laten voorlezen (Cain & Oakhill, 2006). Dit is een toetsvorm die in het voortgezet onderwijs weinig voorkomt, vermoedelijk omdat de manier van toetsen arbeidsintensief is. Omdat technisch lezen ook geen onderdeel is van de tekstbegriptoetsen die in dit onderzoek zijn geanalyseerd, zal deze variabele niet verder besproken worden.

3. Methode

3.1 Tekstbegriptoetsen

Voor dit onderzoek zijn negen tekstbegriptoetsen geselecteerd die bij het vak Nederlands worden afgenomen en een paragraaf uit een geschiedenismethode met de bijbehorende vragen in het werkboek. De tekstbegriptoetsen zijn ontwikkeld door uitgeverij Noordhoff en sluiten aan op de methode Nieuw Nederlands vierde editie (zie voor de jaren van uitgaven en de auteurs de literatuurlijst). Er is voor deze lesmethode gekozen omdat dit het meest gebruikte schoolboek Nederlands is (Stichting Lezen, 2009, p. 9).

Drie van de gekozen tekstbegriptoetsen zijn bedoeld voor leerlingen uit het eerste jaar. Om erachter te komen wat er van leerlingen aan het begin van het voortgezet onderwijs wordt verwacht wat leesvaardigheid betreft, is er gekozen voor de toetsen die na het eerste hoofdstuk worden afgenomen. Er is gekozen voor een toets op vmbo-tl-/havoniveau, één op havo-/vwo-niveau en één op vwo-niveau.

Daarnaast zijn drie toetsen die halverwege leerjaar twee worden afgenomen geanalyseerd. Er is voor deze toetsen gekozen omdat ze precies op de helft van de onderbouw worden gegeven. Deze toetsen zijn ontwikkeld voor de drie zelfde onderwijsniveaus: vmbo-tl/havo, havo/vwo en vwo. Gemakshalve worden de twee toetsen die voor vmbo-tl/havo-klassen zijn ontwikkeld in dit onderzoek vmbo-tl-toetsen genoemd en de havo-/vwo-toetsen havotoetsen.

De andere drie toetsen zijn tekstbegriptoetsen die aan het eind van klas drie worden afgenomen. Er is gekozen voor één toets voor 3 vmbo-tl, één voor 3 havo en één voor 3 vwo. De toets voor 3 vmbo-tl hoort niet bij het laatste hoofdstuk maar bij het voorlaatste hoofdstuk van het boek omdat het laatste hoofdstuk gaat over het kunnen lezen van tabellen en diagrammen. Hoewel tabellen en diagrammen ook teksten zijn, wijken ze te veel af van de andere teksten om de toetsen goed met elkaar te kunnen

vergelijken. De geanalyseerde toetsen voor 3 havo en 3 vwo sluiten wel aan op het laatste hoofdstuk van de methode.

Er is voor toetsen op deze drie onderwijsniveaus gekozen omdat deze onderwijsniveaus het meest theoretisch zijn. De leerlingen die onderwijs op een van deze drie onderwijsniveaus volgen, zullen waarschijnlijk een meer theoretische vervolgopleiding gaan volgen dan leerlingen die een ander

onderwijsniveau volgen. Om deze reden is leesvaardigheid een vaardigheid die de leerlingen voor wie de tekstbegriptoetsen bestemd zijn zeker nodig zullen hebben wanneer ze verder gaan studeren.

Ook wordt er gekeken naar de vragen die bij het vak geschiedenis worden gesteld. De laatste deelvraag van dit onderzoek heeft betrekking op de vergelijking tussen tekstbegrip zoals dat bij Nederlands wordt onderwezen en tekstbegrip bij zaakvakken. Met zaakvakken worden de volgende vakken bedoeld: aardrijkskunde, economie, wiskunde en geschiedenis. In dit onderzoek is ervoor gekozen om de vragen die bij het zaakvak geschiedenis worden gesteld te analyseren. Het gaat hier om de vragen die aan vwo-leerlingen gesteld worden aan het eind van het derde leerjaar. Deze vragen komen uit de methode Feniks, dit is een methode die wordt uitgegeven door Thieme Meulenhoff. Het is een recent verschenen methode die de methode Pharos heeft vervangen, dit was één van de veelgebruikte methodes geschiedenis (Land, 2009, p. 79). Voor dit onderzoek is de eerste editie gebruikt van het lees- en

werkboek. Er wordt niet naar een geschiedenistoets gekeken maar naar de vragen die leerlingen in de les moeten beantwoorden. Deze keuze is gemaakt omdat toetsen bij het vak geschiedenis het doel hebben om na te gaan wat leerlingen van eerder bestudeerde informatie hebben geleerd. Terwijl het in dit onderzoek gaat over leesvaardigheid. Dit gaat over wat leerlingen wordt gevraagd wanneer ze een tekst voor de eerste keer lezen.

Om erachter te komen welke vragen puur betrekking hebben op tekstbegrip, welke aspecten die met tekstbegrip samenhangen gemeten worden en welke vragen iets anders meten dan tekstbegrip in de verschillende toetsen is zowel gekeken naar de vragen als naar de tekst. Dit geldt voor de

tekstbegriptoetsen. Bij het bepalen in hoeverre tekstbegrip aan de orde is bij het vak geschiedenis is er alleen gekeken naar de vragen aangezien de tekst bij het vak een heel andere opbouw heeft dan de teksten die in de instrumentatie staan. De teksten in het geschiedenisboek bestaan namelijk uit fragmenten, bronnen en afbeeldingen terwijl de teksten in de geanalyseerde toetsen afgeronde teksten zijn. Dit maakt dat het lastig is om uitspraken te doen over de verschillen tussen de teksten.

3.2 Instrumentatie

Voor het coderen van de vragen is gebruikgemaakt van het DIME-Model (Cromley & Azevedo, 2007). Aan de hand van dit model zijn de variabelen bepaald die bijdragen aan het kunnen begrijpen van een tekst en die te vinden kunnen zijn in een tekstbegriptoets.

Hoewel een vraag soms meerdere variabelen kan meten, is ervoor gekozen om niet meer dan één variabele aan te wijzen per vraag. Het gaat dan om de variabele die het meest aanwezig lijkt te zijn in de vraag. Een voorbeeld van een vraag waarbij een keuze als deze is gemaakt, is de volgende vraag uit de geanalyseerde toets voor 3 havoleerlingen:

Wat betekent het als je probeert 'grip te krijgen op iets'? (alinea 2)

In deze vraag gaat het in eerste instantie om woordenschat: wanneer een leerling weet wat de uitdrukking betekent, hoeft hij of zij de tekst niet te lezen om achter het antwoord te komen. Wanneer een leerling de uitdrukking niet kent, kan het helpen om in de tekst op zoek te gaan naar aanwijzingen waaruit blijkt dat proberen controle over iets te krijgen hetzelfde betekent. In dit geval wordt niet per se de variabele

woordenschat gemeten maar eerder het kunnen leggen van verbanden tussen tekstgedeeltes. Omdat een leerling waarschijnlijk eerst zal nagaan in hoeverre hij of zij de betekenis van het woord kent, is ervoor gekozen om deze vraag te coderen onder woordenschat. De vraag is dus in principe te beantwoorden zonder de tekst te lezen.

Deze manier van coderen, door na te gaan welke variabele een leerling vermoedelijk het eerst gebruikt bij een vraag, is bij alle vragen toegepast. Hieronder wordt per variabele besproken hoe deze is te herkennen. Daarnaast worden er voorbeelden van vragen gegeven die de variabelen met name meten. De voorbeelden komen uit verschillende onderzoeken, deze zijn vertaald naar het Nederlands, en uit de te analyseren toetsen en opdrachten van dit onderzoek.

3.2.1 Variabele 1: tekstbegrip

Vragen die puur tekstbegrip meten, zijn vragen waaruit moet blijken dat een leerling de tekst gelezen en begrepen heeft. In het onderzoek van Cromley, Snyder-Hogan en Luciw-Dubas (2010, p. 700) naar tekstbegrip bij wetenschappelijke teksten onder studenten wordt een voorbeeld van een dergelijke vraag gegeven. In de tekst die de studenten wordt gevraagd te lezen, wordt uitgelegd hoe lymfocyten werken en wat de functie ervan is. De vraag die aan de lezer wordt gesteld, is om te verklaren waarom de lymfocyten die door je eigen cellen worden geselecteerd door je lichaam worden vernietigd. De student kan dan kiezen uit vier antwoordopties.

Ten eerste is een pure tekstbegripvraag dus een vraag waarvoor geldt dat de lezer de tekst moet hebben gelezen om de vraag te kunnen beantwoorden. Daarnaast geldt dat de lezer gevraagd wordt om uit te leggen wat er in de tekst staat. Bij een dergelijke vraag moet het dan ook met name gaan om begrip, de nadruk ligt niet op een variabele die tekstbegrip ondersteunt zoals bijvoorbeeld woordenschat of

voorkennis.

Een voorbeeld van een vraag waarbij met name tekstbegrip wordt gemeten, is de volgende vraag uit de tekstbegriptoets die ontworpen is voor leerlingen in 2 vmbo-tl/havo halverwege het schooljaar:

Welke zinnen zijn waar volgens tekst 1? Omcirkel meerdere antwoorden: a Als het vochtig weer is, verlies je minder vocht.

b Water versterkt het afweersysteem. c Door vochttekort word je moe. d Je verliest alleen vocht door te zweten.

Om deze vraag correct te kunnen beantwoorden, moet een leerling de tekst gelezen hebben en begrepen hebben hoe mensen vocht verliezen en wat de gevolgen van een vochttekort kunnen zijn. Dit is informatie die in de tekst wordt uitgelegd.

3.2.2 Variabele 2: voorkennis

Met voorkennis wordt in dit onderzoek de kennis bedoeld die een leerling al heeft over het onderwerp van de tekst. Dit is in een vraag te zien door na te gaan in hoeverre de vraag te beantwoorden is zonder dat een leerling over voorkennis over het onderwerp beschikt. Het gaat dus om vragen die uitsluitend een beroep doen op voorkennis. Dit is kennis die niet in de tekst staat maar die wel te maken heeft met het onderwerp van de tekst.

In de geanalyseerde tekstbegriptoetsen zijn geen vragen te vinden die met name betrekking hebben op voorkennis. Bij het analyseren van de vragen die in het geschiedeniswerkboek staan komen wel vragen voor die enkel betrekking hebben op voorkennis, een voorbeeld van zo’n vraag is:

Een voorbeeld van een vraag waarbij voornamelijk voorkennis wordt gemeten is ook te vinden in het onderzoek van Cromley, Snyder-Hogan en Luciw-Dubas (2010, p. 699). De vraag is: ‘wat is koorts?’. Deze vraag gaat over het onderwerp van de tekst en is te beantwoorden zonder de tekst te lezen. Ook wordt in de tekst niet uitgelegd wat koorts is. Aan de twee kenmerken dat de vraag gaat over het onderwerp van de tekst en dat de vraag te beantwoorden is zonder de tekst gelezen te hebben, is te herkennen dat een vraag voornamelijk betrekking heeft op voorkennis.

3.2.3 Variabele 3: verbanden kunnen leggen

Cromley en Azevedo (2007, p. 316) onderscheiden drie typen verbanden die een lezer kan leggen: (1) verwijswoord: het kunnen zien waar een voornaamwoord naar verwijst, (2) tekst-naar-tekst verbanden kunnen leggen en (3) het kunnen leggen van een verband van voorkennis-naar-tekst. In hoeverre een leerling in staat is om dergelijke verbanden te kunnen leggen, kan in een toets gemeten worden. Een voorbeeld van een vraag waarbij het gaat om het kunnen leggen van het eerste verband, het verband tussen een verwijswoord en een tekstgedeelte, komt uit de toets voor 3 havo (Nieuw Nederlands, vierde editie):

(1) Aan het begin van alinea 6 staat: "Dat merkte een hoge partijfunctionaris [...]." Wat merkte die partijfunctionaris? De leerling moet bij deze vraag namelijk nagaan waar het woord ‘dat’ naar verwijst.

Een voorbeeld van een vraag waarbij wordt nagegaan in hoeverre het tweede type verband is te leggen door de leerling is te vinden in de toets van 3 vwo:

(2) Aan het begin van alinea 3 staat: ‘De consequentie was wel [...].’ Waarvan was dit een consequentie?

Waar dit een consequentie van was, is te lezen in de eerste alinea van de tekst. De leerling moet dus eerder vertelde informatie aan de informatie die in alinea 3 staat relateren.

Een voorbeeld van een vraag waarbij de leerling een verband moet kunnen leggen tussen zijn of haar voorkennis en de tekst is niet in de geanalyseerde toetsen gevonden. Een dergelijke vraag wordt besproken in het artikel van Oakhill en Yuill (1996, p. 72): de leerling krijgt een verhaaltje te lezen over het meisje Linda. Linda hoort een dier geluid maken met zijn vleugels. In de tekst staat niet welk dier het precies is. De vraag die aan de leerlingen wordt gesteld is:

(3) Welk dier maakte het lawaai?

In deze vraag moet de lezer de kennis die hij of zij heeft over dieren in verband brengen met de tekst. Een vraag waarbij er expliciet wordt gevraagd naar het verwijswoord, bijvoorbeeld wat is het verwijswoord in een bepaalde zin, lijkt geen betrekking te hebben op tekstbegrip. Dergelijke vragen worden in dit onderzoek ingedeeld onder de variabele vakkennis aangezien het wel gaat om het kunnen toepassen van de theorie die bij het vak Nederlands is onderwezen.

3.2.4 Variabele 4: leesstrategieën

Cromley en Azevedo (2007, p. 316) onderscheiden zes leesstrategieën: (1) belangrijkste onderwerpen vinden, (2) voorspellen, (3) activeren van voorkennis, (4) zoeken, (5) zelf vragen stellen en (6) samenvatten.

Hieronder volgt een voorbeeld van een vraag uit de toets voor 3 havoleerlingen waarbij het adequaat toepassen van de eerste strategie wordt getoetst:

(1) Wat is het onderwerp van de tekst?

In deze vraag wordt expliciet gevraagd naar het kunnen bepalen van het onderwerp. Het antwoord is te vinden door strategisch te lezen, namelijk door de inleiding en het slot van de tekst te lezen.

Een voorbeeld van een vraag waarmee wordt nagegaan in hoeverre een leerling goed kan voorspellen, is de volgende vraag (Cromley & Azevedo, 2011, p. 164):

(2) Een alinea eindigt met ‘Kortom, het terugkijken op gebeurtenissen en een betekenis aan de gebeurtenissen is het werk van een historicus.’ Dan wordt aan de leerling gevraagd: ‘Welke van de volgende zinnen volgt logischerwijs op deze alinea?’.

In het onderzoek van Cromley en Azevedo uit 2011 staat ook een voorbeeld van een vraag waarbij het gaat om het activeren van voorkennis (p. 175):

(3) Welke van de volgende gegevens is het meest handig om al te weten om de tekst goed te kunnen begrijpen?

De vierde leesstrategie die wordt onderscheiden is strategie vier: zoeken. Een voorbeeld van een vraag waarbij een leerling deze strategie goed kan gebruiken, komt uit de toets voor 3 havoleerlingen:

(4) In welke alinea wordt nader uitgelegd hoe de overheid probeert grip te krijgen op de internetgebruikers?

Om deze vraag te kunnen beantwoorden, moet de lezer aan de hand van de tekst zoeken in welke alinea de uitleg over de aanpak van de overheid staat.

Strategie 5, zelf vragen stellen, kan als volgt voorkomen in een toets of opdracht (Azevedo & Cromley, 2004, p. 533):

(5) De leerling krijgt de opdracht om na een tekstpassage zelf een vraag te bedenken over de tekst. Vervolgens herleest hij of zij de passage en geeft dan antwoord op de eigen vraag.

Een voorbeeld van een vraag die gaat over samenvatten, wordt gegeven door Cromley en Azevedo (2007, p. 325). De vraag volgt na een tekst en de leerling kan kiezen tussen vier meerkeuzeantwoorden:

(6) Welke van de volgende zinnen is de beste samenvatting van de tekst? 3.2.5 Variabele 5: woordenschat

Vragen die woordenschat meten, zijn vragen waarin naar de betekenis van een woord wordt gevraagd. Een voorbeeld van een dergelijke vraag komt uit de toets voor 3 vmbo-tl:

Wat betekent ‘capaciteit’ in alinea 6?

Door deze vraag te stellen, wordt getoetst in hoeverre een leerling de betekenis van het woord capaciteit kent. Het verschil met de voorbeeldvraag die bij voorkennis is gegeven, is dat het bij vragen die

voornamelijk woordenschat meten gaat om woorden die wel in de tekst staan maar niet te maken hebben met het onderwerp van de tekst. De vraag komt namelijk uit een tekst over kleding die in Irak wordt gemaakt. Door te vragen naar de betekenis van het woord capaciteit wordt niet de voorkennis over het onderwerp geactiveerd, maar wordt nagegaan in hoeverre een leerling op de hoogte is van de betekenis van het specifieke woord.

3.2.6 Variabele 6: vakkennis

Vakkennis definiëren we in dit onderzoek als kennis die specifiek bij het schoolvak hoort en die niet hoort bij één van de andere variabelen. Het wordt in dit onderzoek opgevat als de kennis die leerlingen

Toetsvragen die vakkennis meten, zijn dus vragen die gaan over de onderwezen kennis die in het schoolboek wordt uitgelegd. Een voorbeeld van een vraag waarbij voornamelijk vakkennis wordt

gemeten, is deze vraag uit een toets voor brugklas vmbo-tl/havo: Wat is de titel van tekst 1?

Om deze vraag goed te beantwoorden, hoeft een leerling de tekst niet te lezen laat staan te begrijpen. Wel moet een leerling weten wat een titel is. Dit is vakkennis die in de methode Nieuw Nederlands aan bod komt.

3.3 Teksten

De teksten die in de toetsen zijn opgenomen, zijn gecodeerd op de volgende kenmerken: woordenschat, gemiddelde zinslengte, de lengte van de teksten en het aantal teksten. Er is gekozen voor deze vier indicatoren als operationalisatie van de moeilijkheid van teksten omdat elke indicator iets over de tekst zegt op een ander niveau (Hacquebord & Lenting-Haan, 2012). In dit onderzoek wordt op al deze niveaus iets te zeggen om zo een zo volledig mogelijk beeld te geven van de moeilijkheid van de verschillende teksten die onderdeel uitmaken van de geanalyseerde tekstbegriptoetsen.

3.3.1 Woorden

Voor het coderen van de woorden uit de teksten is gebruikgemaakt van de Streefwoordenlijst

(Hacquebord, 2011). Deze lijst bestaat uit 13.000 schooltaalwoorden die zijn ingedeeld in vijf sluizen. De hoogte van de sluis geeft de moeilijkheid van het woord aan. In de handleiding van het digitale

leerlingvolgsysteem Diataal is beschreven op welke manier de sluizen corresponderen met de verschillende leerjaren en onderwijsniveaus in de onderbouw van het voortgezet onderwijs:

Sluis 1: woorden die alle leerlingen moeten kennen maar die wellicht nog niet bekend zijn bij jongere kinderen

Sluis 2: woorden die leerlingen op vmbo-niveau in leerjaar één leren

Sluis 3: woorden die leerlingen op vmbo-niveau in leerjaar twee en leerlingen op vmbo-tl- en havoniveau in leerjaar één leren

sluis 4: woorden die leerlingen op vmbo-tl- en havoniveau in leerjaar twee en leerlingen op havo-/vwo-niveau in leerjaar één leren

sluis 5: woorden die leerlingen op havo- en vwo-niveau in leerjaar twee leren

Woorden die niet in de lijst zijn opgenomen, worden dus als al bekend beschouwd bij leerlingen die starten met het voortgezet onderwijs.

Door aan de hand van deze lijst te kijken naar de woorden uit de teksten die in de toetsen zijn opgenomen, kan iets gezegd worden over de moeilijkheid van de tekst. De aanname is namelijk dat wanneer relatief veel woorden in een tekst als moeilijk of onbekend voor leerlingen worden beschouwd dit de tekst lastiger te begrijpen maakt voor hen (Hacquebord, 2012).

In dit onderzoek is bij elk woord in elke tekst nagegaan of het voorkomt in de Streefwoordenlijst en zo ja, in welke sluis het woord is ingedeeld. Op deze manier is berekend hoe de verhouding is tussen het aantal woorden dat als begrijpelijk en dat als lastig beschouwd wordt. Bij de bepaling per leerjaar en

onderwijsniveau van de verhouding is gekeken naar de betekenis die aan de sluisindeling wordt gegeven. Bijvoorbeeld, bij de toets die ontwikkeld is voor leerlingen aan het begin van het eerste jaar van het vwo is de verhouding genomen tussen het aantal woorden dat in sluis vier en vijf samen staat ten opzichte van het totaal aantal woorden. Bij de bepaling van de moeilijkheid van de tekst die hoort bij de toets die aan het begin van 1 vmbo-tl/havo wordt afgenomen, is gekeken naar de verhouding van het aantal woorden in sluis twee tot en met vijf ten opzichte van het totaal aantal woorden dat in de tekst voorkomt en dat in de sluizen is geplaatst.

Hieronder volgt een voorbeeld van het coderen van de woorden. Het is een voorbeeld van een tekstfragment uit de toets voor de tweede klas vmbo-tl/havo die halverwege het jaar wordt afgenomen. In het voorbeeld is een zin uit de tekst te zien en er is te zien welke woorden in welke sluis worden geplaatst op basis van de gebruikte Streefwoordenlijst.

Een vegetarisch eetpatroon met voldoende groente, fruit, peulvruchten, brood, graanproducten, zuivelproducten en eieren, levert alle voedingsstoffen die het lichaam nodig heeft.

Sluis 1 Sluis 2 Sluis 3 Sluis 4 Sluis 5

Voldoende vegetarisch graanproducten peulvruchten zuivelproducten voedingsstoffen

Levert

Een probleem met het gebruik van deze lijst als meetinstrument is dat de lijst niet compleet lijkt te zijn. Een aantal woorden dat in de teksten staat, is vermoedelijk niet bekend bij alle leerlingen in de

onderbouw van het voortgezet onderwijs terwijl deze woorden niet in de Streefwoordenlijst zijn te vinden. Een voorbeeld van zo’n woord staat in het fragment hierboven: eetpatroon. Omdat het relatief veel woorden zijn die als lastig beschouwd kunnen worden maar die niet in de Streefwoordenlijst zijn opgenomen, is er in dit onderzoek voor gekozen om twee analyses van de woorden in de tekst te maken: één waarbij alleen gekeken is naar de woorden die in de Streefwoordenlijst zijn opgenomen en één waarbij ook de woorden die niet in de lijst staan, worden ingedeeld. De twee resultaten zullen met elkaar vergeleken worden.

Om te bepalen welke overgebleven woorden in welke sluis passen, is per sluis een definitie geformuleerd van de soort woorden. De overgebleven woorden uit de teksten die vermoedelijk niet bekend zullen zijn bij leerlingen in het voortgezet onderwijs zijn met behulp van de definitie in de vijf sluizen ingedeeld.

3.3.2 Tekstlengte

In dit onderzoek is de tekstlengte van elke tekst bepaald door te kijken naar alle woorden die een tekst bevat, dus ook het aantal woorden van de titel en de bron zijn erbij gerekend. Wanneer alinea’s zijn genummerd, zijn deze nummers niet meegerekend aangezien ze dienen om aan te geven uit hoeveel alinea’s de tekst bestaat en om te helpen bij vragen die gaan over de indeling van de tekst. Deze nummers zijn geen onderdeel van de tekst zelf.

Sommige tekstbegriptoetsen bestaan uit meer teksten. In deze gevallen is het gemiddelde aantal woorden genomen van de teksten. Dit lijkt niet te kloppen, want van de leerling wordt verwacht dat hij of zij alle teksten leest die in de toets zijn opgenomen. Aan de andere kant staat deze operationalisering voor de moeilijkheid van een tekst. Korte teksten worden als makkelijker beschouwd dan lange teksten.

Wanneer het totaal aantal woorden van alle teksten bij elkaar wordt opgeteld suggereert dat dat de toets een lastigere tekst bevat dan wanneer er gekeken wordt naar de gemiddelde lengte van de te lezen teksten. Om deze reden is besloten om het gemiddeld aantal woorden te nemen van alle teksten samen wanneer deze in één toets staan.

3.3.3 Gemiddelde zinslengte

De gemiddelde zinslengte is berekend door het aantal woorden in de tekst te delen door het aantal zinnen. Bij het bepalen van het aantal woorden van de tekst zijn de woorden in de zinnen geteld. Dus de woorden uit de titel, tussenkopjes en de bronvermelding zijn niet meegeteld. Bij toetsen die meer teksten bevatten, zijn alle zinnen van alle teksten bij elkaar opgeteld en gedeeld door het totaal aantal woorden van de teksten.

3.4 Procedure

Om de betrouwbaarheid van de resultaten zoveel mogelijk te waarborgen, zijn de data door twee andere codeurs geanalyseerd. De betrouwbaarheid van de indeling van de overgebleven woorden in de vijf sluizen is nagegaan en de betrouwbaarheid van de codering van de vragen is getoetst.

Aan de codeurs is gevraagd om twintig procent van de woorden die niet voorkomen in de Streefwoordenlijst in sluizen in te delen. De in te delen woorden zijn willekeurig gekozen door alle overgebleven woorden in alfabetische volgorde te plaatsen en uit deze lijst elk vijfde en tiende woord te nemen. Dit is ook gedaan met alle vragen die bij de tekstbegriptoetsen worden gesteld. In bijlage 8.2 zijn de twee documenten te vinden die beide codeurs gemaild kregen. Hierin staat een instructie voor het coderen van de vragen met een lijst met te coderen data en een instructie voor het coderen van de woorden met een lijst met woorden.

De Cronbachs’ alpha is berekend om na te gaan in hoeverre de indeling van de overgebleven woorden in de vijf sluizen betrouwbaar is. De waarde van de Cronbachs’ alpha is 0,87. Deze waarde is tamelijk hoog. Daarnaast is de Intraclass Correlation berekend tussen de drie verschillende coderingen van de woorden. Deze bleek voldoende te zijn, namelijk 0,69 tussen de drie beoordelaars. De waarde van deze correlatie ligt net als de Cronbachs’ alpha tussen 0 en 1. Hoe hoger de Intraclass Correlation is, hoe geringer het verschil is tussen de drie beoordelaars. Kortom, naar aanleiding van de statistische gegevens die de betrouwbaarheid aangeven, kan de indeling van de overgebleven woorden in de vijf sluizen als betrouwbaar beschouwd worden.

Ook hebben de twee externe codeurs gekeken naar de vragen die bij de tekstbegriptoetsen gesteld worden. Er is nagegaan om welke variabele het voornamelijk gaat dat met een vraag gemeten wordt. Ook de vragen zijn geprobeerd zo willekeurig mogelijk aan de twee codeurs toe te kennen: alle vragen die bij de toetsen gesteld worden zijn in alfabetische volgorde geplaatst. Elke vijfde en tiende vraag is gekozen om aan de codeurs voor te leggen. De codeurs kregen ieder 21 vragen voorgelegd.

Net als bij de woorden is ook bij de vragen nagegaan in hoeverre de coderingen met elkaar overeenkwamen. Dit is gedaan door aan elke variabele een cijfer toe te kennen. Net als bij de woorden is de betrouwbaarheid berekend door na te gaan wat de Cronbachs’ alpha en de Intraclass Correlation is. De Cronbachs’ alpha was 0,79 en de Intraclass Correlation tussen de drie beoordelaars was gemiddeld per vraag 0,56. Hoewel de Intraclass niet heel erg hoog is, is deze nog steeds hoog genoeg om te kunnen stellen dat het betrouwbaar is om de codering van de vragen te kunnen gebruiken.

4. Resultaten

Dit onderzoek bestaat uit vier deelvragen en één hoofdvraag. In tabel 1 tot en met 3 zijn de resultaten van dit onderzoek weergegeven. Aan de hand van deze resultaten worden de vier deelvragen beantwoord en tot slot de hoofdvraag.

4.1 Deelvraag 1: wat is het aandeel pure tekstbegripvragen per leerjaar en

varieert dit aandeel over de leerjaren binnen het schoolvak Nederlands?

Het antwoord op bovenstaande vraag levert het aandeel pure tekstbegripvragen op in drie verschillende leerjaren: leerjaar één, leerjaar twee en leerjaar drie. In tabel 1 is te zien in hoeverre het aandeel van pure tekstbegripvragen, de vragen die variabelen meten die met tekstbegrip samenhangen en de vragen die betrekking hebben op vakkennis variëren wat leerjaar betreft.

Het antwoord op het eerste gedeelte van de deelvraag is: in het eerste leerjaar worden alleen geen pure tekstbegripvragen gesteld in de geanalyseerde toets voor de brugklas vmbo-tl/havo. In de havo-/vwo-toets en de vwo-havo-/vwo-toets zijn wel vragen te vinden die direct tekstbegrip lijken te meten, het aandeel is respectievelijk 10 en 5,88 %. In leerjaar twee zijn er in de toets voor vmbo-tl-/havo-leerlingen wel vragen te vinden die direct gaan over tekstbegrip, dit aandeel is 12,5 %. In de havo-/vwo-toets en in de vwo-toets voor leerjaar twee zijn dergelijke vragen niet te vinden. In geen van de toetsen die ontwikkeld zijn voor leerlingen in leerjaar drie zijn vragen te vinden die aan te merken zijn als pure tekstbegripvragen.

Het antwoord op het tweede deel van de deelvraag is dus: ja. Het aandeel varieert per leerjaar. Aan het begin van het eerste leerjaar worden dergelijke vragen gesteld in twee van de drie toetsen, halverwege leerjaar twee komen pure tekstbegripvragen alleen voor in de toets op vmbo-tl-/havo-niveau en aan het eind van leerjaar drie komen deze vragen in geen enkele toets voor.

Het model van Cromley en Azevedo (2007) dat als uitgangspunt is genomen voor de codering van de toetsvragen laat zien dat andere variabelen indirect ook betrekking hebben op tekstbegrip. Naast deze variabelen is er nog een variabele gemeten in dit onderzoek, namelijk de vragen die gaan over vakkennis. Wanneer er gekeken wordt naar het aandeel vragen dat over vakkennis gaat, kan dat aandeel beschouwd worden als het gedeelte dat niet direct of indirect betrekking heeft op tekstbegrip.

In leerjaar één is dit aandeel in de vmbo-tl-/havo-toets en in de vwo-toets wat lager dan in de havo-/vwo-toets. In leerjaar twee is dit in alle toetsen van de drie verschillende onderwijsniveaus hoog, het aandeel is namelijk overal meer dan de helft. In leerjaar drie ligt het aandeel van de vragen dat vooral betrekking heeft op vakkennis lager, het hoogste aandeel is 40 % in de toets voor havoleerlingen. Een verklaring voor het feit dat er met name in leerjaar twee veel vragen over vakkennis gaan, zou kunnen zijn dat in dit leerjaar veel aandacht wordt besteed aan nieuwe theorie die bij het vak Nederlands wordt onderwezen. Tekstbegriptoetsen hebben in dit leerjaar wellicht meer de functie om na te gaan in hoeverre de nieuwe theorie eigen is gemaakt dan om te weten te komen in hoeverre een leerling in staat is een tekst zo te lezen dat deze goed is begrepen.

Tabel 1

Aandeel variabelen in de toetsvragen in procenten Leerjaar en

niveau Tekstbegrip Voorkennis Verbanden Leesstrategie Woordenschat Vakkennis Vmbo-tl 1 0 0 0 83,33 0 16,67 2 12,50 0 0 25,00 0 62,50 3 0 0 0 52,94 23,53 23,53 Havo 1 10,00 0 0 40,00 10,00 40,00 2 0 0 0 15,38 0 84,62 3 0 0 26,67 13,33 20,00 40,00 Vwo 1 5,88 0 0 58,82 17,65 17,65 2 0 0 33,33 11,11 0 55,56 3 0 0 26,67 33,33 13,33 26,67 M 3,15 0 9,63 37,03 9,39 40,80 Geschiedenis 3 vwo 27,78 16,67 16,67 11,11 22,22 5,56 Tabel 2

Sluisindeling en moeilijkheid woorden (procenten) van de toetsen Leerjaar en

niveau Sluis 1 Sluis 2 Sluis 3 Sluis 4 Sluis 5 Moeilijkheid Vmbo-tl 1 44,66 42,72 6,80 4,85 0,97 55,34 2 21,82 41,82 21,82 10,91 3,64 21,52 3 32,31 30,77 18,46 12,31 6,15 17,58 Havo 1 35,90 43,59 11,54 7,69 1,28 13,21 2 45,71 42,86 11,43 0 0 0 3 35,96 42,70 8,99 8,99 3,37 1,69 Vwo 1 34,07 39,56 8,79 16,48 1,10 6,15 2 44,07 33,90 20,34 1,69 0 3,37 3 21,05 47,37 11,58 18,95 1,05 3,09 M 35,06 40,59 13,31 9,10 1,95 13,55

Tabel 3

Variabelen zinslengte, aantal teksten en tekstlengte van de toetsen

Zinslengte Aantal teksten Tekstlengte Leerjaar en niveau M SD M SD Vmbo-tl 1 12,58 5,51 3 217,00 304,02 2 13,60 5,36 2 212,50 60,10 3 15,07 7,50 2 220,00 193,75 Havo 1 12,87 6,08 1 739,00 2 13,18 5,65 1 447,00 3 15,11 6,87 1 693,00 Vwo 1 13,25 5,83 2 461,50 111,02 2 13,88 8,86 1 594,00 3 16,42 7,70 1 715,00 M 14,00 6,60 1,56 477,67 167,22

Een opvallend resultaat dat tabel 1 ook oplevert, is dat met name in leerjaar één relatief veel vragen gaan over het toepassen van een leesstrategie. Bij de bespreking van de theorie over leesstrategieën zijn zes verschillende soorten vragen onderscheiden. Het blijkt dat in de toetsen maar twee van de zes

onderscheiden soorten vragen voorkomen: het bepalen van het onderwerp of de hoofdgedachte van de tekst of van een tekstgedeelte en het zoeken van informatie in de tekst. Een verklaring hiervoor zou kunnen zijn dat in dit leerjaar het aanleren van leesstrategieën extra aandacht krijgt omdat het misschien als een erg belangrijke vaardigheid wordt gezien bij het lezen van teksten.

Tot slot is op te merken dat de variabele voorkennis in geen enkel leerjaar gevraagd wordt. Dit lijkt logisch omdat een toets wil meten hoe de leerling op dit moment scoort op leesvaardigheid en niet bedoeld is om aan te geven wat een leerling al over het onderwerp weet. Vragen naar de voorkennis van een leerling over het onderwerp van de tekst zouden wel passen bij diagnostische toetsen om in te zien in hoeverre een gebrek aan voorkennis kan verklaren dat het komt dat een leerling moeite heeft met het begrijpen van een tekst.

4.2 Deelvraag 2: wat is het aandeel pure tekstbegripvragen per

onderwijsniveau binnen het schoolvak Nederlands en varieert dit aandeel

over de leerjaren binnen het schoolvak Nederlands?

Uit tabel 2 is op te maken wat de verschillen zijn per onderwijsniveau. Het blijkt ten eerste dat leerlingen op het havo relatief de minste vragen voorgeschoteld krijgen die betrekking hebben op tekstbegrip. Deze uitkomst is lastig te verklaren, aangezien havo het onderwijsniveau is dat tussen de andere twee zit. Vragen die direct en indirect op tekstbegrip betrekking hebben, lijken dus niet als makkelijker of juist moeilijker te worden gezien.

Opvallend is daarnaast dat in de vmbo-tl-toetsen geen vragen worden gesteld die betrekking hebben op het kunnen leggen van verbanden, terwijl dit wel wordt gevraagd in de toetsen die zijn ontwikkeld voor havo- en vwo-leerlingen. Leerlingen die onderwijs volgen op vmbo-tl-niveau krijgen daarentegen wel opvallend meer vragen over het kunnen toepassen van leesstrategieën. Een verklaring voor deze verschillen zou kunnen zijn dat het kunnen leggen van verbanden als iets lastigs wordt gezien. Daarnaast zou het kunnen zijn dat het kunnen leggen niet als een noodzakelijkheid wordt gezien van het kunnen begrijpen van tekstbegrip. Wat betreft de nadruk op het toepassen van leesstrategieën in de toetsen voor vmbo-tl-leerlingen: dit zou, net als bij de vorige deelvraag, verklaard kunnen worden door de mogelijke aanname dat het toepassen van leesstrategieën als een belangrijk hulpmiddel wordt beschouwd voor het goed lezen van teksten.

Wanneer de antwoorden op de eerste en de tweede deelvraag samen worden genomen, levert dat

diagrammen op zoals te zien zijn in figuur 2. Aan de hand van deze diagrammen worden de verschillende variabelen die in de geanalyseerde toetsen voorkomen, besproken:

Tekstbegrip

Opvallend weinig vragen lijken voornamelijk tekstbegrip te meten. In drie van de negen geanalyseerde toetsen lijkt één of enkele vragen direct te gaan over tekstbegrip. Dit is erg weinig. Aan de andere kant is al eerder gezegd dat tekstbegrip een construct is dat nauw samenhangt met andere constructen die mede bepalen of een leerling goed is in het begrijpen van teksten. Deze andere constructen hebben dus wel met tekstbegrip te maken en worden hierna besproken.

Figuur 2. Weergave van de type vragen per toets in percentages.

Voorkennis

In geen enkele van de geanalyseerde toetsen lijkt een vraag voornamelijk voorkennis te meten. Dit is niet verrassend. De toetsen hebben namelijk als doel om na te gaan in hoeverre de leerling in staat is de nieuwe tekst te begrijpen. Het gaat erom erachter te komen wat een leerling met nieuwe informatie doet. Wat een leerling al weet over het onderwerp van de tekst speelt hierbij een rol maar mag in principe niet van invloed zijn op het cijfer. Vragen die met name over voorkennis gaan, zullen dan ook niet voorkomen in een toets die wordt gebruikt om een oordeel over de prestaties van een leerling uit te spreken.

Verbanden kunnen leggen

Bij het nagaan van het aandeel vragen dat per toets over het kunnen leggen van verbanden gaat, is te zien dat dergelijke vragen maar in een drietal toetsen voorkomen. Dit zijn de toetsen voor de leerlingen uit de tweede klas van het vwo, de derde klas van het vwo en de derde klas van het havo. Leerlingen die onderwijs op vmbo-tl-niveau volgen, lijken niet gevraagd te worden naar het kunnen leggen van

verbanden. Ook leerlingen die in de brugklas zitten, wordt hier (nog) niet naar gevraagd. Een verklaring voor het ontbreken van vragen over het leggen van verbanden in de toetsen van de brugklas kan zijn dat de theorie over verbanden pas vanaf leerjaar twee wordt onderwezen. Deze verklaring sluit alleen niet aan op de indeling van vaardigheden in het Referentiekader Taal. Het kunnen leggen van relaties, zoals het in het kader wordt genoemd, is een vaardigheid die aansluit op het 2F-niveau. Dit niveau zouden leerlingen in een havo-/vwo-brugklas al moeten hebben. Ook vmbo-tl-leerlingen moeten dit niveau uiteindelijk hebben. Wel is het zo dat het Referentiekader is ontworpen nadat deze toetsen zijn ontwikkeld. Het zou dus kunnen zijn dat het kunnen leggen van verbanden op dit moment ook aan de orde komt in de toetsen die bedoeld toetsen voor leerlingen van het vmbo-tl en van havo-/vwo-brugklassen.