De clozetoets en tekstbegrip

De clozetoets en tekstbegrip

Kyra L. de Vries

MA Taalwetenschappen: Nederlands als tweede taal Universiteit van Amsterdam

Begeleider: dr. S.J. Andringa Tweede lezer: prof. dr. F. Kuiken

Samenvatting

Sinds de clozetoets in 1953 is geïntroduceerd door W.L. Taylor, heeft dit meetinstrument veel lof, maar ook veel kritiek gekregen. De toets is makkelijk te construeren, objectief te beoordelen, het afnemen kost weinig tijd en correleert hoog met allerlei taalvaardigheidsmetingen, maar de vraag ‘wat meet een clozetoets nu precies?’ is er één die nog altijd onbeantwoord is. Deze studie heeft bijgedragen aan de vraag in hoeverre een clozetoets in staat is om higher-order language skills te meten, met behulp van een aanpak die nog niet veel is ingezet in het onderzoek naar dit onderwerp: de hardopdenkmethode. 37 participanten hebben twee fixed-ratio clozetoetsen en vier rationeel geconstrueerde clozetoetsen gemaakt en 14 participanten hebben tevens hun gedachten tijdens het maken van de toetsen geverbaliseerd. Uit de hardopdenksessies bleek dat tijdens het maken van de rationeel geconstrueerde clozetoetsen vaker gebruik werd gemaakt van leesstrategieën dan bij de fixed-ratio clozetoetsen. Dit laat zien dat een clozetoets in staat kan zijn om higher-order language skills te meten.

Inhoudsopgave

1. Inleiding 7

2. Theoretisch kader 9

2.1 Taalvaardigheid 9

2.1.1 Taalvaardigheid: een definitie? 9

2.1.2 Tekstbegrip 10

2.1.2.1 Tekstmoeilijkheid 11

2.1.2.2 Talige vaardigheden 12

2.2 Taalvaardigheidstoetsen 13

2.2.1 Validiteit en betrouwbaarheid 14

2.2.2 Het ontwikkelen van toetsen 15

2.3 De clozetoets 15 2.3.1 Achterliggende theorieën 16 2.3.2 Soorten clozetoetsen 19 2.3.3 De C-toets 21 2.3.4 Scoringmethoden 21 2.3.5 Itemmoeilijkheid en voorkennis 22

2.4 De validiteit van clozetoetsen 23

2.4.1 Kritiek op de validiteit van de clozetoets 24

2.4.2 Positief commentaar op de clozetoets 25

2.5 De hardopdenkmethode 27 3. Methode 29 3.1 Participanten 29 3.2 Materiaal 29 3.2.1 Toetsen 29 3.2.2 Beoordelingsmodel 31 3.3 Verwerking gedachten 32 3.4 Procedure 33 4. Resultaten 35 4.1 Toetsresultaten 35 4.1.1 Betrouwbaarheid 35 4.1.2 Scores 36 4.1.3 Correlaties 38 4.2 Hardopdenkmethode 39

4.2.1 Manier van invullen 39

4.2.2 Strategieën per format 40

4.2.3 Analyse gebruikte strategieën 42

4.2.4 De eigenschappen van de fixed-ratio clozetoets 47

4.2.5 Analyse per participant 48

5. Conclusie en discussie 52

6. Literatuur 59

7. Bijlagen 63

Bijlage 1: clozetoetsen 63

1. Inleiding

Taal is in zekere zin redundant: bepaalde componenten zijn overbodig om de informatie toch goed over te kunnen brengen. Zo zal iedereen de boodschap in de zin ‘hij word later leraar’ begrijpen, terwijl de meeste mensen ook zullen zien dat er een letter mist. Goed, nu gaat het nog maar om één letter in een hele zin die wordt weggelaten. Maar wat nu als meerdere letters worden weggelaten? Zoals in de zin ‘k bn nr schl gwst’. Waarschijnlijk snappen de meeste mensen ook hier prima welke letters er missen en welke boodschap er wordt overgedragen. Toch mist deze zin ruim 40% van de letters die eigenlijk nodig zijn om de boodschap volledig te presenteren.

Wat nu als niet alleen klinkers worden weggelaten, maar een heel woord? Zoals in de zin ‘Gisteravond heb ik 50 _________ gemaakt’. Hier kan in feite van alles worden ingevuld. Het enige dat bekend is, is dat er een zelfstandig naamwoord op de plek van het gat zal moeten komen. Zo zouden we de volgende zinnen kunnen maken:

1) Gisteravond heb ik 50 sudoku’s gemaakt 2) Gisteravond heb ik 50 cakejes gemaakt 3) Gisteravond heb ik 50 essays gemaakt 4) Gisteravond heb ik 50 stoelen gemaakt

Sommige opties zijn logischer dan andere, maar zonder context is het in principe mogelijk om al deze woorden in te vullen; de zin blijft telkens syntactisch en semantisch correct. Om de zin écht af te kunnen maken, is dus meer informatie nodig. Gegeven is nu de volgende informatie: Gisteravond heb ik 50 _________ gemaakt. Vandaag is mijn laatste stagedag, dus ik moet trakteren. Dankzij de tweede zin kan de inferentie gemaakt worden dat er waarschijnlijk een bepaalde lekkernij op de plek van het ontbrekende woord zal moeten komen te staan. Zonder antwoordopties of meer context weet men nog steeds niet welke lekkernij dat precies is, maar duidelijk is dat er niet meer van alles kan worden ingevuld.

Dat men het ontbrekende woord in bovenstaande zin kan invullen, is het idee van het Reduced Redundancy Principle (RRP), geformuleerd door Spolsky (1973). Het RRP stelt dat het kunnen functioneren ondanks een boodschap die verstoord wordt, een vereiste is van taalkennis. Met andere woorden: als iemand een verstoorde boodschap voor zijn neus krijgt, moet hij volgens Spolsky zijn taalkennis kunnen gebruiken om de boodschap weer volledig te maken (in Ajideh & Mozaffarzadeh, 2012).

De clozetoets is één van de toetsen die gebruikmaakt van het RRP en deze toets wordt veel gebruikt in het toetsen van tweedetaalvaardigheid. Bij een traditionele clozetoets (de zogenaamde fixed-ratio clozetoets) krijgt de kandidaat een tekst waarbij de eerste en de laatste zin intact worden gelaten en verder elk n-de _{woord wordt weggelaten, veelal het vijfde of het zevende woord. De clozetoets bestaat} ook in andere vormen, zoals de rational deletion clozetoets, waarbij niet elk zoveelste woord wordt weggelaten, maar waar nauwkeurig wordt gekeken welke woorden worden weggelaten, om zo gerichter te kunnen toetsen. Verder is er nog de mogelijkheid om met of zonder multiple-choice antwoordmogelijkheden te werken.

De clozetoets correleert vaak hoog met allerlei taalvaardigheidstoetsen (o.a. Darnell, 1970; Irvine, Atai & Oller; Oller & Conrad in Abraham & Chapelle, 1992; Sadeghi, 2010; Stubbs & Tucker, 1974; Williams, Ari, Santamaria, 2011) en geniet bovendien veel voordelen die andere taalvaardigheidstoetsen niet kennen: de toets is makkelijk te ontwikkelen, het afnemen is weinig tijdsintensief en de antwoorden zijn objectief te scoren. Om deze redenen is deze toets veel geroemd. Er klinken echter ook negatieve geluiden over de clozetoets. Zo is het onduidelijk wat deze toets precies meet. Volgens sommigen zou een clozetoets alleen de zogenaamde lower-order language skills meten; de basale taalvaardigheden die worden ingezet om afzonderlijke woorden en zinnen te kunnen begrijpen of produceren. Anderen stellen dat een clozetoets ook ingezet kan worden om higher-order language skills te meten. Kort gezegd zijn dit de vaardigheden die worden gebruikt om taal op een dieper niveau te begrijpen, om verbanden te leggen, inferenties te maken en daarmee de coherentie te waarborgen.

Omdat toetsen vaak verstrekkende gevolgen kunnen hebben – een negatief toetsresultaat kan in het geval van tweedetaaltoetsing bijvoorbeeld als gevolg hebben dat iemand niet wordt toegelaten tot een vervolgopleiding – is het van belang om valide toetsen te construeren waarvan duidelijk is welke vaardigheid of kennis zij meten. Het debat rondom de validiteit van de clozetoets is nog niet beslecht. Door een nieuwe invalshoek te kiezen is in dit onderzoek een begin gemaakt met het verkrijgen van nieuwe inzichten over de eigenschappen van de clozetoets. Met behulp van de hardopdenkmethode is achterhaald welke strategieën worden ingezet tijdens het maken van verschillende soorten clozetoetsen. Hiermee kan inzichtelijk worden gemaakt of een clozetoets in staat is om tekstbegrip – een domein waarbij higher-order language skills moeten worden ingezet – te meten.

2. Theoretisch kader

Zoals vermeld is er, na jaren van onderzoek, nog steeds discussie omtrent de validiteit van clozetoetsen: wat meet een clozetoets precies (Abraham & Chapelle, 1992)? Clozetoetsen correleren hoog met allerlei taalvaardigheidstoetsen (o.a. Darnell, 1970; Irvine, Atai & Oller; Oller & Conrad in Abraham & Chapelle, 1992; Sadeghi, 2010; Stubbs & Tucker, 1974; Williams, Ari, Santamaria, 2011), maar zijn ze ook in staat om tekstbegrip te toetsen en dus om higher-order language skills te meten? Om deze vragen te kunnen beantwoorden wordt allereerst ingegaan op het begrip taalvaardigheid. Vervolgens zal het ontwikkelen van toetsen en de validiteit ervan aan bod komen, waarna wordt ingegaan op wat tekstbegrip en higher-order language skills omvatten. Hierna wordt toegespitst op waar het in dit onderzoek om gaat – de clozetoets – en wordt het hoofdstuk afgesloten met een paragraaf over de hardopdenkmethode.

2.1 Taalvaardigheid

2.1.1 Taalvaardigheid: een definitie?

Taalvaardigheid is een lastig te definiëren begrip (Hulstijn, 2009). Over wat precies onder taalvaardigheid wordt verstaan, bestaan zeer uiteenlopende meningen. Voor taalvaardigheidsmetingen is het echter noodzakelijk dat de definitie van dit begrip helder en concreet is. Zonder een duidelijke definitie is het lastig om een valide toets te creëren. In de literatuur zijn daarom verschillende theoretische modellen van taalvaardigheid voorgesteld. Hieronder worden er enkele genoemd, die het begrip alle opdelen in verschillende componenten:

Lado onderscheidt vier vaardigheden (lezen, schrijven, luisteren, spreken) en vier linguïstische domeinen (fonologie/orthografie, morfologie, syntaxis, lexicon). Deze vaardigheden en domeinen worden in een matrix verwerkt waardoor 16 componenten ontstaan (in Hulstijn, 2009).

Cummins (1980) maakt onderscheid tussen BICS (basic interpersonal cummunicative skills) en CALP (cognitive/academic language proficiency). BICS zijn voornamelijk mondelinge vaardigheden waarbij onder andere accent en fluency van belang zijn, maar ook sociolinguïstische kennis. CALP is gerelateerd aan schrift en academische vaardigheden. Canale en Swain (1980) baseren hun model op de communicatieve beweging en zien drie componenten die taalvaardigheid bepalen: grammaticale, sociolinguïstische en strategische bekwaamheid. Later heeft Canale hier nog discourse competence aan toegevoegd, wat vertaald kan worden als ‘bekwaamheid in interactie’.

Bachman en Palmer ontwikkelden hun Language Ability-model op basis van drie onderliggende niveaus:

Afbeelding 1: het Language Ability-model van Bachman en Palmer (Hulstijn, 2009, p. 3)

Bovengenoemde modellen maken duidelijk dat er uiteenlopende componenten worden aangedragen die onderdeel zouden uitmaken van het begrip taalvaardigheid. Volgens Hulstijn (2009) vallen de componenten van taalvaardigheid niet volledig van elkaar te onderscheiden en is het daarom onmogelijk om een sluitende definitie van taalvaardigheid te geven. Typische en minder typische componenten kunnen wel genoemd worden, maar ze haarscherp afbakenen en aangeven wanneer de talige kennis of vaardigheid overgaat in minder talige kennis is niet mogelijk. Volgens Hulstijn (2015) kan er wel gesteld worden dat er een kern is die voor alle moedertaalsprekers hetzelfde is en noemt dit de Basic Language Cognition (BLC). Kort gezegd duidt BLC op de mondelinge taalkennis en taalvaardigheid die alle volwassen moedertaalsprekers bezitten. Hulstijn onderscheidt daarnaast de Higher Language Cognition (HLC). Bij HLC gaat het om talige kennis die niet alle sprekers bezitten. Zo kunnen in HLC-discourse gesprekken over minder alledaagse onderwerpen plaatsvinden en kunnen laagfrequente lexicale items voorkomen.

2.1.2 Tekstbegrip

In de vorige paragraaf is geconcludeerd dat taalvaardigheid een breed begrip is dat lastig te definiëren valt. Omdat het huidige onderzoek is gericht op de toetsing van tekstbegrip zal er geen conclusie worden getrokken over de correctheid van de voorgestelde modellen van taalvaardigheid, maar zal in deze paragraaf worden ingezoomd op wat er komt kijken bij tekstbegrip. Er zal blijken dat bepaalde vaardigheden die nodig zijn om teksten te kunnen begrijpen in essentie tevens overdraagbaar zijn naar de andere domeinen, zoals luisteren en spreken, waardoor de kaders van het

2.1.2.1 Tekstmoeilijkheid

Volgens Alderson (2000) is de moeilijkheid van een tekst één van de aspecten die bijdraagt aan de mate waarin een tekst wordt begrepen (in Ajideh & Mozaffarzadeh, 2012). Als er een mismatch is tussen de lezer en de tekst zal dat erin resulteren dat de lezer gefrustreerd raakt en, in het geval van toetsing, de tekst niet meer gebruikt om tot zijn antwoorden te komen (Zamanian & Heidary, 2012). De rechterzijde van afbeelding 2 laat de factoren van een tekst zien die volgens Oakland en Lane (2004) bijdragen aan een begrijpelijke tekst.

Afbeelding 2: tekstfactoren (Oakland & Lane, 2004, p. 248)

Bepaalde van deze elementen zijn ook terug te vinden in leesbaarheidsformules, die de moeilijkheid van een tekst op een objectieve manier trachten vast te stellen. Onder andere de gemiddelde zinslengte, gemiddelde woordlengte en het dekkingspercentage van frequente woorden worden hierin als factoren meegenomen (Hacquebord & Lenting, 2012). Leesbaarheidsformules hebben de laatste jaren echter de nodige kritiek te verduren gekregen. Het belangrijkste punt van kritiek is dat de formules de suggestie wekken dat een paar simpele aanpassingen je tekst een stuk begrijpelijker zou kunnen maken: verander een aantal komma’s in punten om kortere zinnen te maken, kies een

paar keer wat kortere woorden dan er stonden en je tekst wordt door de formules als een stuk begrijpelijker beoordeeld (Jansen & Lentz, 2008).

Hoewel sommigen hun oordeel voor een, wat betreft moeilijkheid, passende tekst baseren op leesbaarheidsformules, baseren anderen hun oordeel liever op ervaring en het gezonde verstand: “Successful choice of texts depends ultimately on experience, judgement, and a certain amount of common sense” (Hughes, 2003, p. 142). De combinatie van dit citaat en afbeelding 2 geven duidelijk weer dat de keuze van een passende tekst gebaseerd moet zijn op meerdere factoren: er zou rekening gehouden moeten worden met allerlei tekstuele kenmerken, maar het gezonde verstand en ervaring mogen ook zeker niet worden uitgevlakt.

De mate waarin een tekst wordt begrepen hangt niet alleen af van tekstuele factoren. Naast tekstuele kenmerken, zoals syntactische structuur en informatiedichtheid, spelen ook lezerskenmerken een rol. Deze zijn te zien in de linkerzijde van afbeelding 2. Zoals is te zien in de afbeelding, is de mate waarin een tekst begrepen wordt een interactie tussen tekstuele kenmerken en lezerskenmerken, zoals de mate waarin iemand vloeiend leest, iemands voorkennis van het onderwerp, iemands woordenschat en iemands motivatie – wat grotendeels afhangt van of het onderwerp de lezer aanspreekt.

2.1.2.2 Talige vaardigheden

Verschillende malen is in de literatuur voorgesteld dat van een tekst (of discourse) op verschillende niveaus een mentale representatie kan worden gemaakt (Kintsch & Van Dijk, 1983; Zwaan & Radvansky, 1998): het surfaceniveau, het textbaseniveau en het situatiemodel. Op het surfaceniveau vormt de lezer zich een oppervlakkige weergave van de tekst die hij heeft gelezen. Alleen letterlijke bewoordingen zijn in deze representatie opgenomen (Zwaan & Rapp, 2006). Het textbaseniveau valt één stap hierboven: op dit niveau zijn niet meer alleen de letterlijke bewoordingen opgenomen, maar is de betekenis van de zinnen gerepresenteerd. Op het hoogste niveau, het situatiemodel, heeft de lezer een compleet beeld van de tekst verkregen. De lezer heeft zijn voorkennis gekoppeld aan wat hij zojuist heeft gelezen en heeft en kan op die manier eventuele onduidelijkheden wegwerken (Grasser, Singer & Trabasso, 1994). Het verwerken van een tekst op het niveau van het situatiemodel gaat verder dan enkel de informatie die afzonderlijke woorden of zinnen geven (Zwaan & Rapp, 2006). Volgens Zwaan en Rapp is het essentieel om een tekst op het niveau van het situatiemodel te verwerken. Pas dan zou echt tekstbegrip plaatsvinden.

Om een coherent situatiemodel van een tekst te verkrijgen, moet een lezer om te beginnen beschikken over de lezerskenmerken die zijn genoemd in afbeelding 3. Maar wat minstens zo belangrijk is, is dat een lezer relaties tussen zinnen kan leggen. Het leggen van relaties tussen zinnen

– de vaardigheden die in afbeelding 3 zijn weergegeven – in hun isolement zijn dus niet voldoende om een tekst op het niveau van het situatiemodel te kunnen verwerken, ofwel: om een tekst écht te kunnen begrijpen. Volledig tekstbegrip zal niet plaatsvinden als iemand alleen beschikt over de basisleesvaardigheden. Pas wanneer iemand integratie- en inferentieprocessen en integratie- en inferentievaardigheden inzet kan iemand tot een coherent situatiemodel van een tekst komen (Rapp, Van den Broek, McMaster, Kendeou & Espin, 2007).

Deze laatstgenoemde vaardigheden en processen worden de higher-order language skills genoemd (Cain, Oakhill & Bryant, 2004); de hogere talige vaardigheden. In bovenstaande informatie gaat het om de vaardigheden die van invloed zijn op leesvaardigheid, maar de essentie is overdraagbaar naar de andere taaldomeinen, zoals luisteren en schrijven. Het gaat om het kunnen waarborgen van de coherentie van, in dit geval, een tekst, om nieuwe informatie met eerdere informatie te kunnen integreren, om inferenties te kunnen maken, om ideeën die de tekst overbrengt te kunnen vangen en om missende elementen met achtergrondkennis te kunnen invullen (Cain, Oakhill & Bryant, 2004; Rapp, Van den Broek, McMaster, Kendeou & Espin, 2007; Van Silfhout, 2014). Deze higher-order language skills zijn ook te vinden in andere domeinen dan leesvaardigheid. Voor andere domeinen gelden uiteraard weer andere basisvaardigheden: voor spreken bijvoorbeeld geldt niet meer het kunnen decoderen van woorden en zinnen als basis, maar bijvoorbeeld het vloeiend kunnen spreken, het hebben van een correcte uitspraak, etc. Gaan we daar echter aan voorbij, dan is te zien dat de hogere talige vaardigheden die zijn besproken voor het domein tekstbegrip, ook hier nodig zijn. Om een succesvol gesprek met iemand te kunnen voeren, moet iemand de coherentie van het gesprek waarborgen, iemand moet de informatie die hij ontvangt kunnen relateren aan de kennis die hij al heeft. Met higher-order language skills worden dus vaardigheden bedoeld die verder gaan dan de basale vaardigheden die men gebruikt om afzonderlijke woorden en zinnen te kunnen begrijpen en produceren. Met behulp van de higher-order language skills functioneert iemand daadwerkelijk in een taal. In het domein lezen heeft iemand een tekst op het niveau van het situatiemodel verwerkt, in het domein spreken kan iemand een tweezijdig gesprek voeren, in het domein schrijven kan iemand een coherente tekst produceren en in het domein luisteren kan iemand volledig begrijpen wat hem wordt verteld.

2.2 Taalvaardigheidstoetsen

Vaak is het nodig om iemands taalvaardigheid, of de onderdelen ervan, in een cijfer of een andere maatstaf uit te kunnen drukken. Op de middelbare school moet iemand bijvoorbeeld een voldoende voor zowel Engels als Nederlands halen om te kunnen slagen voor zijn eindexamen. Voor inburgeraars in Nederland geldt dat zij een niveau van minimaal A2 moeten halen om te kunnen slagen voor het inburgeringsexamen en als je als Nederlander aan een Amerikaanse universiteit wilt studeren, moet

je, afhankelijk van de universiteit, op het IELTS-examen een bepaalde minimale score behalen. De uitslagen van taalvaardigheidstoetsen kunnen dus verstrekkende gevolgen hebben, waarmee het belang van het ontwikkelen van valide en betrouwbare toetsen wordt onderstreept.

Het ontwikkelen van toetsen die taalvaardigheid meten is echter geen sinecure. Zoals in paragraaf 2.1.1 al is beschreven, bestaan er verschillende opvattingen over wat taalvaardigheid precies inhoudt. Dat maakt het lastig om een toets te ontwikkelen die taalvaardigheid meet en het interpreteren van scores van toetsen die claimen taalvaardigheid te meten wordt hierdoor ook bemoeilijkt, aldus Andringa (2015). Een bepaalde score behaald op een taalvaardigheidstoets op zich zegt vrij weinig omdat er geen duidelijk definieerbare schaal is waartegen de resultaten kunnen worden afgezet. Om toch iets te kunnen zeggen over toetsscores, worden deze vaak geïnterpreteerd aan de hand van de scores van een groep of kan er een bepaald inhoudelijk doel worden gesteld waaraan een individu moet voldoen (Andringa). Ook het in acht nemen van de validiteit en betrouwbaarheid helpen bij het interpreteren van toetsscores.

2.2.1 Validiteit en betrouwbaarheid

Validiteit is de mate waarin een meetinstrument meet wat het beoogt te meten (Field, 2013). De overkoepelende term validiteit valt uiteen in verschillende onderdelen die allen bijdragen aan de vraag of aan het doel van het meetinstrument beantwoord wordt. Hieronder zullen vier soorten validiteit worden besproken.

Inhoudsvaliditeit: als de te meten kennis goed wordt gedekt in een toets, heeft de toets een hoge inhoudsvaliditeit (Korzilius, 2000). Bij taalvaardigheidstoetsen levert de inhoudsvaliditeit direct problemen op, omdat taalvaardigheid zo omvangrijk is. Altijd zullen bepaalde elementen buiten beschouwing moeten worden gelaten.

Constructvaliditeit: bij constructvaliditeit gaat het om de mate waarin de operationalisatie van de toets een adequate afspiegeling van het te meten construct is. Zo kan leesvaardigheid op allerlei verschillende manieren worden gemeten: met open vragen, meerkeuzevragen, een clozetoets of het al dan niet kunnen uitvoeren van instructies. Bij het bepalen van de constructvaliditeit gaat het erom of de gekozen toetsvorm de juiste methode is om het beoogde construct te meten (Andringa, 2010).

Indruksvaliditeit: bij de indruksvaliditeit gaat het erom of een toets ook gevoelsmatig valide lijkt. Sommige toetsvormen of vragen lijken voor de kandidaat niet te toetsen wat de toets of de vraag zou moeten meten (Andringa, 2010).

Interne validiteit: de interne validiteit richt zich op de vraag of de conclusies die worden getrokken terecht zijn. Kunnen de gevonden resultaten ook verklaard worden door andere factoren (Korzilius, 2000)?

Een valide toets beantwoordt aan alle bovengenoemde criteria. Validiteit is echter niet het enige criterium waaraan een goede, bruikbare toets voldoet. Een goede toets is behalve valide ook betrouwbaar. Betrouwbaarheid houdt de mate in waarin een instrument op verschillende momenten dezelfde resultaten haalt (Field, 2013). Zo geeft een betrouwbare toets bij een volgende meting vergelijkbare resultaten. Betrouwbaarheid verwijst daarnaast naar de mate waarin een instrument verschillen tussen kandidaten inzichtelijk kan maken (Andringa, 2010). Een onbetrouwbare toets doet dat onvoldoende of blijkt bij herhaalde metingen uiteenlopende resultaten te behalen.

2.2.2 Het ontwikkelen van toetsen

Met name het verzorgen van een hoge inhouds- en constructvaliditeit zorgt bij taalvaardigheidstoetsen voor de nodige uitdaging, vanwege het gebrek aan een sluitende definitie van het begrip taalvaardigheid. Om ondanks die ontbrekende definitie toch tot een valide en betrouwbare taalvaardigheidstoets te komen, zou er voorafgaand aan het construeren over de volgende aanknopingspunten moeten worden nagedacht (Andringa, 2010):

1. Stel het toetsdoel vast: Wil de docent sturen of wil hij selecteren? Wil hij zelf zien en aan zijn cursisten laten zien hoe ze ervoor staan zodat ze gemotiveerd kunnen worden om harder hun best te doen of is het doel om te bepalen of iemand is geslaagd voor de cursus of juist de cursus over moet doen?

2. Stel het doel van de cursist vast: Indien de docent weet wat de cursist wil bereiken, weet hij ook waar de cursist het beste mee kan oefenen en waar hij op getoetst zou moeten worden. 3. Kies de juiste vorm: Een toets kan verschillende componenten afzonderlijk meten of kan

meerdere deelvaardigheden tegelijk toetsen. Afhankelijk van wat de docent wil meten en wat het doel is van de toets, wordt ofwel gekozen voor een discrete toets, ofwel voor een integratieve toets.

2.3 De clozetoets

Dit onderzoek zal zich richten op de vraag in hoeverre een clozetoets in staat is om higher-order language skills te meten. Met een clozetoets wordt een toets bedoeld waarbij, random of selectief, woorden uit de lopende tekst worden weggelaten en worden vervangen door een streep. Met behulp van de context die overblijft moet de lezer het woord dat is weggelaten reconstrueren. De eerste en

de laatste zin worden doorgaans intact gelaten om de lezer enige houvast te bieden (Ajideh & Mozaffarzadeh, 2012).

De clozetoets is in het verleden voor meerdere doeleinden ingezet. In eerste instantie werd de toets gebruikt om de leesbaarheid van teksten te toetsen (Taylor, 1953). Later werd het doel voornamelijk het meten van lees- of taalvaardigheid, voor zowel moedertaalsprekers als tweede- en vreemdetaalsprekers.

2.3.1 Achterliggende theorieën

Verschillende theorieën liggen ten grondslag aan de in 1953 door Taylor ontwikkelde clozetoets. In deze paragraaf zullen deze theorieën worden toegelicht.

Gestalttheorie

Gestalt is een breed omvattende stroming, geïntroduceerd door Duitse psychologen in de jaren ’20. Het idee achter deze theorie is dat de manier waarop elementen worden gegroepeerd en daarmee gepresenteerd, bepalen hoe het geheel wordt waargenomen (Ellis, 1938). Dit waarnemen gebeurt op basis van verschillende principes. Bekijk bijvoorbeeld onderstaande afbeeldingen:

Afbeelding 3 Afbeelding 4

(Graphic Design, Spokane Falls Community College, z.d.)

Beide afbeeldingen bestaan uit losse vierkanten, maar de manier waarop die vierkanten bij elkaar zijn geplaatst, zijn bepalend voor de manier waarop de afbeeldingen worden waargenomen. Zo zijn in afbeelding 3 de vierkanten op een willekeurige plek neergezet, allemaal op willekeurige afstand van elkaar, waardoor we tien losse vierkanten zien (Graphic Design, Spokane Falls Community College, z.d.). In afbeelding 4 zijn de vierkanten echter telkens dicht bij elkaar geplaatst, met overal evenveel ruimte ertussen. Zo nemen we afbeelding 4 niet waar als negen losse vierkanten, maar als één geheel. Het principe ‘proximity’ (nabijheid) speelt bij het waarnemen van afbeelding 4 een grote rol. Elementen die dicht bij elkaar staan, hebben de neiging om als geheel te worden waargenomen (King & Wertheimer, 2009).

Een ander principe in Gestalttheorie is het principe van closure (letterlijk: sluiting): als een object niet compleet is, maar als wel genoeg van het object wordt weergegeven, dan neemt men het object waar als ware het compleet, omdat men zelf de missende informatie invult (Taylor, 1953). Het menselijke brein heeft de neiging om figuren compleet te maken, zelfs als een deel van de informatie mist, omdat men eerst het geheel waarneemt en dan pas kijkt naar de individuele details (Stansfield, 1980). Neem bijvoorbeeld de bekende afbeelding van het Wereld Natuur Fonds (WNF):

Afbeelding 5 (Wereld Natuur Fonds, z.d.)

De panda is feitelijk incompleet; de witte delen van de panda zijn niet gemarkeerd met een lijn en lopen daarmee over in de achtergrond. Toch herkent ons brein deze afbeelding als een panda en completeert het de twee witte delen.

Zoals de naam van de toets al verraadt, ligt het principe closure ten grondslag aan de clozetoets. Taylor – de pionier van de clozetoets – had met de toets echter een ander doel dan waar de clozetoets momenteel voor wordt ingezet: met de clozetoets wilde hij de leesbaarheid van teksten in de lezers moedertaal meten (Taylor, 1953) en niet, zoals tegenwoordig het geval is, de lees- of taalvaardigheid van lezers tegen het licht houden. Ook al betrof het de teksten en niet de proefpersonen die het onderwerp van studie waren in Taylors onderzoeken, hij vond wel significante verschillen tussen individuen en kwam daarom tot de conclusie dat clozetoetsen ook gebruikt konden worden om de leesvaardigheid in iemands moedertaal te toetsen (Klein-Braley, 1997).

Gelijk aan het principe closure is het idee van de clozetoets dat lezers de tekst waarnemen alsof de missende woorden helemaal niet missen, maar als een volledige tekst. De missende woorden kunnen dan dus met gemak worden ingevuld (Stansfield, 1980). Taylors hypothese was als volgt: als een lezer een bepaald niveau van leesvaardigheid heeft behaald, dan moet deze persoon in staat zijn

om missende woorden zo in te kunnen vullen, op voorwaarde dat de tekst van het niveau is dat de lezer heeft bereikt (Khodadady, 2012).

Reduced redundancy principle

Spolsky gebruikte ook het principe van closure maar gaf er een andere wending aan. Waar Taylor closure inzette om teksten te toetsen op hun leesbaarheid, zette Spolsky hetzelfde principe in om de leesvaardigheid van lezers te toetsen. Het principe closure werd nu door Spolsky gebruikt om zijn theorie van reduced redundancy (verminderde redundantie) vorm te geven (Khodadady, 2012; Spolsky, 1973).

Taal is redundant. Dat wil zeggen dat taal elementen bevat die in feite overbodig zijn en dat een deel van de boodschap weggelaten kan worden om toch de boodschap over te kunnen brengen. Zo geformuleerd lijkt het alsof men dagelijks veel overbodige moeite moet doen om telkens zinnen te uiten die eigenlijk ook veel korter zouden kunnen. Dit is echter niet het geval. Het feit dat meer informatie wordt overgebracht dan strikt noodzakelijk is zorgt er namelijk voor dat communicatie soepel kan verlopen in het geval van verstoringen. Het toevoegen van redundantie (letterlijk: overtolligheid) zorgt ervoor dat de kans op fouten in de communicatie wordt verkleind (Spolsky, 1973). Bekijk onderstaand voorbeeld dat Spolsky gebruikt om redundantie te illustreren:

Een CEO creëert een systeem met een bel om met de secretaresse die in een andere kamer werkt te kunnen communiceren. Het systeem bevat de volgende codes:

Eén bel: “kom binnen om te dicteren”

Twee bellen: “stuur de bezoeker naar binnen”

Drie bellen: “kom binnen om de bezoeker mee te nemen” Vier bellen: “stoor me niet”

Vrij naar Spolsky (1973, p. 7)

Dit systeem is efficiënt, maar ook erg gevoelig voor fouten; er kan immers heel goed ruis plaatsvinden (bijvoorbeeld: de telefoon gaat tegelijkertijd met de bellen), waardoor de secretaresse iets anders hoort dan is doorgegeven. Dit kan erin resulteren de secretaresse een verkeerde actie uitvoert. Door redundantie toe te voegen, bijvoorbeeld door na enige seconden de bellen te herhalen, wordt de kans op fouten verkleind.

Alle interferenties die plaatsvinden als er gecommuniceerd wordt in acht nemende, maken duidelijk dat als taal wordt gebruikt voor communicatie, alleen een redundant systeem zal werken. Men wordt immers regelmatig geconfronteerd met ruis, bijvoorbeeld in telefoongesprekken, op de

radio, etc. Het feit dat de boodschap in de meeste gevallen toch aankomt, laat zien dat taal elementen bevat die kunnen worden weggelaten zonder dat de boodschap zijn betekenis verliest.

Terug naar de clozetoets. Spolsky’s argument om closure in te zetten om taalvaardigheid te toetsen, is dat taalkennis volgens hem onder andere inhoudt dat iemand ook kan functioneren in een taal als de boodschap wordt verstoord (Klein-Braley, 1997; Spolsky, 1973). Een taal kennen houdt volgens Spolsky in dat iemand de afzonderlijke onderdelen waaruit de taal bestaat kent, maar ook dat hij missende elementen kan aanvoeren of zonder deze elementen kan functioneren: “Knowing a language involves knowing the items that make up the language, but it also involves being able to supply these items when they are missing, or being able to do without them” (Spolsky, 1968, p. 11). Door het verminderen van de redundantie, zoals het geval is in een clozetoets, wordt de kandidaat gedwongen om zijn onderliggende kennis in te zetten om de betekenis van de passage toch te kunnen begrijpen.

Het feit dat op taken waar sprake is van verminderde redundantie moedertaalsprekers vrijwel altijd niet-moedertaalsprekers overtreffen, ongeacht de taalvaardigheid van de laatste groep, is tevens een stimulans geweest om het reduced redundancy principle in te zetten om taalvaardigheid te meten (Babaii & Ansary, 2000).

Pragmatic expectancy grammar

Volgens Oller (1979) (in Saito, 2003) meet een clozetoets ook de zogenaamde pragmatic expectancy grammar. Kandidaten die een clozetoets maken zouden volgens Oller dezelfde expectancy grammar gebruiken om de clozetoets in te kunnen vullen als in elke andere talige context. Clozetoetsen zouden daarom volgens Oller gebruikt kunnen worden om een beeld te krijgen van iemands algemene taalvaardigheid (Abraham & Chapelle, 1992).

Oller definieerde de pragmatic expectancy grammar als een “psychologically real system” (Purpura, 2004, p. 52) waarover personen beschikken. Door dit systeem kunnen linguïstische elementen die binnenkomen worden gerelateerd aan de extralinguïstische context. Op basis van eerder opgedane kennis, over bijvoorbeeld grammaticale regels, maakt iemand verwachtingen over wat er zal komen en daardoor is het mogelijk de gaten in een clozetoets te kunnen dichten (Laesch & van Kleeck, 1987; Purpura, 2004).

2.3.2 Soorten clozetoetsen

De clozetoets bestaat in verschillende vormen, hoewel niet iedereen het erover eens is dat die verschillende vormen ook allemaal als clozetoets bestempeld mogen worden. Zo stelt Alderson (2000) dat de verschillende soorten clozetoetsen verschillende dingen meten en dat daarom alleen de traditionele fixed-ratio cloze een echte clozetoets is (in Ajideh & Mozaffarzadeh, 2012). Varianten

op deze toets noemt hij ‘gap-filling tasks’. Velen zijn het hier echter niet mee eens en gebruiken clozetoets als overkoepelende term voor alle varianten (o.a. Abraham & Chapelle, 1992; Bachman, 1982; Gellert & Elbro, 2012; Lee, 2008). Hieronder zullen de verschillende vormen worden toegelicht.

De fixed-ratio cloze

De meest traditionele vorm van clozetoetsen is de fixed-ratio of de random deletion cloze. Bij deze toets wordt elk nde _{woord van een passage weggelaten, dus bijvoorbeeld elk 7}de _{of elk 11}e _{woord. Het} idee achter deze vorm clozetoets is dat omdat elk nde _{woord consistent wordt weggelaten, alle} woordklassen evenveel kans hebben om op de plek van een gat te vallen. Deze manier van weglaten zou een goede sample zijn van wat in alledaagse taal voorkomt (Ajideh & Mozaffardazeh, 2012).

Aangezien de clozeprocedure oorspronkelijk werd gebruikt om de leesbaarheid van teksten te toetsen (Alderson, 1978), is het weglaten van woorden volgens een fixed-ratiopatroon logisch: er wordt immers geen onderscheid gemaakt tussen verschillende woordklassen. Zodra er genoeg woorden uit een tekst worden weggelaten zorgt dit voor een representatieve sample van alle woorden uit de tekst (Taylor, 1953).

Rational deletion cloze

Bachman (1985) ontwikkelde de rational deletion clozetoets als alternatief op de fixed-ratio cloze. Bij een rational deletion clozetoets kan de toetsontwerper kiezen welke woorden worden weggelaten. Zo kunnen bepaalde vaardigheden specifieker worden gemeten, zoals bijvoorbeeld het leggen van tekstuele relaties (Klein-Braley, 1997). Nadeel van deze toets is dat de toets nu niet meer in overstemming is met de achterliggende theorie van het reduced redundancy principle; als de tester kiest wat er wordt getest, dan wordt het random samplingmodel verlaten.

Totally random cloze

Ook de cloze met een totally random deletiepatroon kwam als alternatief op de traditionele, fixed-ratio cloze. Bij een compleet random deletiepatroon heeft elk woord in een passage evenveel kans om geselecteerd te worden, wat ook het idee is achter de fixed-ratio cloze, maar wat in feite niet het geval is.

Ook al worden de scores op deze toets meestal betrouwbaarder gevonden dan bij de fixed-ratio cloze, toch kende ook de totally random cloze zijn problemen (Helfeldt, Henk & Fotos, 1986). Tevens op de totally random clozes werden vaak lage scores gehaald. Een verklaring hiervoor kan zijn dat door een compleet random deletiepatroon de gaten soms wel erg dicht op elkaar vallen. Er zijn dan onvoldoende aanwijzingen voor de lezer om het missende woord in te kunnen vullen.

Multiple-choice cloze

Ajideh en Mozaffarzadeh omschrijven de multiple-choice cloze als volgt: “(…) multiple-choice cloze is the marriage of traditional cloze procedure to multiple-choice test” (Ajideh & Mozaffarzadeh, 2012, p. 145).De gedachte achter de multiple-choice cloze was om een valide toets te ontwikkelen die nog steeds de elementen van een clozetoets bevat, maar die ook automatisch en objectief gescoord kan worden (Cranney, 1972). Ook hier geldt dat elk nde _{woord wordt weggelaten, maar in plaats van de} kandidaten zelf een antwoord te laten bedenken, kan gekozen worden uit verschillende antwoordopties.

Verder wordt er regelmatig gevarieerd met aanwijzingen die de lezer worden gegeven. Traditioneel krijgt de lezer alleen een streep van een standaard lengte op de plek waar hij een woord moet invullen zodat de lezer geen aanwijzingen krijgt over de woordlengte (Taylor, 1953). In sommige gevallen kiest de toetsconstructeur er echter voor om het aantal letters te geven dat het doelwoord bevat. Daarnaast kan gevarieerd worden in het al dan niet geven van een (aantal) letter(s).

2.3.3 De C-toets

Na jaren van populariteit heeft de clozetoets rond de jaren ’70 en ’80 ook veel kritiek te verduren gekregen. De kritiek richtte zich met name op de validiteit van de toets. In paragraaf 2.4 zal deze kritiek uitgebreid worden besproken. Vanwege het commentaar op de clozetoets hebben Klein-Braley en Raatz in 1982 een aangepaste clozetoets ontwikkeld, die zij de C-toets noemden (Ajideh & Mozaffarzadeh, 2012). In een C-toets wordt de helft van elk tweede woord weggelaten. Indien een woord uit een oneven aantal letters bestaat, wordt het grotere deel weggelaten.

Een C-toets kan dus veel items bevatten terwijl er maar een korte passage aan te pas hoeft te komen. Andere voordelen van de C-toets boven de clozetoets zijn dat er verschillende passages gebruikt kunnen worden, waardoor eventuele voorkennis over een bepaald onderwerp een minder grote rol speelt en dat de kans groter is dat een representatiever deel van alle woordklassen wordt getoetst (Klein-Braley, 1997).

2.3.4 Scoringmethoden

Bij het nakijken van de clozetoets kunnen verschillende methoden worden gehanteerd. Kobayashi (2002) onderscheidt er drie:

Exact juist: alleen het exact juiste woord, dus ook exact juist gespeld, wordt goedgekeurd. Semantisch en syntactisch juist: bij deze methode worden ook andere woorden die goed in de zin zouden passen goedgekeurd. Wel moeten de woorden syntactisch correct zijn.

Semantisch juist en syntactisch (mogelijk) onjuist: bij deze methode worden synoniemen goedgekeurd. Deze mogen ook syntactisch incorrect zijn.

Bij het gebruikmaken van de exact juiste scoringsmethode zouden sterke lezers mogelijk kunnen worden benadeeld. Sterke lezers hebben over het algemeen een bredere woordenschat en zouden benadeeld kunnen worden wanneer zij een andere, ook passende, optie bedenken. De semantisch en syntactisch juiste scoringsmethode kan in het nadeel werken van zwakke spellers.

Bij het kiezen van een scoringsmethode moet in het achterhoofd worden gehouden wat het doel van de toets is. De verschillende scoringsmethoden meten namelijk in feite een ander construct. Bij de semantisch juist en syntactisch (mogelijk) onjuiste scoringsmethode wordt de nadruk meer gelegd op begrip van de tekst en minder op algehele taalvaardigheid. Bij de exact juiste methode en de semantisch en syntactisch juiste methode worden meerdere constructen gemeten. Niet alleen tekstbegrip, maar ook grammatica en spelling komen aan bod. Aan de hand van het doel van de toets wordt de scoringsmethode gekozen.

2.3.5 Itemmoeilijkheid en voorkennis

In paragraaf 2.1.2.1 zijn verschillende factoren besproken die bijdragen aan de moeilijkheid van een tekst. Bij een clozetoets draagt ook de itemmoeilijkheid bij aan de moeilijkheid van de tekst. Er is veel onderzoek gedaan naar welke aspecten van items de clozetoets moeilijker dan wel makkelijker maken. Abraham & Chapelle (1992) verdelen deze aspecten over twee categorieën: intrinsieke en extrinsieke kenmerken. Intrinsieke kenmerken worden door Abraham en Chapelle gedefinieerd als kenmerken van een taak die objectief gespecificeerd kunnen worden en die niet verklaard kunnen worden door kenmerken van de persoon zelf. Extrinsieke kenmerken verschillen per persoon: het gaat hier om vaardigheden die kandidaten bezitten, vaardigheden die prestaties op items beïnvloeden.

Abraham en Chapelle (1992) onderzochten het effect van verschillende intrinsieke en extrinsieke kenmerken op verschillende formats van clozetoetsen. Voor de rational deletion cloze, de toets die ook in dit onderzoek gebruikt zal worden, bleek dat de volgende aspecten bijdroegen aan de moeilijkheid van de toets:

Hoeveelheid context: hoe meer context een kandidaat nodig heeft om het item te herstellen, hoe moeilijker het herstellen wordt.

Woordlengte: hoe langer het woord, hoe moeilijker het te herstellen is.

Woordsoort: items met semantische content (inhoudswoorden) zijn moeilijker te herstellen dan woorden die een syntactische functie hebben (functiewoorden).

Aantal mogelijke antwoorden: als een te herstellen woord maar één mogelijke optie heeft, is het moeilijker om deze in te vullen dan als er meerdere opties zijn.

Aantal vormen: woorden waarvan een inflectie wordt verwacht zijn moelijker dan woorden waarbij geen geïnflecteerde vorm wordt verwacht.

Naast de itemmoeilijkheid speelt ook de mate waarin iemand al kennis heeft van een bepaald onderwerp een rol in de moeilijkheid van de clozetoets. Hoe een tekst verwerkt wordt, kan onder andere beïnvloed worden door de hoeveelheid voorkennis die een lezer heeft. Zo vonden onder anderen Chiesi, Spilich en Voss (1979) dat lezers die meer voorkennis van een bepaald onderwerp hadden, zich meer informatie van een tekst met dat onderwerp konden herinneren. In paragraaf 2.1.2.2 is al besproken dat om een tekst echt te kunnen begrijpen, een lezer altijd zijn voorkennis moet inzetten om vooronderstellingen die een tekst maakt en relaties die een tekst verzwijgt te kunnen achterhalen. Dit wordt makkelijker naarmate er meer kennis is van het onderwerp. In clozetoetsen wordt altijd informatie achtergehouden. Iemand met meer voorkennis over het onderwerp waar de clozetoets over gaat zou dus wellicht makkelijker de woorden kunnen invullen. 2.4 De validiteit van clozetoetsen

Eerder genoemde theorieën, het gegeven dat een clozetoets vaak hoog correleert met andere methoden om tweedetaalvaardigheid en leesvaardigheid te meten (o.a. Darnell, 1970; Irvine, Atai & Oller; Oller & Conrad in Abraham & Chapelle, 1992; Sadeghi, 2010; Stubbs & Tucker, 1974; Williams, Ari, Santamaria, 2011) en zijn efficiënte karakter – het is relatief gemakkelijk om de toets in elkaar te zetten, hij is snel af te nemen en de scoring kan objectief – samen nemend, lijken voor de hand liggende argumenten om de clozetoets in te zetten als methode om taalvaardigheid te meten. Er is in de loop der jaren echter ook veel kritiek gekomen op de clozetoets als middel om taal- of leesvaardigheid te toetsen. Abraham en Chapelle (1992) wijzen er bijvoorbeeld op dat de prestatie op een clozetoets afhangt van allerlei contextuele factoren, zoals tekstmoeilijkheid, onderwerp van de tekst, ratio van het aantal gaten en de manier van antwoorden (multiple-choice of zelf bedenken) en tevens sterk afhankelijk is van het soort clozetoets dat gebruikt wordt.

Een ander punt van kritiek richt zich op de vraag wat voor vaardigheden een clozetoets precies meet. Hierover is nog geen consensus bereikt. Er zijn onderzoekers die beweren dat met een clozetoets alleen de lagere talige vaardigheden tegen het licht worden gehouden (o.a. Alderson, 1979; Klein-Braley in Farhady & Keramati, 1996; Shanahan, Kamil & Tobin, 1982) en dat een clozetoets daarom niet gebruikt zou moeten worden om taalvaardigheid te toetsen. Het andere kamp (o.a. Gellert & Elbro, 2013; Chihar, Oller, Weaver en Chavez-Oller in Bachman, 1982) is echter van mening dat een clozetoets juist wél ingezet kan worden om taalvaardigheid te meten, omdat volgens hen een clozetoets ook de hogere talige vaardigheden zou kunnen meten. Kortom: de kritiek richt

zich op de validiteit van de clozetoets en met name op de constructvaliditeit. In de volgende paragrafen zal eerder onderzoek naar de validiteit van de clozetoets worden omschreven.

2.4.1 Kritiek op de validiteit van de clozetoets

Over het algemeen worden er hoge correlaties gevonden tussen clozetoetsen en andere toetsen die taal- of leesvaardigheid meten (zie ook de volgende paragraaf), maar sommige studies vinden ook lagere correlaties. Zo presenteert Alderson (1978) een hele reeks studies waarin voor moedertaalsprekers hoge correlaties tussen cloze- en leestoetsen worden gevonden, maar ook enkele studies waarin lagere correlaties worden gevonden passeren de revue. Alderson noemt de studie van Mosberg, Potter en Cornell, waarin correlaties van .43 tot .65 voor fifth graders, maar ook correlaties van .19 tot .37 voor eighth graders worden gerapporteerd. Mosberg, Potter en Cornell zijn daarom wat voorzichtiger met het inzetten van clozetoetsen als leesvaardigheidstool. Alderson haalt ook een studie van Bormuth aan, die zowel lage (.35) als hoge (.89) correlaties vond tussen de clozetoets en verschillende soorten lees- en woordenschattoetsen.

Behalve de soms lage correlaties die worden gevonden, is er nog meer kritiek. Zo stelt Sadeghi (2008) dat clozetoetsen geen eerlijke manier zijn om leesvaardigheid te meten. Sadeghi’s beredenering is als volgt: de traditionelere leestoetsen leggen de lezer een complete tekst voor en vervolgens wordt aan de hand van vragen bekeken of de tekst is begrepen, terwijl bij een clozetoets de lezer wordt gevraagd om iets te reconstrueren dat voor hem of haar verborgen is en om die al dan niet correct gereconstrueerde discourse te begrijpen. Meer kritiek komt van onder anderen Carlisle en Rice (in Gellert & Elbro, 2012), die menen dat clozetoetsen alleen ‘lokaal’ begrip meten en daarom niet geschikt zijn om tekstbegrip te ondervragen. Daarnaast demonstreerden Shanahan, Kamil en Tobin (1982) dat Engelse moedertaalsprekers ongeveer even goed presteren op clozepassages waarbij de zinnen van volgorde zijn veranderd als op clozepassages waar de zinsvolgorde intact is gelaten. Dit laat volgens hen zien dat clozetoetsen niet gevoelig zijn voor het verwerken van informatie buiten de grenzen van zinnen. Ook Alderson (1979) sluit zich aan bij deze constatering. Hij vond dat verschillende deletiepatronen leidden tot andere scores, wat betekent dat een clozetoets erg gevoelig is voor het weglaten van individuele woorden. Als dit inderdaad het geval is, dan moet men zich afvragen of een clozetoets wel higher-order language skills meet. Alderson (1979) en Klein-Braley (in Farhady & Keramati, 1996) vonden dat clozetoetsen meer correleerden met grammatica-en woordgrammatica-enschattoetsgrammatica-en dan met toetsgrammatica-en die integratieve vaardighedgrammatica-en toetsgrammatica-en grammatica-en verbondgrammatica-en daar de conclusie aan dat clozetoetsen geen higher-order language skills kunnen meten.

De kritiek op de clozetoets richt zich dus voornamelijk op de constructvaliditeit. De ‘tegenstanders’ van de toets zijn van mening dat het weglaten van woorden uit de tekst en de lezer

2.4.2 Positief commentaar op de clozetoets

Clozetoetsen worden regelmatig ingezet om leesvaardigheid te meten, als alternatief op de traditionele vraag-antwoord leestoetsen. De traditionele leestoetsen worden veel gebruikt, maar desondanks ook regelmatig bekritiseerd. De items zijn moeilijk om te construeren en het is goed mogelijk dat het idee van de auteur van de tekst die wordt gebruikt niet wordt gevat (Cranney, 1972). Clozetoetsen bieden hier uitkomst: de mening van de auteur kan niet op een verkeerde manier worden gerepresenteerd en het construeren van de items in een clozetoets is niet moeilijk – in ieder geval niet voor de traditionele cloze.

Daar komt bij dat verschillende studies hebben aangetoond dat clozetoetsen gemiddeld tot hoge correlaties vertonen met gestandaardiseerde taalvaardigheidstoetsen en de verschillende losse onderdelen waaruit die toetsen bestaan, zoals lees- en luistertoetsen. Dit geldt zowel voor toetsen voor moedertaalsprekers als voor tweede-/vreemdetaalsprekers. Zo vonden onder anderen Oller en Conrad (1971), Oller (1973), Oller, Atai en Irvine (1974), Stubbs en Tucker (1974), Aitken (1977), en Streiff (1978) (allen in Alderson, 1979) hoge correlaties tussen clozetoetsen en andere methoden om Engels als tweede taal te meten. Oller (1972) (in Alderson, 1978) vond hoge correlaties tussen clozetoetsen en dictatie-, lees-, grammatica- en woordenschattoetsen. De correlaties tussen clozetoetsen en dictatie- en leestoetsen waren hoger dan de correlaties tussen clozetoetsen en grammatica- en woordenschattoetsen. Oller verbond hieraan de conclusie dat clozetoetsen, net als dictatietoetsen, integratieve toetsen zijn en daarom erg geschikt zijn om “high-level integrative skills” (Alderson, 1978, p. 58) te meten. Beïnvloed door Ollers conclusies, nemen tweede- en vreemdetaaltoetsers aan dat clozetoetsen een valide procedure zijn om zowel algemene taalvaardigheid als leesvaardigheid te toetsen (in Alderson, 1978). Ook voor moedertaalsprekers is er het nodige onderzoek geweest. Zo vond Taylor (1957) dat clozetoetsen significant correleerden met leestoetsen, met coëfficiënten in de range van .51 tot .92 (in Alderson, 1978). Rankin (1957) (in Alderson, 1978) rapporteerde daarnaast in een uitgebreide studie gelijke correlaties tussen cloze- en leestoetsen over dezelfde passage. Ook onder anderen Hinofotis (in Lee, 2008) en Smith & Zink (1977) vonden hoge correlaties cloze- en leestoetsen voor moedertaalsprekers. De bevindingen van deze onderzoekers tonen aan dat er een relatie is tussen de score op een clozetoets en algemene taalvaardigheden (Farhady & Keramati, 1996).

Zoals in de vorige paragraaf is vermeld zien de ‘tegenstanders’ van de clozetoets behalve lage correlaties tussen cloze- en andere toetsen, een ander belangrijk nadeel aan de clozetoets: een clozetoets zou niet in staat zijn om hogere talige vaardigheden te kunnen meten. Er is echter een groot aantal onderzoekers dat hier anders over denkt.

Hogere talige vaardigheden zouden volgens de tegenstanders niet gemeten kunnen worden omdat clozetoetsen niet gevoelig zouden zijn voor relaties die tussen zinnen bestaan. Zo toonden Shanahan, Kamil en Tobin (1982) aan dat moedertaalsprekers van het Engels even goed presteerden op clozepassages waarin met de volgorde van zinnen was geknoeid als op gewone clozepassages. Chihar, Oller, Weaver en Chavez-Oller (in Bachman, 1982) vonden met een vergelijkbaar onderzoek tegengestelde resultaten. Hun resultaten toonden aan dat clozetoetsen juist wél gevoelig zijn voor informatie die over de grenzen van zinnen heen gaat.

Recenter toonden ook Gellert en Elbro (2013) met een onderzoek gebruikmakend van zogenaamde cohesive ties aan dat een clozetoets zeker wel zo ontworpen kán worden dat de toets ook de hogere levels van taalvaardigheid aandoet. Cohesive ties worden volgens Gellert en Elbro gedefinieerd als “a text device that makes texts cohere across sentences” (p. 19). Met andere woorden: cohesive ties zijn elementen in de tekst die ervoor zorgen dat er samenhang bestaat tussen zinnen. Gellert en Elbro maken onderscheid tussen verschillende soorten cohesive ties:

Pronominal references: semantische links tussen zinnen.

Lexical cohesion: waar lexicale items naar dezelfde entiteit verwijzen. Conjunction: woorden waarmee de relatie tussen zinnen wordt aangeduid.

Verschillende studies hebben aangeduid dat minder vaardige ‘begrijpers’ minder goed zijn dan vaardige ‘begrijpers’ in het invoegen van zulke woorden in de tekst (Gellert & Elbro, 2013). Volgens Gellert en Elbro kunnen de cohesive ties goed gebruikt worden om begrip dat over de grenzen van afzonderlijke zinnen heen gaat te meten. Gellert en Elbro zijn echter niet van mening dat een clozetoets per se hogere taalvaardigheden meet. Wel denken zij dat een clozetoets zo ontworpen kan worden dat die hogere taalvaardigheden kunnen worden gemeten. De uitkomst van het onderzoek bevestigde hun verwachtingen: een snelle clozetoets kan zo worden ontworpen dat de resultaten overeenkomen met een tijdsintensievere begripstoets.

Dit onderzoek zal trachten bij te dragen aan de discussie omtrent het vraagstuk in hoeverre een clozetoets in staat is om tekstbegrip te meten. Zoals eerder is vermeld, is er sprake van tekstbegrip als een tekst op situatiemodelniveau is verwerkt. Om tot een situatiemodel van een tekst te komen, heeft de lezer higher-order language skills moeten inzetten. Hij heeft daarmee zijn integratie- en inferentievaardigheden gebruikt. Eerder onderzoek heeft zich vooral gericht op correlaties tussen andere gestandaardiseerde taaltoetsen of geprobeerd met specifieke woorden die begrip zouden meten te toetsen of hogere taalvaardigheden worden gemeten. Dit onderzoek zal hier een element

worden nagegaan wat er in iemands hoofd omgaat op het moment van het lezen van de tekst. De hypothese is dat op momenten waar om woorden wordt gevraagd waarvoor relaties binnen of buiten het zinsverband moeten worden gelegd, de lezer zal beredeneren welk woord zal moeten worden ingevuld. Bij woorden waar om bijvoorbeeld een functiewoord wordt gevraagd – welke over het algemeen makkelijker worden ingevuld (Abraham & Chapelle, 1992) – is de verwachting dat de lezer meer geautomatiseerd zal antwoorden. Met behulp van wat er hardop wordt gedacht kan worden achterhaald of iemand integratie- en inferentievaardigheden, en dus higher-order language skills gebruikt. Hiermee kan worden aangetoond of met een clozetoets higher-order language skills – en dus tekstbegrip – gemeten kunnen worden. Meer over de hardopdenkmethode en hoe deze precies zal worden ingezet in dit onderzoek in de volgende paragraaf.

2.5 De hardopdenkmethode

De hardopdenkmethode heeft zich ontwikkeld tot een erkende onderzoeksmethode voor uiteenlopend lees- en schrijfonderzoek. Twee manieren van het toepassen van hardopdenkprotocollen zijn mogelijk: synchroon of retrospectief. Bij een synchroon toegepast hardopdenkprotocol worden gedachten tijdens het uitvoeren van een taak geverbaliseerd. Hiertegenover staat de retrospectieve manier, waarbij kandidaten eerst een taak uitvoeren en achteraf vertellen over hun gedachten tijdens het uitvoeren van de taak (van den Haak, de Jong & Schellens, 2006). In dit onderzoek wordt gebruik gemaakt van de synchrone methode: tijdens het lezen van de tekst verbaliseren de kandidaten hun gedachten.

In leesonderzoek wordt de hardopdenkmethode breed ingezet. Zo kan de methode worden gebruikt om tekstbegrip te faciliteren (McClintock, Pesco & Martin-Chang, 2014; Oster, 2001), om de sterke en zwakke punten van lezers te onthullen (Oster, 2001) of om na te gaan welke leesstrategieën lezers inzetten (Vaezi & Alizadeh, 2011). Voor dit onderzoek staat dit laatste uitgangspunt centraal. In paragraaf 2.1.2.2 is vastgesteld dat onder andere het kunnen maken van inferenties zorgt voor het kunnen verwerken van een tekst op een hoger niveau. Omdat de hardopdenkmethode regelmatig wordt gepresenteerd als een effectieve methode om inferenties die lezers maken vast te stellen (McClintock, Pesco & Martin-Chang, 2014), zal het inzetten van deze methode in dit onderzoek naar de validiteit van de clozetoets daarom van grote waarde zijn.

In dit onderzoek zullen, met behulp van de hardopdenkmethode, de (lees)strategieën die worden gebruikt bij het invullen van een clozetoets getracht te worden aangetoond. Vaezi en Alizadeh (2011) hebben de hardopdenkmethode eerder ingezet in onderzoek naar de clozetoets. Hun uitgangspunt was om na te gaan welke strategieën werden gebruikt bij het invullen van werkwoordsvormen. In dit onderzoek werden de volgende strategieën genoteerd:

Vertalen Parafraseren

Refereren aan tijdsindicatoren

Refereren aan tekst die al was gelezen of die later volgde Activeren van achtergrondkennis

Infereren van de betekenis van onbekende woorden aan de hand van context Invullen aan de hand van parallelle structuren

De strategieën die in het onderzoek van Vaezi en Alizadeh (2011) aan bod kwamen, hebben gediend als uitgangpunt voor het opstellen van het strategiemodel waarin in dit onderzoek de strategieën werden gescoord. In hoofdstuk 3 is het strategiemodel te vinden dat in dit onderzoek is gebruikt.

3. Methode

Aan dit onderzoek deden in totaal 50 participanten mee. Van een deel van de participanten bleek het materiaal echter niet bruikbaar, omdat toetsen niet serieus waren gemaakt of omdat het niveau van het Nederlands van enkele participanten onvoldoende was om genoeg woorden in te kunnen vullen. Uiteindelijk zijn de gegevens van 37 participanten gebruikt in de analyse, waarvan 7 mannen en 30 vrouwen. De leeftijd van de deelnemers lag tussen de 19 en de 56, met een gemiddelde van 30.

Van de 37 participanten hadden er 30 het Nederlands niet als moedertaal. Vijf participanten hadden het Engels als moedertaal, vijf het Russisch, drie het Arabisch, drie het Pools, twee het Oekraïens, twee het Italiaans en de overige participanten hadden het Afghaans, Armeens, Kroatisch, Roemeens, Bulgaars, Spaans, Zuid-Afrikaans, Duits of het Antilliaans als moedertaal. De zeven participanten die het Nederlands wel als moedertaal hadden, zijn nadat het onderzoek bij de NT2-ers is afgenomen aan het onderzoek toegevoegd omdat bleek dat de NT2-ers vrij weinig hardop hadden gedacht. De aanname is dat dit kwam doordat het lastig kan zijn om zowel een toets te maken als hardop te denken in een taal die je (nog) niet volledig beheerst.

Het gemiddelde opleidingsniveau van zowel de NT2-participanten als de NT1-participanten is hoog te noemen. Van de 30 NT2-participanten hebben er 25 hoger onderwijs gevolgd, waarvan 10 een hbo-opleiding en 15 een universitaire opleiding. Eén participant heeft alleen de middelbare school afgerond en vier participanten hebben een mbo-diploma. De NT1-ers hadden allen hoger onderwijs gevolgd, waarvan drie een universitaire opleiding en vier een hbo-opleiding.

Een groot deel van de participanten woont nog niet erg lang in Nederland. Zo wonen zeven participanten pas sinds vorig jaar in Nederland en zijn tien participanten tussen 2010 en 2013 in Nederland komen wonen. Gemiddeld genomen wonen de participanten iets langer dan vijf jaar in Nederland.

3.2 Materiaal

In deze paragraaf zal worden ingegaan op het gebruikte materiaal. Om te beginnen zal de totstandkoming van de toetsen worden besproken. Vervolgens zal het beoordelingsmodel aan bod komen en tot slot wordt beschreven hoe de hardopdenkmethode is ingezet.

3.2.1 Toetsen

Participanten kregen in totaal twee fixed-ratio clozetoetsen en vier rational deletion clozetoetsen. De vier rational deletion clozetoetsen zijn opgedeeld in twee soorten: twee ‘makkelijke’ toetsen, waarbij relatief simpel in te vullen woorden zijn weggelaten, zoals ‘je’ en ‘het’, en twee ‘moeilijke’ toetsen,

waarbij het idee is dat de woorden die zijn weggelaten alleen ingevuld kunnen worden als de tekst echt was begrepen. Deze woorden geven bijvoorbeeld relaties tussen of relaties binnen zinnen weer of kunnen alleen worden ingevuld als de relatie is begrepen en een inferentie is gemaakt. Hieronder twee voorbeelden uit de rational deletion clozetoetsen om het verschil te illustreren:

Rational deletion cloze, makkelijk:

Als je rustig op een stoel zit, adem je ongeveer zes keer per minuut. Het aantal keer dat je per minuut ademhaalt kan oplopen _____________ wel zestig als je inspanning levert, dus als je dingen aan het doen _____________. Zo adem je tijdens wandelen tien tot zestien _____________ per minuut en als je gaat hardlopen wel veertig tot zelfs zestig keer per _____________.

Rational deletion cloze, moeilijk:

Waarom zijn juist natuurdocumentaires vaak zo’n groot succes? Hoe komt het dat deze documentaires zoveel volle zalen trekken, _____________ dat er geen beroemde filmsterren in te zien zijn?

Hier zijn _____________ verklaringen voor. Om te beginnen is het moeilijk om goede _____________ van dieren te maken. De filmtechnologie is in de afgelopen jaren veel verbeterd. Toch blijft het _____________ om dat ene moment dat de zeldzame tijgerkever eitjes legt op film te krijgen.

In de makkelijke variant van de rational deletion cloze is te zien dat sommige woorden die zijn weggelaten ook al worden genoemd in de tekst. Je hoeft de eerste tekst niet te begrijpen om te zien dat er achter ‘zestien’ het woord ‘keer’ moet komen. Om deze woorden in te kunnen vullen zijn eigenlijk haast alleen de lower-order language skills nodig. Het zijn vaak functiewoorden, hoewel, zoals is te zien in het voorbeeld, dit zeker niet altijd het geval is. In de moeilijke variant laat het eerste ontbrekende woord al direct zien dat er een verband tussen de zinnen moet worden gelegd om tot het woord ‘ondanks’ te kunnen komen. Je moet als lezer de inferentie maken dat, ook al spelen er geen beroemde filmsterren in de documentaires, de films toch succesvol zijn. Hetzelfde geldt voor de overige ontbrekende woorden: telkens moet de lezer elementen van zinnen aan elkaar koppelen om de ontbrekende woorden in te kunnen vullen. Hiervoor moet de lezer zijn higher-order language skills inzetten. Of de lezer daadwerkelijk higher-order language skills inzet, wordt achterhaald met behulp van de hardopdenkmethode.

De teksten komen oorspronkelijk van de websites www.kennislink.nl en www.quest.nl, maar zijn zo herschreven, dat ze geschikt zouden zijn voor lezers met een niveau van ongeveer B1-B2. Zoals beschreven in paragraaf 2.1.2.1 zijn er veel zaken die een rol spelen in de moeilijkheid van een tekst. Hier werd ook beschreven hoe men met behulp van leesbaarheidsformules de moeilijkheid van een tekst objectief probeert vast te stellen en wat de kritiek op deze formules is. In dit onderzoek zijn de teksten daarom vooral met behulp van het gezonde verstand zoveel mogelijk aangepast aan de

onderwerpen en tekstlengte. Ook is rekening gehouden met eventuele voorkennis van participanten, door vrij neutrale onderwerpen (‘stilte’, ‘ademen’, ‘natuurdocumentaires’, ‘dromen’, ‘de weg vinden’ en ‘snoep’) te kiezen. Met het kiezen van neutrale onderwerpen is getracht de factor voorkennis zo weinig mogelijk van invloed te laten zijn. Uiteraard is het nog steeds mogelijk dat iemand wat meer kennis heeft dan een ander over een bepaald onderwerp. Door zes verschillende onderwerpen te gebruiken, wordt dit mogelijke voordeel ingeperkt.

Om toch een ijkpunt te hebben wat betreft moeilijkheid, is het programma TextAnalyzer, ontwikkeld aan de UvA, gebruikt om de teksten te screenen op het dekkingspercentage van de 3000 meest frequente woorden. De dekkingspercentages in de gebruikte teksten liggen tussen de 85% en 90,8% (zie ook tabel 1). De tekst met het dekkingspercentage van 85% is de tekst met als onderwerp ‘snoep’. Het woord ‘snoep’ komt niet voor in de lijst met de 3000 meest frequente woorden, met als gevolg dat het dekkingspercentage laag uitkomt. Wordt ‘snoep’ vervangen door een willekeurig woord uit de freq-3000 lijst, dan stijgt het dekkingspercentage naar 90,5%. Ook al komt ‘snoep’ niet voor in de freq-3000 lijst, toch is de veronderstelling dat dit wel een bekend woord zal zijn bij de meeste mensen. Om deze reden is daarom toch gebruikgemaakt van deze tekst.

Van elke soort clozetoets zijn twee teksten gemaakt; een wat langere en een wat kortere variant. De langere variant heeft rond de 315 woorden en de kortere variant rond de 180. Bij d e twee fixed-ratio clozetoetsen ontbreekt elk 11e _{woord en bij de rational deletion clozetoetsen is rondom} het 11e _{woord een woord weggelaten, afhankelijk van welk woord het beste kon worden weggelaten} gezien de aard van de toets. Het gemiddelde woordaantal tussen twee ontbrekende woorden lag tussen de 11,4 en 12,8. De clozetoetsen zijn te vinden in bijlage 1.

Soort toets Titel

Dekkingsper-centage freq-3000 Aantal woorden Aantal gaten Gemiddeld woordaantal tussen twee gaten Rational deletion, makkelijk Stilte 88,2 311 24 12,0 Ademen 90,3 176 13 11,4 Rational deletion, moeilijk Natuurdocumentaire 88,2 323 23 12,7 Dromen 90,8 184 13 12,8

Fixed-ratio De weg vinden 89,3 318 24 11,5

Snoep 85 180 13 11,5

Tabel 1: eigenschappen clozetoetsen 3.2.2 Beoordelingsmodel

Bij het nakijken van de toetsen is rekening gehouden met het feit dat de toets werd gemaakt door onder andere mensen die het Nederlands niet als moedertaal hebben. Veelal volgen zij nog cursussen en proberen zij hun Nederlands te verbeteren. Om deze reden is ervoor gekozen om gebruik te maken van de semantisch juist en syntactisch (mogelijk) onjuiste scoringsmethode. Zoals uitgelegd in

paragraaf 2.3.4 houdt dit in dat ook andere antwoorden dan het exact juiste antwoord worden goed gerekend, mits deze wat betekenis betreft in de zin passen. Om deze scoringsmethode te illustreren wordt hieronder nogmaals het voorbeeld uit de moeilijke rational deletion cloze weergegeven:

Waarom zijn juist natuurdocumentaires vaak zo’n groot succes? Hoe komt het dat deze documentaires zoveel volle zalen trekken, _____________ dat er geen beroemde filmsterren in te zien zijn?

Behalve het juiste antwoord ‘ondanks’ zijn ook ‘terwijl’, ‘hoewel’, ‘desondanks’ en ‘although’ goedgekeurd. ‘Terwijl’, ‘hoewel’ en ‘desondanks’ passen syntactisch gezien niet helemaal in de zin, maar laten wel zien dat de lezer heeft begrepen welk verband de zin zou moeten uitdrukken. Het doel van dit onderzoek is achterhalen in hoeverre een clozetoets in staat is om tekstbegrip te meten en als iemand met een ander woord dan het exact juiste antwoord kan aantonen dat hij de verbanden begrijpt, dan heeft hij daar punten voor gekregen. Over het goedkeuren van buitenlandse woorden kan worden gediscussieerd. In dit onderzoek is ervoor gekozen om buitenlandse woorden goed te keuren om dezelfde reden waarom ook syntactisch onjuiste antwoorden soms zijn goedgekeurd. Het correcte antwoord in een andere taal toont ook aan dat iemand het verband heeft gelegd. Het woord is nog niet verworven in het Nederlands, maar de passage is begrepen. Fouten in de spelling zijn ook niet afgerekend. Wel is er in de scoring onderscheid gemaakt tussen antwoorden die zowel semantisch als syntactisch goed zijn en antwoorden die enkel semantisch goed zijn. In bijlage 2 is te vinden welke antwoorden zijn goedgekeurd.

3.3 Verwerking gedachten

Om te kunnen achterhalen of een clozetoets tekstbegrip kan meten is gebruikgemaakt van de hardopdenkmethode. Veertien participanten zijn gevraagd om hun gedachten tijdens het lezen te verbaliseren. Met behulp van de gedachten van de participanten kan worden achterhaald welke strategieën bij de verschillende soorten toetsen worden ingezet en daarmee of er bij de verschillende soorten toetsen ook andere strategieën worden gebruikt. Bij het invullen (of open laten) is per item bijgehouden welke acties de kandidaat ondernam. In eerste instantie is hiervoor gebruikgemaakt van het strategieschema van Vaezi en Alizadeh (2011) dat in paragraaf 2.5 is genoemd. Na bij enkele participanten het hardopdenkgedeelte te hebben afgenomen, bleek dat veel van de strategieën die Vaezi en Alizadeh noemden, niet konden worden waargenomen. Daarom is het strategieschema van Vaezi en Alizadeh aangepast aan de hand van de waarnemingen die werden gedaan tijdens het afnemen van het onderzoek. Hieruit is het volgende schema voortgevloeid:

1 Antwoord wordt direct ingevuld

Antwoord wordt na korte stilte (<4 sec) ingevuld Antwoord wordt na lange stilte (>4 sec) ingevuld 2 Kandidaat blijft stil

3 Kandidaat herleest zin

Kandidaat leest binnen de zin vooruit Kandidaat herleest buiten zin

Kandidaat leest buiten zin vooruit

Kandidaat parafraseert / licht antwoord toe

Kandidaat noemt meerdere opties of geeft synoniemen Kandidaat noemt Engelse/buitenlands woord

Kandidaat komt terug op eerst ingevulde antwoord

Kandidaat vindt bevestiging doordat er verder wordt gelezen Kandidaat refereert aan een clue

4 Kandidaat laat het woord in eerste instantie open Kandidaat weet het niet

Tabel 2: gebruikte strategieën

Van de strategieën in rij 3, raken de dikgedrukte strategieën aan de strategieën van Vaezi en Alizadeh zoals beschreven in paragraaf 2.5. Andere strategieën die Vaezi en Alizadeh noemden, zoals ‘vertalen’, ‘refereren aan tijdsindicatoren’, ‘activeren van achtergrondkennis’, ‘infereren van de betekenis van onbekende woorden aan de hand van context’ en ‘invullen aan de hand van parallelle structuren’ zijn niet waargenomen.

3.4 Procedure

De participanten waren voorafgaand aan het onderzoek niet op de hoogte gesteld van het doel van het onderzoek. Hen werd alleen de instructie gegeven om ontbrekende woorden in te vullen en, indien ook werd meegedaan aan het hardopdenkprotocol, om de tekst hardop voor te lezen en om alle gedachten die in hen opkwamen te verwoorden. Ook werd benadrukt dat er geen cijfer zou worden gegeven en dat niemand het ‘goed’ of ‘slecht’ kon doen. Er was geen tijdslimiet aan het onderzoek, hoewel in een enkel geval de examinering na anderhalf uur werd beëindigd.

De toetsen zijn in twee condities aangeboden, om uit te sluiten dat prestaties te wijten zouden zijn aan de volgorde van aanbieden. De helft van de teksten is wat langer dan de andere helft en indien iemand veel moeite ondervindt met de teksten, kan hij gedemotiveerd raken van een lange tekst. Als de laatste tekst een lange tekst is, zou het kunnen voorkomen dat deze tekst niet serieus meer wordt gemaakt. In de tabel hieronder is te zien in welke volgorde de teksten werden aangeboden in de twee condities.