Conclusie en discussie

Voor dit onderzoek naar de vraag of clozetoets tekstbegrip kan meten, is een andere weg ingeslagen dan gebruikelijk is in onderzoek naar de clozetoets. De afgelopen decennia is er veel onderzoek verricht, maar lijkt een soort patstelling te zijn bereikt. Zoals in paragraaf 2.4 is besproken, stellen voorstanders van de clozetoets (o.a. Gellert & Elbro, 2013; Chihar, Oller, Weaver en Chavez-Oller in Bachman, 1982) dat deze toets wel de higher-order language skills kan meten, terwijl tegenstanders (o.a. Alderson, 1979; Klein-Braley in Farhady & Keramati, 1996; Shanahan, Kamil & Tobin, 1982) beweren dat een clozetoets dit juist niet doet. Dit onderzoek heeft, door het onderwerp op een andere manier te benaderen, een begin gemaakt met het verkrijgen van nieuwe inzichten. De nadruk wordt gelegd op ‘een begin gemaakt met’, want behalve dat er aan dit onderzoek veel voor verbetering vatbaar is, zijn er ook suggesties voor verder onderzoek.

Uit de resultaten van de toetsscores bleek dat, zoals werd verwacht, de moeilijke rational deletion clozetoets het minst goed, en de makkelijke rational deletion clozetoets het best werd gemaakt. De items van de fixed-ratio clozetoets konden zowel makkelijk als moeilijk zijn om te reconstrueren, waardoor werd verwacht dat deze toets wat scores betreft ergens tussen het moeilijke en het makkelijke format in zou zitten. De verschillen tussen het moeilijke format en de fixed-ratio clozetoets bleken echter voor zowel de NT2-ers als voor de NT1-ers niet significant. Puur gekeken naar de toetsscores zijn de moeilijke rational deletion clozetoets en de fixed-ratio clozetoets dus vergelijkbaar.

Toch bleken er wel degelijk verschillen te zijn tussen deze twee clozetoetsen. Een eerste verschil was te zien in de scores die zijn behaald op de losse toetsen: de scores op de twee moeilijke clozetoetsen zijn voor beide groepen niet significant, terwijl de scores op de twee fixed-ratio clozetoetsen voor de NT2-ers wel significant van elkaar verschillen. Grote verschillen waren het niet, maar deze gegevens geven wel een eerste indicatie dat de twee soorten toetsen van elkaar verschillen. Indien de prestaties op twee toetsen van hetzelfde format van elkaar verschillen, kan het zijn dat de toets de ene keer iets anders meet dan de andere keer, afhankelijk van op wat voor soort woord het weg te laten woord telkens valt. Op de twee moeilijke clozetoetsen bleken wel vergelijkbare scores te worden gehaald, waarmee deze toetsen hetzelfde construct lijken te meten. De resultaten van de toetsscores zijn in de lijn der verwachtingen en sluiten tevens aan bij kritiek die eerder is geleverd op de clozetoets en die is besproken in paragraaf 2.4.1: prestaties kunnen fluctueren omdat clozetoetsen erg gevoelig zijn voor welk woord wordt weggelaten (Alderson, 1979).

Vervolgens is gekeken naar de manier waarop de afzonderlijke items zijn ingevuld. Er is bijgehouden of een item direct werd ingevuld of dat er een gedachte aan vooraf ging of naderhand werd geuit. De NT2-ers hebben gemiddeld 68 van de 109 items ingevuld zonder daarbij hardop een

gedachte te formuleren. De NT1-ers vulden gemiddeld 59 van de 109 items in zonder hardop na te denken. Het verschil in de manier van invullen geeft aan dat de NT2-ers wat meer moeite hadden met het hardop denken dan de NT1-ers. Tevens geeft het aan dat er weinig is gedacht en wordt daarmee direct één van de tekortkomingen van dit onderzoek blootgelegd. In eerste instantie is dit onderzoek alleen uitgevoerd met NT2-ers, maar al tijdens het verzamelen van de gegevens bleek dat de participanten weinig hardop dachten. Het is inderdaad lastig om hardop te denken in een taal die je nog niet volledig beheerst en het lezen van een tekst waar woorden ontbreken vraagt bovendien veel van je concentratievermogen. Het is dus niet vreemd dat de NT2-ers regelmatig stil vielen. Om deze reden is besloten om hetzelfde onderzoek ook bij moedertaalsprekers van het Nederlands uit te voeren. Helaas viel ook bij deze participanten de hoeveelheid hardop geuite gedachten ietwat tegen. Bij deze participanten had dit naar vermoeden echter een andere reden. Veel participanten konden de ontbrekende woorden vrijwel direct invullen. Het lijkt er dus op dat de toetsen voor hen aan de makkelijke kant waren en te weinig uitnodigden tot diep nadenken. Toch is ook bij deze groep de verwachting dat niet alles wat werd gedacht ook daadwerkelijk hardop werd gezegd. Een aantal keer was waar te nemen dat iemand een stukje doorlas tot hij aankwam bij het woord dat verried wat het ontbrekende woord moest zijn en daarna het ontbrekende woord kon invullen. De aanname is dat iemand hierbij wel iets heeft gedacht, maar dit niet hardop heeft gezegd.

Na de manier van invullen is gekeken naar de items waarbij de participanten hardop een gedachte uitten. De (significante) verschillen zijn nogmaals in de tabel op de volgende pagina te zien. In deze tabel zijn de strategieën ‘binnen de zin vooruit lezen’ en ‘binnen de zin teruglezen’ achterwege gelaten. In paragraaf 4.2.3 is betoogd dat de overige strategieën een sterker bewijs zijn voor het leggen van relaties en het maken van inferenties en dus voor het gebruik van higher-order language skills.

Uit deze tabel wordt een tweede verschil tussen de moeilijke rational deletion clozetoets en de fixed-ratio clozetoets duidelijk: zowel de NT2-ers als de NT1-ers blijken bij de moeilijke rational deletion clozetoets ruimschoots meer items in te vullen in combinatie met een hardop geformuleerde gedachte. De scores op de moeilijke rational deletion clozetoets en de fixed-ratio clozetoets waren bovendien vergelijkbaar, waardoor het verschil in het aantal gebruikte strategieën waarschijnlijk niet verklaard kan worden door verschillen in tekstmoeilijkheid. Dit impliceert dat de moeilijke rational deletion clozetoetsen op een dieper niveau zijn verwerkt dan de andere twee clozetoetsen. Zoals eerder is betoogd, weerspiegelt het gebruiken van (relevante) strategieën het inzetten van higher- order language skills. Het leggen van relaties tussen zinnen, en dus het inzetten van higher-order language skills, wordt volgens velen gezien als de basis van tekstbegrip (Van Silfhout, 2004). Een coherent situatiemodel van een tekst kan pas worden gevormd als iemand integratie- en inferentieprocessen en integratie- en inferentievaardigheden inzet (Rapp, Van den Broek, McMaster,

Kendeou & Espin, 2007). Omdat bij de moeilijke rational deletion clozetoets vaker strategieën, en daarmee higher-order language skills, worden gebruikt dan bij de andere clozetoetsen, toont dit aan dat een clozetoets, mits juist is vormgegeven, in staat is om tekstbegrip te meten. Wel moet hierbij in het achterhoofd worden gehouden dat, ook bij een clozetoets die zo is vormgegeven dat voor alle items relaties tussen of binnen zinnen moeten worden gelegd, niet bij alle items hardop wordt gedacht. Of lezers dan inderdaad geen strategieën hebben ingezet is niet te achterhalen.

Met het gegeven dat op de moeilijke rational deletion clozetoets meer (relevante) strategieën worden gebruikt dan op de twee andere formats, sluit dit onderzoek zich voorzichtig aan bij het kamp van de voorstanders van de clozetoets als toets om higher-order language skills te meten. Gellert en Elbro (2013) toonden al aan dat met behulp van cohesive ties een clozetoets zo vormgegeven kan worden dat hogere talige vaardigheden kunnen worden gemeten. Ook Shanahan, Kamil en Tobin (1982) lieten zien dat clozetoetsen wel degelijk gevoelig kunnen zijn voor informatie die buiten de grenzen van zinnen gaat. De gegevens die in onderstaande tabel zijn beschreven, tonen dit ook: het aantal gebruikte strategieën op de verschillende formats laat zien dat het mogelijk is een clozetoets zo te manipuleren dat hogere talige vaardigheden kunnen worden gemeten.

Groep Format Aantal items waar strategie is gebruikt

Totaal Aantal items Gem. % van aantal items

NT2 Rational deletion, makkelijk 42 252 6 16,7

Rational deletion, moeilijk 69 252 7,7 27,4

Fixed-ratio 35 259 5 13,5

NT1 Rational deletion, makkelijk 27 252 3,9 10,7

Rational deletion, moeilijk 89 252 12,7 35,3

Fixed-ratio 58 259 8,3 22,4

Tabel 13: aantal items waar strategie is gebruikt zonder strategie 1 en 2

Verder is gekeken naar de items van de fixed-ratio clozetoetsen die gekozen hadden kunnen worden volgens de principes van de moeilijke rational deletion clozetoets. Deze items, die pas konden worden ingevuld indien iemand een relatie tussen zinnen of zinsdelen had gelegd, zijn geanalyseerd op het gebruik van strategieën. Er bleek dat deze items percentueel vaker met behulp van een strategie werden ingevuld dan dat dit over de hele fixed-ratio clozetoets gebeurde. Ook bleek dat deze percentages vergelijkbaar waren met de percentages waarop strategieën werden ingezet op moeilijke rational deletion clozetoets. Dit impliceert dat de items van de fixed-ratio clozetoets die qua inhoud op de items van de moeilijke rational deletion clozetoets lijken, ook op eenzelfde manier worden ingevuld. Een fixed-ratio clozetoets kan dus ook items bevatten die aanzetten tot het verwerken van de tekst op een dieper niveau, maar het aandeel van deze items is zeer beperkt.

op de toets zou behalen. Dit bleek echter niet één op één uit te zijn gekomen. Over het algemeen lijkt het zo te zijn dat degenen die een lage toetsscore hadden gehaald, ook weinig strategieën inzetten en andersom, maar dit bleek niet in alle gevallen op te gaan.

Bij de interpretatie van de gevonden resultaten vallen nog wel enkele kanttekeningen te plaatsen. Zo is getracht om de moeilijkheid van de teksten op zich, dus zonder ontbrekende woorden, vergelijkbaar te houden, maar er valt niet uit te sluiten dat sommige teksten misschien toch wat moeilijker zijn (ervaren) dan andere teksten. Het valt dus tevens niet uit te sluiten dat het feit dat er meer strategieën werden ingezet bij de moeilijke rational deletion clozetoetsen te wijten is aan de tekstmoeilijkheid. De verschillen in toetsscores tussen de fixed-ratio cloze en de moeilijke traditional cloze waren te verwaarlozen, dus de kans dat het verschil in aantal gebruikte strategieën tussen deze twee toetsen te wijten is aan tekstmoeilijkheid, is klein. Wel waren de verschillen in toetsscores tussen de makkelijke rational cloze en de andere twee formats groot, dus daar zou tekstmoeilijkheid wel een alternatieve verklaring kunnen zijn.

Verder is de aanname dat het gebruik van strategieën aantoont dat higher-order language skills worden ingezet plausibel, maar het gebruiken van strategieën hoeft niet enkel deze verklaring te hebben. Zo is het niet onmogelijk dat iemand verschillende opties voor een ontbrekend woord noemt maar toch niet bezig is de tekst op een dieper niveau te verwerken. Met name voor de NT2-ers, die soms verschillende opties noemden die helemaal niks met de tekst te maken hadden of een uitleg gaven waaruit bleek dat de tekst totaal niet was begrepen, hoeft het gebruiken van strategieën niet in alle gevallen te impliceren dat er tekstbegripprocessen in gang waren. Ook een als uitleg gescoorde uiting hoeft niet altijd op het gebruiken van higher-order language skills te duiden. Soms legde iemand uit dat ergens ‘je’ moest komen te staan, omdat “dat logisch is en er niks anders kan staan” (participant 51). Dit is niet direct een uitleg die aantoont dat er hogere begripsprocessen plaatsvinden.

Naast deze eerste kanttekeningen bij de implicaties van de gevonden resultaten richt een ander punt van kritiek zich op de volledigheid van het onderzoek. De gevonden resultaten zouden waardevoller zijn als deze gecorreleerd zouden kunnen worden met toetsen waarvan men zeker is dat ze tekstbegrip meten, zoals de traditionele vraag-antwoord leestoets. Indien er zowel gegevens zijn van scores op de clozetoets en scores op een tekstbegripstoets, kan er meer gezegd worden over de gegevens die zijn verkregen met de hardopdenkmethode. Omdat nu niet duidelijk is in hoeverre de score op de verschillende formats clozetoetsen die in dit onderzoek zijn gebruikt correleren met de scores op een leestoets, is het lastig concrete conclusies te trekken over wat het gebruik van strategieën precies zegt. Helaas was het voor dit onderzoek niet haalbaar om de participanten ook een leestoets te laten maken. Bij de NT2-ers bleek het al een hele opgave om alle deeltoetsen te

maken. Ook een leestoets daarachteraan maken zou teveel van hun concentratievermogen vragen. Bovendien konden taalinstituten, als ze al tijd vrij konden maken om hun cursisten mee te laten doen aan dit onderzoek, niet langer dan een uur vrij maken.

Andere punten van kritiek richten zich op wat meer praktische zaken. Zo is het uiteindelijke aantal participanten flink tegengevallen, wat meerdere verklaringen heeft. Een deel van de gegevens bleek onbruikbaar – participanten hebben de toetsen soms niet serieus ingevuld of de toetsen bleken te moeilijk – en het vinden van participanten bleek lastiger dan gedacht. Behalve het tegenvallende aantal participanten liet ook de kennis van de Nederlandse taal van een flink aantal deelnemers te wensen over. Voorafgaand aan het afnemen is contact geweest met docenten van taalinstituten. Deze docenten gaven telkens aan dat hun cursisten tegen niveau B2 aanzaten. Eenmaal daar aangekomen bleek dat vaak absoluut niet het geval. Een simpel gesprek met sommige cursisten was al veel te veel gevraagd. Hierdoor is een aantal keer voor niets het hardopdenkprotocol uitgevoerd.

Het uitvoeren van het onderzoek heeft daarnaast over een vrij lange periode plaatsgevonden, wat mogelijk de betrouwbaarheid van de scoring van de strategieën heeft beïnvloed. Zo heeft er ruim een half jaar tussen de eerste afname en de laatste afname gezeten. Als er een afname met hardop denken had plaatsgevonden, is dit wel direct geanalyseerd. Ook al was er van tevoren een duidelijke strategieënlijst opgesteld, het is niet ondenkbaar dat er bij de eerste afnames iets anders is gescoord dan bij de laatste afnames. Tevens was het bij enkele hardop geuite gedachten lastig om te bepalen onder welke strategie de uiting viel. Het is dus mogelijk dat, indien er nogmaals gescoord zou worden, de hardop geuite gedachten in sommige gevallen onder een andere strategie zouden vallen.

Samengevat kan gesteld worden dat, ondanks de nodige kanttekeningen die bij dit onderzoek kunnen worden geplaatst, de resultaten toch voorzichtig laten zien dat higher-order language skills gemeten kunnen worden met een clozetoets, mits deze is op de juiste manier is vormgegeven. Een fixed-ratio clozetoets kan tevens items bevatten waarbij strategieën worden gebruikt om deze in te kunnen vullen, maar heeft dit in mindere mate dan een rationeel geconstrueerde clozetoets. Met deze gegevens sluit dit onderzoek zich aan bij het onderzoek van de voorstanders van de clozetoets, waaronder Gellert en Elbro (2013) en Shanahan, Kamil en Tobin (1982) zich bevinden. Zij toonden aan dat een clozetoets ook het leggen van relaties buiten het zinsverband kan meten. Echter, ook bij de rationeel geconstrueerde clozetoetsen wordt niet bij elk item hardop gedacht, wat zou kunnen betekenen dat niet elk item hogere talige vaardigheden meet. Het debat rondom de validiteit van de clozetoets is dus zeker nog niet beslecht, maar wel is het voor de tegenstanders weer wat lastiger geworden om te ontkennen dat een clozetoets niet in staat zou zijn om higher-order language skills te meten.

Het praktisch nut van dit onderzoek blijft op dit moment helaas nog beperkt. Er wordt zeker niet aanbevolen om de clozetoets direct in te zetten als taaltoets. Hoewel eerder onderzoek (o.a. Darnell, 1970; Irvine, Atai & Oller; Oller & Conrad in Abraham & Chapelle, 1992; Sadeghi, 2010; Stubbs & Tucker, 1974; Williams, Ari, Santamaria, 2011) hoge correlaties vond tussen clozetoetsen en verschillende andere soorten taalvaardigheidstoetsen, zoals lees- en luistertoetsen, lijkt de indruksvaliditeit het gebruik als taalvaardigheidstoets in de weg te staan. Het gebruik van de clozetoets als tekstbegripstoets, zoals in dit onderzoek is voorgesteld, is beter te verdedigen. Ook al laten de resultaten van dit onderzoek voorzichtig zien dat de clozetoets zou kunnen meten wat een leestoets ook meet, toch wordt ook niet direct aanbevolen om de clozetoets in te zetten als leestoets. Het aantal items waarbij strategieën zijn waargenomen was zelfs bij de moeilijke rational deletion clozetoets vrij laag. Pas als kan worden aangetoond dat bij een substantieel deel van de items strategieën worden gebruikt die aantonen dat higher-order language skills worden gebruikt, kan worden overwogen om de clozetoets in te zetten als leestoets. Toch zal er altijd kritiek blijven bestaan op het gebruik van de clozetoets als leestoets. Zo zal de kritiek van Sadeghi (2008) dat bij een clozetoets de lezer wordt gevraagd om iets te reconstrueren dat voor hem of haar verborgen is en om die al dan niet correct gereconstrueerde discourse te begrijpen, niet worden weggenomen door aan te tonen dat higher-order language skills kunnen worden ingezet bij het maken van een clozetoets. Ook de kritiek dat een clozetoets geen echte leestoets is, zal blijven bestaan. Een groot deel van deze laatstgenoemde kritiek zou kunnen worden weggenomen door aan te tonen dat een clozetoets hetzelfde meet als een leestoets. Tot die tijd is het niet aan te raden om de clozetoets in te zetten voor een officieel examen. Voor iets waar veel vanaf hangt, is het niet te verdedigen om de clozetoets te gebruiken in plaats van de traditionele leestoets als niet volledig zeker is dat deze twee toetsen exact hetzelfde meten. Wel zou een docent de clozetoets kunnen gebruiken om bijvoorbeeld de voortgang van zijn studenten te meten, als met verder onderzoek kan worden aangetoond dat een groot deel van de items met behulp van higher-order language skills worden ingevuld. Voortgang meten is iets waar niet al te veel vanaf hangt. Omdat het meten van de voortgang niet teveel ten koste zou moeten gaan van de lestijd, kan een clozetoets hier uitkomst bieden.

Met dit onderzoek is een start gemaakt met het inzetten van de hardopdenkmethode in het onderzoek naar de clozetoets. Hoewel de resultaten in de richting wijzen dat een clozetoets zeker wel in staat is om higher-order language skills te meten, zijn er feitelijk geen harde conclusies te trekken omdat niet tevens gebruik is gemaakt van een leestoets. De eerste aanbeveling voor verder onderzoek is dan ook om dit onderzoek te herhalen, maar in combinatie met het inzetten van een leestoets.

Een volgende suggestie is om, als men met een doelgroep werkt die de taal waarin de toets is geschreven niet goed spreekt, de antwoorden die moeten worden ingevuld in willekeurige volgorde bovenaan de pagina te plaatsen. Hoewel er in dit onderzoek bewust voor is gekozen om geen antwoordopties te geven, is dit achteraf gezien misschien toch niet de beste keuze geweest voor deze doelgroep. Het geven van antwoordopties zou de participanten iets meer houvast geven. Daarnaast zou het een manier kunnen zijn om het hardop denken wat meer uit te lokken. Uiteraard heeft het aanbieden van antwoordopties wel gevolgen voor wat er wordt gemeten. Met het geven aanbieden van antwoorden, worden participanten al op een spoor gezet, in plaats van dat ze zelf het verband