De C-test

De C-test is in 1981 ontwikkeld door Christine Klein-Braley en Ulrich Raatz en is een variatie op de eerder ontwikkelde Cloze-test. Die test is tot stand gekomen als een poging tot het ontwikkelen van een test die taalvaardigheid als een eenheid meet. Beide testen zijn een operationalisatie van het reduced redundancy principle. De theorie achter dit principe is dat er in talen altijd een mate van redundantie is. Bepaalde taalcomponenten zijn overbodig oftewel redundant voor de informatieoverdracht. Als er elementen worden weggelaten zou een spreker van de taal in staat moeten zijn om deze elementen aan te vullen (Klein-Braley, 1997). Dat is precies wat er ook in de C-test en in de Cloze-test wordt gedaan. De participant wordt een talige boodschap aangeboden waarin delen zijn weggelaten en die hij of zij vervolgens weer moet aanvullen. In de Cloze-test gebeurt dat door middel van een lange tekst waarin woorden zijn weggelaten en in de C-test gaat dat volgens 'de regel van twee': In een tekst wordt vanaf de tweede zin, de tweede helft van elke tweede woord, weggehaald. (Raatz

& Klein-Braley, 1981) Dit kan er als volgt uitzien:

HUISDIEREN

Volgens een jaarlijks onderzoek van de NVG waren er in 2019 meer dan 27 miljoen huisdieren in Nederland. Bijna d_ helft v__ alle huish______ bezat i_ 2019 e__ huisdier.

Hon___ en kat___ werden h__ vaakst a__ huisdier geho____. Etc.

De C-test maakt, in tegenstelling tot de Cloze-test gebruik van meerdere korte teksten en heeft per tekst meer gaten waardoor deze test gezien wordt als meer representatief voor

10 natuurlijke taal. Daarbij is het voor moedertaalsprekers makkelijk om een hoge C-testscore te halen, en dat is bij de Cloze-test niet het geval (Raatz & Klein-Braley, 1981). Een C-test bestaat uit een variërend aantal losse, op zichzelf staande teksten die oplopen in moeilijkheidsgraad.

Per tekst worden er 20-25 halve woorden weggelaten. Doordat er gebruik wordt gemaakt van losse teksten met verschillende onderwerpen, is er in tegenstelling tot bij de Cloze-test, minder effect van specifieke kennis over het onderwerp van de tekst wat voor een hoge score zou kunnen zorgen die niet alleen wordt weerspiegelt door de taalvaardigheid (Raatz & Klein-Braley, 1981).

2.3.1 Validiteit en betrouwbaarheid van de C-test

Als de C-test inderdaad een instrument is dat taalvaardigheid op een snelle manier in haar algemeenheid kan meten, roept dat de vraag op wat er nou precies gemeten wordt met deze test. Met andere woorden: wat is het construct van deze test en welke conclusies kunnen er op de resultaten van een C-test worden gebaseerd?

De ontwerpers van de C-test, Raatz & Klein-Braley claimen dat de C-test een objectieve test is die altijd en door iedereen kan worden afgenomen zonder dat er een grote invloed is van de onderzoeker wat betreft de scoring en de interpretatie daarvan. Ook vertoont volgens hen een overgrote meerderheid van de ontworpen C-testen een acceptabel betrouwbaarheidsniveau. Dit kan worden vastgesteld op meerdere manieren. Bijvoorbeeld door middel van de split-half methode, de test-hertest methode of door middel van item-analyse met Cronbach's Alpha. Hiermee kunnen de stabiliteit en de interne consistentie van de test worden vastgesteld. Verder is de C-test volgens Raatz & Klein-Braley een model voor 'real-life' taalgebruik. Er worden namelijk veel verschillende testen gebruikt waar willekeurige woorden uit zijn gehaald. Ook het feit dat de C-test correlaties laat zien met zowel mondelinge en schriftelijke taalvaardigheidstesten als met zelf-evaluatie en 'teacher-judgements' geeft de C-test een goede concurrentievaliditeit en externe- en inhoudsvaliditeit. (Raatz & Klein-Braley, 2002)

Vanaf de introductie van de C-test is de vraag 'wat meet deze test precies?' veel bediscussieerd. De C-test heeft in deze discussie veel kritiek gekregen over de onduidelijke constructvaliditeit. Het is namelijk niet direct helder wat het onderliggende construct van de C-test precies is (Babaii & Ansai, 2001). Veel onderzoekers nemen aan dat de C-test de algemene taalvaardigheid kan meten. Volgens Alderson (2002, geciteerd in Daller & Phelan, 2006) kan dit niet waar zijn omdat het concept van een algemene taalvaardigheid volgens hem niet bestaat. Toch zijn er hoge correlaties gevonden tussen scores van testen die verschillende aspecten van taalvaardigheid meten. De resultaten van de C-test zijn in lijn met dit fenomeen.

Zo heeft Jafarpur (2002, geciteerd in Daller & Phelan, 2006) hoge correlaties (.65 tot .80) gevonden tussen de C-test en de English Placement Test (EPT). De EPT is een gestandaardiseerde test die in 90 minuten verschillende taalvaardigheden meet. Hastings (2002, geciteerd in Daller & Phelan, 2006) beschrijft de resultaten van verschillende eerdere onderzoeken aan de Universiteit van Wisconsin-Milwaukee waar studenten de Test of English as a Foreign Language (TOEFL) tegelijk met de C-test aflegden. De TOEFL is een gestandaardiseerde test die ruim drie uur duurt en uit vier onderdelen bestaat. Ook in dit onderzoek zijn hoge correlaties (.87 tot .94) tussen de twee testen gevonden.

Ook in andere talen is er onderzoek gedaan naar de C-test. Zo hebben Eckes & Grotjahn (2006) de C-test vergeleken met alle vier de secties (lezen, luisteren, schrijven, spreken) van de gestandaardiseerde Duitse taalvaardigheidstest TestDaF. Hieruit bleek dat de C-test dezelfde algemene dimensie van taalvaardigheid meette als de vier secties van de TestDaF samen. In

11 hun onderzoek werd vastgesteld dat de C-test een hoge betrouwbaarheid en validiteit heeft.

Eckes & Grotjahn (2006) stellen dat de C-test een integrale meting kan zijn van het construct dat als 'algemene taalvaardigheid' aangeduid kan worden. Dit definiëren zij als 'het onderliggende vermogen dat zowel kennis en vaardigheden samenbrengt en dat zich uit in alle soorten van taalgebruik'. Door het Rasch analyse model en de confirmatory factor analyse te gebruiken, hebben ze bewijs gevonden dat de C-test een betrouwbaar meetinstrument is van algemene taalvaardigheid. De externe of concurrentievaliditeit van de C-test is door middel van deze analyses ook vastgesteld aangezien bleek dat het gemeten construct overeen kwam met dat van de vier delen van de TestDaF. Verder vond Grotjahn (1992, geciteerd in Eckes & Grotjahn, 2006) hoge correlaties (.74 tot .81) tussen twee Franse C-testen en de Bochum Diagnostic Test for French (BDF, versie I). De BDF is een gestandaardiseerde test die de focus legt op grammatica.

Uit meerdere onderzoeken blijkt dat de C-test zowel de micro-level vaardigheden (zoals congruentie tussen onderwerp en persoonsvorm) als productieve (schrijven en spreken) en receptieve (lezen en luisteren) vaardigheden reflecteert (Raatz & Klein-Braley, 2002; Eckes &

Grotjahn, 2006; Linnemann & Wilbert, 2014). Bij het invullen van een C-test heeft een participant namelijk zijn volledige 'taalverwerkingscompetentie' nodig. Er wordt een beroep gedaan op zowel actieve als passieve processen (Raatz & Klein-Braley, 2002). Door verschillende, hierboven beschreven onderzoeken, is aangetoond dat de C-test een zogenaamde algemene taalvaardigheid kan meten. Althans een groot aspect daarvan. Zoals al eerder is beschreven wordt participanten bij een C-test gemutileerde taal aangeboden die zij vervolgens moeten herstellen. Om dit te doen, moeten participanten gebruik maken van de aanwijzingen die in de overgebleven tekst staan en van de kennis van de taal die ze zelf hebben. Er kunnen fonologische, morphologische, syntactische, collacationele, tekstuele maar ook contextuele, pragmatische, logische en op de situatie gebaseerde aanwijzingen in de tekst zijn. De participanten moeten de gemutileerde tekst interactief verwerken en daarbij de regels die ze kennen matchen met de input die de tekst hen geeft (Klein-Braley, 1994;

geciteeerd in Eckes & Grotjahn, 2006). Algemene taalvaardigheid wordt ook vaak gezien als een samenspel van verschillende vaardigheden, zoals de hogere orde vaardigheden (kennis van de wereld et cetera) en de lagere orde vaardigheden (syntactische kennis) (Hulstijn, 2011).

De C-test lijkt op beide vaardigheden een beroep te doen.

Daarbij moet wel in gedachten gehouden worden dat de C-test gebaseerd is op het reduced redundancy principle en daar een operationalisatie van is. Het meet dus allereerst het vermogen om te gaan met context-gereduceerde taal in een cognitief veeleisende taak.

(Daller, 1999; Daller & Grotjahn, 1999, beiden geciteerd in Eckes & Grotjahn, 2006) In hoeverre dit een afspiegeling is van vaardigheden in het alledaags taalgebruik is niet met cijfers hard te maken. De ontwerpers van de C-test gaan ervanuit dat de C-test een heldere afspiegeling is van dagelijkse taalvaardigheid omdat er gebruik wordt gemaakt van veel verschillende teksten met verschillende onderwerpen. Ook gaan zij er volgens het reduced redundancy principle vanuit dat natuurlijke taal altijd een bepaalde mate van redundantie vertoond en dat een test die een operationalisatie van dit principe is, dus ook de alledaagse taalvaardigheid kan meten.

Een ander punt van kritiek op de C-test gaat over het gebrek aan diens indruksvaliditeit. Dit is de validiteit op het eerste gezicht. Voor mensen die geen expert zijn, lijkt de C-test een begrijpend lezen-test of een intelligentietest te zijn en is het moeilijk te geloven dat de test meer meet dan alleen leesvaardigheid of intelligentie (Jafarpur, 1995; geciteerd in Babaii &

Ansary, 2001). Hoe meer bekendheid de C-test krijgt als meetinstrument voor algemene

12 taalvaardigheid, hoe minder dit een probleem zal vormen. Het idee van de C-test als leesvaardigheidstest kan overigens weerlegd worden met het feit dat mensen met een hoog leesvaardigheidsniveau zoals dat gemeten is in specifieke leesvaardigheidstesten soms alsnog een lage score halen op de C-test omdat hun productieve vaardigheden laag zijn. Ook zijn er participanten die de tekst inhoudelijk niet goed begrijpen maar toch hoge scores halen doordat hun lexicaal-morfologische verwerking goed is (Eckes & Grotjahn, 2006). Overigens erkennen Raatz & Klein-Braley het probleem van de lage indruksvaliditeit van de C-test. Om deze reden adviseren zij om de C-test te combineren met bijvoorbeeld een woordenschattest of een andere korte test. Meerdere meetinstrumenten kunnen voor een hogere betrouwbaarheid zorgen dus het is altijd goed om andere testen te gebruiken in combinatie met de C-test. Toch stellen zij dat de C-test over het algemeen wel de meest betrouwbare scores laat zien als het gaat om algemene taalvaardigheid. Als er dus maar één test gebruikt kan worden, is de C-test toch bewezen als de meest efficiënte. (Raatz & Klein-Braley, 2002)

2.3.2 Efficiëntie en bruikbaarheid van de C-test

De hoge efficiëntie van de C-test en het gebruiksgemak ervan zijn de belangrijkste voordelen ten opzichte van andere meetinstrumenten met hetzelfde meetdoel. Het ontwikkelen van de C-test neemt relatief weinig tijd in beslag en de kosten zijn niet hoog. Ook het vaststellen van de score neemt niet veel tijd in beslag en is volgens de bedenkers van de C-test een objectief proces. Als alles volgens de juiste procedure wordt ontwikkeld en afgenomen is het volgens hen mogelijk om met dit meetinstrument in 30 minuten op een accurate manier taalvaardigheid in een tweede taal of in een vreemde taal vast te stellen. (Raatz & Klein-Braley, 1997)

In principe kan de C-test bij participanten met elke taalniveau worden afgenomen. De teksten in een C-test zijn oplopend in moeilijkheidsgraad. Het niveau waarop de teksten beginnen zal voor echte beginners in een tweede taal hoogstwaarschijnlijk echter al te moeilijk zijn. Zelfs als ze zonder gaten aangeboden zouden worden. Als we kijken naar niveau A1 van het Europees Referentie Kader (ERK) dan zien we dat daar nog geen sprake is van het begrijpen van teksten maar alleen van losse uitingen. Het is dan ook niet mogelijk om teksten op dit niveau te selecteren voor een C-test. Voor mensen met dit taalniveau begint de C-test dus al boven hun niveau en lijkt een C-test daarom niet geschikt.

De C-test is inmiddels al in veel verschillende talen ontwikkeld en gevalideerd. Zo zijn er onder meer Engelse, Duitse, Franse, Italiaanse, Turkse, Japanse, Chinese, Hebreeuwse, Perzische en Koreaanse C-testen. (Grotjahn, 2020) In de grote meerderheid van de onderzoeken waarin een C-test werd ontworpen en gevalideerd, bleek de test een valide meetinstrument voor algemene taalvaardigheid. De validiteit van de C-test lijkt dus niet gebonden te zijn aan een bepaalde taal of taalfamilie. De test werd in verschillende onderzoeken gebruikt voor jonge moedertaalsprekers, tweede-taalleerders en vreemde-taalleerders.

De C-test is bruikbaar in situaties waarin het algemene taalvaardigheidsniveau moet worden vastgesteld. Bijvoorbeeld voor een toelating of plaatsing of in onderzoeken. Als er meer informatie over specifieke deelvaardigheden (bijvoorbeeld over spreken of schrijven) nodig is dan voldoet de C-test niet. Er kan dan een uitgebreide toets worden afgenomen die informatie over alle deelvaardigheden geeft. Of er kan gekozen worden om wel de C-test af te nemen voor informatie over algemene taalvaardigheid en daarnaast kan dan een tweede toets worden afgenomen die de specifieke deelvaardigheid meet. De C-test geeft namelijk geen informatie over deelvaardigheden.

13 Een belangrijke vraag over de bruikbaarheid van een meetinstrument dat taalvaardigheid zegt te meten, is natuurlijk ook de vraag of er voortgang gemeten kan worden, en of dat dan met exact dezelfde test kan, of dat er een tweede versie nodig is. Coleman (2002, beschreven in Daller & Phelan, 2006) stelt in zijn onderzoek de vraag of er voortgang kan worden gemeten.

Hij test dit door de C-testscore van middelbare scholieren te vergelijken met die van studenten uit het hoger onderwijs die op dezelfde leeftijd begonnen met de vreemde taal maar al een paar jaar langer onderwijs hadden gehad in deze taal. De groep studenten had systematisch een hogere score dan de eerste groep. Coleman concludeert daaruit dat de C-test in staat is om verschil in taalvaardigheid per leerjaar vast te stellen en dat er voortgang gemeten kan worden. Dit onderzoek is echter geen longitudinaal onderzoek; alle participanten hebben de test namelijk maar één keer gedaan.

Bij een longitudinaal onderzoek kan leer- /geheugeneffect of training een rol spelen. Het kan zijn dat participanten die de test voor de tweede keer maken daardoor automatisch een hogere score hebben zonder dat hun taalvaardigheid is verbeterd. Bogards & Raatz (2002, beschreven in Daller & Phelan, 2006) zochten dit uit door middel van een onderzoek waarbij twee groepen de C-test twee keer aflegden met vier dagen tussen de twee metingen. Eén groep kreeg tussen beide metingen een speciale C-testtraining en de andere groep niet. Beide groepen scoorden hoger op de tweede C-test. De groep die de training kreeg, scoorde de tweede keer 5,4% hoger dan de eerste keer en de groep zonder training scoorde de tweede keer 6,1% hoger dan de tweede keer. De groep met de training scoorde dus niet extra hoog.

Hieruit kan geconcludeerd worden dat training, in ieder geval de 45-minuten durende training in dit onderzoek, geen effect heeft op de score. Wat ook uit dit onderzoek geconcludeerd kan worden is dat het wel effect heeft als dezelfde C-test twee keer wordt afgenomen bij dezelfde participanten. Dit kan komen door leer- of geheugeneffect of doordat de participanten zich het testformat beter eigen hebben gemaakt. In dit onderzoek zaten er vier dagen tussen de eerste en de tweede keer testen. Er kan dus goed sprake zijn geweest van een geheugeneffect.

Dit effect zal minder een rol spelen als er een langere tijd zit tussen de twee keer testen. Er kan uit dit onderzoek worden geconcludeerd dat als dezelfde C-test twee keer wordt afgenomen met daartussen een tijd van langer dan vier dagen, en als er dan een verschil is dat groter is dan 5-6% dit niet toegerekend kan worden aan leer-/ geheugen-/ trainingseffect. Er is bij een verschil dat groter is dan 5-6% sprake van een echte verhoging in taalvaardigheid.

Een verschil kleiner dan 5% maar na een langere tijd zou ook een echte verbetering in taalvaardigheid kunnen reflecteren maar om daar conclusies aan te verbinden, is meer onderzoek nodig. Daller & Phelan (2006) hebben de uitkomsten van bovenstaand onderzoek gebruikt voor een onderzoek waarin zij dezelfde C-test twee keer hebben gebruikt om voortgang te meten na een korte intensieve cursus Engels als tweede taal. Zij zagen een correlatie tussen de eerste en de tweede testafname (studenten die de eerste keer hoog scoorden, scoorden de tweede keer ook hoog) ook maten zij een duidelijke vooruitgang in de scores tussen de twee testafnames. De score op de tweede afname elf weken later, was 24,92% hoger dan die op de eerste afname. Deze onderzoeken lijken uit te wijzen dat de C-test gebruikt kan worden om voortgang te meten en om het effect van een cursus te meten.