4. Resultaten
4.3 De validiteit
4.3.1 Concurrentievaliditeit
Om een beeld te krijgen van de concurrentievaliditeit van de C-test, zijn de correlaties tussen C-test score en de LexTALE score berekend. Aangezien de LexTALE een hogere betrouwbaarheid laat zien als deze in twee delen (voor bestaande woorden en non-woorden) wordt berekend, zijn ook de scores op beide delen apart berekend in de vorm van percentages goed beantwoorde items binnen elk deel. Vervolgens zijn de correlaties berekend tussen de C-test scores en de scores op zowel de totale LexTALE score als op de beide LexTALE delen apart. Dit is gedaan met het idee dat de LexTALE wellicht twee verschillende constructen meet waarvan de één een hogere correlatie zou kunnen vertonen met de C-test dan de ander. In Tabel 8 zijn deze correlaties te zien.
Tabel 8
29 Pearson correlaties (en significantie) met de C-test en de LexTALE scores
C-test LexTALE totaal LexTALE
Noot. Totaal N = 55; significante correlaties zijn gemarkeerd met*
In Tabel 8 is te zien dat van de correlaties tussen de C-test en de LexTALE alleen de correlatie met de totale LexTALE significant was. Hier was sprake van een gemiddeld significant positief verband, .404 (p = .002). In Tabel 8 is ook te zien dat de interne consistentie van de LexTALE niet hoog was, de correlatie tussen de beide delen van de LexTALE is namelijk negatief. Daarbij correleerde de score op de bestaande woorden niet met de totaalscore.
Een andere potentiële maat voor taalvaardigheid waarmee de concurrentievaliditeit van de C-test zou kunnen worden vastgesteld, is het zelfgerapporteerd niveau Nederlands van de participanten. Hier is in de achtergrondvragenlijst naar gevraagd. De correlatie tussen dit zelfgerapporteerd niveau Nederlands en de C-test score berekend. De Spearman correlatie met dit zelfgerapporteerd niveau Nederlands en de scores op de C-test was .277 (p = .041), een niet significant verband.
4.3.2 Constructvaliditeit
De C-test zou het construct 'taalvaardigheid' moeten meten. Dit is een lastig te vatten construct, het is daarmee moeilijk te zeggen of de test inderdaad taalvaardigheid meet. Wat wel berekend kan worden is of er inderdaad maar één construct gemeten wordt. Om dat te weten is gekeken naar de dimensionaliteit van de test. Als de test unidimensionaal is, meet deze één construct. Om te weten of dit zo is, is een Factor Analyse uitgevoerd.
De resultaten hebben laten zien dat er maar één component was met een Eigenwaarde hoger dan 1. Dit is de grens waarboven het waarschijnlijk is dat er een onderliggend construct wordt gemeten. Het component met de Eigenwaarde boven 1, had de waarde 10.1 wat betekent dat het een sterke factor is. Om te weten in hoeverre deze onderliggende factor verantwoordelijk is voor de variatie tussen de verschillende items, ofwel de twaalf teksten van de C-test, kan gekeken worden naar de R-squared waardes van elke tekst, zie Tabel 7.
Tabel 9.
De R-squared waardes per item
Item R-squared waarde Factor Loading
Tekst 1 .835 .914
Tekst 2 .756 .870
Tekst 3 .823 .907
30
In Tabel 9 is te zien dat de onderliggende factor in hoge mate verantwoordelijk was voor de variatie binnen en tussen de twaalf items. Verder is te zien dat de Factor Loadings ofwel de Pearson correlaties tussen de items en de onderliggende factor hoog waren.
Om nog een indruk te krijgen van de constructvaliditeit van de C-test is er ook een multipele regressie analyse uitgevoerd om de score op de C-test te voorspellen aan de hand van de factoren huidige leeftijd, zelfgerapporteerd niveau Nederlands, lengte van educatie, lengte van verblijf en leeftijd bij aanvang van Nederlands leren. Als deze analyse strookt met de literatuur over het concept taalvaardigheid en hoe dit te voorspellen is aan de hand van bepaalde factoren, kan dit de constructvaliditeit bevestigen. Door middel van de F-ratio is gecheckt of het multipele regressie analyse model met bovenstaande factoren de score op de C-test kan verklaren. Hieruit bleek dat 33.7% van de variantie in de C-test score significant kon worden verklaard door de geteste variabelen, F(5, 49) = 4.979, p = .001, R2 = .337. Alleen de variabelen 'lengte van educatie' en 'zelfgerapporteerd niveau Nederlands' waren in deze analyse van significant belang, p < .05. Daarom is de multipele regressie analyse normaals uitgevoerd. Ditmaal met alleen zelfgerapporteerd niveau Nederlands en lengte van educatie als voorspellers van de C-test score. Hieruit bleek dat 22.6% van de variantie in de C-test score significant kon worden verklaard door deze beide variabelen, F(2, 52) = 7.607, p = .001, R2 = .226.
Een tweede multipele regressie is uitgevoerd om de score op de C-test te voorspellen aan de hand van de vier factoren die samen een beeld geven van de taalafstand tussen de moedertaal van de participanten en het Nederlands. In het vorige hoofdstuk is uiteengedaan dat de gegevens van taalafstand zijn verkregen uit een bestaande database (Schepens et al., 2019).
Aangezien er geen gegevens waren over het aantal nieuwe klanken en nieuwe features vanaf het Chinees naar het Nederlands, zijn de vier participanten met Chinees als moedertaal verwijderd voor deze analyse. Hieruit bleek dat 18,8% van de variantie in de C-test score significant kon worden verklaard door de vier variabelen die voor taalafstand staan, F(4, 46) = 2.659, p = .044, R2 = .188.
Vervolgens is een derde multipele regressie analyse uitgevoerd, met zowel 'lengte van educatie', 'zelfgerapporteerd niveau Nederlands' als de vier factoren voor taalafstand. Hieruit bleek dat 49,4% van de variantie in de C-test score significant kon worden verklaard door al deze variabelen samen, F(6, 44) = 7.160, p = < .000, R2 = .494. In het volgende hoofdstuk zal gekeken worden in welke mate deze resultaten stroken met de literatuur over taalvaardigheid in een tweede taal.
31