5 Spreken
5.5 Dimensionaliteit
Het beoordelingsmodel omvat verschillende aspecten van spreekvaardigheid en hoewel er in paragraaf 5.3 vanuit is gegaan dat deze aspecten betekenisvol samen te voegen zijn tot één totaalscore, en dat ook het jeugdjournaalfragment en het dobbelspel samengenomen kunnen worden, is het belangrijk om inzicht te hebben in de dimensionele structuur van de vaardigheid. Als er bijvoorbeeld sprake is van een geringe samenhang tussen de eerder beschreven vijf kenmerken van de taakuitvoering kan er reden zijn om (ook) met deelscores te werken. De dimensionele structuur is eerst op itemniveau in kaart gebracht. Omdat het instrumentarium in een volledig afnamedesign is voorgelegd aan 1417 leerlingen zijn de polychorische correlaties tussen de items vrij gemakkelijk uit te rekenen. Figuur 5.4 geeft een visuele representatie van de matrix met polychorische inter-itemcorrelaties. In de Figuur 5.4 worden de correlaties weergegeven door
49
middel van een kleur; donkerder blauw betekent een hogere positieve correlatie en donkerder rood betekent een hogere negatieve correlatie.
Figuur 5.4. Visuele representatie polychorische inter-itemcorrelatiematrix Spreken
In Figuur 5.4 is te zien dat de items allemaal positief met elkaar samenhangen (links) en dat een verkennende hiërarchische clusteranalyse (rechts) de correlaties tussen de itemparen ordent in drie verschillende clusters met items die (relatief) sterk met elkaar samenhangen. Het jeugdjournaalfragment (i1F … i15F) is in Figuur 5.4 op basis van de inter-itemcorrelaties niet te onderscheiden van het dobbelspel (i1D … i15D).
In aansluiting op de berekening van de inter-itemcorrelaties is op de polychorische correlatiematrix een exploratieve factoranalyse met varimax rotatie uitgevoerd. Om het aantal factoren enigszins beredeneerd te kiezen is gestart met een parallelanalyse zoals voorgesteld door Horn (1965). Het is een op simulatie gebaseerde methode waarin in essentie een willekeurige dataset wordt gegenereerd met hetzelfde aantal items en exact dezelfde scorerange. De eigenwaarden van de items in deze “junk” dataset worden
vervolgens vergeleken met de eigenwaarden van de items in de werkelijke dataset. Alle factoren waarbij de eigenwaarde groter is dan de “toevallige” (gesimuleerde) eigenwaarden worden vervolgens behouden in de factoranalyse. Figuur 5.5. laat de uitkomsten van de parallelanalyse zien. We zien dat de parallelanalyse suggereert om drie componenten of zeven factoren te onderscheiden. Omdat de eerdere analyse (zie Figuur 5.4) geen enkele aanleiding geeft om zeven factoren te kiezen is in de factoranalyse voor drie gekozen.
Figuur 5.5. Scree plot met de geobserveerde en gesimuleerde eigenwaarden zoals gevonden in (parallelle) factoranalyse en de principale componentenanalyse
De uitkomsten van de factoranalyse zijn te vinden in Tabel 5.4. Voor de leesbaarheid zijn de ladingen kleiner dan 0.300 niet vermeld in Tabel 5.4. H2 en U2 representeren respectievelijk de communaliteit en
specifieke variantie van de gestandaardiseerde factorladingen zoals verkregen uit de correlatiematrix. De uitkomsten stemmen vrijwel volledig overeen met het beeld dat Figuur 5.4 gaf en zijn vrij gemakkelijk inhoudelijk te duiden naar Taalvorm, Taalinhoud en Taalgebruik (zie bijvoorbeeld Bloom & Lahey, 1978;
Lahey, 1988):
• Onder Taalvorm wordt de grammatica van een taal verstaan, dat wil zeggen de wijze waarop klanken, woorden en zinnen worden gevormd. Het zijn de grammaticaregels met betrekking tot fonologie (klankleer), morfologie (woordvorming) en syntaxis (zinsleer).
• Taalinhoud heeft betrekking op het begrijpen en produceren van verhalen. Verhalen vertellen veronderstelt de vaardigheid om een eigen (non-) fictie verhaal over meerdere aaneensluitende uitingen vast te houden en daarbij de grote lijn duidelijk te maken.
• Bij Taalgebruik gaat het om de vraag hoe de leerling taal in zijn dagelijks leven inzet. Onder taalgebruik vallen onder meer het begrijpen en gebruiken van communicatieve functies en
conversatieregels. Denk daarbij aan het leggen en onderhouden van sociale contacten, het vragen en geven van informatie, het maken van oogcontact of het initiëren en handhaven van een
gespreksonderwerp
De uitkomsten geven ook enige aanleiding tot discussie. We zien onder meer dat sommige items bij het jeugdjournaalfragment net iets ander functioneerden dan bij het dobbelspel. Dat geldt bijvoorbeeld voor item 9. Op basis van het jeugdjournaalfragment zou het item onder Taalinhoud vallen en op basis van het dobbelspel onder Taalvorm. De factorladingen verschillen echter niet sterk, dus een keuze voor één van de twee lijkt verdedigbaar. Dat geldt ook voor de overige twijfelgevallen, dus los van de beperkte inhoudelijke discussie die gevoerd kan worden over de indeling van items wijst de analyse overtuigend op drie vrij sterk samenhangende factoren.
Tabel 5.4. Resultaten exploratieve factoranalyse
Factor 1 Factor 2 Factor 3
Item Omschrijving Taalvorm Taalinhoud Taalgebruik H2 U2
De leerling zet regelmatig aspecten als stiltes, wisselende
i7F 0.770 0.640 0.360
i7D om de gesprekspartner te boeien. intonatie/volume/spreeksnelheid en lichaamstaal bewust in 0.870 0.780 0.220
Het non‐verbale gedrag van de leerling zet zijn verbale
i8F 0.690 0.560 0.440
i8D boodschap kracht bij. 0.740 0.620 0.380
De leerling heeft (bijna) alle taalhandelingen van de
i1F 0.760 0.580 0.420
i1D opdracht uitgevoerd. 0.460 0.350 0.650
De inhoudelijke uitwerking van de leerling is op de meeste
i2F 0.830 0.770 0.230
i2D inhoudsaspecten sterk. 0.440 0.430 0.350 0.510 0.490
De leerling laat een logische opbouw zien, bijvoorbeeld
i3F 0.770 0.690 0.310
i3D inleiding, kern en afsluiting. 0.400 0.340 0.400 0.440 0.560
De leerling kan de strekking van het filmpje duidelijk maken met zowel verbinding binnen als verbinding tussen
i5F 0.830 0.790 0.210
i5D waar hij alle plaatjes in verwerkt. aan de gesprekspartner / De leerling vertelt een verhaal 0.350 0.360 0.310 0.690
De leerling gebruikt eenvoudige voeg‐ en
i4F verbindingswoorden correct. 0.550 0.350 0.320 0.530 0.470
i4D 0.580 0.360 0.480 0.520
De leerling gebruikt consequent taal die bij de
i6F gesprekspartner past. 0.510 0.380 0.340 0.520 0.480
i6D 0.490 0.310 0.380 0.620
De uitwerking van de leerling is aantrekkelijk door
i9F 0.480 0.630 0.710 0.290
i9D voldoende variatie in woordgebruik. 0.530 0.440 0.390 0.620 0.380
De getoonde woordenschat van de leerling is toereikend
i10F voor het uitvoeren van de opdracht. 0.530 0.630 0.690 0.310
i10D 0.640 0.480 0.670 0.330
De leerling spreekt redelijk vloeiend, al vertoont zijn
i11F 0.550 0.320 0.410 0.590
i11D uitwerking een enkele hapering en/of herformulering. 0.610 0.430 0.570
De leerling is goed verstaanbaar, ondanks een eventueel
i12F 0.610 0.440 0.560
i12D accent. 0.600 0.430 0.570
De leerling vervoegt alle werkwoorden over het algemeen
i13F 0.760 0.610 0.390
i13D correct. 0.750 0.590 0.410
De leerling verbuigt (combinaties met) naamwoorden
i14F 0.800 0.720 0.280
i14D meestal correct. 0.740 0.580 0.420
De leerling maakt over het algemeen correcte
i15F 0.640 0.370 0.590 0.410
i15D enkelvoudige en samengestelde 0.690 0.590 0.410
51
5.6 Variabelen
In het databestand zijn bij Spreken de volgende variabelen opgenomen:
SPR_TTLID Toetsleideridentificatie bij Spreken SPR_MISS Percentage ontbrekende antwoorden SPR_RSCO Toetsscore
SPR_REFN Referentieniveau (<1F/1F/2F)
SPR_WEIGHT Gewicht om te corrigeren voor leerroute
Bij de toetsscore-variabele is het de vraag hoe deze het beste tot stand kan komen. Het is het
gemakkelijkst om de toetsscore voor een leerling gelijk te stellen aan de som van alle itemscores, maar in een recent peilingsonderzoek in groep 8 (zie Van Langen et al., 2017) zijn de meer technische
beoordelingsaspecten (i9 tot en met i15) minder zwaar gewogen dan de meer inhoudelijke
beoordelingsaspecten (i1 tot en met i8). Die keuze is in dit onderzoek overgenomen. Dit betekent concreet dat bij de berekening van de toetsscore aan items 1 tot en met 8 (zowel bij het filmfragment als het
dobbelspel) gewicht 1.500 is toegekend ([30 scorepunten * 0.800] [8 items 2 scorepunten]) en aan items 9 tot en met 15 gewicht 0.429 ([30 scorepunten * 0.200] [7 items 2 scorepunten]). Het gevolg daarvan is dat “inhoud” 80 procent meetelt en “techniek” 20 procent. Alle toetsscores zijn afgerond naar gehele getallen. Over de wijze waarop het referentieniveau (SPR_REFN) van leerlingen is bepaald wordt in paragraaf 8.1.1 gerapporteerd. Het percentage ontbrekende antwoorden (SPR_MISS) is berekend door het aantal itemscores van een leerling te delen door het totale aantal items (2 15 = 30).