1b. Wat is uw leeftijd?
4 Prestaties schrijfvaardigheid
In hoofdstuk 3 in het publieksrapport beschrijven we de schrijfprestaties van leerlingen einde (speciaal) basisonderwijs op een schaal voor schrijfvaardigheid en op de drie domeinen die de basis vormen voor die score: opbouw, formulering en inhoud. Ook beschrijven we voorbeelden van leerlingteksten met verschillende niveaus, rapporteren we over de prestaties op het gebied van algemene indruk van de teksten, tekstlengte en correctheid. Tot slot besteden we aandacht aan
verschillen met de prestaties in het peilingsonderzoek uit 2009 (Kuhlemeier et al., 2013)
4.1 Databronnen
De schrijfvaardigheid van de leerlingen in de peiling is gemeten met twaalf schrijftaken: 9 nieuwe taken en 3 taken die ook bij de peiling in 2009 werden gebruikt (zogenaamde ankertaken). Voor de beoordeling van de schrijftaken is gebruikgemaakt van inhoudelijk beschreven beoordelingsaspecten in de vorm van concrete vragen met een beperkt aantal antwoordmogelijkheden. Vanwege de verschillen tussen de schrijftaken verschilden deze aspecten per taak in aantal en gedeeltelijk ook in inhoud. Alle aspecten zijn ondergebracht in de 3 domeinen opbouw, formulering en inhoud. De score op de 3 domeinen samen vormt de basis voor de totaalscore voor schrijfvaardigheid.
4.2 Werkwijze
De werkwijze om te komen tot beantwoording van de onderzoeksvragen wordt voor een groot deel beschreven in het technisch rapport van het uitvoerend consortium (Ritzema et al., 2020). In hoofdstuk 5 van dat rapport staat beschreven hoe het consortium tot de score voor schrijfvaardigheid is gekomen. Hoofdstuk 7 gaat over de standaardbepaling waarmee de grenzen tussen de referentieniveaus <1F, 1F en 1S/2F zijn vastgesteld en in hoofdstuk 8 staan de resultaten beschreven. In de hiernavolgende paragrafen beschrijven we de aanvullende analyses die zijn gedaan en beschrijven we hoe we afwijken van de werkwijze beschreven in het technisch rapport van het consortium.
Om ervoor te zorgen dat de prestatiescores (schaalscores op basis van gewogen somscores, hierna: WML-scores) interpretabel zouden zijn en zouden starten vanaf 0 zijn de scores getransformeerd. De absolute waarde van de laagste WML-score is bij de WML-scores opgeteld en het resultaat vermenigvuldigd met 100.
Nieuwe score=(Score+1,10)*100 Beheersing beoordelingsaspecten
In tabel 3.2.2b t/m d in het publieksrapport zijn de percentages onvoldoende (<50% dat het aspect in de leerlingtekst voorkomt), matig (50-80% kans dat het aspect in de leerlingtekst voorkomt) en goed (>80% kans dat het aspect in de leerlingtekst voorkomt) beheerste beoordelingsaspecten gerapporteerd voor elk van de drie domeinen opbouw, formulering en inhoud en voor elk referentieniveau.
Op basis van de itemlocaties (de vaardigheidsschaal waar de verwachte waarde op dat item 50% of 80% is van de maximumscore) is berekend hoeveel items een leerling met de gemiddelde vaardigheidsscore op het betreffende referentieniveau onvoldoende, matig of goed beheersen (zie tabel xxx). Per referentieniveau en domein is het aantal items weergegeven waarvoor deze groep <50%, tussen de 50 en 80% of meer dan 80% kans heeft deze goed te maken.
Tabel 4.2.1a Gemiddelde score per referentieniveau
WML-score Getransformeerde
WML-score
<1F -0,284 81,6
1F 0,022 112,2
1S/2F 0,190 129
Tabel 4.2.1b Aantal en percentage onvoldoende, matig en goed beheerste beoordelingscriteria per domein en referentieniveau
n items n onv n matig n goed % onv % matig % goed Opbouw
<1F 40 10 2 77 19 4
1F 34 10 8 65 19 15
1S/2F 52 25 13 14 48 25 27
Formulering
<1F 26 6 1 79 18 3
1F 18 11 4 55 33 12
1S/2F 33 13 11 9 39 33 27
Inhoud
<1F 46 19 18 55 23 22
1F 32 17 34 39 20 41
1S/2F 83 21 19 43 25 23 52
NB. In Figuur 3.2.2b t/m d van het publieksrapport staan door een fout helaas niet de juiste waardes voor referentieniveau <1F. In bovenstaande tabel is dit
gecorrigeerd.
Daarnaast hebben we beschreven welk type aspecten doorgaans per domein beheerst worden op elk referentieniveau. Het betreft geen kwantitatieve analyse, maar enkel een beschrijvende. Hiervoor zijn de criteria per domein op volgorde van itemlocatie op de vaardigheidsschaal gezet en vervolgens is per domein gekeken of er typen aspecten aan te wijzen waren die doorgaans door leerlingen met een lager of juist pas met een hoger referentieniveau beheerst werden. Tabel 1 in Bijlage I toont deze lijst met items en de toegewezen categorie.
Trend 2009-2019
In hoofdstuk 8.6 van het technisch rapport van het consortium staat beschreven hoe de prestaties uit de peiling van 2009 (Kuhlemeier et al., 2013) zijn vergeleken met die van 2019. De percentages in figuur 3.4a zijn bepaald door de gemiddelde score per taak en domein te delen door de maximaal haalbare score op het betreffende domein en de betreffende taak.
Tabel 4.2.2a Gemiddelde percentage van de maximale score per taak op de beoordeelde domeinen en op de 3 domeinen samen, uitgesplitst naar bo en sbo
Domein Jaar Schooltype Wim Unicef Poes
Opbouw 2009 bo 34 49 48
2019 bo 43 47 40
2009 sbo 37 41 42
2019 sbo 38 41 28
Formulering 2009 bo 34 35 23
2019 bo 46 35 20
2009 sbo 36 37 17
2019 sbo 39 38 13
Inhoud 2009 bo 67 53 49
2019 bo 75 53 44
2009 sbo 68 43 43
2019 sbo 65 44 34
Schrijfvaardigheid 2009 bo 43 49 47
2019 bo 53 48 41
2009 sbo 45 41 40
2019 sbo 46 42 31
Representativiteit sbo-populatie 2009
In het publieksrapport is bij de beschrijving van de trendanalyse de kanttekening geplaatst dat de scholen en leerlingen die in 2009 aan het peilingsonderzoek schrijfvaardigheid deelnamen op een aantal achtergrondfactoren niet representatief waren voor de populatie. Het rapport van destijds (Kuhlemeier et al., 2013) bevat alleen gegevens over de populatie scholen en leerlingen verkregen uit de Eindtoets Basisonderwijs 2009, en geen gegevens die specifiek de populatie sbo-leerlingen betreffen. Om toch een beeld te krijgen van de representativiteit van de steekproef sbo-leerlingen van destijds hebben we informatie over sbo-scholen en leerlingen verzameld uit leerlinggegevens van DUO en deze gekoppeld aan een open databron van het Centraal Bureau voor de Statistiek (CBS) met stedelijkheid per gemeente van 2008. Voor de koppeling is gebruikt gemaakt van een postcodetabel met post-codes per gemeente uit 2010 van Geodan, tevens gebaseerd op data van het CBS.
Tabel 4.2.3a Verdeling van de scholen in de populatie en deelnemende sbo-scholen in de peiling van 2009 (Kuhlemeier et al., 2013) naar achtergrondkenmerk
Populatie sbo-scholen
(percentage) Sbo-scholen peiling 2009 (percentage)
Stedelijkheid
Zeer sterk stedelijk 22 13
Sterk stedelijk 36 21
Matig stedelijk 23 41
Weinig stedelijk 15 21
Niet stedelijk 4 100
Niet koppelbaar (missing 0,7 -
Regio
Noord 10 15
Oost 28 23
West 41 41
Zuid 21 21
Tabel 4.2.3b Representativiteit deelnemende leerlingen sbo 2009 Populatie sbo-leerlingen
(%) Sbo-leerlingen peiling
2009 (%) Geslacht
man 65 65
vrouw 35 35
Stedelijkheid
Zeer sterk stedelijk 18 7
Sterk stedelijk 38 25
Matig stedelijk 27 48
Weinig stedelijk 13 12
Niet stedelijk 3 7
Niet gekoppeld (missing) 0,2 -
Regio
Noord 10 17
Oost 26 20
West 38 31
Zuid 26 32
Significantietoetsing
SCHRIJFVAARDIGHEID (3.2 publieksrapport)
In het publieksrapport is er gerapporteerd over de verschillen in prestaties tussen bo en sbo, referentieniveaugroepen en domeinen.
Tabel 4.2.4a Verschillen tussen bo en sbo in aantallen leerlingen met referentieniveau <1F, 1F en 1S/2F
Referentieniveaus
n bo n sbo Chi
kwadraat p-waarde
<1F 647 591
453(2) <0,001**
1F 1115 217
1S/2F 670 79
** p significant <0,05
Om verschillen in prestaties op opbouw, formulering en inhoud tussen leerlingen met verschillende referentieniveaus te vergelijken, is gebruik gemaakt van een manova. Post hoc tests met Bonferroni correctie zijn gebruikt om te controleren of het effect van referentieniveau voor elk domein significant is.
Tabel 4.2.4b Hoofdeffecten van referentiecategorie en schooltype op de gecombineerde afhankelijke variabelen opbouw, formulering en inhoud (WML-scores)
F Df p-waarde post-hoc Referentieniveau
2265 (3,
3315) <0,001** alle contrasten p<0,001**
Schooltype (bo/sbo)
42 (3,
3314) <0,001** alle contrasten p<0,001**
** p significant <0,05
Met een ‘mixed anova’ is gekeken of de scores van leerlingen met de drie referentieniveaus (between variabele) verschillen op de drie domeinen (opbouw, formulering en inhoud: within variabele).
Tabel 4.2.4c Effecten van referentieniveau, domein en de interactie tussen beide op de schrijfscores (WML-score)
F Df p-waarde
referentieniveau 3802,77 (2, 3316) <0,001**
domein 1,19 (2, 6603) 0,31
referentieniveau*domein 8,85 (4, 6603) <0,001**
** p significant <0,05
NB: met Greenhouse Geisser correctie, vanwege violatie van de assumptie op sphericiteit. I.v.m. violatie homogeniteit van varianties is ter controle ook een robuuste anova gedaan met getrimd gemiddelde. Ook bij deze test was de interactie tussen referentieniveau en domein significant (p=0,003).
Tabel 4.2.4d Post-hoc contrasten tussen schrijfscores (WML-scores) op de drie domeinen per referentiecategorie
T Df p-waarde
<1F formulering inhoud -0,13 1237 1,00
<1F formulering opbouw 4,26 1237 <0,001**
<1F inhoud opbouw 4,83 1237 <0,001**
1F formulering inhoud -0,99 1331 0,97
1F formulering opbouw -0,88 1331 1,00
1F inhoud opbouw 0,20 1331 1,00
1S/2F formulering inhoud -0,16 748 1,00
1S/2F formulering opbouw -2,21 748 0,08
1S/2F inhoud opbouw -2,04 748 0,13
** p significant <0,05
NB. P-waardes met Bonferroni-correctie voor meerdere vergelijkingen
ALGEMENE INDRUK, TEKSTLENTE EN CORRECTHEID (3.3 publieksrapport) Tabel 4.2.4eUitkomsten van chikwadraattoets algemene indruk leerlingteksten
Algemene indruk leerlingteksten bo sbo Chi
kwadraat Df p-waarde post-hoc contrasten Nieuwe taken
Slecht 551 239
324,44 3 <0,001** alle p-waardes <0,001**
Onvoldoende 1670 459
Voldoende 3547 457
Goed 1094 72
Ankertaken
Onvoldoende 577 208
137,7 2 <0,001** alle p-waardes<0,001**
Voldoende 1326 180
Goed 525 28
** p significant <0,05
NB. P-waardes post-hoc tests met Bonferroni-correctie voor meerdere vergelijkingen Tabel 4.2.4f Uitkomsten van significantietoetsen lengte leerlingteksten
Algemene indruk leerlingteksten
n bo n sbo Chi
kwadraat Df p-waarde post-hoc contrasten Nieuwe taken
1-5
regels 884 369 279,97 3 <0,001**
alle p-waardes
<0,001**
behalve 6-10 regels (p=1,00, beide 44%) 6-10
regels 2990 546
11-15
regels 1800 186
>dan 15
regels 1189 129
Ankertaken Gemiddelde
bo Gemiddelde
sbo T df p-waarde
Taak 1 140,60 112,82 4,60 185,93 <0,001**
Taak 3 82,48 60,63 7,23 250,74 <0,001**
Taak 8 40,79 30,79 5,40 247,36 <0,001** -
** p significant <0,05
NB. P-waardes post-hoc tests met Bonferroni-correctie voor meerdere vergelijkingen De analyse voor het bepalen van relatie tussen de scores voor algemene indruk, lengte en correctheid enerzijds en de schrijfvaardigheid anderzijds staat beschreven in het technisch rapport van het consortium. De lengte van de ankertaken is
gebaseerd op het geschatte aantal woorden in plaats van categorieën met aantallen regels. De relatie van de lengte van de teksten op basis van de anktertaken met de schrijfvaardigheid is daarom apart onderzocht met correlaties. Voor alle drie de taken is de correlatie klein maar significant. De uitkomsten staan in tabel 4.2l.
Tabel 4.2.4g Uitkomsten van significantietoetsen relatie lengte leerlingteksten ankeropgeven met schrijfvaardigheidscore
Ankertaken Pearson’s r Df p-waarde
Taak 1 .51 1017 <0,001**
Taak 3 .54 1050 <0,001**
Taak 8 .37 836 <0,001**
** p significant <0,05
Tabel 4.2.4h Uitkomsten chikwadraattoetsen en post-hoc contrasten spelling, interpunctie en grammatica
Correctheid leerlingteksten nieuwe taken n bo n sbo Chi
kwadraat Df p-waarde post-hoc contrasten Spelling
Bij meer dan de helft van de zinnen
730 458 617,18 2 <0,001** alle p-waardes <0,001**
Bij minder dan de
helft van de zinnen 4081 595 Bij geen enkele zin 2051 176
Interpunctie Bij meer dan de
helft van de zinnen
2948 1022
674,23 2 <0,001** alle p-waardes <0,001**
Bij minder dan de helft van de zinnen
2034 112 Bij geen enkele zin 1881 95
Grammatica Bij meer dan de
helft van de zinnen
584 263
204,43 2 <0,001**
alle
p-waardes<0,001
** behalve ‘bij minder dan de helft van de zinnen’
(p=1,00) Bij minder dan de
helft van de zinnen 3591 624 Bij geen enkele zin 2685 342
** p significant <0,05
Tabel 4.2.4i Uitkomsten chikwadraattoets en post-hoc contrasten correctheid leerlingteksten ankertaken
n bo n
sbo Chi
kwadraat Df p-waarde post-hoc contrasten spelfouten
Veel schrijffouten 378 200
262,31 2 <0,001**
p-waardes
<0,001**
behalve ‘niet veel, maar ook niet weinig schrijffouten’
(p=1,00) niet veel, maar ook
Niet weinig
schrijffouten 924 161
Weinig of geen
schrijffouten 1127 64
** p significant <0,05