Nu de antwoorden zijn gegeven op de vier deelvragen is het mogelijk om de hoofdvraag van dit onderzoek te beantwoorden. Deze vraag luidt: in hoeverre meten leesvaardigheidstoetsen tekstbegrip? De toetsen die zijn geanalyseerd in dit onderzoek lijken niet direct betrekking te hebben op tekstbegrip. Er worden erg weinig pure tekstbegripvragen gesteld: het aandeel varieert van 0 tot 12,50 % met een
gemiddelde van 3,15 %.
Ook is er gekeken naar de teksten die onderdeel uitmaken van de tekstbegriptoetsen. De teksten zijn op drie niveaus geanalyseerd. Bij de analyse van de teksten op woordniveau lijken de teksten voor de leerlingen in het eerste jaar lastiger dan voor de leerlingen in leerjaar twee en leerjaar drie. Met name de leerlingen die in leerjaar één onderwijs op vmbo-tl-/havoniveau volgen, lijken te maken te hebben met een tekst die wat de woorden betreft veel lastiger voor hen is dan voor de andere klassen. De moeilijkheid van de woorden in de toetsen varieert van 0 tot 55,34 % met een gemiddelde van 13,55 %. Dit zou dus kunnen betekenen dat de teksten voor de ene doelgroep wellicht teveel moeilijke woorden bevatten en voor de andere juist te weinig.
Bij de analyse van de teksten op zinslengte, tekstlengte en aantal teksten lijken er wel duidelijke verschillen te zijn: zowel de teksten als de zinnen in de teksten worden langer wanneer het leerjaar en het onderwijsniveau stijgen. De zinslengte varieert van 12,58 woorden tot 16,42 woorden met een
gemiddelde van 14,0 woorden. De zinnen zijn gemiddeld het kortst in de teksten die horen bij de toetsen van alle klassen één en twee en gemiddeld het langst in de teksten die horen bij de toetsen van de derde klassen.
De tekstlengte varieert van gemiddeld 212,50 woorden (dit is bij een toets die bestaat uit drie teksten) tot 739,0 woorden (bij een toets die bestaat uit één tekst) met een gemiddelde tekstlengte van 477,67 woorden. De teksten die gebruikt worden in de vwo-toetsen worden elk jaar langer. Dit geldt niet voor de teksten die in de havo- en vmbo-toetsen worden gebruikt.
Ook blijken er grote verschillen te zijn tussen de resultaten van de geschiedenisvragen en de toetsvragen. Bij het vak geschiedenis lijken meer vragen betrekking te hebben op tekstbegrip dan bij het vak Nederlands.
Naar aanleiding van de kritiek op de eindexamens Nederlands, en dan meer specifiek het onderdeel waarbij leerlingen vragen bij een tekst moeten beantwoorden, is dit onderzoek uitgevoerd om inzicht te krijgen in het leesvaardigheidsonderwijs in de onderbouw van het voortgezet onderwijs. Het DIME-Model (Azevedo en Cromley, 2007) is in dit onderzoek als theoretisch model gebruikt om
tekstbegriptoetsen te analyseren en om na te gaan wat leerlingen in de onderbouw nu moeten kunnen wat betreft tekstbegrip. Het antwoord op de hoofdvraag van dit onderzoek, in hoeverre meten
leesvaardigheidstoetsen tekstbegrip?, is dan ook: dat doen ze haast niet. De kritiek die men heeft op het eindexamen zou dus ook kunnen gelden voor de manier waarop tekstbegrip in de onderbouw van het voortgezet onderwijs wordt getoetst.
Maar deze uitkomst wil niet meteen zeggen dat tekstbegrip weinig aan bod komt bij het vak Nederlands. Ten eerste is er gekeken naar de toetsen die bij één methode worden gebruikt. Het zou goed kunnen dat de toetsen die bij een andere lesmethode worden gebruikt of die door docenten zelf worden ontwikkeld andere resultaten zouden opleveren. Daarnaast is het zo dat de editie van de methode die voor dit onderzoek is gebruikt niet de meest recente maar de één na laatste editie is. Deze keuze is gemaakt omdat op het moment van het onderzoek de nieuwste editie nog geen toetsen had die aansluiten op het eind van leerjaar drie. Een nadeel van deze keuze is dat het zou kunnen zijn dat een onderzoek naar de nieuwste toetsen andere resultaten oplevert. Aan de andere kant hoeft dit niet per se zo te zijn, het zou ook kunnen zijn dat methodeontwikkelaars dezelfde betekenis geven aan het construct tekstbegrip als in de eerdere editie is gedaan.
Ten tweede is er commentaar te geven op de codering van de vragen. Het DIME-Model dat is gebruikt om de vragen te coderen, laat zien dat de variabelen die sterk met tekstbegrip samenhangen ook met elkaar samenhangen. Een vraag die voornamelijk betrekking lijkt te hebben op het kunnen leggen van verbanden, meet volgens het model ook andere variabelen: of een leerling de woorden kent die worden gebruikt, in hoeverre hij of zij een leesstrategie toepast en hoeveel voorkennis de leerling over het
onderwerp heeft. In dit onderzoek is niet nagegaan in hoeverre de vragen eventueel ook andere variabelen meten, aangezien dit ook niet is gedaan in de onderzoeken die Azevedo en Cromley (2007) hebben gebruikt om de variabelen te operationaliseren. Verder onderzoek naar welke variabelen door elke toetsvraag worden gemeten, zou wellicht een genuanceerder beeld kunnen geven van wat de tekstbegriptoetsen precies meten.
Een ander aspect van dit onderzoek waar nog niet alles over bekend is, is de variabele vakkennis. Vakkennis is in dit onderzoek beschouwd als een variabele die niet samenhangt met tekstbegrip, omdat het geen variabele is die in het model van Azevedo en Cromley (2007) wordt genoemd. Maar het zou onderzocht moeten worden in hoeverre vragen naar bijvoorbeeld de tekstverbanden, signaalwoorden en tekststructuur samenhangen met het adequaat begrijpen van een tekst. Wellicht dat de toetsvragen die in dit onderzoek gecodeerd zijn als vragen naar vakkennis ook aspecten meten die wel met tekstbegrip te maken hebben.
Ook is er iets aan te merken op de manier waarop de teksten zijn geanalyseerd. In dit onderzoek is niet gekeken naar de structuurmarkeerders in een tekst, hoewel bekend is dat het expliciet aangeven van verbanden in een tekst een tekst makkelijker te begrijpen maakt voor leerlingen (Van Silfhout, Evers- Vermeul & Sanders, 2013). Van Silfhout en anderen (2013) hebben onderzoek gedaan naar de relatie tussen tekstbegrip en de mate waarin verbanden tussen zinnen en alinea’s die de tekststructuur
ondersteunen expliciet zijn gemaakt met behulp van verbindingswoorden. Uit het onderzoek blijkt dat leerlingen door verbindingswoorden geholpen worden bij het interpreteren van een tekst. Het blijkt lastig te zijn om teksten te analyseren op de mate waarin verbanden zijn aangegeven, aangezien hier nog geen bruikbaar meetinstrument voor is ontwikkeld. Het zou kunnen zijn dat een onderzoek naar de expliciete verbanden in de geanalyseerde teksten meer informatie geeft over de moeilijkheid van de teksten.