LISO-PROJECT:
TOETSEN WISKUNDE
EINDE EERSTE LEERJAAR
Instrumentontwikkeling en resultaten
J. Dockx, E. Stevens, I. Fidlers, C. Custers, B. De Fraine &
J. Van Damme
LISO-PROJECT:
TOETSEN WISKUNDE
EINDE EERSTE LEERJAAR
Instrumentontwikkeling en resultaten
J. Dockx, E. Stevens, I. Fidlers, C. Custers, B. De Fraine &
J. Van Damme
Promotoren coördinatieteam: B. De Fraine, K. Verschueren,
K. Petry, S. Gielen, J. Van Damme, A. Vandenbroucke,
M. Van Houtte & J.P. Verhaeghe
Research paper SSL/2015.12/2.1
Leuven, september 2015
Het Steunpunt Studie- en Schoolloopbanen is een samenwerkingsverband van KU Leuven, UGent, VUB, Lessius Hogeschool en HUB.
Gelieve naar deze publicatie te verwijzen als volgt:
Dockx J., Stevens E., Fidlers I., Custers C., De Fraine B. & Van Damme J. (2015), LiSO-project: toetsen
wiskunde einde eerste leerjaar instrumentontwikkeling en resultaten, Steunpunt Studie- en
Schoolloopbanen, Leuven.
Voor meer informatie over deze publicatie jonas.dockx@ppw.kuleuven.be, eef.stevens@ppw.kuleuven.be, ilka.fidlers@ppw.kuleuven.be, catharina.custers@ppw.kuleuven.be, bieke.defraine@ppw.kuleuven.be, jan.vandamme@ppw.kuleuven.be
Deze publicatie kwam tot stand met de steun van de Vlaamse Gemeenschap, Programma Steunpunten voor Beleidsrelevant Onderzoek.
In deze publicatie wordt de mening van de auteur weergegeven en niet die van de Vlaamse overheid. De Vlaamse overheid is niet aansprakelijk voor het gebruik dat kan worden gemaakt van de opgenomen gegevens.
D/2015/4718/typ het depotnummer – ISBN typ het ISBN nummer
© 2014 STEUNPUNT STUDIE- EN SCHOOLLOOPBANEN
p.a. Secretariaat Steunpunt Studie- en Schoolloopbanen HIVA - Onderzoeksinstituut voor Arbeid en Samenleving Parkstraat 47 bus 5300, BE 3000 Leuven
Voorwoord
Dit technisch rapport kadert binnen de derde generatie van het Steunpunt Studie‐ en Schoolloopbanen (2012‐2015). Dit steunpunt omvat verschillende onderzoeksdomeinen, waarvan één betrekking heeft op de schoolloopbanen van leerlingen (onderzoekslijn 2.1). Binnen dit onderzoeksdomein werd in het schooljaar 2013-2014 gestart met het onderzoek ‘Loopbanen in het Secundair Onderwijs’, kortweg het LiSO-project. Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren.
Dit rapport beschrijft de instrumentontwikkeling en resultaten van de toetsen wiskunde einde eerste leerjaar A en B. Deze toetsen zijn respectievelijk gericht op het eerste leerjaar A en het eerste leerjaar B van het secundair onderwijs. Deze toetsen werden in functie van het LiSO-project afgenomen in mei en juni van het schooljaar 2013-2014.
We danken het coördinatieteam en de promotoren van het LiSO-project voor hun medewerking en feedback tijdens de selectie van deze toetsen. We danken ook het Centrum voor Schoolfeedback dat hun toetsen beschikbaar stelde voor gebruik.
Tevens zijn we dankbaar aan alle scholen die deelnemen aan het LiSO-project. We denken hierbij specifiek aan alle leerkrachten die deze toetsen afnamen en alle leerlingen die deze toetsen invulden.
Inhoud
Voorwoord v
Inhoud vii
Inleiding 1
Hoofdstuk 1 Ontwikkeling en beschrijving 3
1.1 Ontwikkeling en selectie toetsen wiskunde einde eerste leerjaar 3 1.1.1 Ontwikkeling toetsen wiskunde einde eerste leerjaar 3 1.1.2 Selectiecriteria toetsen wiskunde einde eerste leerjaar 4 1.2 Beschrijving toetsen wiskunde einde eerste leerjaar 6
Hoofdstuk 2 Afnameprocedure en verwerking 7
2.1 Afnameprocedure 7
2.1.1 Afnameprocedure op schoolniveau 7
2.1.2 Afnameprocedure in de klas 8
2.2 Verwerking 10
2.2.1 Relatie databank en fases van verwerking 10
2.2.2 Fase 1: invoer 11
2.2.3 Fase 2: scoring 12
2.2.4 Fase 3: berekening vaardigheidsscores 13
Hoofdstuk 3 Responsgegevens en resultaten 15
3.1 Responsgegevens 15
3.2 Afnamedata 16
3.3 Validiteit 19
3.4 Betrouwbaarheid 20
3.5 Verdelingskenmerken 21
3.6 Opmerkingen bij toetsafname 25
3.7 IRT: moeilijkheidsgraad en discriminatiegraad 26
Bijlagen 29
Inleiding
Dit technisch rapport kadert binnen het LiSO-project (Loopbanen in het Secundair Onderwijs) van het Steunpunt Studie- en Schoolloopbanen (2012-2015). Dit onderzoek wil de wijze waarop leerlingen het secundair onderwijs doorlopen in kaart brengen en verklaren. Hierbij is het uitgangspunt dat niet alleen factoren op het niveau van de individuele leerling (leerlingkenmerken) en zijn thuisomgeving van belang zijn, maar ook factoren op school-, klas- en leerkrachtniveau. Het LiSO-project wil hierover een bron van informatie zijn voor scholen en beleidsmakers. Ze wil daarbij specifiek inzicht bieden in school-, klas- en leerkrachtkenmerken die effectief zijn voor prestaties (van onder meer Nederlands, wiskunde en Frans) en voor non-cognitieve uitkomsten van leerlingen (zoals schoolwelbevinden, betrokkenheid en interesse).
De focus ligt vooral op factoren die door de school of het beleid kunnen worden beïnvloed om zo de individuele leerlingprestaties te maximaliseren en te komen tot meer gelijke onderwijskansen voor iedere leerling. Het LiSO-project wil op deze manier bijdragen tot beslissingen die de onderwijseffectiviteit in Vlaanderen zullen doen toenemen. Om deze doelstelling te bereiken wordt vanaf de start van het schooljaar 2013-2014 een cohorte van ongeveer 6.500 leerlingen gevolgd doorheen hun gehele secundaire schoolloopbaan. Deze leerlingen bevonden zich in september 2013 in het eerste leerjaar van de eerste graad van het secundair onderwijs.
Om de schoolse prestaties voor wiskunde tijdens de schoolloopbaan te kennen worden op verschillende momenten toetsen wiskunde afgenomen. Er werd reeds een toets afgenomen aan de start van het secundair onderwijs. Deze toets is de tweede meting voor wiskunde bij alle leerlingen. Er waren toetsen voor leerlingen in de A-stroom en voor leerlingen in de B-stroom. De afname vond plaats in mei en juni van het schooljaar 2013-2014. Deze toetsen zijn belangrijk omdat ze de mogelijkheid bieden om de leerwinst voor wiskunde te beschrijven in het eerste jaar van de eerste graad van het secundair onderwijs. Zo kan onderzocht worden welke factoren op deze leerwinst van invloed zijn. Dit technische rapport beschrijft de instrumentontwikkeling en de resultaten van de toetsen wiskunde einde eerste leerjaar A & B.
De toetsen wiskunde einde eerste leerjaar A & B zijn één van de instrumenten die worden afgenomen binnen het LiSO-project. Als startmeting voor de schoolse prestaties van leerlingen werden in september en oktober van het schooljaar 2013-2014 reeds toetsen wiskunde, toetsen Nederlands en toetsen Frans afgenomen. Zo kennen we de schoolse prestaties van de leerlingen aan de start van het secundair onderwijs voor zowel wiskunde, Nederlands als Frans. De toetsen wiskunde einde eerste leerjaar A & B behoren tot de tweede meting waarbij ook vragenlijsten werden afgenomen van leerlingen, klastitularissen en vakleerkrachten. De toetsen wiskunde einde eerste leerjaar A & B kunnen niet los gezien worden van de hier vernoemde instrumenten.
In hoofdstuk 1 wordt de ontwikkeling en beschrijving gegeven van de toetsen wiskunde. Vervolgens wordt in hoofdstuk 2 de afnameprocedure en verwerking besproken. In hoofdstuk 3 worden ten slotte de responsgegevens en resultaten besproken.
In bijlage 1 wordt de brief voor de LiSO-contactpersoon van elke school weergegeven. Deze brief werd meegeleverd met elk pakket toetsmateriaal van een school. In deze brief staat beschreven welk toetsmateriaal werd geleverd aan de school en hoe dit materiaal verspreid moet worden binnen de school. Vervolgens wordt beschreven hoe het materiaal ingeleverd moet worden.
In bijlage 2 wordt de handleiding voor de leerkracht van de wiskundetoets einde eerste leerjaar A weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel vaak gestelde vragen en contactgegevens.
In bijlage 3 wordt de handleiding voor de leerkracht van de wiskundetoets einde eerste leerjaar B weergegeven. Deze handleiding bevat informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel vaak gestelde vragen en contactgegevens.
In bijlage 4 wordt het aanwezigheidsblad weergegeven. Op deze aanwezigheidsbladeren moesten de leerkrachten aangeven welke leerlingen al dan niet aanwezig waren tijdens de toetsafname. Tevens moest de klassikale afnamedatum hierop ingevuld worden. Indien een leerling de toets op een andere datum invulde moest dat ook hier ingevuld worden.
In bijlage 5 worden de antwoordbladen van de wiskundetoets einde eerste leerjaar A weergegeven. De leerlingen van het eerste leerjaar A dienden hun antwoorden op de opgaven hier te noteren. In bijlage 6 wordt het antwoordblad van de wiskundetoets einde eerste leerjaar B weergegeven. De leerlingen van het eerste leerjaar B dienden hun antwoorden op de opgaven hier te noteren.
Hoofdstuk 1 Ontwikkeling en beschrijving
Het afnemen van toetsen wiskunde in mei en juni van het schooljaar 2013-2014 past binnen de
doelstellingen van het LiSO-project. Dit project wil immers inzicht bieden in de wijze waarop leerlingen
het secundair onderwijs doorlopen en schoolse prestaties zijn daarbij een belangrijk kenmerk van de
schoolloopbanen.
Aangezien het LiSO-project een longitudinale studie maakt van de volledige schoolloopbanen van leerlingen in het secundair onderwijs is het noodzakelijk om op regelmatige tijdsstippen tussentijdse
metingen uit te voeren van deze schoolse prestaties. Dit is mogelijk door telkens nieuwe
(gekalibreerde) toetsen wiskunde af te nemen bij dezelfde groep leerlingen. Op basis van deze resultaten zal de leerwinst voor wiskunde doorheen het secundair onderwijs beschreven worden. De toetsen wiskunde die aan het einde van het eerste leerjaar worden afgenomen bestaan uit twee
versies: één versie voor de leerlingen in het eerste leerjaar A en één versie voor de leerlingen in het
eerste leerjaar B. Deze toetsen worden in de tekst respectievelijk toets wiskunde einde eerste
leerjaar A en toets wiskunde einde eerste leerjaar B genoemd. Wanneer beide toetsen besproken
worden wordt naar deze toetsen gerefereerd als toetsen wiskunde einde eerste leerjaar.
In de volgende paragrafen van dit hoofdstuk wordt de ontwikkeling en selectie beschreven van de toetsen wiskunde einde eerste leerjaar. Vervolgens wordt een inhoudelijk beschrijving gegeven van deze toetsen.
1.1 Ontwikkeling en selectie toetsen wiskunde einde eerste
leerjaar
1.1.1 Ontwikkeling toetsen wiskunde einde eerste leerjaar
Voor de toetsen wiskunde einde eerste leerjaar van het secundair onderwijs werd gebruik gemaakt van de toetsen wiskunde van het Centrum voor Schoolfeedback. Het Centrum voor Schoolfeedback (www.schoolfeedback.be) heeft als doel individuele scholen te voorzien van feedback over de schoolse prestaties van hun leerlingen. Daarbij staat de toegevoegde waarde die scholen realiseren centraal. In functie van dit doel werden toetsen voor de vakken wiskunde, Nederlands en Frans ontwikkeld. Voor elk vak werden er verschillende toetsen ontwikkeld, waaronder toetsen die aan de start van een schooljaar afgenomen kunnen worden en toetsen die op het einde van het schooljaar afgenomen kunnen worden. Op deze manier kunnen scholen zowel feedback krijgen over de beginsituatie van hun leerlingen als de leerwinst die gerealiseerd is op één schooljaar tijd.
De items (dit zijn de concrete opgaven) van de toetsen wiskunde einde eerste leerjaar werden
ontwikkeld door drie leerkrachten wiskunde (Nele Goethals, Daniel Jacques, Patrick Tydtgat) onder
Bij de ontwikkeling van de items werden als uitgangspunt de eindtermen en ontwikkelingsdoelen van het basisonderwijs genomen. Deze informatie werd aangevuld met de leerplannen van wiskunde van de verschillende onderwijskoepels en de meest gebruikte wiskundehandboeken. Op basis van deze gegevens werd vervolgens een toetsmatrijs opgesteld. Deze toetsmatrijs beschreef welke inhouden aan bod dienden te komen in een wiskundetoets om een valide meting te zijn van de wiskundeprestaties van leerlingen.
Vervolgens werden verschillende items opgesteld per inhoud van de toetsmatrijs. Er werden in de eerste instantie meer items ontwikkeld dan nodig opdat de beste van deze items later uitgekozen konden worden voor de definitieve testen. Deze items werden vervolgens aan groepjes van 500 leerlingen voorgelegd (in totaal ruim 6.000 leerlingen). Op basis van deze data werden vervolgens per
item de IRT-parameters geschat (de moeilijkheidsgraad1 en discriminatiegraad2) en vervolgens de
beste items geselecteerd. Op basis hiervan werden dan de definitieve toetsen opgesteld voor het
eerste leerjaar A en het eerste leerjaar B met een voldoende spreiding van items in moeilijkheidsgraad en discriminatiegraad. Op deze manier meten de toeten het verschil in vaardigheden tussen leerlingen van verschillende cognitieve niveaus op de meest betrouwbare manier.
Deze definitieve toetsen werden vervolgens getest in een semi-longitudinaal onderzoek waarin twee cohortes van nog eens elk ruim 6.000 leerlingen gevolgd werden. Zij werden gevolgd van begin tot einde van de eerste graad en van begin tot einde van de tweede graad. Hieruit bleek dat de testen betrouwbaar en valide waren.
1.1.2 Selectiecriteria toetsen wiskunde einde eerste leerjaar
De selectie van geschikte toetsen wiskunde voor het LiSO-project verliep aan de hand van
verschillende criteria. Het eerste criterium was dat de toetsen de mogelijkheid moesten bieden voor herhaalde metingen in een longitudinale studie. Er moesten met andere woorden meerdere toetsen
beschikbaar zijn die over de schoolloopbaan heen afgenomen kunnen worden. Het tweede criterium was vergelijkbaarheid. Dit betekent dat de scores van deze herhaalde metingen vergelijkbaar moeten zijn met elkaar. Het derde criterium was dat wiskunde op een valide manier gemeten wordt door de toetsen. Het vierde criterium betrof een voldoende spreiding qua moeilijkheidsgraad. De toetsen moesten met andere woorden in staat zijn om de prestaties van een divers leerlingenpubliek te meten. Nauw samenhangend daarmee moesten de toetsen ook een betrouwbare meting zijn van de prestaties voor wiskunde, dit is het vijfde criterium.
Aan het eerste criterium, dat de toetsen de mogelijkheid moeten bieden voor herhaalde metingen in een longitudinale studie, voldoen de toetsen van het Centrum voor Schoolfeedback. Dit criterium dient vervuld te zijn om de evolutie van leerlingen hun prestaties voor wiskunde op lange termijn te kunnen beschrijven. Naast de toetsen die in het eerste jaar secundair onderwijs kunnen worden afgenomen, heeft het Centrum voor Schoolfeedback ook toetsen wiskunde die in de daaropvolgende leerjaren afgenomen kunnen worden. Tevens zijn er zowel toetsen beschikbaar voor de start van als op het einde van het eerste leerjaar secundair onderwijs. De toetsen wiskunde van het Centrum voor
1 De moeilijkheidsgraad van een item is een parameter die aangeeft hoe moeilijk een item is. De moeilijkheidsgraad wordt gebruikt om de kans te bepalen dat leerlingen met een bepaald niveau van vaardigheid het item juist oplossen.
2 De discriminatiegraad van een item is een parameter die aangeeft hoe sterk een item onderscheid maakt tussen leerlingen met een verschillend vaardigheidsniveau.
Schoolfeedback bieden dus de mogelijkheid voor herhaalde metingen doorheen de hele schoolloopbanen van leerlingen.
Ook aan het tweede criterium, dat de scores vergelijkbaar zijn over verschillende toetsen (en dus leerjaren) voldoen de toetsen van het Centrum voor Schoolfeedback. Vergelijkbaarheid betekent, in het kader van het LiSO-project, dat de scores voor wiskunde op verschillende meetmomenten met verschillende toetsen vergeleken kunnen worden met elkaar. Dit criterium hangt nauw samen met het eerste criterium. Deze stelt dat de prestaties van de leerlingen herhaaldelijk gemeten moeten kunnen worden om de prestaties op lange termijn te kunnen beschrijven. Aangezien we de evolutie in prestaties willen beschrijven, is vergelijkbaarheid tussen de scores van de herhaalde metingen strikt noodzakelijk. Om aan deze voorwaarde van vergelijkbaarheid te voldoen, hebben de verschillende toetsen van het Centrum Voor Schoolfeedback steeds enkele items gemeenschappelijk. Deze overlappende items geven de mogelijkheid om scores over verschillende toetsen te vergelijken (via IRT-analyses).
Het derde criterium betreft de validiteit, de toetsen dienen wiskunde valide te meten. In functie van het LiSO-project beschouwen we dit als een meting die inhoudelijk aansluit op de eindtermen en leerplannen van wiskunde van de verschillende onderwijskoepels. De wiskundetoetsen moeten immers een meting zijn van de inhoudelijke kennis en vaardigheden waarover er een relatieve consensus is dat deze de onderdelen zijn van het vakgebied wiskunde. De eindtermen van wiskunde voor de eerste graad secundair onderwijs omvatten de inhouden en vaardigheden waarvan men algemeen aanneemt dat ze noodzakelijk zijn voor een goede beheersing van wiskunde. De leerplannen van de verschillende onderwijskoepels bieden een goede aanvulling hierop omdat zij de eindtermen meer concreet maken. Aangezien de eindtermen en leerplannen het uitgangspunt waren bij de opstelling van de items in de toetsen van het Centrum voor Schoolfeedback wordt ook aan deze vereiste voldaan.
Het vierde criterium betreft een voldoende spreiding van de moeilijkheidsgraad van de items binnen de toetsen voor het eerste leerjaar secundair onderwijs. Dit betekent dat er binnen elke toets items moeten zijn van verschillende moeilijkheidsgraden opdat de test kan differentiëren tussen leerlingen van verschillende prestatieniveaus. De toetsen van het Centrum voor Schoolfeedback voldoen aan dit criterium omdat bij het opstellen van deze toetsen items van verschillende moeilijkheidsgraden werden geselecteerd (op basis van IRT-procedures waarin het bepalen van de moeilijkheidsgraden van items centraal staat). Tevens zijn er twee aparte toetsen, één voor het eerste leerjaar A en één voor het eerste leerjaar B. Per toets is de spreiding van de moeilijkheidsgraden van de items aangepast aan de doelgroep.
Het vijfde criterium betreft een voldoende betrouwbaarheid van de test. De betrouwbaarheid van een test geeft weer in welke mate de testscore vrij is van de invloed van storende factoren. Hoe hoger de betrouwbaarheid van een test, hoe kleiner het risico dat de testscore afwijkt van de ware vaardigheid van de leerling. De toetsen van het Centrum voor Schoolfeedback voldoen aan het criterium van voldoende betrouwbaarheid. Bij het opstellen van deze testen zijn immers enkel items opgenomen die de gewenste betrouwbaarheid hadden. Hierbij is er ook specifiek aandacht besteed om voldoende items per moeilijkheidsgraad te hebben om zo voor de verschillende vaardigheidsgroepen voldoende betrouwbaar te zijn.
1.2 Beschrijving toetsen wiskunde einde eerste leerjaar
De toets wiskunde einde eerste leerjaar A bestond uit 37 items verspreid over vijf toetsinhouden. De toets wiskunde einde eerste leerjaar B bestond uit 35 items verspreid over vijf toetsinhouden. Het aantal items per toetsinhoud wordt weergegeven in tabel 1. De beschrijving van de toetsinhouden wordt hieronder weergegeven.
- Data- en informatieverwerking: het kunnen lezen en interpreteren van cijfermatige
statistische gegevens of het kunnen lezen en interpreteren van grafisch weergegeven statistische gegevens.
- Metend rekenen: opgaven waarbij de kennis van de standaardmaateenheden van lengte,
oppervlakte, inhoud, gewicht, tijdstip, tijdsduur, enzovoort vereist is en waarbij die kennis gebruikt moet worden om concrete problemen op te lossen.
- Getallenleer: Verbale opgaven waarbij een beroep wordt gedaan op kennis van termen,
begrippen, symbolen en op inzicht in het getallensysteem tot 1 000 000 en waarbij inzicht vereist is in de tientalligheid en het plaatswaardesysteem van ons talstelsel.
- Meetkunde: opgaven die ruimtelijk inzicht en kennis van basisbegrippen uit de vormleer
vereisen.
Tabel 1
Aantal items per toetsinhoud per toets
Toetsinhoud N items
Einde eerste leerjaar A Einde eerste leerjaar B
Data- en informatieverwerking 6 6
Metend rekenen 10 9
Getallenleer 11 10
Meetkunde 10 10
TOTAAL 37 35
Hoofdstuk 2 Afnameprocedure en verwerking
In dit hoofdstuk wordt eerst beschreven hoe de afnameprocedure van de toetsen wiskunde einde eerste leerjaar verliep. Er wordt daarbij besproken hoe het toetsmateriaal verspreid en afgenomen werd. Aansluitend wordt weergegeven hoe de verwerking van het ingevulde testmateriaal gebeurde, waaronder de invoer van de antwoorden, de scoring van de antwoorden en het berekenen van de vaardigheidsscores.
2.1 Afnameprocedure
In de volgende paragrafen wordt de verspreiding van het toetsmateriaal over de verschillende scholen, klassen en leerlingen besproken. Vervolgens wordt beschreven hoe de afname van het toetsmateriaal in de klassen verliep en hoe het ingevulde toetsmateriaal nadien terug verzameld werd. We omschrijven dit proces als de afnameprocedure.
2.1.1 Afnameprocedure op schoolniveau
De toetsen wiskunde einde eerste leerjaar maakten deel uit van een geheel van toetsmateriaal dat verspreid werd onder de scholen in mei van het schooljaar 2013-2014. Het toetsmateriaal dat verspreid werd bestond uit: toetsen wiskunde einde eerste leerjaar A & B, leerlingvragenlijsten, oudervragenlijsten (enkel voor die ouders die nog geen oudervragenlijst hadden ingevuld), bijhorende aanwezigheidslijsten en bijhorende handleidingen. De inhoud van deze toetsen en vragenlijsten wordt besproken in de betreffende rapporten. In wat volgt, bespreken we enkel wat relevant is voor de toetsen wiskunde einde eerste leerjaar A & B.
Het toetsmateriaal werd opgestuurd per post naar elk school van het LiSO-project die deelnam in mei 2014. Voor elke school werd een brief voorzien voor de LiSO-contactpersoon3 (zie bijlage 1). In deze brief werd besproken hoe het toetsmateriaal geordend was, hoe de toetsen en vragenlijsten afgenomen dienden te worden, welk extra toetsmateriaal werd voorzien en wat de ophaaldatum was van het ingevulde materiaal.
De LiSO-contactpersoon was tevens verantwoordelijk voor de verspreiding van het materiaal onder de klassen/leerkrachten. Dit was afhankelijk van welke informatie reeds bekend was over de populatie leerlingen. In mei van het schooljaar 2013-2014 waren alle klassen en leerlingen op voorhand gekend, uitgezonderd leerlingen die in de voorafgaande weken waren ingestroomd of klasveranderingen die plaatsvonden in de voorafgaande weken. Het toetsmateriaal was dan ook gepersonaliseerd (voorzien van identificatiegegevens) en reeds geordend per klas. Concreet houdt dit in dat op elke wiskundetoets een sticker kleefde met de naam van de leerling en enkele andere persoonsgegevens. Het toetsmateriaal kon daardoor door de LiSO-contactpersoon onder de juiste klassen verspreid
3 De contactpersoon is de verantwoordelijke binnen een school voor de coördinatie van het project. Wie de LiSO-contactpersoon was van een school werd bij de aanvang van het schooljaar vastgelegd. Deze persoon was vaak een leerkracht, directeur, secretariaatsmedewerker of zorgcoördinator.
worden. Voor elke klas werden echter steeds enkele reserve-exemplaren voorzien voor het geval er nieuwe leerlingen waren ingestroomd of klasveranderingen hadden plaatsgevonden.
Wanneer leerkrachten of leerlingen vragen hadden over het toetsmateriaal of over het LiSO-project, functioneerde de LiSO-coördinator steeds als aanspreekpunt. Deze persoon gaf dan ook vragen door aan het LiSO-team wanneer leerkrachten, leerlingen of anderen deze stelden.
Op 23 april werd per post het toetsmateriaal verstuurd naar de 47 scholen (bestaande uit 63 instellingsnummers).4 De scholen mochten starten met de afname van de wiskundetoetsen vanaf het moment dat ze het toetsmateriaal ontvingen. De deadline voor de afname van de wiskundetoetsen was 16 mei 2014. Enkele scholen konden de toetsen niet in al hun klassen afnemen voor 17 mei 2014. In deze klassen werden de toetsen afgenomen op latere data (In hoofdstuk 3 worden de exacte afnamedata van de toetsen in meer detail besproken).
Wanneer de afname van het toetsmateriaal binnen de klassen was afgelopen diende al het materiaal terug verzameld te worden bij de LiSO-contactpersoon. De LiSO-contactpersoon zette het materiaal vervolgens klaar voor de persoonlijke ophaling door het LiSO-team op 19, 20, 27 en 28 mei. Deze persoonlijke aanpak bood ook de kans aan scholen om feedback te geven over de afname van de toetsen wiskunde aan het LiSO-team. Wanneer het toetsmateriaal op een latere datum werd afgenomen, werd een nieuwe ophaaldatum afgesproken en werd het materiaal door het LiSO-team opgehaald. Enkele late scholen stuurden het toetsmateriaal op met de post. Het LiSO-project had etiketten voorzien opdat scholen dit kosteloos konden opsturen.
2.1.2 Afnameprocedure in de klas
Nadat de LiSO-contactpersoon het nodige toetsmateriaal verspreid had in de school had elke klas een apart pakket voor de afname van de wiskundetoetsen. De inhoud van dit pakket verschilde naargelang het een eerste leerjaar A of een eerste leerjaar B betrof. Het pakket voor een eerste leerjaar A bevatte een handleiding voor de afname van de wiskundetoets (zie bijlage 2), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 5). Het pakket voor een eerste leerjaar B bevatte een handleiding voor de afname van de wiskundetoets (zie bijlage 3), aanwezigheidsbladen (zie bijlage 4), toetsboekjes en antwoordbladen (zie bijlage 6). In beide pakketten werden ook steeds enkele blanco wiskundetoetsen voorzien als reservemateriaal. In de volgende paragrafen geven we aan de hand van dit materiaal weer hoe de afnameprocedure in de klas verliep.
De handleidingen (zie bijlagen 2 en 3) voor de toetsen wiskunde einde eerste leerjaar A & B hadden
dezelfde inhoud en waren gericht op de leerkracht5 van de klas. Deze handleidingen bevatten informatie over de concrete afname, richtlijnen over het verloop van de toetsafname, een onderdeel
4 Een school kan meerdere instellingsnummers hebben, bijvoorbeeld per gebouw of vestiging van de betreffende school of per onderwijsvorm. Om deze reden interpreteren wij scholen als pedagogische gehelen. De onderwijsinspectie definieert een pedagogisch geheel als volgt: “Het gaat om twee of meer scholen van hetzelfde onderwijsniveau, met een verschillend instellingsnummer. Deze scholen werken vanuit een gemeenschappelijk bestuurlijk beleid, hebben een gemeenschappelijke pedagogisch-didactische organisatie en profileren zich naar de buitenwereld als één school” (Een vraag over pedagogisch geheel, 2014).
5 In sommige gevallen nam niet de wiskundeleerkracht van de klas, maar een andere leerkracht of een
met vaak gestelde vragen over de toetsen wiskunde en het LiSO-project en contactgegevens. De leerkracht was verantwoordelijk voor de afname van de wiskundetoetsen in de klas.6
De leerkracht diende eerst te controleren of al het nodige materiaal voor afname aanwezig was, zoals beschreven in de handleiding. Vervolgens moest op het aanwezigheidsblad (zie bijlage 5) gecontroleerd worden welke leerlingen aan- en afwezig waren. Indien een leerling afwezig was, moest telkens genoteerd worden wat de reden was. Er moest hier ook aangegeven worden wat de
afnamedatum was van de toets in de klas. Indien een leerling de toets aflegde op een andere dan de
klassikale datum, moest dit ook hier genoteerd worden. Op dit blad werd ook plaats voorzien waar leerkrachten opmerkingen konden schrijven (zowel over de afname als algemene bedenkingen). Vervolgens mocht de leerkracht dit materiaal uitdelen. Indien de toetsen reeds gepersonaliseerd waren moest elk exemplaar aan de juiste leerling gegeven worden. Indien het blanco toetsmateriaal betrof, moest de leerkracht aan elke leerling blanco toetsmateriaal geven.
Op het voorblad van het toetsboekje wiskunde einde eerste leerjaar A moesten de leerlingen indien nodig eerst hun identificatiegegevens invullen. Op het eerste blad stonden de instructies voor de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mochten doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 37 opgaven van de wiskundetoets gegeven. Op het laatste blad werd ook informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op de antwoordbladen (zie bijlage 5) van de toets wiskunde einde eerste leerjaar A moesten de leerlingen ook hun identificatiegegevens en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje.
Op het voorblad van het toetsboekje wiskunde einde 1ste leerjaar B moesten de leerlingen indien nodig eerst hun identificatiegegevens en de datum van de dag invullen. Op het eerste blad stonden de instructies van de leerlingen: welke pen ze mochten gebruiken, waar ze de antwoorden moesten noteren en wat ze wel en niet mogen doen tijdens de afname. Er werden ook enkele voorbeeldopgaven voorzien in het toetsboekje. Vervolgens werden de 35 opgaven van de wiskundetoets gegeven. Op het laatste blad van het toetsboekje werd tot slot informatie voorzien over de bescherming van de privacy en de contactgegevens van het LiSO-project. Op het antwoordblad (zie bijlage 6) van de toets wiskunde einde eerste leerjaar B moesten de leerlingen ook hun identificatiegegevens en datum van de dag invullen. Hoe men dit antwoordformulier moest invullen, werd beschreven in het toetsboekje.
De leerkracht/toetsleiders overliepen samen met de leerlingen de afnamerichtlijnen die vooraan in de toetsboekjes van de leerlingen stonden. In de handleiding voor de leerkrachten/toetsleiders werden verschillende richtlijnen voorzien waarop zij moesten toezien. De duurtijd die gespendeerd mocht worden aan de toetsen wiskunde was minimaal 1 lestijd van 50 minuten en maximaal 2 lestijden van
50 minuten. In deze periode mochten de leerlingen gebruik maken van een zakrekenmachine
(uitgezonderd bij de eerste 9 opgaven van 1A). De leerkrachten mochten geen vragen beantwoorden die zouden helpen bij het oplossen van de toetsopgaven. De instructies en de precieze verwoording hiervan worden beschreven in de handleiding voor de leerkracht (zie bijlagen 2 en 3).
6 In sommige gevallen werd de toets niet klassikaal afgenomen, maar werden verschillende klassen samengenomen om de toets in één keer van een grotere groep leerlingen af te nemen.
Wanneer de leerlingen klaar waren met hun toets leverden ze hun toetsboekjes en/of antwoordbladen in bij de leerkracht. De leerkracht bezorgde vervolgens alles aan de LiSO-contactpersoon van de school.
2.2 Verwerking
Het toetsmateriaal werd door het LiSO-team verzameld, gesorteerd, gecontroleerd, voorzien van de nodige identificatiegegevens van de leerlingen en op volgorde gelegd. Vervolgens kon met de
verwerking van het toetsmateriaal gestart worden. Deze verwerking verliep in verschillende fases
waarvan de resultaten per fase steeds verwerkt werden in de databank. In de volgende paragraaf bespreken we de relatie tussen organisatie van de databank en de verschillende fases van verwerking. In de daaropvolgende paragrafen worden de verschillende fases meer uitvoerig besproken.
2.2.1 Relatie databank en fases van verwerking
De verwerking verliep in drie fases. De eerste fase was de invoer van de antwoorden van de leerlingen. Deze invoer heeft als doel een waarheidsgetrouwe weergave te zijn van de antwoorden die leerlingen gaven. De tweede fase was de scoring van deze antwoorden. Deze fase heeft als doel een duidelijke weergave te zijn van wat leerlingen juist of fout hebben. Vervolgens werd in de derde fase een
vaardigheidsscore berekend die de vaardigheid van een leerling weergeeft.
De resultaten van deze drie fases hebben elk hun plaats in de databank van het LiSO-project. Zo wordt de invoer van de antwoorden (fase 1) weggeschreven in de invoervariabele. Indien het niet mogelijk was het antwoord letterlijk weg te schijven (omdat het antwoord ongeldig was) in de invoervariabele werd het antwoord weggeschreven in de bisvariabele. In paragraaf 2.2.2 worden de invoer, de invoervariabele en de bisvariabele in detail besproken. De invoer werd vervolgens gescoord (fase 2) op basis van de vooropgestelde correcte antwoorden. Dit resulteerde in een 0 of 1 score voor het betreffende item, deze score werd vervolgens weggeschreven in de bijhorende scorevariabele. Deze scoring wordt in detail besproken in paragraaf 2.2.3. Op basis van deze scorevariabelen werd met behulp van IRT-procedures de vaardigheidsscore van een leerling berekend (fase 3). Deze vaardigheidsscore werd vervolgens weggeschreven in een aparte kolom met vaardigheidsscores. De berekening van deze vaardigheidsscore wordt in 2.2.4 in detail besproken.
In tabel 2 wordt de organisatie van de databank weergegeven voor de wiskundetoetsen in het LiSO-project. Hierbij dient ‘LiSO-ID’ ter identificatie van de leerling. ‘Afnamedatum’ geeft weer op welke datum de leerling de toets invulde. ‘V001’ en ‘V002’ zijn invoervariabelen en geven weer wat de leerlingen invulden voor de vragen V001 en V002 (1, 2, 3 en 4 betekenen bij multiple choice vragen respectievelijk A, B, C en D). ‘C6666666V001’ en ‘C6666666V002’ zijn bisvariabelen en geven weer welke ongeldige antwoorden de leerlingen gaven voor V001 en V002 of opmerkingen die zij schreven bij V001 en V002. ‘S001’ en ‘S002’ zijn scorevariabelen die weergeven welke score de leerlingen respectievelijk kreeg voor de antwoorden op V001 en V002. De kolom ‘Vaardigheidsscore’ geeft weer welke vaardigheidsscore voor een leerling berekend werd.
Tabel 2
Organisatie databank LiSO voor wiskunde
LiSO-ID Afnamedatum V001 V002 C6666666V001 C6666666V002 S001 S002 Vaardigheids-score 000001 14/09/2013 1 9999999 1 0 42,53 000002 14/09/2013 1 5 1 1 55,79 000003 25/09/2013 6666666 3 Het antwoord is 55 0 0 37,21
In de volgende paragrafen worden deze verschillende fases in detail besproken.
2.2.2 Fase 1: invoer
De invoer van de antwoorden van de leerlingen begrijpen we als het wegschrijven van de antwoorden in de databank (in MS Access) van het LiSO-project. Het LiSO-project nam als uitgangspunt dat de antwoorden die leerlingen gaven steeds zo waarheidsgetrouw mogelijk in de LiSO-databank weergegeven worden. Met andere woorden: wat een leerling invult op zijn antwoordblad of in zijn toetsboekje wordt letterlijk weggeschreven in de databank. Alle antwoorden die zo ingevoerd werden, worden in de LiSO-databank beschouwd als invoervariabelen.
De vragen in de toetsen wiskunde einde eerste leerjaar A & B bestonden uit multiple choice vragen7 en open vragen.8 De multiple choice vragen werden ingelezen van het antwoordblad door een scanner (via Teleform-software). De open vragen werden manueel ingevoerd. Zowel antwoorden op de multiple choice vragen als op de open vragen werden weggeschreven in de LiSO-database in de bijhorende kolom van de invoervariabele. Voor ongeldige en blanco antwoorden alsook voor opmerkingen werden in de database bijzondere codes voorzien. Deze worden in de volgende paragrafen besproken.
Soms gaven leerlingen een antwoord dat niet ingelezen kon worden door de scanner of niet ingevoerd kon worden. Deze antwoorden werden geclassificeerd als ongeldige antwoorden. Voorbeelden van ongeldige antwoorden zijn:
- Bij multiple choice vragen een antwoord schrijven in plaats van (een) bolletje(s) in te kleuren. - Bij multiple choice vragen waar maar één bolletje ingekleurd mag worden toch meerdere
bolletjes inkleuren.
- Bij open vragen een niet-invoerbaar antwoord geven (vb. een tekening).
In al deze gevallen werd het antwoord ingevoerd als ongeldig en meer concreet als code ‘6666666’. We kozen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven. Om later toch een beeld te krijgen op deze ongeldige antwoorden, werd in de database vervolgens een extra kolom voorzien waarin het werkelijk gegeven antwoord van de leerling genoteerd werd (of een beschrijving
7 Multiple choice vragen zijn vragen waarbij er verschillende antwoordmogelijkheden gegeven worden. Voor elke antwoordmogelijkheid staat een leeg bolletje. Wanneer een leerling denkt dat een bepaalde antwoordmogelijkheid het juiste antwoord is dient deze het bijhorende bolletje in kleuren.
8 Open vragen zijn vragen waarbij een antwoord geschreven moet worden. Er wordt de nodige ruimte voorzien waar de
in het geval van een tekening). Dit is de zogenaamde bisvariabele. Dit is een kolom in de database waar het werkelijk gegeven antwoord weggeschreven kan worden indien het een ongeldig antwoord betreft.
Wanneer leerlingen een bepaalde opgave onbeantwoord lieten en dus geen antwoord gaven, werd dit als een blanco antwoord beschouwd. Er zijn verschillende situaties waarin een blanco antwoord geregistreerd werd:
- Een antwoord op een multiple choice vraag werd als blanco beschouwd wanneer geen enkel bolletje ingekleurd was.
- Een antwoord op een open vraag werd als blanco beschouwd wanneer er niets geschreven was.
- Wanneer leerlingen een antwoord gaven, maar dit doorstreepten zonder een nieuw antwoord te geven, werd dit als een blanco antwoord beschouwd.
- Wanneer leerlingen enkel een vraagteken of een kleine krabbel invulden, werd dit als een blanco antwoord beschouwd.
In al deze gevallen werd het antwoord ingevoerd als blanco en meer concreet als code ‘9999999’. We kiezen voor een numerieke code in functie van diverse databasesoftware waarbij het belangrijk is dat voor bepaalde variabelen enkel numerieke antwoorden worden weggeschreven.
Wanneer leerlingen de vragen wel op een geldige manier beantwoordden, maar nog een opmerking opschreven, werd het antwoord weggeschreven op de normale manier. De opmerking van de leerling werd echter ook bijgehouden bij de bisvariabele.
2.2.3 Fase 2: scoring
Na de invoer werden de antwoorden van de leerlingen gescoord. Onder ‘scoring’ begrijpen we enkel het juist of fout rekenen van de antwoorden. Dit juist of fout rekenen, resulteert vervolgens in een
score 1 of 0 voor respectievelijk een juist of een fout antwoord op een item. In de volgende
paragrafen bespreken we hoe dit proces verliep voor multiple choice vragen en open vragen.
De multiple choice vragen bestonden uit twee types: er waren vragen waarbij slechts één bolletje aangeduid moest worden en vragen waarbij meerdere bolletjes aangeduid moesten worden. Bij het eerste type werd een antwoord enkel juist gerekend indien de leerling het juiste bolletje aanduidde. Bij het tweede type werd het antwoord enkel juist gerekend wanneer de leerling alle juiste bolletjes aanduidde. Enkel wanneer leerlingen het juiste bolletje of de juiste bolletjes hadden aangeduid werd hun antwoord als juist beoordeeld en kreeg het antwoord de score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven.
Bij open vragen werd nagegaan of het antwoord dat de leerling gaf overeenstemde met het
vooropgestelde correcte antwoord in de verbetersleutel. Dit criterium werd strikt gehanteerd,
hoewel er ook enkele uitzonderingen zijn. Wanneer een leerling “drie” schreef in plaats van “3” en “3” het juiste antwoord is, werd dit toch juist gerekend. Wanneer een leerling nullen na de komma schreef (die in principe niet nodig waren) werd het antwoord juist gerekend (indien het een correct antwoord betrof). Wanneer leerlingen met een breuk antwoordden, werd het antwoord correct gerekend voor elke breuk die een veelvoud is van de vooropgestelde correcte breuk (uitgezonderd wanneer een
niet-vereenvoudigbare breuk werd gevraagd). Bij sommige vragen werden ook bepaalde kleine spelfouten toegestaan. Indien dit het geval was kreeg de leerling voor zijn antwoord op dat item de score 1. In alle andere gevallen (waaronder ook blanco en ongeldige antwoorden) werd de score 0 gegeven.
Dit proces waarin de multiple choice vragen en open vragen werden gescoord resulteerde in een score 0 of 1 per item per leerling . Deze scores werden in de LiSO-databank weggeschreven als
scorevariabelen.
2.2.4 Fase 3: berekening vaardigheidsscores
In dit hoofdstuk wordt beschreven hoe de vaardigheidsscore van iedere leerling berekend werd. We bespreken hiervoor eerst kort de Item-respons theorie (IRT). Dit is het model waarmee de vaardigheidsscore van iedere leerling bepaald wordt. Vervolgens bespreken we kort hoe de berekening van deze vaardigheidsscore door middel van IRT verloopt.
Zowel in de klassieke testtheorie (KTT) als in de item-respons theorie (IRT) wordt de vaardigheid van
een leerling berekend op basis van het al dan niet correct beantwoorden van een aantal items binnen
een test. Tevens wordt in beide theorieën de moeilijkheid van een item berekend op basis van het aantal personen dat een juist antwoord geeft op het item. Waarin IRT echter verschilt van KTT is dat tussen de moeilijkheidsgraad van items en de vaardigheid van leerlingen een specifieke relatie wordt gelegd. Door deze relatie worden zowel de moeilijkheid van de items als de vaardigheden van
leerlingen op één figuurlijke meetschaal vastgelegd. Hoe lager een item zich op deze meetschaal
bevindt, hoe makkelijker dit is, hoe hoger een item zich op deze meetschaal bevindt, hoe moeilijker dit is. Hoe lager een leerling zich op deze meetschaal bevindt, hoe minder vaardigheid deze heeft, hoe hoger de leerling zich op deze meetschaal bevindt, hoe meer vaardigheid deze heeft. Het is hierbij de afstand tussen de vaardigheid van een persoon en de moeilijkheid van een item die bepaalt wat de kans is dat een item correct wordt opgelost. Wanneer de vaardigheid en de moeilijkheid zich op hetzelfde punt van de meetschaal bevinden, is de kans 50% dat de persoon het item juist heeft. Op deze manier komt IRT tot één figuurlijke meetschaal waarop zowel moeilijkheid als vaardigheid gesitueerd kunnen worden. Dankzij IRT-analyses kan deze meetschaal ook over verschillende toetsen heen geconstrueerd worden. Hierdoor kunnen de scores op verschillende toetsen met elkaar vergeleken worden. De enige voorwaarde hiervoor is dat de verschillende toetsen steeds enkele items gemeenschappelijk hebben.
Het LiSO-project gebruikt IRT-analyses omdat de scores op verschillende testen met elkaar vergeleken moeten worden. Het hebben van één gemeenschappelijke meetschaal over verschillende
testen is dan ook noodzakelijk. Enkel zo kan de vooruitgang van leerlingen doorheen de tijd beschreven worden en kan de vaardigheid van leerlingen uit 1A vergeleken worden met de vaardigheid van de 1B-leerlingen die een andere toets aflegden. Bijgevolg zijn IRT-analyses noodzakelijk voor de berekening van de vaardigheidsscore.
De berekening van de vaardigheidsscore verloopt in twee zich steeds herhalende stappen. De eerste
stap is dat op basis van de 0 en 1 scores de tijdelijke moeilijkheidsparameters berekend worden per
item. De tweede stap is de berekening van de tijdelijke vaardigheidsparameters op basis van de 0 en 1 scores en de tijdelijke moeilijkheidsparameters . Vervolgens is er een herhaling van de eerste stap. Nu worden de moeilijkheidsparameters echter niet enkel berekend op basis van de 0 en 1 scores, maar
worden ook de tijdelijke vaardigheidsparameters in de berekening opgenomen. Vervolgens is er een
herhaling van stap 2 waar wordt rekening gehouden met de nieuwe tijdelijke
moeilijkheidsparameters. Deze twee stappen herhalen zich een aantal keer totdat de moeilijkheids- en vaardigheidsparameters stabiel blijven (convergentie). Wanneer deze stabiliteit bereikt is zijn de
Hoofdstuk 3 Responsgegevens en resultaten
3.1 Responsgegevens
De totale LiSO-steekproef op 1 mei van het eerste leerjaar secundair onderwijs (mei 2014) bestond uit 6.392 leerlingen in 51 scholen (bestaande uit 69 instellingsnummers). Binnen de steekproef waren 5.577 leerlingen ingeschreven in het eerste leerjaar A en 815 leerlingen ingeschreven in het eerste leerjaar B. In tabel 3 wordt de steekproef van leerlingen weergegeven.
Tabel 3
Steekproef leerlingen mei 2014
Stroom N leerlingen (%) Eerste leerjaar A 5.577 (87,25%) Eerste leerjaar B 815 (12,75%)
TOTAAL 6.392 (100%)
Van het totaal aantal scholen in de LiSO-steekproef namen er 47 deel aan de toetsen wiskunde einde eerste leerjaar. Vier scholen nam dus niet deel aan de eerste afname. Deze scholen had op 1 september 2013 een populatie van 502 leerlingen, waarvan 417 leerlingen in het eerste leerjaar A en 85 leerlingen in het eerste leerjaar B. Zo komen we tot de substeekproef voor wiskunde die op 1 meis 2014 bestond uit 5.890 leerlingen, waarvan 5.160 leerlingen in het eerste leerjaar A en 730 in het eerste leerjaar B zaten. In tabel 4 wordt de substeekproef van leerlingen weergegeven.
Alle leerlingen waarvan een ingevuld antwoordblad (voor het eerste leerjaar A) of ingevuld
toetsboekje (voor het eerste leerjaar B) ontvangen werd met minstens één antwoord werd
beschouwd als respons. Indien er toetsen ontvangen werden zonder dat er iets ingevuld werd, werd dit beschouwd als een non-respons. Op basis van de hiervoor beschreven substeekproef werd vervolgens de leerlingenrespons berekend. In tabel 4 wordt de leerlingenrespons in de substeekproef weergegeven.
Van de 5.594 ontvangen ingevulde antwoordbladen/toetsboekjes beschouwen we er enkele als
onbetrouwbaar voor analyses. Bij enkele leerlingen stellen we immers vast dat zij zeer weinig items
van de betreffende toets invulden en/of heel wat items op een ongeldige manier invulden. We vermoeden dat de toetsen van deze leerlingen geen betrouwbare meting zijn van hun vaardigheid. Daarom besluiten we om de betreffende toetsscores uit de analyses weg te laten. We nemen als criterium dat een toets pas betrouwbaar is voor analyses wanneer meer dan de helft van de items op een geldige manier werd ingevuld. Dit wil zeggen dat alle toetsen waarbij de helft of meer items ongeldig of blanco werden ingevuld (zie hoofdstuk 2 voor beschrijving blanco en ongeldig) als onbetrouwbaar voor analyses worden beschouwd. Voor de toets wiskunde eerste leerjaar A registreren we 9 toetsen waarbij minder dan de helft van de items geldig werd ingevuld. Voor de toets wiskunde eerste leerjaar B registreren we 15 toetsen waarbij minder dan de helft van de items geldig
werd ingevuld. In tabel 4 geven we het aantal geldige aantal toetsen weer op het totaal aantal ontvangen toetsen. Tabel 4 Responsgegevens Stroom N leerlingen (%)
Substeekproef Respons Leerlingen Geldig ingevulde toetsen Eerste leerjaar A 5.160/5.577 (92,52%) 4.904/5.160 (95,04%) 4.895/4.904 (99,82%) Eerste leerjaar B 730/815 (89,57%) 690/730 (94,52%) 675/690 (97,83%) TOTAAL 5.890/6.392 (92,15%) 5.594/5.890 (94,97%) 5.570/5.594 (99,57%)
3.2 Afnamedata
De scholen kregen vanaf het ontvangstmoment (het toetsmateriaal werd verstuurd op 23 april per post) tot en met 16 mei de tijd om het toetsmateriaal bij de leerlingen af te nemen. Voor de meeste leerlingen werd hieraan voldaan, maar niet voor alle leerlingen. In een aantal gevallen werden de toetsen aanzienlijk later afgenomen (tot en met 6 juni). In tabel 5 wordt weergegeven voor hoeveel leerlingen de afnamedatum van 16 mei overschreden werd.
Tabel 5
Overschrijding uiterste afnamedatum
N leerlingen (%)
Stroom Afname 25/04 - 16/05 Afname 17/05 - 06/06
Eerste leerjaar A 3.904/4.895 (79,75%) 991/4.895 (20,25%) Eerste leerjaar B 607/675 (89,93%) 68/675 (10,07%) TOTAAL 4.511/5.570 (80,99%) 1.059/5.570 (19,01%)
Dit betekent dat er sprake is van een vrij lange toetsperiode (van 25 april tot en met 6 juni). Dit kan de
vergelijkbaarheid van de toetsresultaten tussen verschillende scholen en klassen in het gedrang
brengen. We verwachten immers dat leerlingen bij wie de toets werd afgenomen na 16 mei hoger
scoren dan leerlingen waarbij de toets werd afgenomen tot en met 16 mei. De eerste groep heeft
namelijk al meer lesuren wiskunde gevolgd dan de tweede groep. Uit de gegevens van de wiskundetoets einde eerste leerjaar A blijkt er echter geen verschil tussen beide groepen. De groep waarbij de toets werd afgenomen na 16 mei behaalde een gemiddelde vaardigheidsscore van 113,71 (SD=9,04) terwijl de groep waarbij de toets werd afgenomen tot en met 16 mei een gemiddelde vaardigheidsscore van 113,63 behaalde (SD=9,12). Uit de gegevens van de wiskundetoets einde eerste leerjaar B blijkt er eveneens nagenoeg geen verschil te zijn tussen beide groepen. De groep waarbij de
toets werd afgenomen na 16 mei behaalde een gemiddelde vaardigheidsscore van 84,56 (SD=8,62) terwijl de groep waarbij de toets werd afgenomen tot en met 16 mei een gemiddelde vaardigheidsscore van 83,78 behaalde (SD=8,64) De hypothese dat enkele weken meer les tot hogere resultaten zou leiden, wordt dus verworpen.
Het is echter cruciaal dat de grote spreiding van afnamedata niet leidt tot een vertekening van de resultaten. Daarom werden alle volgende analyses in dit rapport zowel uitgevoerd met als zonder de leerlingen die na 16 mei hun toetsen invulden. Equivalente resultaten werden steeds bekomen en er was geen indicatie van vertekening. Om deze reden worden enkel de resultaten besproken waarbij
alle leerlingen opgenomen zijn.
De datum waarop een leerling de toets invulde werd ook steeds bijgehouden in de databank van het LiSO-project (zie 2.1.1). Afnamedatum kan dus ook steeds opgenomen wanneer er statistische analyses op de data worden uitgevoerd.
In figuur 1 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het eerste leerjaar A. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 7 mei en 28 mei.
Figuur 1
Cumulatieve frequentieverdeling afnamedata leerlingen 1A
In figuur 2 wordt de cumulatieve frequentieverdeling weergegeven van de afnamedata van het eerste leerjaar B. Deze grafiek geeft per dag weer hoeveel leerlingen de toetsen tot dan toe invulden. Hierbij zien we dat de meeste leerlingen hun toetsen aflegden tussen 7 mei en 21 mei. In vergelijking met het eerste leerjaar A zijn de afnamedata echter minder gespreid over de tijd.
Figuur 2
Cumulatieve frequentieverdeling afnamedata leerlingen 1B
In tabel 6 worden percentiel 10, percentiel 25, de mediaan, percentiel 75 en percentiel 90 van de afnamedata weergegeven. De percentielen van de afnamedata gevenweer op welke datum dat 10%, 25%, 75% of 90% van de leerlingen de toets reeds hadden ingevuld. De mediaan geeft weer wanneer 50% van de leerlingen de toets reeds hadden ingevuld, deze is dus gelijk aan percentiel 50. Hier zien we dat minstens 50% van de toetsen van het eerste leerjaar A werden ingevuld tussen 08/05 en 14/05. Voor het eerste leerjaar B is er ook hier een kleinere spreiding en werden 50% van de toetsen ingevuld tussen 06/05 en 12/05. 90% van de toetsen van het eerste leerjaar A werden ingevuld voor 22/05 terwijl 90% van de toetsen van het eerste leerjaar B werden ingevuld voor 17/05
Tabel 6
Verdelingskenmerken afnamedata einde eerste leerjaar A en B
P10 P25 P50 P75 P90 Eerste leerjaar A 05/05 08/05 14/05 15/05 22/05 Eerste leerjaar B 29/04 06/05 12/05 14/05 17/05
In de databank van het LiSO-project (zie 2.2.1) steeds bijgehouden wanneer de leerling de toets heeft ingevuld. Op deze manier kan de afnamedatum ook steeds opgenomen worden als variabele.
3.3 Validiteit
Er werd onderzocht of de toetsen wiskunde einde eerste leerjaar één of meerdere achterliggende
vaardigheden meet. Indien er slechts evidentie is voor één vaardigheid dan verleent dit steun aan de
hypothese dat de toets enkel wiskundevaardigheden meet. Daarom werd een exploratieve
factoranalyse uitgevoerd op de items van zowel de toets wiskunde einde eerste leerjaar A als de toets
wiskunde einde eerste leerjaar B. Het doel van deze factoranalyse is om na te gaan of een één-factoroplossing de beste één-factoroplossing is voor een geheel van items. Indien dit zo blijkt te zijn dan is dit een indicatie dat de toets één vaardigheid meet.
Om te bepalen of een één-factoroplossing de beste factoroplossing is, wordt zowel gebruik gemaakt van een scree-plot als van de ‘proportie verklaarde variantie’9 van de verschillende factoren.
Op basis van deze criteria besluiten we voor de toets wiskunde einde eerste leerjaar A dat de één-factoroplossing de beste één-factoroplossing is. We vinden immers dat 13,39% van de variantie in de toetsscores verklaard wordt door de eerste factor. Ook de scree plot (zie figuur 3) wijst op een
één-factoroplossing als de beste één-factoroplossing. Op basis van deze criteria besluiten we voor de toets
wiskunde einde eerste leerjaar B dat de één-factoroplossing de beste factoroplossing is. We vinden immers dat 13,89% van de variantie in de toetsscores verklaard wordt door de eerste factor. Ook de scree plot (zie figuur 4) wijst op een één-factoroplossing als de beste factoroplossing.
Omwille van de bovenstaande resultaten wordt in de analyses van de toetsen wiskunde einde secundair onderwijs doorgaans gewerkt met één vaardigheidsscore per leerling. Er worden geen IRT-scores berekend voor subschalen (data- en informatieverwerking, metend rekenen, getallenleer en meetkunde).
9 Criterium ‘Proportie verklaarde variantie’: enkel factoren die minstens 5% van de variantie verklaren worden weerhouden.
Figuur 3
Scree plot 1A
3.4 Betrouwbaarheid
Om de betrouwbaarheid van de wiskundetoetsen einde eerste leerjaar A en B na te gaan, werden de
Cronbach’s alfacoëfficiënten10 berekend voor beide toetsen. In tabel 7 worden de Cronbach’s alfacoëfficiënten weergegeven voor het eerste leerjaar A en het eerste leerjaar B (Alfa). Tevens wordt ook weergegeven op hoeveel geldig ingevulde toetsen de Cronbach’s alfacoëfficiënten werden berekend.
Tabel 7
Betrouwbaarheid wiskundetoetsen einde eerste leerjaar A en einde eerste leerjaar B
N leerlingen N items Alfa Eerste leerjaar A 4.895 37 0.81 Eerste leerjaar B 675 35 0.80
De wiskundetoetsen einde eerste leerjaar A en B hebben een hoge betrouwbaarheid volgens de berekende Cronbach’s alfacoëfficiënten. Bij de berekening van de Cronbach’s alfacoëfficiënten werden blanco en ongeldige antwoorden mee opgenomen. Zij werden logischerwijs als een foutief antwoord beschouwd. De alfacoëfficiënten konden niet verder verhoogd worden door het weglaten van één of meerdere items.
10 Maat hoe consistenter de items zijn in het meten van een bepaalde vaardigheid.
Figuur 4
Scree plot 1B
Ook voor de verschillende inhoudelijke domeinen werden de Cronbach’s alfacoëfficiënten berekend per toets. De inhoudelijk domeinen waartoe de items behoren zijn: ‘Data- en informatieverwerking’ (DI), ‘Metend rekenen’ (MR), ‘Getallenleer’ (GL), en ‘Meetkunde’ (MK). De resultaten worden weergegeven in tabel 8.
Tabel 8
Betrouwbaarheid inhoudelijke domeinen wiskundetoetsen einde eerste leerjaar A en einde eerste leerjaar B
Cronbach’s alfacoëfficiënt (N items)
Toetsinhoud DI MR GL MK
Eerste leerjaar A 0,36 (6) 0,64 (10) 0,59 (11) 0,52 (10) Eerste leerjaar B 0,38 (6) 0,54 (10) 0,68 (10) 0,52 (9) Legende: DI=Data- en informatieverwerking; MR=Metend rekenen; GL=Getallenleer; MK=Meetkunde
3.5 Verdelingskenmerken
Tabel 9 bevat verschillende verdelingskenmerken van de wiskundetoetsen: het aantal leerlingen dat de wiskundetoetsen eerste leerjaar A en B op een geldige manier heeft ingevuld (N), de gemiddelde ruwe score11 op 37 items voor het eerste leerjaar A en 35 items voor het eerste leerjaar B, de bijbehorende standaardafwijking (SD), de laagste en de hoogste geregistreerde score (Min en Max) en de scheefheidcoëfficiënt.
Tabel 9
Verdelingskenmerken wiskundetoetsen einde eerste leerjaar A & B
N Ruwe score SD Min Max Scheefheid Wiskunde 1A 4.895 19,85 5,47 2 37 0,08 Wiskunde 1B 675 16,61 5,78 0 33 0,03
De toets wiskunde einde eerste leerjaar A bestond uit 37 items, waardoor de leerlingen maximaal een ruwe score van 37 en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 19,85 ligt niet veel boven het theoretisch gemiddelde12 van 18,50. De spreiding is op basis van de standaarddeviatie van 5,47 niet te hoog. Geen enkele leerling behaalde een nulscore. De maat voor scheefheid wijst op een normale verdeling. Ook de frequentieverdeling (Figuur 5) geeft aan dat de verdeling van de testscores de normale verdeling grotendeels volgt. We merken echter op dat de staarten van de verdeling (waar de hoge en lage scores zich bevinden) een afgeplatte indruk wekken. Dit wijst er op dat iets minder leerlingen een zeer lage of zeer hoge score halen dan verwacht kan worden op basis van de standaardnormale verdeling.
De toets wiskunde einde eerste leerjaar B bestond uit 35 items, waardoor de leerlingen maximaal een ruwe score van 35 en minimaal een ruwe score van 0 konden behalen. De gemiddelde ruwe score van 16,61 ligt niet ver onder het theoretisch gemiddelde van 17,5. De spreiding is op basis van de standaarddeviatie van 5,78 niet te hoog. Opvallend daarbij is dat de maximale ruwe score 33 is, dit is
11 De ruwe score van een leerling is de som van het aantal juiste antwoorden dat een leerling gaf op de items van de toets. Voor een juist antwoord krijgt een leerling één punt, voor een fout antwoord krijgt een leerling nul punten. Er wordt bij de berekening van de ruwe score dus geen rekening gehouden met de moeilijkheid van de items.
twee punten onder het theoretische maximum. De laagste score was 0. De maat voor scheefheid wijst niet op een scheve verdeling. In figuur 6 zien we dat de verdeling van de testscores de standaardnormale verdeling grotendeels volgt met maar enkele uitschieters.
Figuur 5
Frequentieverdeling ruwe scores wiskunde einde eerste leerjaar A
Figuur 6
Frequentieverdeling ruwe scores wiskunde einde eerste leerjaar B
De tabellen 10 en 11 geven de itemkenmerken weer voor de toetsen wiskunde einde eerste leerjaar A en B. Beide tabellen bevatten per item de proportie leerlingen die het juiste antwoord hebben ingevuld (Pjuist) en de proportie leerlingen die een fout antwoord hebben ingevuld (Pfout). Indien een
leerling een item niet of ongeldig heeft ingevuld, wordt dit ook als een fout antwoord beschouwd. Daarnaast wordt ook de proportie blanco antwoorden per item weergegeven (Blanco) alsook de proportie ongeldige antwoorden (Ongeldig). Verder wordt de proportie leerlingen weergegeven die
een fout antwoord hebben ingevuld, zonder de ongeldige en blanco antwoorden mee te tellen (PFout|Aangepast) Tot slot wordt ook per item de itemtotaalcorrelatie gegeven (Rit).
We onderscheiden een gematigde moeilijkheidsgraad (Pjuist-waarde tussen 0,40 en 0,60), een gemakkelijke moeilijkheidsgraad (Pjuist-waarde groter dan 0,60) en een moeilijke moeilijkheidsgraad (Pjuist-waarde kleiner dan 0,40). Ook de zeer moeilijke items (Pjuist-waarde kleiner dan 0,10) als de zeer gemakkelijke items worden benoemd (Pjuist-waarde groter dan 0,90).
Zes items van de wiskundetoets einde eerste leerjaar A hebben een gematigde moeilijkheidsgraad, twaalf items zijn gemakkelijk vijftien items zijn moeilijk. Geen enkel item kan als zeer moeilijk gecategoriseerd worden. Vieritems zijn zeer gemakkelijk.
Elf items van de wiskundetoets einde eerste leerjaar B hebben een gematigde moeilijkheidsgraad, elf items zijn gemakkelijk en elf items zijn moeilijk. Slechts twee items zijn zeer moeilijk. Geen enkel item kan als zeer gemakkelijk gecategoriseerd worden.
De itemtotaalcorrelaties13 voor de toets wiskunde einde eerste leerjaar A situeren zich tussen 0,11 en 0,47. Zeven items hebben een itemtotaalcorrelatie lager dan 0,20. Voor de toets wiskunde einde
eerste leerjaar B situeren de itemtotaalcorrelaties zich tussen 0,13 en 0,53. Vier items hebben een
itemtotaalcorrelatie lager dan 0,20.
Tabel 10
Itemkenmerken Toets Wiskunde einde eerste leerjaar A
Item Inhoud Vraagtype PJuist PFout Blanco Ongeldig PFout|Aangepast Rit
S001 GL Open vraag 0,88 0,12 0,00 0,00 0,12 0,22 S002 GL Open vraag 0,36 0,64 0,00 0,02 0,62 0,36 S003 GL Open vraag 0,62 0,38 0,02 0,05 0,32 0,29 S004 GL Multiple choice 0,46 0,54 0,00 0,00 0,54 0,34 S005 GL Multiple choice 0,96 0,04 0,00 0,00 0,04 0,18 S006 GL Open vraag 0,50 0,50 0,07 0,12 0,32 0,16 S007 GL Multiple choice 0,82 0,18 0,01 0,01 0,17 0,32 S008 GL Multiple choice 0,23 0,77 0,00 0,01 0,76 0,18 S009 GL Open vraag 0,36 0,64 0,01 0,02 0,61 0,43 S010 MK Multiple choice 0,12 0,88 0,00 0,00 0,88 0,27 S011 DA Open vraag 0,57 0,43 0,00 0,03 0,40 0,31 S012 MR Multiple choice 0,97 0,03 0,00 0,01 0,02 0,15 S013 MK Open vraag 0,79 0,21 0,00 0,01 0,21 0,29 S014 DA Multiple choice 0,50 0,50 0,00 0,01 0,49 0,23 S015 MR Open vraag 0,80 0,20 0,00 0,01 0,19 0,25 S016 GL Open vraag 0,25 0,75 0,06 0,12 0,57 0,34 S017 MK Multiple choice 0,80 0,20 0,00 0,00 0,19 0,22
13 Een itemtotaalcorrelatie geeft weer hoe sterk een item samenhangt met de andere items van een test. Er wordt verwacht dat deze itemcorrelatie steeds positief is. Immers meten de verschillende items dezelfde vaardigheid en horen ze samen te hangen.
S018a DA Multiple choice 0,90 0,10 0,00 0,01 0,09 0,11 S018b DA Open vraag 0,77 0,23 0,00 0,02 0,21 0,29 S019 MR Open vraag 0,96 0,04 0,00 0,01 0,03 0,16 S020 MK Multiple choice 0,54 0,46 0,00 0,00 0,45 0,36 S021 MK Multiple choice 0,92 0,08 0,02 0,00 0,06 0,20 S022 DA Multiple choice 0,32 0,68 0,00 0,02 0,66 0,34 S023 MR Open vraag 0,31 0,69 0,00 0,10 0,59 0,47 S024 DA Open vraag 0,71 0,29 0,00 0,01 0,28 0,21 S025 MR Open vraag 0,10 0,90 0,00 0,11 0,79 0,29 S026 MK Multiple choice 0,69 0,31 0,01 0,01 0,29 0,25 S027 MR Open vraag 0,36 0,64 0,01 0,09 0,54 0,41 S028 MK Multiple choice 0,28 0,72 0,16 0,00 0,55 0,26 S029 MR Multiple choice 0,69 0,31 0,00 0,05 0,26 0,36 S030 GL Open vraag 0,30 0,70 0,18 0,08 0,44 0,37 S031 MK Multiple choice 0,73 0,27 0,03 0,02 0,23 0,31 S032 MR Open vraag 0,10 0,90 0,00 0,12 0,78 0,29 S033 MK Open vraag 0,59 0,41 0,00 0,03 0,37 0,36 S034 MR Open vraag 0,16 0,84 0,00 0,11 0,74 0,39 S035 MK Multiple choice 0,23 0,77 0,00 0,02 0,74 0,15 S036 MR Open vraag 0,22 0,78 0,00 0,12 0,66 0,45 Legende: DI=Data- en informatieverwerking; MR=Metend rekenen; GL=Getallenleer; MK=Meetkunde Bron: LiSO-project (Schooljaar 2013-2014)
Tabel 11
Itemkenmerken Toets wiskunde einde eerste leerjaar B
Item Inhoud Vraagtype PJuist PFout Blanco Ongeldig PFout|Aangepast Rit
S001 GL Open vraag 0,51 0,49 0,00 0,08 0,41 0,27 S002 MR Open vraag 0,37 0,63 0,00 0,05 0,58 0,38 S003 DA Open vraag 0,68 0,32 0,00 0,03 0,29 0,22 S004 DA Open vraag 0,14 0,86 0,09 0,06 0,71 0,14 S005 MK Multiple choice 0,66 0,34 0,00 0,02 0,32 0,18 S006 GL Open vraag 0,39 0,61 0,00 0,14 0,47 0,39 S007 MR Open vraag 0,75 0,25 0,01 0,01 0,23 0,36 S008 GL Multiple choice 0,72 0,28 0,00 0,00 0,28 0,30 S009 MR Open vraag 0,72 0,28 0,00 0,01 0,27 0,25 S010 DA Multiple choice 0,45 0,55 0,01 0,01 0,53 0,21 S011 MK Multiple choice 0,38 0,62 0,00 0,03 0,59 0,32 S012 GL Open vraag 0,40 0,60 0,02 0,04 0,54 0,35 S013 DA Multiple choice 0,60 0,40 0,00 0,02 0,38 0,27
S014 MK Open vraag 0,28 0,72 0,00 0,04 0,68 0,23 S015 GL Multiple choice 0,26 0,74 0,01 0,03 0,70 0,31 S016 MK Open vraag 0,59 0,41 0,00 0,01 0,40 0,35 S017 MR Multiple choice 0,56 0,44 0,02 0,01 0,41 0,25 S018 DA Multiple choice 0,70 0,30 0,01 0,01 0,28 0,31 S019 MK Multiple choice 0,65 0,35 0,02 0,03 0,30 0,27 S020 GL Open vraag 0,55 0,45 0,00 0,04 0,41 0,34 S021 MR Open vraag 0,57 0,43 0,01 0,04 0,38 0,32 S022 DA Open vraag 0,58 0,42 0,00 0,02 0,40 0,27 S023 MK Multiple choice 0,57 0,43 0,00 0,03 0,40 0,16 S024 GL Open vraag 0,37 0,63 0,03 0,20 0,40 0,30 S025 MR Open vraag 0,03 0,97 0,00 0,12 0,85 0,20 S026 MK Open vraag 0,72 0,28 0,00 0,03 0,25 0,20 S027 GL Open vraag 0,49 0,51 0,01 0,10 0,40 0,53 S028 MR Open vraag 0,25 0,75 0,01 0,08 0,66 0,32 S029 MK Multiple choice 0,64 0,36 0,01 0,03 0,32 0,35 S030 GL Multiple choice 0,62 0,38 0,00 0,07 0,31 0,34 S031 MR Open vraag 0,12 0,88 0,00 0,15 0,73 0,40 S032 MK Multiple choice 0,26 0,74 0,00 0,07 0,67 0,24 S033 GL Open vraag 0,31 0,69 0,00 0,18 0,51 0,44 S034 MR Open vraag 0,66 0,34 0,01 0,06 0,27 0,13 S035 MK Open vraag 0,09 0,91 0,00 0,08 0,83 0,26 Legende: DI=Data- en informatieverwerking; MR=Metend rekenen; GL=Getallenleer; MK=Meetkunde
3.6 Opmerkingen bij toetsafname
Leerkrachten kregen op het aanwezigheidsblad van de toetsen wiskunde einde eerste leerjaar A en B steeds de mogelijkheid om opmerkingen te schrijven over de testafname. De meeste leerkrachten schreven geen opmerkingen op de aanwezigheidsbladen. De opmerkingen die wel geschreven werden, werden gecategoriseerd volgens inhoud. Hieruit bleek dat er twee categorieën waren waarin meerdere keren een opmerking werd gegeven. Andere categorieën betroffen slechts eenmalige opmerkingen. De twee categorieën met meerdere opmerkingen worden hieronder beschreven.
- Opmerkingen over specifieke leerlingen. Verschillende opmerkingen handelen over
specifieke leerlingen. De meeste van deze opmerkingen hebben betrekking op het gedrag van de leerling tijdens de toetsafname. Andere opmerkingen hebben betrekking op leer/gedragsproblemen van leerlingen die mogelijk een impact hebben op de toetsafname. - Opmerkingen over de moeilijkheidsgraad van de toets wiskunde einde eerste leerjaar B.
Verschillende leerkrachten ervaren de toets wiskunde einde eerste leerjaar B als te moeilijk voor het eerste leerjaar B. Enkele leerkrachten leggen daarbij vooral de nadruk op een te moeilijke vraagstelling. Andere leerkrachten benoemen specifieke vragen die te moeilijk zijn. Er zijn echter geen specifieke vragen die door meerdere leerkrachten als te moeilijk
