Selecteren om te differentiëren
Praktijkonderzoek
Juni 2020
Naam: Maartje Houtzager
Studentnummer: 500789188
Studie: Master Algemene Economie
Opleiding: Hogeschool van Amsterdam
Begeleider: Sanne Beijerman
Samenvatting
De economiedocenten op de school waar het onderzoek plaatsvindt ervaren problemen met het indelen van de leerlingen in drie groepen om te kunnen differentiëren volgens de igdi-methode. Om de docenten te ondersteunen met de selectie van de leerlingen is onderzocht of een toets ontwikkeld kan worden op het gebied van rekenvaardigheden, wiskundige vaardigheden en tempo voor het vak economie zodat de leerlingen aan het begin van 4 havo met behulp van de resultaten van de toets rechtvaardig kunnen worden ingedeeld in drie groepen. Vanuit de literatuur zijn een aantal ontwerpeisen voortgekomen die leiden tot een eerste ontwerp van de selectietoets. Deze selectietoets is inverschillende cycli voorgelegd aan docenten en leerlingen en vervolgens geanalyseerd. De toets bestaat uit vragen die aansluiten op doelen opgesteld uit het eindexamencurriculum van de havo. Na de afname van het eindontwerp blijkt dat de gemiddelde p-waarde 0,68 is, met een aantal uitschieters naar boven (te makkelijk) en naar beneden (te moeilijk). De meeste vragen discrimineren voldoende, maar één vraag correleert negatief. Daarnaast levert de toets een Cronbach’s alfa op van minimaal 0,863. Hieruit kan worden geconcludeerd dat een betrouwbare toets is ontworpen die een rechtvaardige indeling kan faciliteren wat betreft de rekenkundige- en wiskundige vaardigheden en het tempo van de leerlingen. Hierdoor kan na de start van het schooljaar snel een indeling gemaakt worden op basis van deze vaardigheden en tempo in instructieafhankelijke-, instructiegevoelige- en instructieonafhankelijke leerlingen, zodat de economiedocenten meteen kunnen starten met differentiëren. Het blijft echter noodzaak om voor de indeling in tweede instantie ook te kijken naar de persoonskenmerken van deze leerlingen en later in het jaar naar de uitkomsten van de toetsen voor economie omdat ook deze feiten van belang zijn voor de indeling.
Inhoudsopgave
SAMENVATTING ... 2 HOOFDSTUK 1 PROBLEEMSTELLING ... 5 1.1 INLEIDING ... 5 1.2 AANLEIDING ... 5 1.3 PROBLEEMANALYSE ... 6 1.4 PROBLEEMVERKENNING ... 6 1.5 DOELSTELLING ... 71.6 TYPERING VAN HET ONDERZOEK BINNEN DE INTERVENTIECYCLUS ... 7
HOOFDSTUK 2 THEORETISCH KADER ... 9
2.1UITWERKING RELEVANTE THEORIE ... 9
2.2DIFFERENTIËREN ... 9
2.2.1 INTERNE EN EXTERNE DIFFERENTIATIE ... 9
2.2.2 DIVERGENTE- EN CONVERGENTE DIFFERENTIATIE ... 9
2.2.3 DIFFERENTIËREN MET BEHULP VAN IGDI ... 10
2.3SELECTIE VAN LEERLINGEN VOOR BINNENKLASDIFFERENTIATIE ... 11
2.3.1 ONTWERPEN VAN DE SELECTIETOETS ... 11
2.3.2 KEUZE VAN SELECTIECRITERIA BIJ DIFFERENTIËREN ... 13
2.4SAMENVATTING HOOFDLIJNEN THEORIE ... 13
2.5VRAAGSTELLING ... 14
2.6ONDERZOEKSOPZET ... 15
HOOFDSTUK 3 ONTWIKKELFASE VANUIT DE PRAKTIJK ... 17
3.1DEELNEMERS ... 17
3.2 ONDERZOEKSMETHODEN EN INSTRUMENTEN ... 17
3.2.1 OPSTELLEN DOELEN EN CONTEXTEN ... 17
3.2.2 FOCUSGROEP EN INTERVIEW ... 17
3.3DATAVERZAMELING FOCUSGROEP EN INTERVIEW ... 17
3.4DATA-ANALYSE FOCUSGROEP EN INTERVIEW ... 17
3.5RESULTATEN ... 18
3.5.1 CONCLUSIES WAT BETREFT DE INHOUD VAN DE TOETS ... 20
3.5.2 CONCLUSIES WAT BETREFT DE VORM VAN DE TOETS ... 20
3.6AANPASSINGEN ... 21 HOOFDSTUK 4 HERONTWERPFASE ... 22 4.1DEELNEMERS ... 22 4.2ONDERZOEKSMETHODEN EN INSTRUMENTEN ... 22 4.2.1 SCREENING ... 22 4.2.2 WALKTHROUGH ... 22
4.4DATA-ANALYSE ... 23
4.5RESULTATEN ... 23
4.5.1 SCREENING ... 23
4.5.2 WALKTHROUGH ... 25
4.5.3 MICRO EVALUATIE ... 25
4.6AANPASSINGEN IN HET ONTWERP ... 27
HOOFDSTUK 5 UITVOERING ONTWERP EN FORMATIEVE EVALUATIE ... 28
5.1DEELNEMERS ... 28 5.2ONDERZOEKMETHODEN EN INSTRUMENTEN ... 28 5.2.1 TRY-OUT ... 28 5.2.2 EVALUATIE GROEPSINDELING ... 28 5.3DATAVERZAMELING ... 29 5.4DATA-ANALYSE ... 30 5.4.1 TOETSANALYSE ... 30
5.4.2 VERGELIJKING VAN DE INDELINGEN ... 33
5.5RESULTATEN ... 34
HOOFDSTUK 6 CONCLUSIE EN DISCUSSIE ... 35
6.1ANTWOORD OP DE DEELVRAGEN ... 35
6.2ANTWOORD OP DE HOOFDVRAAG ... 37
6.2.1EISEN AAN DE TOETS ... 37
6.2.2DE KWALITEIT VAN DE TOETS ... 38
6.2.3DE INDELING VAN DE LEERLINGEN ... 39
6.3DISCUSSIE ... 40
HOOFDSTUK 7 AANBEVELINGEN ... 41
LITERATUURLIJST ... 42
BIJLAGEN ... 44
BIJLAGE 1VOORONDERZOEK DOCENTENENQUÊTE ... 44
BIJLAGE 2INHOUD SYLLABUS EXAMEN ECONOMIE HAVO ... 47
BIJLAGE 3CONCEPTDOELEN GEKOPPELD AAN CONTEXTEN ... 49
BIJLAGE 4VRAGEN INTERVIEW EN FOCUSGROEP ... 51
BIJLAGE 5UITWERKING ANTWOORDEN VAN DE FOCUSGROEP EN HET INTERVIEW ... 52
BIJLAGE 6DEFINITIEVE DOELEN SELECTIETOETS ... 57
BIJLAGE 7CONCEPTTOETS 1 ... 59
BIJLAGE 8FORMULIER SCREENING DOCENTEN ... 63
BIJLAGE 9VERZAMELBLAD GEGEVENS SCREENING ... 82
BIJLAGE 10CONCEPT TOETS 2 ... 90
BIJLAGE 11VRAGEN EN ANTWOORDEN TRY OUT LEERLINGEN ONLINE VIA GOOGLE FORMS ... 94
BIJLAGE 12TOETSMATRIJS CONCEPTTOETS 3 ... 101
Hoofdstuk 1 Probleemstelling
1.1 Inleiding
Dit praktijkonderzoek betreft de verslaglegging van een ontwerpgericht onderzoek met als doel het ontwerpen van een selectietoets voor het indelen van de leerlingen van 4 havo bij de economielessen op een VSO- school in Haarlem. In dit rapport wordt ingegaan op de
verschillende manieren van differentiëren en de mogelijke manieren van selecteren voor differentiatie. De ontwerpeisen voor de toets worden vastgesteld naar aanleiding van de literatuur en zullen indien nodig worden aangepast aan de wensen en eisen van de docenten. De toets zal vervolgens worden getest, geëvalueerd en verbeterd, tot een toets is ontwikkeld die zinvol, bruikbaar en rechtvaardig is voor het indelen van de leerlingen van 4 havo bij het vak economie.
1.2 Aanleiding
De school waar het onderzoek plaatsvindt is een school voor speciaal voortgezet onderwijs. Dit is een school voor met name leerlingen met een stoornis in het autistisch spectrum. Door te werken met kleine klassen en een zeer gestructureerde leeromgeving wordt getracht de leerlingen optimaal te ondersteunen opdat ze hun vmbo-k, vmbo-t of havodiploma kunnen halen. De school heeft op dit moment ongeveer 350 leerlingen en rond de 100 medewerkers en is onderdeel van Dunamare onderwijsgroep.
Om het pedagogisch- en didactisch klimaat op school te verbeteren is gekozen voor de invoering van onder andere differentiëren volgens het igdi-model (Houtveen, Koeckebakker, Mijs, & Vernooij, 2005). Bij deze vorm van differentiëren worden de leerlingen door de docent opgedeeld in drie groepen zodat zij beter kunnen inspelen op de behoeften en het niveau van de leerlingen. De groepen zijn ingedeeld in de instructieafhankelijke leerlingen, zij volgen de instructie en worden daarna door de docent aan de hand genomen tijdens de verlengde instructie om zich de lesstof eigen te maken, zij hebben veel aandacht van de docent nodig. De instructiegevoelige leerlingen, zij volgen de instructie en gaan daarna zelfstandig aan het werk. En als laatste de instructieonafhankelijke leerlingen, zij hebben weinig extra aandacht nodig en kunnen na een korte inleiding zelfstandig, zonder instructie, aan het werk met de lesstof.
In vergaderingen binnen de vakgroep economie en na gesprekken met andere
economiedocenten valt op dat het per docent verschilt hoe de leerlingen geselecteerd worden om in groepen om te kunnen differentiëren. Het wordt ook door de docenten als lastig ervaren om de leerlingen snel en adequaat in te delen, want het kost tijd om een goed beeld te krijgen van de leerlingen. De economiedocenten worstelen ook met de vraag welke criteria hierbij van belang zijn en hoe dit kan worden gemeten aan het begin van het
schooljaar. Hierdoor kunnen de docenten aan het begin van het schooljaar moeilijk starten met differentiëren omdat ze de leerlingen nog niet kunnen indelen. Hiervoor ontbreekt tot op heden een adequaat middel dat snel en betrouwbaar uitsluitsel geeft.
1.3 Probleemanalyse
Voor de economiedocenten is het lastig om de leerlingen te selecteren voor de differentiatie met de igdi-methode. Waar moet men naar kijken? De proefwerkcijfers, de rapportcijfers van vorig jaar, de houding in de klas, het gemaakte werk? Welke criteria gebruikt men vervolgens om leerlingen in te delen? Dit kan bijvoorbeeld zijn: de rekenvaardigheden, de algemene economische vaardigheden, grafieken aflezen, bronnen interpreteren of de
leesvaardigheden. Omdat een selectie-instrument nog niet aanwezig is zal in dit onderzoek een toets worden ontwikkeld die de docenten in het begin van het schooljaar helpt een snelle, betrouwbare selectie te maken om de leerlingen in te kunnen delen in een
instructieafhankelijke- een instructiegevoelige en een instructie-onafhankelijke groep. Als de indeling is gemaakt kan worden gedifferentieerd met de igdi-methode.
1.4 Probleemverkenning
Om te achterhalen of de economiedocenten van deze school de manier van selecteren en de tijd die het kost als probleem ervaren en of ze behoefte hebben aan een selectietoets voor differentiatie is onder zes economiedocenten een enquête met Google Forms afgenomen in week 41 van 2018. Hieronder volgt een tabel met de vragen en uitkomsten van deze enquête en vervolgens een aantal conclusies. De enquête is bijgevoegd als bijlage.
Enquête docenten:
• De docenten geven les op verschillende niveaus, ze differentiëren allemaal. De meeste docenten differentiëren tussen de 20 en 40 % van hun lessen. Ze
differentiëren met name op niveau en leerstijl en vooral met de igdi-methode (83,3 %).
• Docenten differentiëren om de leerlingen goed te kunnen onderwijzen en ervoor te zorgen dat alle leerlingen aan bod komen.
• De leerlingen worden vooral ingedeeld op basis van rapportcijfers en toetscijfers en de meeste docenten vertrouwen op hun eigen inzicht bij het indelen.
• De docenten zijn relatief lang bezig met het indelen van de leerlingen, het merendeel doet dit binnen 3 maanden. Toen hierover werd nagepraat in de vakgroep kwam naar voren dat ze tijd nodig hebben om zich een beeld te vormen van de leerlingen en wat ze kunnen. De helft van de docenten past daarna soms nog aan, het kost ze niet zoveel tijd.
• Het grootste deel van de docenten (83,3 %) wil in de toekomst gebruik maken van een selectietoets wanneer deze bestaat.
1.5 Doelstelling
Het doel van dit onderzoek is het ontwikkelen van een toets of tool om de leerlingen van 4 havo op school bij het vak economie goed te kunnen selecteren om ze in drie groepen in te delen voor het differentiëren met de igdi-methode.
1.6 Typering van het onderzoek binnen de interventiecyclus
Dit onderzoek kan worden getypeerd als een ontwerponderzoek. Het onderzoek zal bestaan uit twee fasen. De eerste fase zal bestaan uit een beschrijvend onderzoek met behulp van een documentonderzoek naar verschillende toetsen en een interview met een aantal docenten. Hieruit zullen de ontwerpeisen voortvloeien waaraan het ontwerp moet voldoen.
Figuur 1: Kernactiviteiten voor praktijkonderzoek overgenomen uit Praktijkonderzoek in de school (blz 18) door C. Van der Donk & B. Van Lanen, 2013, Bussum: Coutinho.
worden geëvalueerd en getest en vervolgens aangepast. Hiervoor zullen een aantal evaluatiemethoden worden gebruikt.
Hoofdstuk 2 Theoretisch kader
2.1 Uitwerking relevante theorie
In dit hoofdstuk wordt aan de hand van literatuur verkend wat differentiëren is en welke soorten differentiatie worden gebruikt. Daarnaast is onderzocht hoe de leerlingen kunnen worden geclusterd bij binnenklasdifferentiatie en aan welke criteria een selectietoets moet voldoen.
2.2 Differentiëren
Om te kunnen onderzoeken op welke wijze een selectietoets voor het vak economie eruit moet zien zal eerst moeten worden vastgesteld wat differentiëren is, welke vormen van differentiëren er bestaan en hoe dit toegepast kan worden in een concrete lessituatie. Volgens Vanderhoeven (2008) is differentiëren: “Het positief en planmatig omgaan met verschillen tussen leerlingen met het oog op het grootst mogelijke leerrendement voor elke leerling”. Wanneer we differentiëren op verschillen tussen leerlingen kunnen we onder andere differentiëren op geslacht, leeftijd, interesse, motivatie, leerstijl, werktempo of intellectuele begaafdheid (Coubergs, Struyven, Engels, Cools, & De Martelaer, 2013). Daarnaast behoeven de leerlingen van het voortgezet speciaal onderwijs ook een bepaalde mate van differentiëren op basis van onderwijsbehoeften (Van Lieshout, 2002).
2.2.1 Interne en externe differentiatie
Bij differentiëren wordt onderscheid gemaakt tussen onder andere externe en interne differentiatie. Externe differentiatie wordt toegepast om onderscheid te maken tussen
bijvoorbeeld niveaus, jaarklassen, onderwijsvormen en studierichtingen. Interne differentiatie komt voor in een klassensituatie waarbij een heterogene groep in een klas wordt opgedeeld. Dit wordt ook wel binneklasdifferentiatie of setting genoemd. (Coubergs et al., 2013).
Figuur 3: Schematische weergave van de “Differentiated classroom” (Tomlinson, 1999)
2.2.2 Divergente- en convergente differentiatie
Daarnaast kan onderscheid worden gemaakt tussen divergente- en convergente
differentiatie. Met divergente differentiatie wordt het opdelen van leerlingen in homogene groepen op basis van bijvoorbeeld niveau, interesse of tempo bedoeld. Hierbij wordt dus zoveel mogelijk aangesloten op “de individuele leernoden van de leerling” (Coubergs et al.,
eindresultaat kunnen bereiken (Coubergs et al, 2013). Aan beide vormen van differentiëren kleven voor- en nadelen en beide vormen van differentiatie zijn ook niet altijd helemaal te scheiden.
2.2.3 Differentiëren met behulp van IGDI
Uitgangspunt voor dit onderzoek is dat in de les divergent wordt gedifferentieerd met behulp van het IGDI-model (Houtveen et al., 2005) omdat op deze school deze manier van
differentiëren is geïntegreerd in het lesprogramma. De basis voor het IGDI-model wordt gevormd door het ADI-model, het activerende directe instructiemodel (Leenders, Naafs, & Van den Oord, 2002). De letters IGDI staan voor interactief, gedifferentieerd, directe instructie. Met interactief wordt bedoeld gebruik maken van coöperatieve werkvormen, gevarieerde opdrachten en goede vragen. Gedifferentieerd betekent uiteraard het rekening houden met verschillen tussen leerlingen. Onder direct verstaat men dat structuur wordt aangebracht in zaken als tijd, werkvormen en instructie en als laatste wordt met instructie in dit verband bedoeld dat leerlingen leren wat ze nog niet weten en begrijpen (Houtveen et al., 2005).
Bij deze vorm van differentiëren probeert men te bereiken dat de leerlingen allen een basisniveau kunnen behalen en er ruimte is voor differentiëren. In het schema hieronder worden de verschillende fases van een les waarbij wordt gedifferentieerd volgens het IGDI- model schematisch weergegeven. De instructieonafhankelijke leerlingen kunnen na de
lesopening en uitleg zelfstandig aan het werk met de lesstof. De instructiegevoelige leerlingen volgen de gezamenlijke instructie en het inoefenen en gaan vervolgens zelfstandig de lesstof verwerken en de instructieafhankelijke leerlingen nemen deel aan de gezamenlijke instructie, volgen daarna de verlengde instructie en gaan daarna zelfstandig aan het werk. De les eindigt met een klassikale evaluatie, terug- en vooruitblik (Berben & Van Teeseling, 2014).
Tabel 2: Lesopbouw volgens IGDI
Zoals hierboven wordt beschreven kan worden geconcludeerd dat voor een selectietoets moet worden gekeken naar de aspecten waarop moet worden aangesloten door de docent.
2.3 Selectie van leerlingen voor binnenklasdifferentiatie
Wanneer een selectietoets wordt ontwikkeld moet worden voldaan aan een aantal eisen en voorwaarden. In algemene zin kan een selectietoets als volgt worden omschreven:
Pre-assessment is a test administered before instruction is given within a unit to ascertain what prior knowledge students may have related to the content of the unit. The purpose of pre-assessment is to use the results to modify the instruction within the unit based on the varying learning needs of students. (Lazarowitz & Lieb, 2006, p. 741) Hieronder wordt uiteengezet welke aspecten van belang zijn voor de selectietoets en aan welke eisen deze moet voldoen.
2.3.1 Ontwerpen van de selectietoets
Wanneer men leerlingen wil selecteren door middel van een toets of een andere selectiemethode zal men de juiste combinatie moeten vinden tussen het vergaren van
informatie en vervolgens het nemen van beslissingen, want verschillende soorten beslissingen vragen om verschillende vormen van informatie (Moon, 2005). Hoe leraren informatie
verkrijgen en hoe deze informatie helpt bij het nemen van beslissingen wat betreft gedifferentieerde instructie is van groot belang. Hiervoor zijn hoogwaardige data nodig. Hierbij gaan betrouwbaarheid en validiteit hand in hand. De validiteit is afhankelijk van de nauwkeurigheid en objectiviteit van de beslissingen van de docent naar aanleiding van deze data. Dus niet op basis van subjectieve observaties en intuïtie van de docent. Denessen (2017) stelt dat veel leraren onbewust beïnvloed worden door vooroordelen op het gebied van bijvoorbeeld sociaal-culturele achtergrond, dyslexie en gender van de leerlingen.
Het gaat derhalve om het nemen van objectieve pedagogische en verdedigbare beslissingen over het leren van de leerlingen. Zorgvuldigheid is van groot belang omdat verkeerde
beslissingen leiden tot negatieve consequenties voor de leerlingen. Zij kunnen bijvoorbeeld in de verkeerde instructiegroep worden ingedeeld waardoor ze niet op het juiste niveau worden aangesproken. Daarnaast is het van belang ook tussentijds en naderhand te evalueren of de informatie over de leerling correct is of moet worden aangepast.
De toets die wordt ontworpen zal selectief van aard zijn, zo kan worden beoordeeld welke onderdelen de leerlingen wel en niet beheersen (Van Berkel, Bax, & Joosten, 2014). De kwaliteit van de toets is van groot belang. Bij het construeren van de toets moeten de vragen voldoen aan inhoudelijke en vormtechnische eisen, men kijkt dan naar relevantie,
zorgvuldigheid en of een vraag betrekking heeft op de doelen die zijn vastgesteld. Wanneer de toets wordt samengesteld moet worden gekeken naar de juiste vraagverdeling en of deze aansluit op het cognitieve niveau van het vak en de leerlingen, oftewel is de toets
representatief en valide. Naderhand dient de toets met behulp van de resultaten
psychometrisch en inhoudelijk geanalyseerd te worden om te achterhalen of deze kwalitatief voldoende is, oftewel of de toets rechtvaardig is (Van Berkel et al., 2014).
Dit kan worden bewerkstelligd door te kijken naar de validiteit, de betrouwbaarheid, de objectiviteit, de transparantie en de normering.
• Zal de toets de leerlingen in staat stellen om aan te tonen dat ze de kennis of vaardigheid beheersen?
• Bevat de toets de belangrijkste begrippen, vaardigheden en processen van de leerstof?
• Stemt de inhoud van de toets overeen met de manier van lesgeven op deze school? • Toetsen de vragen de kennis en vaardigheden van alle leerlingen op een adequate
wijze?
Volgens MacDonald (2017) moet het ontwerpen van een selectietoets op de volgende wijze gebeuren: Allereerst moeten de leerdoelen worden geconstrueerd. Vervolgens moeten de leerdoelen worden vertaald naar kennis en vaardigheidsniveaus. Daarna moeten hieruit vragen worden ontworpen voor de toets. Docenten moeten dus hun beslissingen om te differentiëren in instructie baseren op van tevoren vastgestelde leerdoelen en daaraan gekoppelde, betrouwbare vragen in de toets die valide toetsdata opleveren die de leraar voorzien van informatie over wat de docent gaat onderwijzen, hoe dit gebeurt en op welke manier de docent de verschillende leerlingen kan aanspreken op zijn niveau, interesse en leerprofielen.
De beslissingen vinden plaats in een van de drie volgende fases waarbij getoetst of geëvalueerd wordt:
1. Bij het plannen van de Instructie (de toets en selectiefase) 2. Tijdens de instructie (tussentijdse evaluatie)
3. De eindevaluatie (summatief toetsen)
In de eerste fase wordt onderzocht wat de leerlingen moeten leren. De docent moet
vaststellen wat de leerdoelen zijn die ontleend worden uit het curriculum, de toetsresultaten en het kennisniveau van de leerlingen. De toetsdata bewerkstelligen dat de docent weet wat het startpunt is, wat de leerlingen al weten. Dit voorkomt dat een docent zaken herhaalt die een leerling al weet en zaken overslaat die een leerling nog niet weet. Volgens Moon (2005) moet een toets in elk geval voldoen aan onderstaande criteria:
• De toets moet plaatsvinden voor de instructie, zodat de docent genoeg tijd heeft om de resultaten te analyseren en aanpassingen te doen in de instructie.
• De toets moet niet te tijdrovend zijn voor zowel leerlingen als docenten.
• De toets moet de juiste informatie verschaffen over de ondersteuningsbehoeften van de leerlingen.
Op deze wijze kan de docent bepalen welke onderwerpen, wat kennis en vaardigheden betreft, gedifferentieerd moeten worden aangeboden en dus welke leerlingen instructie-onafhankelijk, instructiegevoelig en instuctieafhankelijk zijn. De volgende twee fases van het nemen van beslissingen wat betreft differentiatie zijn voor dit onderzoek niet relevant en zullen derhalve niet verder worden toegelicht.
2.3.2 Keuze van selectiecriteria bij differentiëren
Van belang is te bepalen welke selectiecriteria moeten worden vastgesteld. Dit onderzoek zal zich toespitsten op drie criteria, te weten: Rekenvaardigheden en wiskundige vaardigheden, deze zijn van belang voor het differentiëren naar niveau en tempo is uiteraard van belang voor het differentiëren naar het tempo van de leerlingen, waarbij kan worden opgemerkt dat het tempo van een leerling op een toets kan verschillen van het tempo tijdens een les. Voor de economiedocent is het van belang om aan te sluiten bij de vaardigheden uit het curriculum van het eindexamenprogramma voor de havo. De vaardigheden worden beschreven in Domein A (bijlage 2). In dit onderzoek wordt gefocust op rekenkundige en grafische vaardigheden, hieronder vallen onder andere: rekenen met procenten,
basisrekenvaardigheden, verhoudingsgetallen, grafieken tekenen en analyseren, eerste- en tweedegraads vergelijkingen, diagrammen en tabellen lezen, indexcijfers en gemiddelden, in bijlage 2 staat een volledig overzicht (CvtE, 2018). Voor de docent die wil differentiëren is derhalve van belang te weten in hoeverre de leerling deze vaardigheden reeds beheerst. Omdat met name rekenvaardigheden vaak problemen opleveren tijdens de economielessen (Kneppers, 2010) zal onder andere hierop de nadruk liggen bij de selectietoets. Kneppers
(2010) noemt de volgende rekenvaardigheden:het berekenen van percentages, procenten
die een relatieve verandering laten zien, procenten als verhoudingsgetallen, percentages boven de 100%, procenten en indexcijfers, het berekenen van lineaire functies, het oplossen van vraagstukken met één onbekende, het berekenen van een snijpunt. Bovenstaande vaardigheden worden allen ook behandeld bij de wiskundelessen. Volgens Kneppers (2010) is het dan ook van belang dat de docenten op de hoogte zijn van de manieren waarop de leerlingen rekenen bij wiskunde en dat deze manier van rekenen dan ook wordt gebruikt bij economie en derhalve ook op deze wijze wordt getoetst. Daarom moet ook naar de
wiskundige vaardigheden van de leerlingen worden gekeken (Ballard & Johnson, 2004). Uit het onderzoek dat Ballard en Johnson (2004) uitvoerden bleek dat met name de goede beheersing van basisvaardigheden voor wiskunde en het volgen van het vak wiskunde B significant van positieve invloed zijn op de prestaties bij het vak economie.
Derhalve is het van belang deze vaardigheden te toetsen in de selectietoets opdat de docent de leerlingen op basis hiervan kan indelen.
2.4 Samenvatting hoofdlijnen theorie
Wanneer wordt gekeken naar differentiëren in het onderwijs, kan worden geconcludeerd dat op enorm veel verschillende manieren kan worden gedifferentieerd. In dit onderzoek wordt uitgegaan van divergente differentiatie volgens de igdi-methode omdat op deze wijze wordt gedifferentieerd op deze school (Berben & Van Teeseling, 2014). Ongeacht het feit dat uit de literatuur blijkt dat er ook een flink aantal nadelen kleven aan deze manier van differentiëren. Bij de igdi-methode wordt onderscheid gemaakt tussen de instructie-afhankelijke leerlingen, de instructiegevoelige leerlingen en de instructie onafhankelijke leerlingen. Om de leerlingen op de juiste wijze te kunnen indelen en aanspreken wordt in dit onderzoek gekeken naar drie selectiecriteria die specifiek voor de economielessen van groot belang zijn, namelijk
rekenvaardigheden, wiskundige vaardigheden en tempo. Deze algemenecriteria zijn bepalend voor de inhoud van de toets en zullen invulling krijgen in het vervolg van het
worden gesteld of de toets is gebaseerd op vooraf gestelde leerdoelen en daaraan
gekoppelde, betrouwbare vragen (MacDonald, 2017) en moet worden gewaarborgd dat de leerlingen kunnen aantonen dat ze de vaardigheden beheersen en dat de toets de
vaardigheden op betrouwbare wijze toetst (Moon, 2005). Op basis van bovenstaande literatuur zijn de onderstaande ontwerpeisen vastgesteld:
1. De toets is rechtvaardig (valide, betrouwbaar, objectief en transparant met de juiste normering)
2. De vragen zijn gemaakt op basis van vooraf vastgestelde doelen 3. De beheersingsniveaus zijn van tevoren vastgesteld
4. De vragen gaan over de deelgebieden rekenen en wiskunde
5. De belangrijkste vaardigheden op het gebied van rekenen en wiskunde worden getoetst
6. De toets vindt plaats voor de instructie plaatsvindt
7. Het tempo van de leerling wordt vastgesteld door middel van de toets
8. De toetsresultaten geven de juiste informatie over de ondersteuningsbehoeften van de leerlingen bij de economielessen
9. De toetsresultaten van de leerlingen van dit schooljaar worden gebruikt ter vergelijking en aanvulling op de toetsdata.
10. De conclusies van de docent voor de selectie naar aanleiding van de toets zijn objectief
2.5 Vraagstelling
Naar aanleiding van bovenstaande literatuur zal dit ontwerponderzoek antwoord geven op onderstaande vragen:
Hoofdvraag
o Aan welke voorwaarden moet een selectietoets voldoen zodat de economiedocenten de leerlingen van 4 havo rechtvaardig kunnen indelen in instructieafhankelijke
leerlingen, instructiegevoelige leerlingen en instructieonafhankelijke leerlingen voor differentiatie met de igdi-methode tijdens de economielessen op deze school? Deelvragen:
1. Aan welke eisen wat betreft reken- en wiskundige vaardigheden moet de selectietoets voldoen om de leerlingen te kunnen opdelen in groepen met instructieafhankelijke, instructiegevoelige en instructieonafhankelijke leerlingen bij de economielessen? 2. Uit welke vragen en opgaven moet de toets bestaan om te kunnen selecteren op het
gebied van rekenvaardigheden, wiskundige basisvaardigheden en tempo?
3. Op welke wijze kunnen de resultaten van de toets worden geanalyseerd opdat een rechtvaardig beeld van de leerlingen bij het vak economie ontstaat?
2.6 Onderzoeksopzet
Om de hoofdvraag te kunnen beantwoorden zal in eerste instantie antwoord gevonden moeten worden op onderstaande deelvragen. Hieronder zal worden verklaard en verantwoord op welke wijze en met welke instrumenten dit onderzoek zal worden uitgevoerd.
Deelvraag 1
Aan welke eisen wat betreft reken- en wiskundige vaardigheden moet de selectietoets voldoen om de leerlingen te kunnen opdelen in groepen met instructieafhankelijke, instructiegevoelige en instructieonafhankelijke leerlingen bij de economielessen?
In de ontwikkelfase worden met behulp van de vaardigheidsdoelen uit het havo-eindexamencurriculum, deel A2 voor het vak economie voor havo (CvtE, 2018) en de vaardigheden die Kneppers (2010) noemt in haar stuk over rekenen bij economie
vaardigheidsdoelen voor rekenen en wiskunde opgesteld. Deze doelen zijn gekoppeld aan economische contexten om te verantwoorden op welke momenten deze vaardigheden worden verwacht. In een focusgroepdiscussie kunnen de docenten aangeven of deze vaardigheden terugkomen in de vaardigheidsdoelen en of nog vaardigheden ontbreken of anders geformuleerd moeten worden, zodat de definitieve eisen en ontwerpcriteria wat betreft vorm en inhoud van de selectietoets kunnen worden vastgesteld. In de focusgroep worden ook de beheersingsniveaus vastgesteld per groep leerlingen.
In de ontwerpfase wordt de toets als try-out voorgelegd aan de leerlingen van 3 havo. Hierna worden de resultaten geanalyseerd en naast de eindcijfers van de leerlingen gelegd. De resultaten van deze analyse worden gedeeld en besproken met de economiedocent om te bepalen of deze selectietoets een adequaat beeld geeft van de vaardigheden van de leerlingen, zodat docenten deze toets kunnen gebruiken om de leerlingen te clusteren wanneer ze gaan differentiëren in de economielessen.
Deelvraag 2
Uit welke vragen en opgaven moet de toets bestaan om te kunnen selecteren op het gebied van rekenvaardigheden, wiskundige basisvaardigheden en tempo?
In de ontwikkelfase worden in de focusgroep de leerdoelen en beheersingsniveaus van de toets vastgesteld. Met behulp van de leerdoelen worden de opgaven opgesteld. De opgaven worden in de herontwerpfase voorgelegd aan een aantal docenten in de vorm van een
screening waarin wordt beoordeeld of de opgaven voldoen aan de gestelde doelen en of deze geschikt zijn voor de leerlingen van 4 havo. De concepttoets wordt daarnaast als
micro-evaluatie voorgelegd aan 4 leerlingen en tenslotte wordt de toets aangepast tot een definitief ontwerp. Dez toets wordt in de laatste fase afgenomen aan de leerlingen van 3 havo.
Deelvraag 3
Op welke wijze kunnen de resultaten van de toets worden geanalyseerd opdat een rechtvaardig beeld van de leerlingen bij het vak economie ontstaat?
geeft, oftewel de toets moet valide, betrouwbaar, objectief en transparant zijn en met de juiste normering zijn. Op de toets wordt een psychometrische analyse toegepast (Van Berkel et al., 2014). Ook wordt deze toets vergeleken met de bestaande data van de leerlingen van de vakken economie, rekenen en wiskunde om te bepalen of de toets een rechtvaardig beeld geeft van de vaardigheden van de leerlingen. Ten slotte worden de resultaten van de toets en de indeling van de leerlingen die hieruit voort is gekomen voorgelegd en vergeleken met de indeling van de economiedocent die de 3-havoleerlingen lesgeeft.
Hoofdstuk 3 Ontwikkelfase vanuit de praktijk
3.1 Deelnemers
Een ontwerponderzoek op een school kan niet plaatsvinden zonder de raadpleging van de belangrijkste actoren op een school, namelijk de leerlingen en de docenten. De deelnemers in deze fase zijn drie economiedocenten op andere scholen en een economiedocent van 4 en 5 havo op deze school.
3.2 Onderzoeksmethoden en instrumenten 3.2.1 Opstellen doelen en contexten
Vanuit van de eindtermen in het eindexamencurriculum voor economie op de havo en de vaardigheden in het stuk van Kneppers (2010) dat handelt over de rekenvaardigheden die leerlingen nodig hebben bij de economielessen zijn vijftien conceptdoelen met reken- en wiskundige vaardigheden opgesteld, zie bijlage 3. Deze doelen zijn gekoppeld aan de economische contexten die worden genoemd in het eindexamencurriculum havo van economie (CvtE, 2018).
3.2.2 Focusgroep en interview
Na het opstellen van de doelen combinatie met de contexten is een interview afgenomen met de enige andere economiedocent die lesgeeft in de bovenbouw van de school. Om de uitkomsten te verifiëren, in een breder perspectief te plaatsen en de betrouwbaarheid te vergroten is tevens een focusgroepdiscussie gevoerd met drie economiedocenten die lesgeven in de bovenbouw havo en vwo op drie andere scholen.
3.3 Dataverzameling focusgroep en interview
Om te kunnen vaststellen wat de inhoud van de toets moet zijn en welke eisen de docenten stellen aan de vorm van de toets is een vragenlijst opgesteld. Deze was voor de
economiedocent op de eigen school werkt de focusgroep hetzelfde. De vragenlijst is terug te vinden in bijlage 4. De twee gesprekken zijn opgenomen op de IPhone en uitgewerkt tot een transcriptie van beide gesprekken. De vragen spitsen zich toe op welke vaardigheden de docenten verwachten van de leerlingen, hoe deze het beste kunnen worden getoetst en welke resultaten leiden tot het indelen in de verschillende groepen leerlingen. Met andere woorden, de beheersingsniveaus zijn vastgesteld. De transcripties van de focusgroep en het interview zijn digitaal opgeslagen en opvraagbaar indien nodig of gewenst.
3.4 Data-analyse focusgroep en interview
De interviews zijn opgenomen en uitgewerkt en de transcripties zijn vervolgens met behulp van kleurcodering geanalyseerd op basis van drie kernbegrippen en een aantal deelaspecten, te weten: Inhoud: 1. Toetsinhoud rekenen 2. Toetsinhoud wiskunde Vorm: 3. Vormeisen toets
- Kijken naar berekening of uitkomst of allebei - Digitaal of analoog
- Met of zonder rekenmachine 4. Context van de toets
5. De normering en beheersingsniveaus van de toets per leerlinggroep Tempo:
6. Tempo van de toets
De transcripties zijn digitaal opgeslagen en desgewenst opvraagbaar. De uitwerking van de analyse is terug te vinden in bijlage 5. Hieruit zijn de aanvullende ontwerpeisen van de docenten gekomen. Met behulp van deze aanvullende eisen zal de toets ontworpen worden en aan de docenten worden aangeboden in een screening.
3.5 Resultaten
In deze paragraaf volgen de resultaten van deze fase. Hieronder een overzicht van de relevante uitkomsten van de focusgroep.
3.5.1 Conclusies wat betreft de inhoud van de toets
Wat rekenvaardigheden betreft moet volgens alle geïnterviewde docenten rekenen met procenten als belangrijkste onderdeel worden getoetst, dus rekenen van getallen naar procenten en andersom, procenten boven 100, procentuele verandering en samengestelde rente. Dit is conform de vastgestelde doelen in versie 1, behalve doel P5, rekenen met indexcijfers, dit leren ze later in 4 havo en hoeven ze nog niet te kunnen.
Het toetsen van basisrekenvaardigheden worden onderschreven door de docenten, behalve doel R4 afrondingsregels en doel R5 het rekenen met gewogen en ongewogen gemiddelden. Wanneer werd gesproken over wiskundige vaardigheden kan worden geconcludeerd dat het opstellen van eerstegraads vergelijkingen, het rekenen met eerstegraads vergelijkingen en grafische vaardigheden zoals het tekenen en lezen van een grafiek van een eerstegraads vergelijking belangrijk wordt geacht door alle docenten. Het berekenen van snijpunten en het arceren van grafieken hoeven de leerlingen nog niet te kunnen, vinden ze unaniem, dit leren ze in de loop van het vierde jaar in 4 havo.
3.5.2 Conclusies wat betreft de vorm van de toets
De docenten vonden allen belangrijk dat er meer dan één opgave per doel wordt getoetst om zo een betrouwbaarder beeld te krijgen van de vaardigheden van de leerlingen. Dit betekent dat de toets gebaseerd moet zijn op minder doelen omdat deze een half uur mag duren volgens de docenten. De toets moet bestaan uit open vragen vinden ze unaniem om toeval uit te sluiten en berekeningen moeten worden beoordeeld en niet persé het antwoord. Ook moeten het simpele, korte opdrachten zijn hen allen en er moet volgens twee docenten een opbouw zitten in de moeilijkheidsgraad om te voorkomen dat leerlingen voortijdig afhaken door een te hoge moeilijkheidsgraad. Drie van de vier docenten vinden dat de toets analoog worden afgenomen, omdat digitaal berekeningen opschrijven onhandig is voor de leerlingen.
de laptop toetsen maken om uiteenlopende redenen. Zij hebben de mogelijkheid de toets digitaal te maken. De docenten zijn het niet eens over of wel of geen rekenmachine gebruikt mag worden. Eén docent zegt zonder, een zegt met en twee zeggen een deel zonder en een deel met rekenmachine. Het vraagstuk of de vragen met of zonder context opgesteld moeten worden blijft een lastig dilemma, de docenten zijn het hier niet over eens. Eén van hen weet het niet, twee zeggen gemengde opgaven en één zegt zonder context. Om te waarborgen dat slechts de vaardigheden worden gemeten is gekozen voor opdrachten zonder context. Wat de beheersingsniveaus betreft waren de docenten het eens, indeling in de volgende groepen bij:
• Instructieafhankelijke leerlingen minder dan 55% goed • Instructiegevoelige leerlingen tussen 55% en 75% goed • Instructieongevoelige leerlingen meer dan 75% goed
Kanttekening hierbij was wel dat één docent vond dat dit dan alleen geldt voor onderdelen van de lesstof waarbij berekeningen en wiskunde een hoofdrol spelen en dat voor de indeling dus ook gekeken moet worden naar de cijfers voor wiskunde, rekenen en economie.
De tips van de docenten waren:
Ø Vraag henzelf of ze kunnen rekenen
Ø Vraag de wiskunde docenten welke vaardigheden ze zouden moeten beheersen om
naar 4 havo te gaan.
Naar aanleiding van de tip om de wiskundedocenten te vragen welke vaardigheden de leerlingen moeten beheersen om naar 4 havo te gaan, werd een document verkregen van een van de wiskundedocenten (Hartman, 2016) waarin de vaardigheden staan die de leerlingen moeten hebben voor 4 havo. Hieruit blijkt dat alle vaardigheden genoemd in de definitieve lijst met doelen wat betreft wiskunde en rekenen beheerst zouden moeten worden door de leerlingen.
3.6 Aanpassingen
De aanvullende ontwerpeisen zijn nu vastgesteld. Met behulp van de aanvullende eisen zijn de doelen aangepast. De aangepaste doelen zijn te vinden in bijlage 6. Naar aanleiding van de aangepaste doelen en aanvullende ontwerpeisen is het eerste ontwerp van de toets
geconstrueerd. De toets bestaat uit 2 opgaven per doel zonder context omdat in dit onderzoek zuiver de reken- en wiskundige vaardigheden worden getoetst. De transfer zal moeten blijken uit de resultaten van de reguliere toetsen van economie. Daarnaast is gekozen om de eerste twee opgaven zonder rekenmachine te laten maken en de rest met. De toets moet een half uur duren. Met deze ontwerpeisen zijn opgaven gemaakt uit bestaande methodes van de school en toetsen uit eerdere onderzoeken die geschikt zijn voor de selectietoets. De concepttoets 1 staat in bijlage 7.
Hoofdstuk 4 Herontwerpfase
4.1 Deelnemers
In deze fase is de toets voorgelegd aan vier economiedocenten, twee wiskundedocenten en een rekendocent. Vervolgens is de toets met één leerling doorgenomen in een walkthrough en daarna afgenomen als micro evaluatie bij twee leerlingen die goed presteren en twee leerlingen die matig presteren bij economie in 4 havo.
4.2 Onderzoeksmethoden en instrumenten 4.2.1 Screening
Concepttoets 1 is voorgelegd aan de economiedocenten die ook betrokken waren bij de focusgroep, aan twee wiskundedocenten en een rekendocent om te bepalen of het niveau en de vraagstelling van de toets aan het niveau van begin 4e klas havo voldoet. De docenten kregen een hand out van de toets en beoordeelden de opgaven. Zij konden hun aanwijzingen en feedback aan de toets toevoegen en een checklist invullen. Bij deze screening werd met name onderzocht of de toets consistent en bruikbaar is.
4.2.2 Walkthrough
Om voor de micro-evaluatie de verwachte bruikbaarheid te toetsen is met één leerling een walkthrough gedaan. De leerling heeft de toets gemaakt terwijl de onderzoeker naast haar zat en monitorde. Tijdens het maken van de vragen kon de leerling commentaar geven op de vragen en verduidelijking vragen. Vervolgens is concepttoets 2 opgesteld.
4.2.3 Micro-evaluatie
Na aanpassingen is concepttoets 2 voorgelegd aan twee goed presterende- en twee matig presterende leerlingen. De leerlingen hebben de toets gemaild gekregen en maakten de toets thuis. Het doel van de toets is in de email en op de toets verduidelijkt. Met behulp van Google Forms is onderzocht of de toets consistent en bruikbaar is en of deze volgens de leerlingen aansluit op de reken- en wiskundige vaardigheden die ze nodig hebben bij het vak economie in 4 havo.
4.3 Dataverzameling
Om de betrouwbaarheid van de uitkomsten te vergroten is in deze fase op drie manieren informatie verzameld. Zo is gewaarborgd dat de toets vanuit verschillende perspectieven is bekeken en is triangulatie toegepast. De screening door de docenten heeft plaatsgehad in de week van 4 maart 2020. Alle docenten die gevraagd werden de toets te bekijken hebben het formulier ingevuld. De formulieren is digitaal of analoog ingevuld. Een aantal formulieren is aan dit document toegevoegd in bijlage 8. Overige formulieren worden bewaard en kunnen indien nodig worden opgevraagd. Alle opmerkingen en verbeteringen zijn verzameld en in één formulier (bijlage 9).
Alvorens de toets voor te leggen aan een aantal leerlingen is de toets met behulp van een walkthrough voorgelegd aan één leerling. Deze werd geobserveerd tijdens het maken van de
meegekeken met het maken van de toets door de leerling. Naderhand is de toets met de leerling besproken en nagekeken. De leerling heeft haar commentaar op de toets gegeven. Dit is verwerkt in de concepttoets 2 voordat deze aan de leerlingen is voorgelegd in de micro evaluatie.
Voor de micro evaluatie zijn vier leerlingen uit de huidige 4 havo-klas die economie volgen geselecteerd met behulp van cijfers in Magister. De micro evaluatie vond door de
Coronamaatregelen digitaal plaats. De leerlingen hebben de toets thuis gemaakt en daarna de digitale vragenlijst ingevuld. De leerlingen waren door de huidige, ingewikkelde situatie niet in staat om te toets helemaal te maken en terug te mailen. Belangrijk om te vermelden is dat door een gebrek aan toezicht ook niet kan worden gecontroleerd of de leerlingen bij de eerste 2 opdrachten de rekenmachine niet hebben gebruikt en of de leerlingen de toets hebben gemaakt zonder externe hulp. De gevraagde leerlingen ervaarden stress omdat deze toets nog kwam bovenop al het digitale huiswerk en toetsen, die het huidige thuisonderwijs met zich meebracht. Twee van de vier leerlingen hebben de toets gedeeltelijk gemaakt, ze hebben wel allemaal de digitale vragenlijst in Google Forms ingevuld. De vragen en
antwoorden van de enquête staan in bijlage 11. 4.4 Data-analyse
Het commentaar van de docenten is samengevoegd tot één formulier in bijlage 9. Alle relevante informatie is samen met de opmerkingen die uit de walkthrough kwamen verwerkt in concepttoets 2. Wat betreft de micro-evaluatie was het verzamelen en verwerken van de data een stuk lastiger omdat dit op afstand moest plaatsvinden. De gevraagde leerlingen ervaarden stress omdat deze toets nog kwam bovenop al het digitale huiswerk en toetsen, die het huidige thuisonderwijs met zich meebracht. In elk geval hebben ze de digitale vragenlijst wel ingevuld. De data zijn hierdoor enigszins incompleet, maar op dit moment zullen de bevindingen gebaseerd moeten worden op deze gegevens in combinatie met de screening en de walkthrough. De relevante antwoorden van de leerlingen zijn verwerkt in concepttoets 3.
4.5 Resultaten
Hieronder volgt een samenvatting van de meest in het oog springende uitkomsten van het onderzoek in deze fase.
4.5.1 Screening
De belangrijkste uitkomsten van de screening door de verschillende docenten zijn hieronder verzameld per onderdeel en per opgave.
4.5.2 Walkthrough
Opgave 1
Het keerteken lijkt op een X dit is verwarrend, X vervangen door een punt zoals bij wiskunde is misschien beter.
Opgave 3
Hoeveel decimalen is onduidelijk Overige opgaven geen commentaar 4.5.3 Micro evaluatie
De leerlingen hebben de toetsen geprobeerd te maken, maar door stress over de huidige crisis was dit erg lastig voor ze. Ze hebben de toets niet allemaal helemaal gemaakt, maar wel de online vragen ingevuld.
Tabel 5: Resultaten micro evaluatie met vier leerlingen
Op basis van deze uitkomsten volgen de onderstaande conclusies.
De vormgeving vonden niet alle leerlingen even duidelijk. Uit de antwoorden bleek dat veel verschil bestond in hoe de leerlingen de moeilijkheidsgraad beoordeelden. Dit komt overeen met de niveaus van de leerlingen op het gebied van rekenen, wiskunde en economie. Ook bleek dat de leerlingen de toets waarschijnlijk wel konden maken in tussen de 30 en de 40 minuten.
De leerlingen vonden 3 vragen makkelijk, 2 vragen redelijk makkelijk en één vraag moeilijk. Ook hierin is een evenwichtig beeld te zien, voor zover conclusies kunnen worden getrokken uit deze kleine onderzoekspopulatie. De meeste vragen vonden de leerlingen goed aansluiten op de economische vaardigheden. De enige vraag die hieruit sprong was vraag 2, deze
vonden ze niet allemaal goed aansluiten. Toch is besloten deze opdracht te behouden omdat de docenten dit wel een belangrijke vaardigheid vinden die de leerlingen moeten kunnen.
4.6 Aanpassingen in het ontwerp
Concepttoets 1 is naar aanleiding van de analyse van de resultaten van deze fase op de volgende manier aangepast tot concepttoets 2 en 3 (bijlagen 10 en 13). Allereerst is een toetsmatrijs (bijlage 12) opgesteld en met de toetsmatrijs is nagegaan of de opgaven nog voldoen aan de gestelde doelen. Daarnaast zijn de volgende aanpassingen gedaan: Tabel 6: Aanpassingen concepttoets 2
Hoofdstuk 5 Uitvoering ontwerp en formatieve evaluatie
Uit de herontwerpfase is het eindontwerp voortgekomen. De toets is ontworpen naaraanleiding van commentaar van de docenten en de vier leerlingen uit 4 havo. In deze laatste fase is de toets voorgelegd aan een grotere groep leerlingen van de school.
5.1 Deelnemers
De leerlingen die de definitieve versie van toets hebben gemaakt zijn de leerlingen van 3 havo op de school waar het onderzoek plaatsvindt. Dit zijn alle leerlingen van 3 havo en dus niet specifiek leerlingen die economie kiezen volgend jaar. Voor deze groep is gekozen omdat de vakkenkeuze nog niet is gemaakt en dus niet bepaald kan worden wie economie kiest in de vierde en zo wel voldoende data kan worden verkregen om een enigszins betrouwbaar beeld te krijgen. Ook is deze groep betrouwbaarder als testgroep dan de 4-havoleerlingen omdat zij nog geen vaardigheden hebben aangeleerd om rekenen en wiskunde toe te passen in 4 havo. Nadeel hiervan is dat zij nog niet helemaal klaar zijn met hun onderwijsprogramma van wiskunde en rekenen in 3 havo, terwijl de toets meet hoe zij scoren op deze onderdelen met een volledig afgerond schooljaar 3 havo of 4 vmbo-T. Dit kan een vertekend beeld opleveren, maar de toets later in het schooljaar afnemen was voor de voortgang van het onderzoek niet mogelijk. Daarnaast is de toets voorgelegd aan de docent van deze leerlingen en is de
groepsindeling vergeleken.
5.2 Onderzoekmethoden en instrumenten 5.2.1 Try-out
Als startpunt was een toetsmatrijs gemaakt waarbij de doelen aan de vragen van concepttoets 3 zijn gekoppeld in combinatie met de normering. Dit om nogmaals te
controleren of de opgaven nog voldoen aan de doelen die gesteld waren aan het begin van het onderzoek, de toets is doorgenomen en het nakijkmodel is hierop aangepast. Vervolgens is de toets afgenomen. Door de gevolgen van het Coronavirus is de toets digitaal afgenomen aan de leerlingen een daarna is de toets nagekeken en zijn de data psychometrisch
geanalyseerd.
5.2.2 Evaluatie groepsindeling
In de laatste stap van de evaluatie zijn de resultaten van de analyse en de hieraan gekoppelde groepsindeling vergeleken met de cijfers in Magister en voorgelegd aan de economiedocent die deze leerlingen lesgeeft. Zij was ook betrokken bij de eerste focusgroep en de screening. Er is een voorlopige selectie voor de 3 groepen gemaakt (instructieafhankelijk,
instructiegevoelig en instructieonafhankelijk) op basis van de uitkomsten van de toets in de try-out. Daarna is deze indeling gelegd naast de cijfers voor de vakken economie, rekenen en wiskunde in Magister. Ten slotte is de docent gevraagd om ook een indeling te maken op basis van haar ervaringen met de leerlingen. In een gesprek met de docent is onderzocht of de indeling gemaakt op basis van de selectietoets overeenkomt met de indeling die zij heeft gemaakt en de cijfers van Magister van de leerlingen. De conclusies van de overeenkomsten en verschillen in indeling worden genoemd in paragraaf 5.5.
5.3 Dataverzameling
De toets is digitaal afgenomen via de website Exam.net en in week 17 tijdens de lesuren van de twee 3-havoklassen digitaal afgenomen in de les in Teams. Na een korte uitleg van de onderzoeker met behulp van een PowerPoint hebben de meeste leerlingen de toets gemaakt. Ze konden vragen stellen tijdens de toets via Teams en via de chat van Exam.net. Het was echter voor een aantal leerlingen lastig om hun antwoord op vraag 10 (de grafieken) te uploaden. Hiervoor was een QR-codescanner op de telefoon nodig, dat had niet iedereen. Een aantal leerlingen hebben de grafieken los gefotografeerd en per mail of Teams
ingeleverd, maar niet alle leerlingen hebben vraag 10 gemaakt. Bij de afname van deze toets zijn de filtervragen weggelaten omdat deze pas beantwoord kunnen worden wanneer de leerlingen in 4 havo zitten en ze hun vakkenpakket hebben gekozen. De filtervragen zijn reeds door de docenten in de screening bekeken en beoordeeld. Nadat de toets is gemaakt zijn de uitwerkingen gedownload en nagekeken met het nakijkmodel (bijlage 13). De resultaten zijn ingevoerd in Excel (bijlage 14 en tabel 7). Allereerst is gekeken naar de totaalscore, vervolgens naar de deelscores van de drie deelgebieden basisrekenvaardigheden, rekenen met
procenten en wiskundige vaardigheden en naar hoe lang een leerling deed over de toets. Wat betreft de tijd die de leerlingen over de toets deden, is maximaal 45 minuten vastgesteld als acceptabel. Vervolgens is een indeling gemaakt op basis van de criteria die in de focusgroep waren vastgesteld voor de drie groepen. Namelijk de leerlingen die minder dan 55% scoorden op de toets werden geplaatst in groep één (instructieafhankelijke leerlingen), de leerlingen die tussen de 55% en de 75% scoorden in groep twee (instructiegevoelige leerlingen) en de leerlingen die hoger scoorden dan 75% in groep 3 (instructieonafhankelijke leerlingen). De indeling is vervolgens naast de cijfers in Magister gelegd en is bekeken of het beeld dat uit de toets naar voren kwam overeenkwam of juist verschilde met de cijfers in Magister.
De resultaten van de toets zijn met de economiedocent van deze klas besproken en de groepsindeling die gemaakt op basis van de vastgestelde criteria is vergeleken. Dit is gebeurd op 14 mei via een gesprek in Teams. De docent ontving een bestand in Excel met de
leerlingen die de toets hadden gemaakt (uiteraard zonder toetsresultaten) en de cijfers van de leerlingen in Magister. Op basis hiervan maakte de docent vooraf haar eigen indeling in de drie groepen. Tijdens het gesprek zijn de indelingen naast elkaar gelegd.
5.4 Data-analyse
Na afname is de toets geanalyseerd. Van de vierentwintig leerlingen in 3 havo hebben negentien leerlingen de toets gemaakt, twee van hen hadden dusdanig weinig ingevuld dat de resultaten niet meegenomen zijn in het onderzoek. Van de zeventien overgebleven leerlingen hebben zes leerlingen vraag 10 niet ingeleverd. In de analyse van de resultaten en de indeling van de leerlingen is hier rekening mee gehouden in de normering. De resultaten van de leerlingen en de indeling naar aanleiding van de toets en Magister staan in bijlage 14. 5.4.1 Toetsanalyse
Bij de analyse van de toetsvragen zijn twee analyses gemaakt; een analyse met vraag 10 van elf leerlingen en een analyse zonder vraag 10 van zeventien leerlingen. Op de toets is een psychometrische analyse toegepast (Van Berkel et al., 2014) om zo de kwantitatieve data te verwerken en te analyseren om bovenstaande criteria te toetsen. Gekeken is naar een aantal indicatoren:
• De moeilijkheid van de toetsvraag met behulp van de p-waarde
• Het onderscheidingsvermogen van de toetsvraag, dus of de leerlingen de lesstof wel of niet begrepen hebben met behulp van de Rit-waarde (discriminatie-index)
• De betrouwbaarheid van de toets met behulp van de Cronbach’s coëfficiënt alfa. Voor deze analyse zijn de data ingevoerd in een Excelbestand en is het toetsanalysemodel gebruikt van de Hogeschool van Amsterdam. De toetsanalyses zijn te vinden in bijlage 15 Hieronder bevinden zich de belangrijkste uitkomsten uit de psychometrische analyse van de toets.
Tabel 8: Analyse toetsvragen zonder toetsvraag 10 (item 21 en 22)
De resultaten van de analyse van de toets zonder vraag 10 staan in tabel 8, deze is door 17 leerlingen gemaakt, hierbij verschillen de waardes dan ook iets van de toets gemaakt door 11 leerlingen met vraag 10 in tabel 9. (In de analyse gaat het om deelitems 21 en 22). Door middel van een psychometrische analyse is bepaald in hoeverre de toets op basis van de kwantitatieve data rechtvaardig is. Hierbij wordt in deze fase gekeken naar de
betrouwbaarheid, namelijk of de resultaten van de toets daadwerkelijk iets meten. Hierbij kan op basis van de kwantitatieve data worden gekeken naar de moeilijkheidsgraad van de
toetsvragen met behulp van de p-waarde, onderscheidingsvermogen van de afzonderlijke vragen met behulp van de Rit waarde en naar de betrouwbaarheid van de toets in zijn geheel. Hiervoor wordt de Cronbach’s coëfficiënt Alfa gebruikt, deze meet of alle items hetzelfde meten.
Moeilijkheidsgraad
Met behulp van de data is onderzocht of de moeilijkheidsgraad van de afzonderlijke
toetsvragen niet te hoog of te laag is en of de gemiddelde score acceptabel is. Dit kan worden vastgesteld door naar de moeilijkheidsgraad te kijken oftewel de waarde. Wanneer de p-waarde boven de 0,90 uitstijgt is een vraag relatief makkelijk en onder de 0,25 relatief moeilijk (Van Berkel et al., 2014). In de versie zonder vraag 10 (item 21 en 22) hebben item 1 en 5 een p-waarde hoger dan 0,90. In de versie met vraag 10 hebben item 1,4,5,8, en 11 een p-waarde hoger dan 0,90 en zijn dus te makkelijk. Vooral items 2 en 3 werden als moeilijk ervaren met een p-waarde van respectievelijk 0,12 en 0,18 in tabel 8 en 0,18 in tabel 9. Dit betekent dat de gemiddelde score op deze items slechts respectievelijk 12% en 18% was. Een vraag die extra opvalt is item 5, deze hadden alle leerlingen goed gemaakt. Wellicht moet nog naar deze twee vragen worden gekeken. De gemiddelde p-waarde en dus de
moeilijkheidsgraad van de toets was respectievelijk 0,69 en 0,68 procent. Dit is volgens de normen een acceptabel gemiddelde, maar niet de ideale waarde, deze zou rond de 0,50 moeten liggen. Omdat de onderzoekspopulatie klein is moeten de conclusies die worden getrokken wel met enige reserves worden bekeken.
Onderscheidingsvermogen
Als gekeken wordt naar het onderscheidingsvermogen van de afzonderlijke vragen wordt de Rit-waarde gebruikt. Deze geeft aan of de hoog scorende studenten de moeilijke vragen beter maken dan de laag scorende leerlingen. Dus of de vragen derhalve onderscheid maken tussen goede en slechte leerlingen. Als de waardes in tabel 8 en 9 worden bekeken valt op dat in beide analyses vijf items een Rit-waarde hebben van kleiner dan 0,15, deze onderscheiden dan ook slecht. Daarentegen hebben elf items een Rit-waarde hoger dan 0,35 deze
onderscheiden goed tot zeer goed (Van Berkel et al., 2014). De overige items onderscheiden voldoende. Een item dat er in negatieve zin tussenuit springt is item 3 (vraag 1C in de toets), deze heeft in beide analyses een negatieve Rit-waarde, de vraag onderscheidt dus negatief. Het is wenselijk nog eens naar deze vraag te kijken omdat deze ook de laagste p-waarde heeft. Het betreft hier een opgave, overgenomen uit de rekenmethode 2F van de school. Een onderdeel dat havisten die rekenniveau 3F moeten halen, makkelijk moeten kunnen. Blijkbaar gaf de opgave toch verwarring, wellicht door de vraagstelling.
Betrouwbaarheid
Wat betreft de betrouwbaarheid is gekeken naar de waarde van de Cronbach’s alfa, deze heeft in de eerste analyse zonder vraag 10 een waarde van 0,863 en in de tweede analyse zelfs een waarde van 0,891. De norm voor goede betrouwbaarheid van een summatieve toets is tussen de 0,8 en 0,9 dus daar voldoet deze waarde ruimschoots aan.
5.4.2 Vergelijking van de indelingen
Voor het gesprek ontving de vakdocent een Excel sheet van de onderzoeker met daarin een lijst van de leerlingen die de toets hadden gemaakt van de twee desbetreffende klassen. Daarop stonden ook de Magistercijfers, maar niet de toetsresultaten van de selectietoets. Data waarop zij, in combinatie met haar eigen waarneming, logischerwijs een indeling zou kunnen maken. Tijdens het gesprek heeft zij de indeling teruggestuurd en is haar indeling naast de indeling die is voortgekomen uit de toetsresultaten van de toets gelegd. De
indelingen zijn besproken en vooral de verschillen in indeling. Alle leerlingen zijn afzonderlijk besproken en op 2 punten heeft de vakdocent haar indeling aangepast. De indelingen en de uitleg bij de verschillen bevinden zich hieronder.
Tabel 10: Vergelijking van indeling in drie groepen n.a.v. de toets en de bevraagde docent
Wanneer wordt gekeken naar de indelingen wijkt de indeling die komt vanuit de toets in vier gevallen af van de indeling die op basis van de cijfers in Magister kon worden gemaakt (zie
5.5 Resultaten
Nu de toets is uitgevoerd en de uitkomsten van de toets zijn geanalyseerd, kan worden gesteld dat, ondanks een aantal slecht onderscheidende vragen, de toets over het geheel genomen betrouwbaar is. Al valt nog wat te verbeteren aan de moeilijkheidsgraad van een aantal vragen. Wanneer wordt gekeken naar de indeling die is gemaakt op basis van de toetsresultaten is duidelijk dat de indeling zeker niet in alle gevallen hetzelfde is. Wanneer de indeling wordt vergeleken met de indeling op basis van de resultaten in Magister verschilt de indeling bij vier leerlingen. Dit is 23,5% van de gevallen. Als wordt gekeken naar de indeling in vergelijking met die van de vakdocent volgt dat zes van de zeventien leerlingen door de vakdocent anders werd ingedeeld. Dit is bij ongeveer 35% van de gevallen.
Hoofdstuk 6 Conclusie en discussie
In dit hoofdstuk wordt antwoord gegeven op de hoofd- en deelvragen van dit
ontwerponderzoek en zal worden stilgestaan worden bij de wijze van onderzoeken en de verkregen data.
6.1 Antwoord op de deelvragen
Deelvraag 1
Aan welke eisen wat betreft reken- en wiskundige vaardigheden moet de selectietoets voldoen om de leerlingen te kunnen opdelen in groepen met instructieafhankelijke, instructiegevoelige en instructieonafhankelijke leerlingen bij de economielessen?
In dit onderzoek zijn de wiskundige vaardigheden en rekenvaardigheden (Kneppers, 2010; Ballard & Johnson, 2005) de basis voor de toets. Uit het literatuuronderzoek kwam naar voren dat aangesloten moest worden op de reken- en wiskundige vaardigheden uit de syllabus voor het eindexamen economie op havoniveau (CvtE, 2018). Aan de hand van deze vaardigheden is in de focusgroep met de economiedocenten vastgesteld welke vaardigheden getoetst moesten worden.
De docenten noemden vooral basisrekenvaardigheden zoals het gebruiken van de juiste rekenvolgorde en rekenen met breuken en grote en kleine getallen, hierover gaan opgaven 1 t/m 3. Een ander struikelblok voor veel leerlingen was volgens hen het rekenen met
procenten, wat vaak wordt gevraagd in allerlei verschillende contexten bij het vak economie. Deze vaardigheid wordt getoetst in opgaven 4 t/m 7. Als laatste onderdeel moest volgens de docenten getoetst worden hoe leerlingen de basis wiskundige vaardigheden toe kunnen passen, zoals het werken met eerstegraads vergelijkingen. Dan gaat het vooral om het opstellen, rekenen met en tekenen van deze vergelijkingen, dit is verwerkt in opgaven 8 t/m 10. De vaardigheden zijn gekoppeld aan de definitieve doelen. Daarnaast was van belang om de beheersingsniveaus vast te stellen (MacDonald, 2017). Oftewel, wat moet een leerling minimaal kunnen om bij binnenklasdifferentiatie volgens de igdi-methode in de groep van de instructieafhankelijke-, de instructiegevoelige- of de instructieonafhankelijke leerlingen te worden ingedeeld. Uit de focusgroep kwam naar voren dat de leerlingen die lager scoorden dan 55% in de instructieafhankelijke groep moesten worden ingedeeld, de leerlingen die 55% tot 75% goed hadden, ingedeeld moesten worden in de instructiegevoelige groep en de leerlingen die 75% of meer hadden gescoord in de instructieonafhankelijk groep moeten worden ingedeeld.
Deelvraag 2
Uit welke vragen en opgaven moet de toets bestaan om te kunnen selecteren op het gebied van rekenvaardigheden, wiskundige basisvaardigheden en tempo?
De eerste versie van de concepttoets is ontwikkeld aan de hand van de opgestelde doelen. De opgaven zijn samengesteld op basis van het onderzoek van Kneppers (2010), het onderzoek van Ballard & Johnson (2004), op de rekenmethode van de school en de wiskunde-eisen van de school voor leerlingen van 4 havo. In de toetsmatrijs in bijlage 13 staat een overzicht van
was opgesteld zoals boven beschreven is deze in een screening voorgelegd aan een aantal docenten. Zij konden vanuit hun eigen vakgebied op de toets aangeven of de opgaven voldeden aan de opgestelde eisen en of de opgaven de doelen op de juiste manier toetsten. Naar aanleiding van hun feedback zijn de opgaven aangepast tot concepttoets 2. Deze toets is door een kleine groep leerlingen deels online gemaakt en bekeken. Aan de hand van hun commentaar is concepttoets 3 ontworpen (bijlage 13), het eindontwerp van dit onderzoek. De toets bestaat uit acht deelopgaven over basis rekenvaardigheden, acht deelopgaven over procenten en zes wiskundige deelopgaven. In de toets worden slechts vaardigheden getest en geen context.
Deelvraag 3
Op welke wijze kunnen de resultaten van de toets worden geanalyseerd opdat een rechtvaardig beeld van de leerlingen bij het vak economie ontstaat?
De concepttoets 3 is afgenomen bij de leerlingen van 3 havo. De toets is geanalyseerd op leerlingniveau. Door de leerlingresultaten te verwerken en de scores vervolgens te analyseren per deelgebied (basis rekenen, procenten en wiskunde) en vervolgens op eindscore en de tijd waarbinnen de toets is gemaakt, kon worden vastgesteld of de leerlingen de vaardigheden wel of niet beheersen (Moon, 2005). De leerlingen zijn op basis van de scores gekoppeld aan vastgestelde beheersingsniveaus en ingedeeld in de drie groepen om te kunnen
differentiëren.
Het is van belang na te gaan of deze indeling rechtvaardig en objectief is om zo te waarborgen dat de leerlingen juist worden ingedeeld (Denessen, 2017). Dit kon worden getoetst door de indeling met behulp van de toetsresultaten te vergelijken met de indeling die gemaakt kon worden op basis van de cijfers in Magister en daarnaast door deze te vergelijken met de indeling die de vakdocent economie maakte die de leerlingen dit schooljaar lesgeeft. Op basis van deze vergelijking bleek dat de indeling door middel van de toets in 23.5% van de gevallen afweek met die van Magister en in 35% van de gevallen afweek van de indeling van de
docent. Wanneer wordt gekeken naar Magister kan de oorzaak hiervan zijn dat ook werd gekeken naar het economiecijfer en niet alleen naar de cijfers voor wiskunde en rekenen. Wanneer wordt gekeken naar de verschillen in indeling van de docent en van de selectietoets valt op dat in de meeste gevallen persoonskenmerken zoals onzekerheid, de behoefte aan autonomie, gebrek aan motivatie en bijvoorbeeld slordigheid redenen waren waarom de leerlingen ingedeeld waren in een andere groep door de docent. Deze persoonskenmerken werden niet getoetst of onderzocht in de selectietoets. Voorzichtig kan worden
geconcludeerd dat de toets, los van de persoonskenmerken, een rechtvaardige indeling in de drie groepen voor binnenklasdifferentiatie met behulp van igdi geeft.
6.2 Antwoord op de hoofdvraag
Hoofdvraag
Aan welke voorwaarden moet een selectietoets voldoen zodat de economiedocenten de leerlingen van 4 havo rechtvaardig kunnen indelen in instructieafhankelijke leerlingen,
instructiegevoelige leerlingen en instructieonafhankelijke leerlingen voor differentiatie met de igdi-methode tijdens de economielessen op deze school?
Om de hoofdvraag te kunnen beantwoorden wordt teruggekeken naar de eisen die werden gesteld aan het begin van dit onderzoek. Daarnaast wordt beantwoord of de toets voldoet aan de kwaliteitseisen die normaliter gesteld worden aan een toets en ten slotte wordt vastgesteld of een rechtvaardige indeling in de drie groepen gemaakt kan worden met de resultaten van de leerlingen.
6.2.1 Eisen aan de toets
De eisen die in het begin van het onderzoek gesteld waren:
1. De toets is rechtvaardig (valide, betrouwbaar, objectief en transparant met de juiste normering)
2. De vragen zijn gemaakt op basis van vooraf vastgestelde doelen 3. De beheersingsniveaus zijn van tevoren vastgesteld
4. De vragen gaan over de deelgebieden rekenen en wiskunde
5. De belangrijkste vaardigheden op het gebied van rekenen en wiskunde worden getoetst
6. De toets vindt plaats voor de instructie plaatsvindt
7. Het tempo van de leerling wordt vastgesteld door middel van de toets
8. De toetsresultaten geven de juiste informatie over de ondersteuningsbehoeften van de leerlingen bij de economielessen
9. De toetsresultaten van de leerlingen van dit schooljaar worden gebruikt ter vergelijking en aanvulling op de toetsdata.
10. De conclusies van de docent voor de selectie naar aanleiding van de toets zijn objectief
De rechtvaardigheid van de toets wordt besproken in 6.2.2. De doelen zijn vooraf vastgesteld op basis van het eindexamencurriculum (CvtE, 2018) en in samenspraak met de docenten. De toetsvragen zijn vervolgens gekoppeld aan de doelen om zo te waarborgen dat de toets de juiste vaardigheden meet (MacDonald, 2017) en de leerlingen kunnen aantonen welke vaardigheden ze beheersen (Moon, 2005). De beheersingsniveaus waarop wordt geselecteerd vastgesteld en worden gebruikt voor de selectie van de leerlingen in de instructieafhankelijke leerlingen, de instructiegevoelige leerlingen en de
instructieonafhankelijke leerlingen om zo te kunnen differentiëren met de igdi-methode (Berben & Van Teeseling, 2014). De vragen die in de toets zijn verwerkt zijn gekoppeld aan drie domeinen, te weten: basisrekenvaardigheden, rekenen met procenten (Kneppers 2010)
economie. Bij de afname van de toets is de tijdsduur is vastgesteld. De toets zal de komende jaren worden afgenomen in de tweede week van het schooljaar dus voor de instructie plaatsvindt zodat de docent de tijd heeft om de resultaten te analyseren en de instructie indien nodig aan te passen (Moon, 2005). De toetsresultaten geven weliswaar de juiste informatie over de ondersteuningsbehoeften wat betreft rekenen en wiskunde, maar niet op het gebied van persoonskenmerken. De resultaten van de toets zijn zo objectief mogelijk gerapporteerd, dit is van groot belang voor een selectietoets (Denessen, 2017). Het is belangrijk dat de docenten hun beslissingen baseren op betrouwbare, hoogwaardige data (Moon, 2015). Om vast te stellen of een objectieve selectie is gemaakt met behulp van de toets is deze in de evaluatie vergeleken met de cijfers in Magister. Daarnaast zijn de
resultaten van de toets zijn voorgelegd aan de vakdocent. Aan de eisen die gesteld werden aan de toets is derhalve grotendeels voldaan.
6.2.2 De kwaliteit van de toets
Wanneer naar de kwaliteitseisen van de toets wordt gekeken kan worden vastgesteld of de toets rechtvaardig is. Een summatieve toets moet namelijk kunnen bepalen welke
vaardigheden de leerlingen wel en niet beheersen. De toets moet meten wat bedoeld is te meten (Van Berkel et al., 2014) Daarvoor wordt gekeken naar de kwaliteitseisen. Dit zijn de validiteit, de betrouwbaarheid, de objectiviteit, de transparantie, en de normering van de toets.
Validiteit
Uitgaande van de gemaakte toetsmatrijs is vastgesteld dat de opgaven de vaardigheden meten die zijn gekoppeld aan de vooraf vastgestelde doelen. De toets is dus inhoudsvalide. Omdat bij het overgrote deel van de leerlingen de scores redelijk overeenkomen met de cijfers in Magister voor wiskunde en rekenen kan worden gesteld dat de toets grotendeels begripsvalide is (Van Berkel et al., 2014).
Betrouwbaarheid
Bij de psychometrische analyse van de toets (tabel 8 en 9, bijlage 15) kwam naar voren dan de Cronbach’s Coëfficiënt Alfa bij de analyse zonder vraag 10 (item 21 en 22) 0,863 was en met vraag 10 een waarde had van 0,891. De normwaarde voor de Cronbach’s alfa is minimaal 0,8 voor een betrouwbare toets (Van Berkel et al., 2014). Hieruit kan worden geconcludeerd dat de toets ruimschoots aan deze eis voldoet.
Objectiviteit
Of de toets objectief is kan moeilijk worden vastgesteld omdat de toets slechts één keer is afgenomen. Maar naar objectiviteit wordt wel gestreefd door gebruik te maken van de normering waar bij een juist antwoord één punt wordt toegekend en een vraag die fout is beantwoord 0 punten. Daarnaast wordt gebruik gemaakt van een nakijkmodel waar verschillende oplossingsstrategieën zijn uitgewerkt. Omdat de leerlingen daarnaast
geanonimiseerd waren, was de objectiviteit in dit geval zo groot mogelijk omdat persoonlijke waardes, voorkeuren en vooroordelen geen rol hebben gespeeld (Denessen, 2017).
