H6 Conclusie, reflectie en aanbevelingen
Zoals in het vorige hoofdstuk is aangegeven wordt in dit hoofdstuk een samenvatting van de beantwoording van de onderzoeksvragen weergegeven. Op basis van de conclusies uit deze samenvatting zal vervolgens de theorie worden geëvalueerd. Daarnaast worden de resultaten van dit onderzoek genuanceerd door de limitaties van het onderzoek in kaart te brengen. Tot slot worden naar aanleiding van de resultaten aanbevelingen gedaan ten aanzien van de toetsing in het kader van het nieuwe examenprogramma maatschappijwetenschappen. Het hoofdstuk wordt afgesloten met ideeën voor vervolgonderzoek.
6.1 Beantwoording onderzoeksvragen 6.1.1 Hoofdvraag
De aanleiding voor dit onderzoek was dat toetsmakers van Cito behoefte hadden aan een analyse van de pilotexamens maatschappijwetenschappen op de getoetste denkvaardigheden en het gebruik van de concept-contextbenadering bij havo en bij vwo. Deze behoefte heeft geresulteerd in de volgende hoofdvraag:
(a) In hoeverre toetsen de centrale examens van de pilot maatschappijwetenschappen uit 2014 (beide tijdvakken) en 2015 (eerste tijdvak) de verschillende denkvaardigheden zoals deze zijn omschreven in de nieuwe syllabi van de centrale examens voor de pilotscholen (versies september 2014) en
(b) hoe is daarbij de concept-contextbenadering tot uitdrukking gebracht in de vragen bij havo en vwo?
Om tot beantwoording van deze hoofdvraag te kunnen komen is deze vraag in drie subvragen opgedeeld. Ten eerste zijn de examens uit 2014 geanalyseerd op de getoetste denkvaardigheden en het gebruik van de concept-contextbenadering (subvraag 1). Ten tweede is aandacht besteed aan de verschillen tussen de havo-examens en de vwo-examens uit 2014 (subvraag 2). Tot slot zijn de examens uit het eerste tijdvak van 2015 geanalyseerd op de getoetste denkvaardigheden, de concept-contextbenadering en de verschillen tussen havo en vwo aan de hand van de categorisatie schema’s die zijn opgesteld ten behoeve van de analyse van de examens uit 2014 (subvraag 3). In het hiernavolgende worden deze subvragen achtereenvolgens beantwoord.
6.1.2 Subvragen
1.
a. Hoe kunnen de examenitems uit de centrale examens van de pilot
maatschappijwetenschappen uit 2014 (havo en vwo, beide tijdvakken) worden ondergebracht in categorieën met betrekking tot denkvaardigheden en het gebruik van de concept-contextbenadering op basis van de meest recente versies van de syllabi (september 2014)?
b. Welke criteria zijn gehanteerd om de items uit de centrale examens van 2014 (havo en vwo, beide tijdvakken) in categorieën met betrekking tot denkvaardigheden en het gebruik van concept-contextbenadering te plaatsen?
Ten aanzien van de eerste subvraag zijn acht hypothesen opgesteld. Vier hypothesen hebben betrekking op de toepassing van denkvaardigheden. De overige vier hypothesen hebben betrekking op het gebruik van de concept-contextbenadering.
66
Voor het categoriseren van de denkvaardigheden zijn drie verschillende indelingen gehanteerd, namelijk de gereviseerde taxonomie van Bloom (memoriseren, begrijpen, toepassen, analyseren, evalueren en creëren), de indeling van Brookhart (lagere denkvaardigheden, transfer, kritisch denken en probleemoplossing) en de dimensies van Marzano (verwerven en integreren van nieuwe kennis, verbreden en verdiepen van bestaande kennis en toepassen van kennis). De examenitems zijn telkens in de hoogste categorie geplaatst waarvan kenmerken in het item zijn te herkennen. De omschrijvingen van de categorieën van de drie auteurs zijn als uitgangspunt genomen. De hypothese die betrekking heeft op de wisselwerking tussen denkvaardigheden en de concept-contextbenadering kon worden behouden. In deze hypothese (1d) ligt de veronderstelling besloten dat bij de toetsing van ‘hogere’ denkvaardigheden een context gebruikt moet worden. Hiervan bleek inderdaad in de meeste gevallen sprake te zijn. De overige hypothesen in het kader van denkvaardigheden hebben betrekking op de verhouding tussen de verschillende soorten denkvaardigheden die getoetst zijn. In dit onderzoek is uitgegaan van een gelijke verdeling over de verschillende categorieën van denkvaardigheden. De in het theoretisch kader aangehaalde auteurs geven immers aan dat zowel ‘lagere’ als ‘hogere’ denkvaardigheden getoetst moeten worden. Voor elk van de drie hiervoor genoemde indelingen in denkvaardigheden is onderzocht of inderdaad van een gelijke verdeling van de examenitems over de verschillende categorieën sprake is. Een gelijke verdeling werd niet gevonden. Opvallend is wel dat ten aanzien van de eerste hypothese (1a), ten aanzien van de gereviseerde taxonomie van Bloom, minder ‘hogere’ denkvaardigheden werden gevonden dan in de hypothese was voorspeld, terwijl bij de hypothesen ten aanzien van de indeling van Brookhart en de dimensies van Marzano (1b en 1c) juist hogere percentages ‘hogere’ denkvaardigheden gevonden werden dan was voorspeld. Het uitgangspunt van de auteurs die in het theoretisch kader zijn aangehaald is dat in elk geval niet alleen ‘lagere’ denkvaardigheden getoetst mogen worden. Daarom hoeft de conclusie, dat geen gelijke verdeling is gevonden, voor de indeling van Brookhart en de dimensie van Marzano niet per definitie als negatief te worden opgevat.
Ten aanzien van de concept-contextbenadering zijn twee indelingen gebruikt. De categorieën van de eerste indeling zijn‘geen concepten of contexten’, ‘alleen concepten’, ‘alleen contexten’ en ‘concepten en contexten’. Het betreft concepten zoals omschreven in de syllabus en contexten in de breedste definitie van het woord. De categorieën van de tweede indeling zijn ‘geen concept-contextbenadering’ en ‘wel concept-contextbenadering’. De hypothese inhoudende dat in 90% tot 100% van de items concepten, contexten of beiden een rol spelen kon behouden worden (hypothese 2a). Dit wil zeggen dat nauwelijks tot geen items in de examens zijn opgenomen die geen raakvlak met de concept-contextbenadering hebben. De overige hypothesen hebben betrekking op de verhouding tussen verschillende soorten vragen in de concept-contextbenadering. Deze verhoudingen bleken niet aan te sluiten op de verwachtingen zoals omschreven in de hypothesen. Het aantal items waarin alleen concepten een rol spelen bleek lager dan werd verwacht (hypothese 2b). Het aantal items waarin alleen contexten een rol spelen bleek hoger dan verwacht (hypothese 2c). Het aantal vragen waarin verbanden tussen concepten en contexten moeten worden gelegd bleek lager dan werd verwacht (hypothese 2d). Geconcludeerd kan worden dat relatief veel items raakvlakken vertonen met de concept-contextbenadering maar dat meer items opgenomen zouden kunnen worden waarin de concept-contextbenadering tot uitdrukking komt zoals deze bedoeld is doordat concepten en contexten met elkaar in wisselwerking zijn.
67
2. In hoeverre verschillen de examens havo en vwo uit 2014 (beide tijdvakken) van elkaar wat betreft het soort vragen dat is gesteld ten aanzien van de getoetste denkvaardigheden en de concept-contextbenadering?
Ten aanzien van het verschil tussen havo en vwo is ten eerste gekeken naar het verschil in het beheersingsniveau van vaardigheden (hypothese 3a). Dit werd onderzocht door naar de mate van structurering van de vragen te kijken. De mate van structurering is gemeten door te kijken naar de te zetten stappen in de beantwoording. In de vwo-examens bleken meer stappen gezet te moeten worden dan in de havo-examens. Daarnaast is gekeken naar de frequentie van ‘hogere’ denkvaardigheden (hypothese 3b) en de frequentie van items met contexten en items met concepten (hypothesen 3c en 3d). De vwo-examens bleken relatief gezien niet uit meer ‘hogere’ denkvaardigheden te bestaat dan de havo-examens, zoals was voorspeld. En daarnaast bleek dat de verhouding tussen het aantal contextvragen en conceptvragen, uitgaande van de aannames zoals afgeleid uit het theoretisch kader, niet aan de verwachting voldeed. De havo-examens bevatten niet meer contextvragen dan de examens en de vwo-examens bevatten niet meer conceptvragen dan de havo-vwo-examens. Tot slot is onderzocht of een verschil in abstractieniveau van contexten aanwezig was (hypothese 3e). Dit bleek wel het geval. De vwo-examens bevatten meer abstracte contexten dan de havo-examens. Geconcludeerd kan worden dat ten aanzien van het beheersingsniveau van vaardigheden en het abstractieniveau van contexten op een juiste wijze verschil is aangebracht tussen de havo-examens en de vwo-havo-examens. Ten aanzien van de verwerking van de concept-contextbenadering kan geconcludeerd worden dat de verhoudingen tussen verschillende soorten vragen niet aansluiten op de verwachtingen die in de hypotheses besloten liggen. Dit kan betekenen dat de concept-contextbenadering op een andere wijze in de examens verwerkt zou moeten worden maar dit kan ook betekenen dat andere verhoudingen als uitgangspunt genomen zouden moeten worden.
3. In hoeverre kunnen de examenitems uit de centrale examens van de pilot
maatschappijwetenschappen uit 2015 (havo en vwo, eerste tijdvak) ingedeeld worden in het schema van categorieën dat is opgesteld aan de hand van de centrale examens uit 2014 en in hoeverre verschilt het havo-examen uit 2015 van het vwo-examen uit 2015 wat betreft het soort vragen dat is gesteld ten aanzien van de getoetste denkvaardigheden en de concept-contextbenadering?
Ten eerste kon de hypothese ten aanzien van de wisselwerking tussen de concept-contextbenadering en denkvaardigheden net als bij de examens uit 2014 behouden worden (2015: hypothese 4d en 2014: hypothese 1d). Items die ‘hogere’ denkvaardigheden toetsen bleken ook in de examens van 2015 in de meeste gevallen tevens een context te bevatten. De hypothese met betrekking tot de gelijke verdelingen van examenitems over de verschillende denkvaardigheden in de gereviseerde taxonomie van Bloom kon voor de examens uit 2015 ook behouden worden (4a). Ten aanzien van de examens uit 2014 kon dit niet. Dit betekent dat geredeneerd vanuit de indeling van Bloom wel sprake bleek te zijn van een gelijke verhouding tussen ‘lagere’ en ‘hogere’ denkvaardigheden. Beredeneerd vanuit de indeling van Brookhart of de dimensies van Marzano kon ten aanzien van de examens uit 2015 net als ten aanzien van de examens uit 2014 geen gelijke verdeling over verschillende categorieën gevonden worden (hypothesen 4b en 4c). De verhoudingen zijn echter wel dichter bij de verwachtingen komen te liggen dan in 2014.