Natuur en Techniek
Technisch rapport over resultaten Peil.onderwijs in 2015
Juli 2016
© Cito, Arnhem
Inhoud
Inleiding ... 5
1 Theoretische uitgangspunten van het toetsinstrumentarium ... 6
1.1 Kerndoelen en kaders ... 6
1.2 Operationalisering in meetinstrumenten ... 7
1.3 Schriftelijke toets ... 8
1.4 Essentiële vaardigheden en houding bij ontwerpen en onderzoeken ... 9
1.5 Praktische opdrachten met aanvullende vragen ... 11
1.6 Toetsplan ... 13
2 Kwaliteit van de instrumenten en handleidingen ... 15
2.1 Opgaven voor de pre-test ... 15
2.2 Definitieve opgavenset inclusief ankeritems ... 17
2.3 Begeleiding en beoordeling van praktische opdrachten ... 19
2.4 Handleiding voor de toetsleiders ... 22
2.5 Toetsmaterialen voor de leerlingen ... 23
2.6 Instructies voor de scholen ... 23
2.7 Oordeel door externe deskundigen ... 23
3 Psychometrische kwaliteit van het instrumentarium ... 25
3.1 Aanpak en resultaten van de pre-test ... 25
3.2 Toetsdesign ... 27
3.3 Aantal leerlingen in peiling ... 29
3.4 Resultaten analyse theorietoetsen ... 30
3.5 Trendanalyse van opgaven ... 33
3.6 Moeilijkheid van kennisopgaven ... 37
3.7 Resultaten analyse praktische opdrachten ... 48
3.8 Beheersing van de praktische opdrachten ... 72
3.9 Zelfbeoordelingen door leerlingen ... 74
3.10 Correlaties tussen theorietoetsen en praktische opdrachten ... 77
3.11 Conclusies ... 78
4 Literatuur ... 79
Bijlage A Eindoordelen van externe deskundigen ... 80
Reactie Prof. Dr. Maartje Raijmakers ... 80
Reactie D. Wammes ... 82
Bijlage B Resultaten pre-test toetsversies ... 84
Bijlage C Resultaten opgaven in theorietoetsen ... 94
Bijlage D Vergelijking resultaten van verschillende groepen leerlingen ... 98
Bijlage E Selectie van ankeropgaven ... 101
Bijlage F Resultaten p10-, p50- en p90-leerling/groep ... 103
Inleiding
In opdracht van de Inspectie van het Onderwijs heeft Cito een toetsinstrumentarium ontwikkeld dat bedoeld is om op stelselniveau uitspraken te kunnen doen over het behalen van de kerndoelen op het gebied van Natuur en techniek (NT). De opdrachtgever vroeg nadrukkelijk om een opgavenset te ontwikkelen waarmee een peiling Natuur en techniek uitgevoerd kan worden in groep 8 van het basisonderwijs op een voor het Nederlandse basisonderwijs representatieve steekproef van scholen.
Het peilingsonderzoek moet antwoord kunnen geven op onderstaande vragen:
1. In welke mate wordt elk van de kerndoelen bereikt?
2. Hoeveel leerlingen beheersen de eenvoudige en moeilijke opgaven die gaan over de onderscheiden domeinen?
3. Is er sprake van onderlinge samenhang in uitkomsten op domeinen?
4. Wat kan de minst presterende 5%, wat kan de best presterende 5%?
5. Welke verschillen zijn er tussen prestaties die op voorhoedescholen bereikt worden en prestaties op een a-selecte steekproef scholen?
6. Welke verschillen zijn er tussen scholen, kijkend naar leerlinggewicht, regio, schoolgrootte, denominatie?
7. Welke kenmerken van het onderwijsproces en welke kenmerken van leerlingen zijn mogelijk verklarende variabelen voor de verschillen in peilingsresultaten tussen scholen?
De ontwikkeling van het toetsinstrumentarium vond plaats in de periode juni tot en met september 2015. In de eerste en de derde week van september zijn de instrumenten kwalitatief beproefd bij leerlingen in groep 8 van elf basisscholen en vervolgens bijgesteld. Na de tweede pre-testweek zijn de instrumenten definitief samengesteld en ter vaststelling aangeboden aan de opdrachtgever.
De afname van het toetsinstrumentarium en de dataverzameling zijn verzorgd door het ITS, dat verbonden is aan de Radboud Universiteit Nijmegen en het Expertisecentrum Nederlands (EN). De afname vond plaats in de periode van eind oktober tot en met de eerste week van december. Cito heeft de verzamelde data geanalyseerd om de kwaliteit van de instrumenten in kaart te brengen.
Dit technisch rapport beschrijft eerst de theoretische uitgangspunten van het instrument. Vervolgens worden de kwaliteit van het instrument en de handleidingen beschreven en tenslotte zal in dit technisch rapport de psychometrische kwaliteit van het instrument worden beschreven.
1 Theoretische uitgangspunten van het toetsinstrumentarium
Dit hoofdstuk beschrijft de theoretische uitgangspunten van het instrumentarium. Na een opsomming van de kerndoelen en de kaders die de Inspectie heeft vastgesteld, bevat dit hoofdstuk een beperkte verantwoording van de keuze van de meetinstrumenten, het toetsplan en tenslotte de toetsmatrijzen bij de verschillende toetsvormen.
Een eerste versie van dit hoofdstuk is als notitie voorgelegd aan de drie deskundigen Marja van Graft, Maartje Raaijmakers en Dannie Wammes. Hun commentaar en opmerkingen zijn tijdens een overleg op 9 juni 2015 besproken met de betrokkenen van de Inspectie van het Onderwijs en het
Expertisecentrum Nederlands. Vervolgens is de notitie bijgesteld conform hetgeen besproken en besloten is tijdens het overleg.
1.1 Kerndoelen en kaders
Het toetsinstrumentarium moest een representatief en betrouwbaar beeld opleveren van de leerlingprestaties in groep 8 van het primair onderwijs van de kerndoelen 40 tot en met 46 (Besluit vernieuwde kerndoelen WPO, 2005).
40 De leerlingen leren in de eigen omgeving veel voorkomende planten en dieren onderscheiden en benoemen en leren hoe ze functioneren in hun leefomgeving.
41 De leerlingen leren over de bouw van planten, dieren en mensen en over de vorm en functie van hun onderdelen.
42 De leerlingen leren onderzoek doen aan materialen en natuurkundige verschijnselen, zoals licht, geluid, elektriciteit, kracht, magnetisme en temperatuur.
43 De leerlingen leren hoe je weer en klimaat kunt beschrijven met behulp van temperatuur, neerslag en wind.
44 De leerlingen leren bij producten uit hun eigen omgeving relaties te leggen tussen de werking, de vorm en het materiaalgebruik.
45 De leerlingen leren oplossingen voor technische problemen te ontwerpen, deze uit te voeren en te evalueren.
46 De leerlingen leren dat de positie van de aarde ten opzichte van de zon leidt tot natuurverschijnselen zoals seizoenen en dag-/nachtritme (Greven & Letschert, 2006).
Deze kerndoelen waren het uitgangspunt voor de constructie van het toetsinstrumentarium, evenals de benadering van Wetenschap en technologie zoals beschreven in het Advies verkenningscommissie wetenschap en technologie primair onderwijs (2013) en meer specifiek in de ‘Domeinbeschrijving Wetenschap en technologie bij het leergebied Oriëntatie op jezelf en de wereld’ (SLO, 2015).
Naast de kerndoelen had de Inspectie van het onderwijs voor de te ontwikkelen meetinstrumenten de volgende kaders vastgesteld.
1 Het brede kader wordt gevormd door de domeinbeschrijving van de SLO, zoals weergegeven in Domeinbeschrijving Wetenschap en technologie bij het leergebied Oriëntatie op jezelf en de wereld.
2 In het bijzonder vormen het houdingsaspect ‘willen weten en de vaardigheden ‘onderzoeken’ en
‘ontwerpen’ een wezenlijk onderdeel van het peilingsonderzoek.
3 ‘Prestaties van leerlingen’ heeft betrekking op kennis, vaardigheden en houding, en kan zowel betrekking hebben op het leerproces als op het leerresultaat.
4 De set opgaven vormt een mix van aansluiting bij ‘traditionele’ onderdelen van het curriculum en bij recente opvattingen over curriculumvernieuwing.
5 De set opgaven bestaat deels uit ankeritems:
• De te ontwikkelen items/opgaven vormen in combinatie met beschikbaar komende
ankeritems uit PPON de opgavenset die in zijn geheel de prestaties op de kerndoelen omvat.
• Ankeritems maken maximaal 25% uit van de opgaven.
6 Elk van de opgaven moet, voor zover dat mogelijk is, geclassificeerd worden aan de hand van de domeinbeschrijving van de huidige en aan de hand van die van de eerder afgenomen peiling.
7 Afname van de opgavenset vergt een beperkte belasting voor scholen.
8 Afname van de opgavenset vergt per leerling een inzet van maximaal anderhalf uur.
1.2 Operationalisering in meetinstrumenten
De kerndoelen 40, 41, 43, 44 en 46 zijn vooral terug te zien bij ‘traditionele’ onderdelen van het curriculum. Meer specifiek hebben de kerndoelen 40 en 41 betrekking op het domein Biologie, de kerndoelen 43 en 46 op het domein (Natuurkundige) Aardrijkskunde en kerndoel 44 op het domein Techniek. De kerndoelen 42 en 44 verwijzen met name naar de belangrijke vaardigheden in het kader van het onderzoeken. Kerndoel 45 betreft vaardigheden op het gebied van ontwerpen. Beide typen vaardigheden gaan gepaard met een nieuwsgierige houding (het houdingsaspect ‘willen weten’). Deze komen meer overeen met de vaardighedenkant zoals die - zij het veel nadrukkelijker - terugkomt in de benadering van Wetenschap en technologie (Advies verkenningscommissie wetenschap en
technologie primair onderwijs, 2013) en meer specifiek in de ‘Domeinbeschrijving Wetenschap en technologie bij het leergebied Oriëntatie op jezelf en de wereld’ (SLO, 2015).
Door een koppeling van de domeinbeschrijving van eerdere PPON-metingen met deze nieuwe indeling ontstond de volgende verdeling van opgaven naar kerndoelen en domeinen:
Tabel 1.1 Matrix van opgaven en taken naar kerndoelen & domeinen kerndoelen
preambule WO 40 41 42 43 44 45 46
Inhoud: domeinen:
Weten- schappelijke
houding
Leef- omgeving
p&d
vorm en functie
p&d
onder-
zoeken weer en klimaat
werking, vorm en
materiaal ontwerpen aarde Declaratieve
kennis (anker) 16 16 20 3 22 7
Declaratieve
kennis (nieuw) 20 20 20 20 20 20
Procedurele kennis Praktische
opdrachten Praktische
opdrachten
Samenwerking Observatie
van leerling Observatie
van leerling
De aantallen in de tabel verwijzen naar het aantal schriftelijke kennisvragen die de zes kerndoelen besloegen in het meetinstrument, onderverdeeld in ankeropgaven en nieuwe opgaven. Voor de twee kerndoelen 42 en 45 zijn praktische opdrachten ontwikkeld.
De opgavenset bestond per leerling dus uit twee soorten instrumenten, namelijk 1 een schriftelijk toets en
2 een praktische individuele of een groepsopdracht met aanvullende vragen.
Een expert merkte op dat individuele leerlingen niet goed konden laten zien wat ze kennen en kunnen op het gebied van Natuur & techniek. Voor een individuele leerling klopte dat inderdaad: leerlingen maakten slechts één van de praktijkopdrachten en een beperkt aantal kennisvragen. Het doel van een peiling is echter niet om te meten wat individuele leerlingen kunnen en weten, maar om een overall beeld te krijgen van Natuur & techniek op stelselniveau in groep 8 van het basisonderwijs. Door een slimme toewijzing van opdrachten en kennisvragen aan scholen en leerlingen, wordt op dat
stelselniveau wel een compleet beeld gekregen.
De instrumenten worden hieronder verder uitgewerkt.
1.3 Schriftelijke toets
De ontwikkelde opgaven meten de declaratieve kennis en sluiten aan bij de praktijk van het onderwijs waarin leerlingen worden geconfronteerd met concrete praktische problemen. De opgaven zijn dan ook contextgericht. Om praktische redenen zijn de opgaven op papier aangeboden.
Bij elke opgave is de vraagvorm gekozen die het meest efficiënt de beoogde vaardigheid meet. Naast meerkeuzevragen met drie of vier alternatieven, waren dat kort-open vragen en matrixvragen.
Om de vaardigheden over alle niveaus zo betrouwbaar mogelijk te kunnen meten, is gestreefd naar een grote variatie in moeilijkheidsgraad van de opgaven. Dit betekende dat leerlingen niet alleen opgaven krijgen aangeboden op het niveau van groep 6, 7 en 8 van het primair onderwijs, maar ook enkele opgaven op het niveau van de onderbouw van het voortgezet onderwijs.
Voor de schriftelijke toets is ervan uitgegaan dat een leerling deze in een half uur moet kunnen maken.
De verwachting is dat een leerling die rustig doorwerkt daarin 18 vragen volledig moet kunnen beantwoorden. De pre-test heeft uitgewezen dat deze aanname correct is. Leerlingen bleken vaak al na een kwartier klaar. De vragen waren evenredig in de toets verdeeld over de vier kerndoelen 40, 41, 42 en 44 en de combinatie van 43 en 46. De leerlingen hebben de vragen schriftelijk beantwoord op schrapkaarten.
1.4 Essentiële vaardigheden en houding bij ontwerpen en onderzoeken
Voor het operationaliseren in instrumenten van de essentiële vaardigheden op het gebied van ontwerpen en onderzoeken bij leerlingen is het door de SLO uitgewerkte domein (van Graft, Klein Tank, Beker, 2014) als uitgangspunt genomen. Gemeten moesten worden: wetenschappelijke houding, ontwerp- of onderzoekvaardigheden (generiek en specifiek) en kwaliteit van de samenwerking. Voor wat betreft wetenschappelijke houding is aangesloten bij het onderscheid in neigingen, dimensies en gedragsindicatoren. Onder neigingen verstaan we dan het willen weten, kritisch zijn, het willen begrijpen, het willen innoveren, het willen bereiken en het willen delen. Voor wat betreft
samenwerken is aangesloten bij samenwerkingsvaardigheden, zoals die worden onderscheiden door opinieleiders op dit terrein (zoals Johnson & Johnson).
Bij de verdere operationalisatie is bovendien gebruikgemaakt van de voor dit doel aangepaste Vaardighedenrubrics Onderzoeken en Ontwerpen (VROO; Van Keulen en Slot, 2014). Daar waar nog elementen ontbraken ten opzichte van de SLO-operationalisaties, zijn deze rubrieken aangevuld.
Tegelijkertijd moest rekening gehouden worden met wat testleiders aan registratielast kunnen hanteren. Ook voor leerlingen kon maar een beperkt aantal vragen worden gesteld op het antwoordformulier.
De ontwikkelde beoordelingslijsten voor wetenschappelijke houding, ontwerpvaardigheden en
kwaliteit van de samenwerking hadden in tegenstelling tot de VROO-rubrieken een ‘medium inference’
-karakter. Dat wil zeggen dat het scoren ervan geen sterk beroep deed op interpretatie door de toetsleider. Toetsleiders moesten na een training in staat zijn de beoordelingslijsten toe te passen.
In tabel 1.2 is een overzicht gegeven van de door toetsleiders te beoordelen vaardigheden bij het ontwerpen. Voor onderzoeken kan deze tabel eveneens worden gehanteerd, met de deelfasen die in tabel 1.4 staan en de bij deze deelfasen behorende deelproducten.
Tabel 1.2: Registratie en beoordeling van vaardigheden bij individuele praktijkopdrachten ‘Ontwerpen’
Gegeven hulp Kwaliteit van product en proces
Leerling
motiveren Samen-
werking** Inhoudelijke
hulp*** Product-
kwaliteit Wetenschappelijke houding
Ontwerp- vaardigheden tijdens aanpak
**Kwaliteit samenwerking
Deelfasen
Toetsleider … Deelproducten*
observeert en registreert
tijdens opdracht beoordeelt
deelproduct*
op grond van
beoordeelt achteraf na afloop van opdracht
Constateren
Verkennen Probleemformulering &
programma van eisen ja/nee ja/nee 1-2-3 Scorevoorschrift Beoordelingslijsten voor de neigingen:
- Willen weten - Kritisch zijn - Willen begrijpen - Willen innoveren - Willen bereiken - Willen delen
Beoordelings- schalen
Beoordelings- lijsten Ontwerpen Kwaliteit werktekening of
model ja/nee ja/nee 1-2-3 Scorevoorschrift Beoordelings-
schalen
Uitvoeren Oplossing /eindproduct ja/nee ja/nee 1-2-3 Scorevoorschrift Beoordelings-
schalen Testen en
evalueren Gepresenteerde test en
testuitkomsten ja/nee ja/nee 1-2-3 Scorevoorschrift Beoordelings-
schalen Presenteren,
verdiepen/
verbreden
Presentatie en
verantwoording ontwerp ja/nee ja/nee 1-2-3 Scorevoorschrift Beoordelings-
schalen
* Deelproducten bestonden uit het tastbare product en de door de leerling ingevulde antwoordbladen.
** Bij samenwerkingsopdrachten registreerde de toetsleider de gegeven hulp en beoordeelde de kwaliteit van de samenwerking.
*** Toetsleider registreerde drie niveaus van inhoudelijke sturing.
Bij de ontwerpopdrachten is uitgegaan van een aantal mogelijke deelproducten per opdracht, die vroegen om de inzet van corresponderende ontwerpvaardigheden. Bij ontwerpen is uitgegaan van 5 tastbare deelproducten, startend vanuit een rijke opgavecontext.
De toetsleider registreerde de mate van hulp bij de uitvoering van praktijkopdrachten. Inhoudelijke hulp is op vier niveaus van inhoudelijke sturing geregistreerd: ① leeshulp, ② proceshulp,
③ inhoudelijke hulp en ④ modelling. Bovendien is bijgehouden of de hulp op aanvraag werd gegeven of omdat de tijd voor een deelproduct bijna was verstreken. Paragraaf 2.3 bevat een uitgebreide beschrijving van deze vier niveaus van hulp en van de registratie.
Op soortgelijke wijze is een uitwerking gemaakt van de registratie en beoordeling van vaardigheden bij individuele praktische onderzoeksopdrachten. De uitwerking is deels gelijk (Productkwaliteit,
wetenschappelijke houding en de kwaliteit van de samenwerking). De verschillen liggen in de specificiteit in de onderzoekvaardigheden en de te onderscheiden deelproducten.
Behalve dat beoordeling door de toetsleider plaatsvond, beoordeelde de leerling ook zichzelf. Dit betrof in totaal maximaal tien vragen over de productkwaliteit, de kwaliteit van de samenwerkingen de beleving van de opdracht.
Tabel 1.3: Zelfbeoordeling door de leerling
Deelproducten* Product
kwaliteit Kwaliteit van de
samenwerking** Beleving van de opdracht Probleemformulering & programma van eisen 1 vraag
Maximaal 3 vragen over samenwerking en eigen bijdrage
Interesse in het onderwerp (1 vraag)
Voorkeur in relatie tot andere onderwerpen (1 vraag)
Kwaliteit werktekening of het model 1 vraag
Oplossing /eindproduct 1 vraag
Gepresenteerde test en testuitkomsten 1 vraag Presentatie en verantwoording ontwerp 1 vraag
* Deelproducten bestonden uit het tastbare product en de door de leerling ingevulde antwoordbladen
** Bij samenwerkingsopdrachten
1.5 Praktische opdrachten met aanvullende vragen
Meerdere deskundigen hebben opgemerkt dat het voor Natuur & Techniek relevant is om ook groepsopdrachten uit de voeren om een volledige onderzoek- of ontwerpcyclus te kunnen toetsen en de samenwerking in een groep te kunnen onderzoeken. Met de opdrachtgever is afgesproken om twee individuele opdrachten te vervangen door twee groepsopdrachten. In de uiteindelijke peiling is bij de toewijzing van de leerlingen aan de groepsopdrachten expliciet rekening gehouden met de samenstelling van een groepje. Voor een goede samenwerking was het belangrijk dat de drie
groepsleden van hetzelfde geslacht waren. Bovendien moest tenminste een groepslid bovengemiddeld presteren, volgens de inschatting van de leerkracht, teneinde te voorkomen dat het groepje te vaak
‘vastliep' tijdens de opdracht.
De meningen van de deskundigen liepen uiteen over de uitvoeringstijd van de praktische opdrachten en fasering in stappen. De ene deskundige vond de tijd (1 uur) te kort voor een goede opdracht, de ander stelde voor meerdere korte opdrachten te maken. De een vond fasering te gekunsteld, een ander benadrukte dat alle fasen doorlopen moeten kunnen worden. Eén van de deskundigen kwam met de suggestie om kortere voorgestructureerde opdrachten te maken, waardoor binnen de gegeven uitvoeringstijd van een uur toch zinvolle uitspraken gedaan kunnen worden.
In het peilingsonderzoek zijn zes praktische, individuele en twee groepsopdrachten aan de leerlingen voorgelegd om enig inzicht te krijgen in hun ontwerp- en onderzoekvaardigheden bij problemen op het domein Natuur en techniek. Op verzoek van de deskundigen zijn de opgaven zodanig aangepast dat er een verhouding ontstond van 50%-50% wat betreft ontwerpen en onderzoeken én is ervoor gezorgd dat de inhoud van de opdrachten beide seksen aansprak.
De inhoud van de opdrachten betrof relevante domeinen uit Natuur & Techniek. Vier van deze
opdrachten sloten aan bij de kerndoelen 42 over onderzoeken, vier opdrachten sloten aan bij kerndoel 45 over ontwerpen. In elke opgave stonden enkele stappen in de ontwerp- of onderzoekcyclus
centraal. Omdat een opdracht niet alle stappen van de ontwerpcyclus of onderzoekcyclus kon beslaan, is gestreefd naar een zo evenredig mogelijke verdeling van de verschillende stappen over de acht praktische opdrachten.
Tabel 1.4 Stappen van de ontwerpcyclus en de onderzoekcyclus
Stap ontwerpcyclus onderzoekcyclus
1 Constateren Confronteren, vragen stellen
2 Verkennen Verkennen
3 Ontwerpen Opzetten experiment
4 Uitvoeren Uitvoeren experiment
5 Testen en evalueren Concluderen
6 Presenteren Presenteren
7 Verdiepen/verbreden Verdiepen/verbreden
Bij de ontwikkeling van de opdrachten moest met een aantal beperkende factoren rekening gehouden worden. Aangezien Natuur en Techniek een bescheiden plaats inneemt in het curriculum van het basisonderwijs, mochten de opdrachten niet te ingewikkeld zijn. Leerlingen moesten de opgaven bovendien in korte tijd (maximaal 60 minuten per opdracht) kunnen maken. Daarnaast waren er natuurlijk beperkingen aan materiaalkosten.
De opdrachten zijn zo geconstrueerd dat ze betrouwbare en valide informatie geven over de vaardigheid van de leerling. De informatie is tijdens en vlak na de opdracht opgeslagen op het werkblad van de leerling en het observatieformulier van de toetsleider.
• Op het werkblad noteerde de leerling zelf de vorderingen en noteerde antwoorden op vragen over zaken als de eigen interesse, de inschatting van de moeilijkheid van de opdracht en het eigen oordeel over de kwaliteit van het eindproduct.
• Op het observatieformulier noteert de toetsleider in rubrieken de kwaliteit van het proces, de kwaliteit van het eindproduct en de mate waarin de leerling met adviezen is ondersteund.
Op elke school zijn alle acht opdrachten afgenomen, waardoor de terugkoppeling naar de scholen zo rijk mogelijk was. Elke leerling maakte een unieke taak, die aan de leerling werd toebedeeld. (Er was dus geen keuze door de leerling.) Voor de beoordeling van het proces was het noodzakelijk dat een begeleider een groepje van maximaal vier leerlingen begeleidde en beoordeelde. De begeleider gaf gevraagd en ongevraagd hints aan de leerlingen.
Volgens de geraadpleegde deskundigen was het belangrijk dat vakinhoudelijk deskundigen de opdrachten door de leerlingen zouden beoordelen. Gegeven de omvang van de peiling was dit geen haalbare zaak. Expertisecentrum Nederlands (EN) heeft in elk geval beoordelaars geworven die gewend waren om individuele leerlingen en groepen leerlingen te begeleiden. De beoordelaars zijn
door EN geschoold, in overleg met Cito. De opdrachten alsmede de beoordelingsrubrieken zijn zodanig ontworpen dat de benodigde deskundigheid op het gebied van N&T beperkt is.
Groepsopdrachten
Twee van de acht opdrachten zijn specifiek groepsopdrachten waarin drie leerlingen met elkaar moeten samenwerken. De opdrachten verschilden hierin van de individuele opdrachten dat leerlingen als groep alle deelproducten opleverden. Bij de groepsopdrachten was er sprake van één
gemeenschappelijk product. Alle leerlingen hadden individuele antwoordbladen. Ze schreven of tekenden daarop alleen bij opdrachtjes die een individuele respons vereisten (zie Tabel 3).
1.6 Toetsplan
De hiervoor beschreven overwegingen zijn weerspiegeld in het volgende toetsplan.
Tabel 1.5 Toetsplan toetsinstrumentarium Peil.onderwijs Natuur en Techniek
Kerndoel omschrijving Schriftelijke
toetsing Praktische opdrachten met aanvullende vragen
40 Leefomgeving planten en dieren X
41 Vorm en functie, planten, dieren en mensen X 42 Onderzoeken materialen en natuurkundige
verschijnselen X X
43 Weer en klimaat X
44 Werking, vorm en materiaal X
45 Ontwerpen X
46 Aarde X
Interesse leerling X
Hierna zijn de toetsmatrijzen voor de schriftelijke toets en de praktische opdrachten uitgewerkt.
1.6.1 Toetsmatrijs schriftelijke toets
In totaal zijn tijdens de peiling 180 opgaven afgenomen. In de pre-test waren de opgaven verdeeld over 20 heterogene clusters met elk 9 opgaven. Omdat na de pre-test opgaven konden uitvallen omdat ze niet juist bleken te functioneren, zijn veel meer dan de beoogde 100 nieuwe opgaven ontwikkeld. Dit had de volgende gevolgen voor het totaal aantal ontwikkelde opgaven.
Tabel 1.6 Totaal aantal ontwikkelde kennisopgaven voor Peil.onderwijs Natuur en Techniek Kern-
doel omschrijving Anker Beoogd
nieuw Beoogd
totaal Nieuw ontwikkeld
40 Leefomgeving planten en dieren 14 17 31 20
41 Vorm en functie, planten, dieren en mensen 18 13 31 20
42 Onderzoeken materialen en natuurkundige
verschijnselen 18 17 35
20
43 Weer en klimaat 3 19 22 20
44 Werking, vorm en materiaal 17 20 37 20
46 Aarde 10 14 24 20
Totaal 80 100 180 120
Uit de resultaten van de pre-test bleek dat de leerlingen de toetsversies ruim binnen het half uur konden maken en dat de betrouwbaarheid van de toetsversies te laag was. Daarom is in overleg met de Inspectie besloten om de toetslengte te verlengen tot 26 opgaven. Dit betekende dat de
schriftelijke toets voor elke leerling de volgende inhoud had:
Tabel 1.7 Samenstelling theorietoets Peil.onderwijs Natuur en Techniek, per leerling
Kerndoel omschrijving Aantal vragen
40 Leefomgeving planten en dieren 4-5
41 Vorm en functie, planten, dieren en mensen 4-5 42 Onderzoeken materialen en natuurkundige
verschijnselen 4-5
44 Werking, vorm en materiaal 4-5
43 Weer en klimaat 2-3
46 Aarde 2-3
De aantallen opgaven in de theorietoetsen zijn zo evenredig mogelijk verdeeld over de verschillende kerndoelen. Vanwege de inhoudelijke samenhang tussen de twee kerndoelen 43 en 46 en het kleinere aantal beschikbare opgaven bij deze kerndoelen, is het aantal opgaven over de kerndoelen 43 en 46 lager dan bij de overige vier kerndoelen.
1.6.2 Toetsmatrijs praktische opdrachten
Omdat na de pre-test opdrachten uit konden vallen omdat ze niet juist zouden functioneren, zijn tien praktische opdrachten ontwikkeld, evenredig verdeeld over de kerndoelen 42 en 45. De opdrachten Knikkerbaan en Uilenpost betroffen zowel een individuele opdracht als een groepsopdracht.
Op grond van de resultaten van de pre-test (zie paragraaf 3.1.2) zijn de volgende acht praktische opdrachten in de peiling opgenomen. Zes opdrachten maakten leerlingen individueel, twee opdrachten werden in een groepje van drie leerlingen afgenomen. De opdrachten betroffen de volgende kerndoelen en domeinen.
Tabel 1.8 Praktische opdrachten Peil.onderwijs Natuur en Techniek tijdens de peiling
Kerndoel Naam Onderwerp Domein (PPON 2010)
42 Knikkerbaan (individueel) Welke baan is het snelst? constructies 42 Knikkerbaan (groepsopdracht) Welke baan is het snelst? constructies 42 Knikkers te koop Hoeveel knikkers passen in een
potje Relatie tussen gewicht
en volume 42 Kopje onder Welk kopje zinkt of drijft? Zinken/drijven
45 Brug Hoe maak je een brug sterk? Constructies
45 Fietsbel Zet de fietsbel weer in elkaar Overbrengingen 45 Uilenpost (groepsopdracht) Maak een papierklem Constructies
45 Bibberspel Maak een zoemer voor het
draadspel Elektriciteit
2 Kwaliteit van de instrumenten en handleidingen
Dit hoofdstuk beschrijft de voor de pre-test ontwikkelde opgaven, de definitieve opgavenset inclusief de ankeritems, de beoordeling van de praktische opdrachten, de handleiding voor de toetsleiders en de toetsmaterialen voor de leerlingen en instructies voor de scholen. Tenslotte wordt het oordeel van de externe deskundigen over de eindversie van het toetsinstrumentarium beschreven.
2.1 Opgaven voor de pre-test
Deze paragraaf bevat een beschrijving in kwalitatieve zin van de ontwikkeling van de schriftelijke kennistoets (paragraaf 2.1.1) en de praktische opdrachten (paragraaf 2.1.2), die centraal stonden tijdens de pre-test Natuur en techniek.
2.1.1 Vragen naar kennis over kerndoelen
In totaal zijn uiteindelijk 1541 nieuwe opgaven ontwikkeld door toetsdeskundigen van Cito met inhoudelijke expertise op het gebied van Natuur en techniek:
• 34 opgaven over het kerndoel 40 Leefomgeving
• 30 opgaven over het kerndoel 41 Vorm en functie
• 24 opgaven over het kerndoel 42 Onderzoeken
• 20 opgaven over het kerndoel 43 Weer en klimaat
• 31 opgaven over het kerndoel 44 Werking, vorm en materiaal, en
• 15 opgaven over kerndoel 46 Aarde.
De eerste versie van de ontwikkelde schriftelijke opgaven leverde kort samengevat het volgende commentaar op van de drie externe inhoudelijke experts:
- de moeilijkheidsgraad van een beperkt aantal opgaven werd als te hoog ingeschat;
- sommige opgaven sloten beter aan bij andere kerndoelen dan in eerste instantie aangegeven;
- onduidelijkheden in plaatjes en opgaveteksten.
Hieronder volgt een reactie op vragen en opmerkingen van de experts. In deze reactie is de volgorde van bovenstaande opsomming gevolgd.
- Om de vaardigheden over alle niveaus zo betrouwbaar mogelijk te kunnen meten, is gestreefd naar een grote variatie in moeilijkheidsgraad van de opgaven. Dit betekende dat leerlingen niet alleen opgaven krijgen aangeboden op het niveau van groep 6, 7 en 8 van het primair onderwijs, maar ook enkele opgaven op het niveau van de onderbouw van het voortgezet onderwijs.
- De indeling van de opgaven bij de kerndoelen is in veel gevallen aangepast.
- De taligheid van de opgaven en de opdrachten is een belangrijk aandachtspunt geweest bij de verdere instrumentontwikkeling. We hebben bij de herziening van de opgaven gestreefd naar een minimum aan taal. Daarbij zijn de opdrachten door deskundigen gescreend op taalniveau.
- Plaatjes zijn aangepast.
1 In verband met mogelijke uitval zijn in eerste instantie 34 opgaven meer ontwikkeld dan beoogd (zie tabel 1.6).
2.1.2 Praktische opdrachten
In de periode juni t/m september 2015 zijn de praktische opdrachten voor de peiling Natuur en Techniek verder ontwikkeld. Uitgangspunt voor dit werk was de domeinbeschrijving van SLO (2015).
Cito heeft voor de pre-test in september in totaal 10 opdrachten ontwikkeld (2 groepsopdrachten en 8 individuele opdrachten), gelijkmatig verdeeld over de ontwerpcylus en de onderzoekcyclus. Met de praktische opdrachten zijn de prestaties van leerlingen gemeten in de ontwerpcyclus en de
onderzoekcyclus. De toetsdoelen sluiten aan bij de kerndoelen 42 en 45.
De contexten bij de opdrachten sluiten aan bij belangrijke inhoudelijke domeinen. De inhoudelijke domeinen zijn overgenomen van de peiling Natuur en Techniek in 2010. Het betreft tien domeinen voor natuurkunde en vijf domeinen voor techniek. Natuurkunde: Krachten, Energie, Licht en kleur, Elektriciteit, Zinken, zweven en drijven, Lucht, Geluid en Magnetisme. Techniek: Eigenschappen van materialen, Constructies en verbindingen, Overbrengingen en Geautomatiseerde systemen.
Tabel 2.1 geeft een overzicht van de tien verschillende praktische opdrachten in de pre-test. Er zijn vijf ontwerpopdrachten en vijf onderzoekopdrachten. De onderzoekopdracht Knikkerbaan en de
ontwerpopdracht Uilenpost zijn zowel als individuele opdracht en als groepsopdracht ingezet.
Bij elke opdracht hoort een werkblad voor de leerling(en) en een doos met het materiaal/gereedschap dat de leerling(en) mag/mogen gebruiken.
Tabel 2.1 Overzicht praktische opdrachten Peil.onderwijs Natuur en Techniek in de pretest Groeps
opdracht Individuele
opdracht Ontwerpcyclus
(kerndoel 45) Onderzoekcyclus (kerndoel 42)
Knikkerbaan X X X
Knikkers te koop X X
Wandelende tak X X
Kopje onder X X
Warmte en licht in het klaslokaal X X
Uilenpost X X X
Brug X X
Fietsbel X X
Bibberspel X X
Aquarium X X
Totaal 2 10 5 5
2.2 Definitieve opgavenset inclusief ankeritems
Op grond van de resultaten in de pre-test zijn een ankeropgave en 28 nieuw ontwikkelde opgaven met een negatieve Rir uit de toetsen verwijderd. In verband met de dekking van de ankeropgaven volgens de toetsmatrijs zijn daarnaast nog 26 nieuw ontwikkelde opgaven verwijderd op basis van hun lage Rir- waarde. De 100 nieuw ontwikkelde opgaven zijn aangevuld met 80 ankeropgaven uit de peiling in 2010.
Tabel 2.2 Aantal opgaven Peil.onderwijs Natuur en Techniek
Pretest Peiling NT 2015
Kerndoel ankers nieuw totaal weg nieuw ankers totaal
40 Leefomgeving 6 34 40 17 17 14 31
41 Vorm en functie 4 30 34 17 13 18 31
42 Onderzoeken 6 24 30 7 17 18 35
43 Weer en klimaat 20 20 1 19 3 22
44 Werking, vorm en materiaal 5 31 36 11 20 17 37
46 Aarde 5 15 20 1 14 10 24
Totaal 26 154 180 54 100 80 180
Beide groepsopdrachten hebben de pre-test doorstaan. Van de individuele opdrachten zijn er twee tijdens de pre-test gesneuveld. De overige 8 individuele opdrachten waren in principe geschikt voor afname. Omdat het design van de peiling voorzag in 6 individuele opdrachten, zijn twee opdrachten buiten de peiling gehouden, namelijk: Uilenpost individueel en Wandelende tak. Bij deze keuze waren twee motieven belangrijk. Op de eerste plaats wilde Cito bij één van de opdrachten zowel de
groepsvariant als de individuele variant handhaven. Daarvoor is de Knikkerbaan geselecteerd, ook omdat over een vergelijkbare opdracht internationale vergelijkingsdata beschikbaar waren. Bij deze analyse heeft geen vergelijking plaats gevonden van de data met de internationale data. De
Wandelende Tak was van de resterende individuele opdrachten het lastigst uit te voeren.
Tabel 2.3 geeft een overzicht van de praktische opdrachten in de uiteindelijke peiling. Er zijn vier ontwerpopdrachten en vier onderzoekopdrachten geselecteerd. De onderzoekopdracht Knikkerbaan is zowel als individuele opdracht als als groepsopdracht ingezet. De ontwerpopdracht Uilenpost is alleen als groepsopdracht ingezet.
Tabel 2.3 Overzicht praktische opdrachten Peil.onderwijs Natuur en Techniek Groeps
opdracht Individuele
opdracht Ontwerpcyclus
(kerndoel 45) Onderzoekcyclus (kerndoel 42)
Knikkerbaan X X X X
Knikkers te koop X X
Kopje onder X X
Uilenpost X X
Brug X X
Fietsbel X X
Bibberspel X X
Totaal 2 6 4 4
Drie leerlingen voerden onder begeleiding van één toetsleider een groepsopdracht uit. Deze opdracht nam 45 minuten in beslag. In hetzelfde lokaal maakten drie leerlingen onder begeleiding van een tweede toetsleider ieder een andere individuele opdracht. De individuele opdrachten varieerden in toetslengte. Ze namen tussen de 10 en 35 minuten in beslag. Wanneer een leerling klaar was met de individuele opdracht, ging hij of zij terug naar het klaslokaal en vroeg een andere leerling om naar de toetsruimte te komen.
Tijdens de opdrachten konden niet alle relevante vaardigheden uit de onderzoeks- en ontwerpcyclus aan bod komen. Ten eerste omdat leerlingen in maximaal 45 minuten slechts opdrachten van beperkte omvang kunnen uitvoeren. Bepaalde vaardigheden, zoals het geven van een presentatie konden daardoor niet goed worden gedemonstreerd. Ten tweede is de omvang van wat een toetsleider kan registreren en beoordelen in 45 minuten aan grenzen gebonden.
Gekozen is voor het oproepen en beoordelen van specifieke vaardigheden die een belangrijke rol spelen in de verschillende fasen van beide cycli (ontwerpen en onderzoeken). De tabellen 2.4 en 2.5 geven er een overzicht van.
Tabel 2.4 Praktische opdrachten ontwerpcyclus
Uilenpost
groep Brug Fietsbel Bibberspel
Vaardigheden fase
Probleem vertalen naar eisen X
Oplossingen bedenken Verkennen
Ontwerp kiezen Ontwerpen
Ontwerp uitvoeren Uitvoeren X X X
Ontwerp testen en aanpassen Testen / evalueren X X X
Over resultaat communiceren Presenteren
Verdiepen Verdiepen
Domeinen natuurkunde Krachten
Energie Licht en kleur
Elektriciteit X
Zinken, zweven en drijven Lucht
Geluid Magnetisme Domeinen Techniek
Eigenschappen van materialen X
Constructies en verbindingen X X X
Overbrengingen
Geautomatiseerde systemen X
Tabel 2.5 Praktische opdrachten onderzoekcyclus
Knikkerbaan
groep Knikkerbaan
individueel Knikkers
te koop Kopje onder
Vaardigheden Fase
Variabelen herkennen X X
Een hypothese formuleren Verkennen X X
Experiment opzetten Opzetten X X
Data verzamelen Uitvoeren X X X
Data analyseren Uitvoeren X X X
Conclusie trekken Concluderen X X X X
Domein natuurkunde
Krachten X X
Energie Licht en kleur Elektriciteit
Zinken, zweven en drijven X
Lucht Geluid Magnetisme Domeinen Techniek
Eigenschappen van materialen X
Constructies en verbindingen Overbrengingen
Geautomatiseerde systemen
2.3 Begeleiding en beoordeling van praktische opdrachten
In de peiling is onderzocht waartoe een leerling alleen in staat was, dan wel wat een groepje leerlingen zonder hulp aankon. Maar ook is onderzocht waartoe leerlingen in staat waren wanneer ze in
opdrachten vastliepen en aangewezen waren op hulp van buiten. Zo ging de peiling verder door niet alleen vast te stellen wat een leerling of een groepje leerlingen niet kon, maar ook wat mogelijk was bij verschillende vormen en gradaties van hulp.
Aan leerlingen die tijdens het uitvoeren van de opdracht vastliepen, bood de toetsleider passende hulp. Afhankelijk van de aard van een blokkade in de voortgang kon de toetsleider verschillende vormen van hulp geven. Hierbij werd onderscheid gemaakt in ① leeshulp, ② proceshulp,
③ inhoudelijke hulp en ④ modelling.
1 Leeshulp: ① Hulp bij de verwerking van opgave-informatie:
Deze hulp omvatte het opheffen van belemmeringen die de leerlingen ondervonden bij het begrijpen van de opdracht ten gevolge van leesproblemen of het niet begrijpen van woorden in de tekst op het werkblad. Deze vorm van hulp moest het leerlingen mogelijk maken zich een beeld te vormen van de opdracht.
Deze hulp beperkte zich tot het verduidelijken wat er op het werkblad staat en bevatte geen informatie die verder gaat dan dat. Het leverde een leerling met belemmeringen op het gebied van lezen en begrijpen van de tekst een beeld van de opdracht op dat vergelijkbaar is met het beeld dat een leerling zonder dergelijke belemmeringen kon krijgen. Anders gezegd: de toegankelijkheid van de opdracht werd hierdoor vergroot.
2 Proceshulp: ② hulp bij zelfcontrole en evaluatie:
Deze hulp omvatte aanwijzingen zoals: “Lees het nog eens goed”, “Kun je verder?, “Begrijp je de opdracht?”, “Heb je het goed op kunnen schrijven?”, “Heb je gecontroleerd of alles goed staat?”.
Het omvatte ook bemoedigende opmerkingen als “Ga zo door”, “Je doet het prima”, “Dat is duidelijk”. Ook het geven van tijdsindicaties viel onder deze vorm van hulp: “Je hebt nog 5 minuten”. Bij de groepsopdrachten viel ook feedback op het verloop van de samenwerking onder deze vorm van hulp.
Kinderen hardop laten verwoorden wat ze denken, als tussenstap naar het opschrijven werd in dit onderzoek ook tot deze categorie gerekend. Proceshulp was algemeen van aard en niet gebonden aan een specifieke opdracht. Anders gezegd, de regulatie van activiteiten werd ondersteund. Vanuit meetoptiek was deze hulp noodzakelijk om voldoende responsen te ontlokken aan leerlingen binnen de beschikbare toetstijd.
3 Inhoudelijke hulp ③
Deze vorm van hulp betrof het voorbereiden of deels uitleggen van de denkstappen die de leerling moest maken om tot een antwoord te komen. Inhoudelijke hulp was een specifieke aanwijzing, die alleen bij een bepaalde taak hielp. Bijvoorbeeld een aanwijzing als: “Heb je nu alle mogelijke verschillen tussen de twee knikkerbanen opgeschreven?” was alleen relevant als een leerling verschillen moest vaststellen en stuurde de leerling in de richting van het zoeken van nog meer verschillen. “Kunnen jullie uitleggen waarom jullie voor dit antwoord kiezen” was alleen relevant als er argumentatie werd gevraagd en deze nog niet was gegeven. Een voorbeeld geven was ook een vorm van inhoudelijke hulp, die de leerling een idee gaf van de vorm van het antwoord dat werd verwacht. Ook aanwijzingen wat voor soort informatie er op specifieke plaatsen in een grafiek of tabel moest worden opgeschreven viel hieronder.
Inhoudelijke hulp moest worden gegeven als duidelijk werd dat leerlingen zonder deze hulp niet verder kwamen in het bedenken en beschrijven van een antwoord. Inhoudelijke hulp gaf nooit het (volledige) antwoord zelf.
Omdat inhoudelijke hulp specifiek was voor een taak, waren de meest voorkomende interventies in de praktische opdrachten uitgeschreven voor de toetsleider. Het was essentieel dat toetsleiders zich hielden aan de voorgeschreven interventies of althans geen verdergaande hulp boden, die zou neerkomen op het weggeven van het antwoord of het voordoen (wat hulptype 4 zou betekenen).
4 Modelling ④
Bij deze vorm van hulp gaf de toetsleider het volledige antwoord of deed de gevraagde handeling voor. Deze vorm van hulp zorgde er voor dat leerlingen verder kunnen met een (volgende stap in de) opdracht als ze er niet in slaagden om met inhoudelijke hulp tot een oplossing te komen.
De eerste drie minuten gaf een toetsleider geen hulp van niveau 3 of 4, tijdens deze beginfase mocht een toetsleider alleen proceshulp of leeshulp bieden. Dit om de leerlingen de kans te bieden de opdracht zelfstandig uit te voeren.
Na tweederde van de tijdslimiet (deze verschilde per opdracht, maar stond aangegeven bij elke deelopdracht) vroeg de toetsleider: ‘Heb je hulp nodig?‘
• Als de leerling aangaf hulp te willen, gaf de toetsleider hulp van niveau 3.
• Wanneer een leerling aangaf geen hulp te willen, liet de toetsleider hem/haar nog 1 minuut verder werken en mocht de leerling dan nog niet verder komen, dan gaf de toetsleider hulp van niveau 3.
• Hulp van niveau 4 gaf de toetsleider nadat de tijdslimiet was verlopen en de leerling geen oplossing gevonden had of wanneer duidelijk was dat de leerling de opdracht niet kon voltooien (om
frustratie tegen te gaan, wachtte de toetsleider niet tot de tijdslimiet verstreken is).
In de kantlijn van het werkblad voor de leerling stond een tabel waar de toetsleider informatie noteerde over geleverde prestaties en interventies. De toetsleider gaf hier ook informatie over een eventuele tijdsoverschrijding. Aanwijzingen hiervoor stonden op de linkerpagina in de handleiding.
Deze aanwijzingen bestonden uit:
• Omschrijving van de te beoordelen prestaties: dit waren de elementen die in het product aanwezig moesten zijn. Deze elementen waren aangegeven met de codes ❶, ❷, ❸, ❹ enzovoorts.
• Aanwijzingen voor inhoudelijke hulp (type 3) per prestatie-element.
• Aanwijzingen voor het afbreken van de opdracht (modelling, type 4).
De tabel in de linkerkantlijn van het werkblad van de leerling sloot hierbij aan. De tabel had bij elke deelopdracht dezelfde opbouw, bijvoorbeeld bij een opdracht met vier prestatie-elementen.
T5 ⓪ ③
❶
❷
❸
❹
① ② ④
• T5. Dit is de maximaal beschikbare tijd voor dit onderdeel. Vóór die tijd dient de opdracht voltooid te zijn.
• ⓪ In deze kolom noteert de toetsleider per prestatie-onderdeel het resultaat zonder dat er inhoudelijke hulp gegeven is: 0 (niet behaald) of een 1 (behaald).
• ③In deze kolom noteert de toetsleider per prestatie-onderdeel het resultaat nadat er inhoudelijke hulp gegeven is: 0 = niet behaald, ook na inhoudelijke hulp of 1= behaald na inhoudelijke hulp).
Wanneer een leerling niet zelf om hulp vraagt, geeft de toetsleider bij het verstrijken van de tijd hulp van het type ④. Inhoudelijke hulp (③) wordt
gegeven nadat ongeveer 2/3 van de beschikbare tijd is verstreken. In het geval van T5, is dat na ongeveer drieëneenhalve minuut.
• In de onderste rij noteert de toetsleider met een streepje of er op enig moment tijdens de opdracht leeshulp ① of proceshulp ② gegeven is.
• Als de beschikbare tijd is verlopen geeft de toetsleider het antwoord of voert de gevraagde handeling uit, zodat de leerlingen verder kunnen met het volgende onderdeel. Het symbool ④ wordt in dit geval doorgestreept.
Voorbeelden T5 ⓪ ③
❶ 1
❷ 1
❸ 1
❹ 1
① ② ④
De toetsleider heeft de leerling geholpen bij het lezen van de tekst. Daarna heeft de leerling zonder hulp de opgave volbracht. Alle prestatie-elementen waren aanwezig.
De leerling bleef binnen de tijd.
T5 ⓪ ③
❶ 1
❷ 1
❸ 0 1
❹ 0 1
① ② ④
De leerling toonde de prestatie-elementen 1 en 2 zonder hulp. De elementen 3 en 4 bleven achterwege. Na inhoudelijke hulp werden elementen 3 en 4 alsnog getoond.
De leerling bleef binnen de tijd.
T5 ⓪ ③
❶ 1
❷ 1
❸ 0 0
❹ 0 0
① ② ④
De leerling toonde de prestatie-elementen 1 en 2 zonder hulp. De elementen 3 en 4 bleven achterwege. Na drieëneenhalve minuut gaf de toetsleider inhoudelijke aanwijzingen ③. Omdat ook na deze aanwijzingen de leerlingen de prestatie niet toonden, gaf de toetsleider na vijf minuten het antwoord en zette een streepje door symbool ④.
2.4 Handleiding voor de toetsleiders
Tegelijkertijd met de ontwikkeling van het toetsinstrumentarium is een handleiding opgesteld voor de toetsleiders. Deze handleiding is tijdens de weken van de pre-test beproefd en steeds aangepast op grond van de opgedane ervaringen. Ook de opmerkingen van medewerkers van het Expertisecentrum Nederlands en de toetsleiders zijn in de uiteindelijke versie van de handleiding verwerkt.
De handleiding beschreef het doel en de opzet van de peiling en de (voorbereiding van de) afname op een school van de theorietoets, de vragenlijst die ITS en EN hebben ontwikkeld en de praktische opdrachten. In de bijlagen stond een materiaallijst voor de toetsleider, een voorbeeld en de oplossing voor het diagram bij de praktische opdracht Knikkers te koop, de letterlijke instructie bij de
groepsopdracht Uilenpost, een bijlage met een uitleg over experimenteren bij de opdrachten over de Knikkerbanen en de werkbladen voor de (groepen met) leerlingen bij alle praktische opdrachten.
De instructies voor de afname van de praktische opdrachten bestonden uit letterlijke teksten, die toetsleiders geacht werden uit te spreken, uit de tijdsindicaties voor de verschillende onderdelen van de opdrachten en uit aanwijzingen voor het begeleiden en beoordelen van de leerlingen tijdens de opdracht. Ook is de scoring van de prestatie-elementen en de gegeven hulp op het werkblad beschreven.
2.5 Toetsmaterialen voor de leerlingen
De leerlingen kregen een toetsboekje met 25 of 26 opgaven en een antwoordblad, waarop zij hun antwoorden konden aanstrepen en opschrijven. In totaal waren er 14 versies van de toetsboekjes. Op elke school is steeds dezelfde toetsversie afgenomen. De boekjes waren in kleur afgedrukt, teneinde de afbeeldingen zo duidelijk mogelijk te kunnen weergeven. Bij elk boekje heeft ITS een optisch leesbaar formulier laten maken, zodat alle meerkeuzevragen direct gescand konden worden en in een databestand opgeslagen.
Bij elk boekje hoorde een correctiemodel met een sleutel bij elke meerkeuzevraag en een korte omschrijving van het gewenste antwoord met bijpassende score bij elke open vraag. Na afloop van de toets scoorden de toetsleiders de antwoorden op de open vragen. Deze scores zijn vervolgens door medewerkers van ITS handmatig ingevoerd.
De leerlingen kregen voor alle praktische opdrachten werkbladen. Op deze werkbladen maakten zij hun opdrachten en vulden zij uitspraken over hun proces in. Veel uitspraken beoordeelden de
leerlingen op een 5-punts Likertschaal. Ook de ingevulde gegevens op deze werkbladen konden direct worden gescand en worden opgeslagen in een databestand.
2.6 Instructies voor de scholen
Cito heeft de verzending van het totale pakket aan toetsmaterialen aan de 150 scholen verzorgd aan de hand van paklijsten op basis van het toetsdesign voor het peilingsonderzoek. De pakketten,
inclusief een begeleidende brief en een geleidebon met de inhoud van het pakket, zijn in de week voor de herfstvakantie naar elke school verzonden. De begeleidende brief bevatte onder andere een verzoek om geheimhouding van alle toetsmaterialen.
Nadat de toetsleiders van het Expertisecentrum Nederlands het onderzoek op een school hebben uitgevoerd, hebben zij alle materialen weer meegenomen.
2.7 Oordeel door externe deskundigen
De drie externe deskundigen Prof. dr. Maartje Raijmakers, drs. Dannie Wammes (pabo Hogeschool Arnhem en Nijmegen) en Marja van der Graft is gevraagd om een oordeel te geven over het definitieve toetsinstrumentarium voor Peil.onderwijs Natuur en techniek. In bijlage A zijn de volledige reacties van de deskundigen opgenomen. Marja van der Graft heeft niet aan het verzoek gehoord gegeven.
De deskundigen geven het belang aan van de praktische opdrachten. Zoals D. Wammes aangeeft: ‘In vergelijking met het laatste PPON onderzoek, geeft het praktijkonderzoek 2015 veel meer inzicht in de onderzoekvaardigheden van de leerlingen. […] Het gebruik van scaffolds in de opdrachten maakt het mogelijk om niet alleen vast te stellen welke onderzoeks- en ontwerpvaardigheden de leerlingen beheersen, maar geeft het ook een indicatie van het leervermogen van de leerlingen ten aanzien van deze vaardigheden.’
Ook Raijmakers legt de nadruk op de praktische opdrachten: ‘Het toets-instrumentarium zoals het er nu ligt, is een interessant instrument waarin gedurfde keuzes gemaakt zijn voor de toetsing van met name vaardigheden en houding. Deze keuzes zijn goed te verdedigen vanuit de literatuur over science educatie.’ Zij geeft hierbij ook de volgende kritische kanttekening: ‘Gezien deze gedurfde keuzes was er relatief korte tijd beschikbaar voor de ontwikkeling van een dergelijke test. De grote vraag is nu in welke mate het instrument ook betrouwbaar en valide zal blijken te zijn. […] Ik acht daarom een gedegen toets van het instrumentarium zoals het er nu ligt en eventuele mogelijkheden om het toets-
instrumentarium aan te passen van cruciaal belang om tot een kwalitatief goed instrument te komen.
Mijn belangrijkste advies is vooral veel aandacht te besteden aan gedegen onderzoek waarin
verschillende vormen van betrouwbaarheid (zowel wat betreft de uitvoering van afname, de scoring van de observaties, als de declaratieve vragen) en validiteit van het instrument (hoe vergelijkt dit instrument met het oordeel van de leerkracht en de kwantiteit en kwaliteit van de aandacht voor W&T op de school). Het belang van een dergelijk instrument rechtvaardigt deze investering wat mij betreft zonder meer.’
3 Psychometrische kwaliteit van het instrumentarium
In dit hoofdstuk worden de aanpak en resultaten van de pre-test, het toetsdesign en de analyseresultaten betreffende de normen, betrouwbaarheid en validiteit beschreven.
3.1 Aanpak en resultaten van de pre-test
Het belangrijkste doel van de pre-test voor de schriftelijke instrumenten en de praktische opdrachten was het bepalen hoe de opgaven functioneren in de doelgroep (leerlingen groep 8).
In juni 2015 zijn de scholen geworven, die mee wilden doen aan de pre-test. Hierbij is uitgegaan van een willekeurige steekproef. De werving verliep bijzonder moeizaam. Voor de werving heeft Cito in totaal 580 scholen benaderd. De mailing is gepersonaliseerd verstuurd naar bij Cito bekende
contactpersonen van groep 8; niet naar algemene e-mailadressen. Hierdoor werden de juiste mensen beter bereikt. Bovendien zijn na de mailingen van 26 juni en 1 juli scholen gebeld door een team.
Scholen zijn telefonisch helaas slecht bereikbaar, hadden vaak ook geen interesse of het tijdstip (vlak na de zomer) kwam hun niet goed uit. Bijna alle scholen zijn minimaal één keer gebeld.
Tabel 3.1 Scholen die hebben deelgenomen aan pre-test Peil.onderwijs Natuur en techniek
Datum Actie Aantal scholen
1-6-2015 Brief per post verstuurd 190
26-6-2015 Brief per post verstuurd 85
26-6-2015 E-mail naar scholen die brief hebben ontvangen 262
1-7-2015 E-mail naar nieuwe steekproef scholen 305
Totaal uniek aangeschreven scholen 580
Van de 580 benaderde scholen doen uiteindelijk slechts 14 scholen mee aan de pre-test (2,4%). Dit lage responspercentage wordt onder andere veroorzaakt door het bijzonder ongelukkige tijdstip van werving en pre-test. De werving vond plaats in de maand juni. Scholen zijn in deze laatste maand voor de zomervakantie heel druk met het afsluiten van het schooljaar en niet genegen om in te gaan op een verzoek aan medewerking aan een pre-test. Bovendien vond de pre-test tijdens de eerste
schoolweken in september plaats.
De pre-test duurde twee weken: van 31 augustus tot en met 4 september 2015 en van 14 tot en met 19 september 2015. Tijdens beide weken zijn de schriftelijke kennistoetsen en de praktische
opdrachten afgenomen bij in totaal veertien scholen. Drie van de veertien scholen stonden in het stedelijk gebied (in Arnhem). Hierdoor is de spreiding van de scholen in de pre-test min of meer representatief voor de rest van het land.
De afname vond plaats door drie toetsdeskundigen van Cito met deskundigheid op het gebied van Natuur en techniek en door D. Wammes, die eveneens betrokken was bij de ontwikkeling van met name de twee praktische groepsopdrachten. Twee van de drie toetsdeskundigen waren direct betrokken bij de ontwikkeling van de opgaven en praktische opdrachten. Na elke week vond een evaluatie-overleg plaats met alle betrokken afnameleiders, waarin de ervaringen werden uitgewisseld en verbeteringen van de materialen werden besproken.
3.1.1 Schriftelijke kennistoets
Het belangrijkste doel van de pre-test voor de kennistoetsen was het bepalen hoe de opgaven functioneren in de doelgroep. In totaal waren door Cito 154 nieuwe opgaven gemaakt. Deze opgaven waren, samen met enkele ankeropgaven, verdeeld over 10 unieke kennistoetsen met ieder 18 opgaven.
De verdeling van de aantallen opgaven over de tien toetsversies staat in tabel 3.2. Door experts werd aangegeven dat het voor een evenwichtige samenstelling naar de kerndoelen, ook gewenst was om opgaven over kerndoel 42 op te nemen.
Tabel 3.2 Verdeling opgaven in de pre-test over de kerndoelen.
Kerndoel Anker opgaven Nieuwe opgaven Totaal
40 Leefomgeving 6 34 40
41 Vorm en functie 4 30 34
42 Onderzoeken 6 24 30
43 Weer en klimaat 20 20
44 Werking, vorm en materiaal 5 31 36
46 Aarde 5 15 20
Eindtotaal 26 154 180
Tijdens de pre-test hebben de groepsleerkrachten bij hun leerlingen tien unieke versies van de theorietoets afgenomen. Aangezien de afname van de kennistoetsen sneller ging dan verwacht, hebben de toetsleiders aan de leerkrachten gevraagd om leerlingen zoveel mogelijk twee toetsversies te laten maken. Tabel 3.3 bevat het aantal leerlingen per toetsversie. Er zijn geen achtergrond-
kenmerken van de leerlingen verzameld.
Tabel 3.3 Aantal leerlingen per toetsversie.
Versie Aantal leerlingen
1 53
3 54
5 52
7 50
9 28
11 70
13 53
15 65
17 34
19 44
Totaal 503
Bijlage B bevat de resultaten van de toets- en itemanalyse. Op grond van de resultaten bleken een ankeropgave en 28 nieuw ontwikkelde opgaven niet geschikt voor de doelgroep, gezien hun negatieve Rir.
Omdat tijdens de pretest bleek, dat de leerlingen voor een toets met 18 opgaven minder dan 15 minuten nodig hadden, is - met toestemming van de inspectie op 27 september 2015 - de toetslengte van de kennistoetsen vergroot naar 25-26 opgaven per toetsversie. Hierdoor zal de betrouwbaarheid van de metingen worden verhoogd. De tijdsduur van de test valt dan nog steeds binnen het halfuur.
3.1.2 Praktische opdrachten
De pre-test besloeg een periode van twee weken. Tijdens de try-out zijn veertien scholen bezocht, waar ongeveer 200 leerlingen praktische opdrachten maakten. De ontwikkelaars van de opdrachten functioneerden als toetsleiders. Op enkele scholen zijn video-opnames gemaakt. Tijdens de pre-test zijn de opdrachten aangepast en opnieuw getest. Een systematische rapportage van de bevindingen van de try-out blijft daarom achterwege.
In de eerste week lag het accent op de uitvoerbaarheid van de opdracht voor de leerling.
Deelopdrachten die onvoldoende uit de verf kwamen of te veel tijd in beslag namen, zijn geschrapt. De individuele opdracht ‘Warmte en licht in het klaslokaal’ is tijdens de try-out geschrapt, omdat de meetinstrumenten voor de leerling (thermometer en lichtmeter) onbetrouwbaar bleken. Bij de opdracht ‘Aquarium’ bleek de bewerking van de vlotter van het aquarium te bewerkelijk voor leerling en toetsleider. De andere opdrachten voldeden aan de verwachtingen.
In de tweede week lag het accent bij het uitproberen van de opgaven op de verbetering van de beoordeling. Om een betrouwbaardere meting te krijgen, zijn in de beoordelingsmodellen de
interpretaties van de toetsleider vervangen door registraties van feitelijke prestaties van de leerlingen.
Ook zijn de beoordelingen van de individuele opdrachten en de groepsopdrachten op elkaar afgestemd. Na de nodige bijstellingen van de opdrachten leverden de uitvoering bij de meeste leerlingen weinig problemen meer op. Aan een betrouwbare beoordeling van de opdrachten is tot op het laatste moment gesleuteld.
Kort samengevat waren de resultaten van de pre-test:
• Beide groepsopdrachten hebben de test doorstaan.
• Van de individuele opdrachten zijn er twee tijdens de pre-test gesneuveld.
De overige 8 individuele opdrachten zijn in principe geschikt voor afname.
3.2 Toetsdesign
Deze paragraaf beschrijft het onderzoeksdesign voor de Peiling Natuur en techniek in het najaar van 2015. Daarbij wordt een onderscheid gemaakt tussen het design voor het schriftelijk instrumentarium en dat voor de praktische opdrachten.
3.2.1 Kennistoets
De nieuw ontwikkelde kennisopgaven zijn verdeeld over veertien heterogene clusters A tot en met N.
In ieder cluster werden, conform de toetsmatrijs, over zo veel mogelijk verschillende onderwerpen vragen gesteld. Ook de ankeropgaven uit eerdere peilingen zijn op deze wijze verdeeld over de verschillende clusters. In totaal besloegen de ankeropgaven, indien ook de praktische opdrachten worden verdisconteerd, maximaal 25% van de totale opgavenset.
In ieder cluster zaten 12 of 13 kennisopgaven. Tabel 3.4 laat zien hoe deze clusters aan leerlingen werden voorgelegd. Er werden veertien toetsboekjes samengesteld die ieder uit twee van deze heterogene clusters bestonden, waardoor tien boekjes uit 25 en vier boekjes uit 26 opgaven bestonden. Omdat ieder cluster in twee boekjes zat, moest iedere boekje door 275 kandidaten gemaakt worden om tot 550 observaties per opgave te komen. Dat aantal waarnemingen was ruim voldoende om tot een betrouwbare meting te komen.
