Cohen, J. (1977). Statistical power analysis for the behavioral sciences (revised edition). Hillsdale, NJ: Lawrence Erlbaum.
Evers, A., Lucassen, W., Meijer, R., & Sijtsma, K. (2009). COTAN beoordelingssysteem voor de kwaliteit van tests (geheel herziene versie). Amsterdam: Faculteit der Maatschappij- en Gedragswetenschappen.
Greven, J., & Letschert, J. (2006). Kerndoelen primair onderwijs. Den Haag: Ministerie van OCW.
Groot, A.D. de (1974). The problem of evaluating national educational systems. In H.F. Crombag & Dato N.
de Gruyter (Eds.), Contemporary issues in educational testing (pp. 9-27). The Hague: Mouton.
Landis, J.R., & Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics 33 (1): 159–174.
SLO (2008). TULE - Natuur en techniek: inhouden en activiteiten bij de kerndoelen van 2006. Enschede: SLO.
SLO (2015). Domeinbeschrijving van het leergebied Natuur en techniek primair onderwijs. Enschede: SLO.
Advies verkenningscommissie wetenschap en technologie primair onderwijs (2013)
SLO (2015). Domeinbeschrijving Wetenschap en technologie bij het leergebied Oriëntatie op jezelf en de wereld. Enschede: SLO.
WPO (2005) Besluit vernieuwde kerndoelen WPO
Bijlage A Eindoordelen van externe deskundigen Reactie Prof. Dr. Maartje Raijmakers
Ontwikkelingspsychologie, Universiteit van Amsterdam Educational Sciences, Universiteit Leiden
november 2015
Introductie
Het door CITO ontwikkelde toets-instrumentarium zoals dat door mij ingezien is, bestaat uit 14 versies van de schriftelijke toets, multiple-choice vragen en open vragen, praktische opdrachten (individueel en groepsopdracht) met aanvullende inhoudelijke vragen, vragen waarmee leerlingen zelf het proces evalueren van de opdrachten evalueren, en observaties betreffende houding en algemene vaardigheden door de toetsleider. Dit ging gepaard met een handleiding voor de toetsleider en een beschrijving van het toetsplan en de toetsmatrijs. Ik zal hieronder een evaluatie geven van de opbouw van de toets. Er heeft een pretest met een eerste versie van de toets plaatsgevonden waarmee de toets is aangepast. Onderzoek naar de validiteit en betrouwbaarheid van de toets is verder niet beschreven in het rapport. Ook een plan voor onderzoek heb ik niet ingezien. Ik zal daarop terugkomen in de conclusie.
Alvorens in te gaan op de opzet van de toetsmatrijs en het toets-instrumentarium wil ik eerst het belang van de toets benadrukken. Los van het toetsen van de formele eisen die aan basisscholen gesteld worden over (de effectiviteit van) het W&T onderwijs, zal een dergelijke toets ook een functie kunnen hebben in de beeldvorming over W&T onderwijs bij de leerkrachten. Voor veel leerkrachten in het primair onderwijs is het niet eenvoudig zich een helder beeld te vormen wat de leerdoelen, mn met betrekking tot
vaardigheden en houding, concreet inhouden voor hun lespraktijk. De stap die nu gezet wordt om niet alleen kennis, maar ook vaardigheden en houding te toetsen (overeenkomstig met het SLO leerplankader) en daarvoor praktische opdrachten en observaties te gebruiken geeft een heel belangrijk signaal af aan de leerkracht dat dit te meten grootheden zijn. Dit signaal is mijns inziens heel waardevol. De suggestie om de leerkracht aanwezig te laten zijn bij de praktische opdrachten (als observator) sluit aan bij deze gedachte.
Het vormgeven van een dergelijk instrumentarium met de haalbaarheidseisen die de inspectie daaraan stelde, is geen triviale zaak zoals ook internationaal onderkend wordt (Pellegrino et al., 2014). Er zijn niet voor alle onderdelen van de toets, met name wat betreft vaardigheden en houding, bestaande testen voor de beoogde leeftijdsgroep in de wetenschappelijke literatuur beschreven, waarop het instrumentarium gebaseerd kon worden. CITO heeft dan ook belangrijke keuzes moeten maken over de wijze van
operationalisatie (de toetsvormen), die moeilijk waren in de wetenschappelijke literatuur te verankeren.
Daarom is het huidige resultaat ook voor verder wetenschappelijk onderzoek zeer interessant en kijk ik bijzonder uit naar het validatie en betrouwbaarheidsonderzoek. Dit zal bijzondere aandacht moeten krijgen omdat we van de opzet van een aantal onderdelen (mn de praktische opdrachten en observaties door toetsleiders) nog relatief weinig weten.
Toetsmatrijs en operationalisatie
Ik zal met name ingaan op de toetsing van vaardigheden en houding, omdat de (declaratieve)
kennisvragen direct aansluiten bij eerder ontwikkeld materiaal. De dekking van de kerndoelen met de declaratieve kennisvragen (zoals in 3.1 beschreven) ziet er goed uit.
De vaardigheden zijn uitgesplitst in ontwerp- en onderzoeksvaardigheden. Deze scheiding wordt mn door professionals (zie bijvoorbeeld Van Keulen en Slot, 2014) sterk onderschreven. Als leidraad zijn hier stappenplannen gebruikt die gebruikt worden in het onderwijs om de processen van onderzoekend en ontwerpend leren in de klas vorm te geven. De verschillende deelprocessen (en de daarvoor benodigde vaardigheden) komen mijns inziens op een heldere wijze terug in de opzet en de observatie van de
praktische opdrachten. Er is hier een keuze gemaakt om steeds slechts enkele deelprocessen te selecteren en die te operationaliseren in een opdracht (i.p.v. alle vaardigheden aan bod te laten komen in één opdracht). Deze keuze lijkt mij zeer verstandig om de afhankelijkheid van de verschillende onderdelen niet te groot te maken en de onderdelen helder te isoleren (Pelligrino et al., 2014). Er wordt vermeld dat de pretest laat zien dat de haalbaarheid in tijd prima is. De grote vraag is momenteel hoe goed de
betrouwbaarheid en de validiteit van de metingen middels de praktische opdrachten zijn (hierover later meer).
Voor de praktische opdrachten is een tweede belangrijke keuze gemaakt: scaffolding van het proces waar nodig door de toetsleider. Dit is in vele opzichten een gedurfde keuze, die met name denk ik vanuit de wetenschappelijke literatuur goed te verdedigen is. Meta-analyses laten zien dat de effectiviteit van onderzoekend leren sterk afhankelijk is van de mate waarin kinderen in het proces begeleid worden (Alfieri et al., 2011; Kirschner et al., 2006). Deze begeleiding van het proces zou daarom een inherent onderdeel moeten zijn van activiteiten in het W&T onderwijs (wat niet wil zeggen dat het dit in het huidige onderwijs ook daadwerkelijk zo is). Het gebruik van adaptieve scaffolds is een tweede, belangrijke reden dat de betrouwbaarheid en validiteit van de opdrachten essentieel zijn om uitgebreid te onderzoeken. In de handleiding zien de aanwijzing voor de toetsleiders er complex uit. Er wordt heel kort vermeld dat er training is (p. 4), maar er zijn geen gegevens verstrekt over de mate waarin de training leidt tot
betrouwbare metingen (bv, voldoende inter-beoordelaarsbetrouwbaarheden voor beslissingen over scaffolds). Dit is cruciaal en niet triviaal voor een betrouwbaar instrumentarium.
De beoordelingslijsten voor de houding en algemene vaardigheden (voor de leerling en de toetsleider) zijn beknopt, maar het grote voordeel van deze manier van meten is dat er een specifieke, gestandaardiseerde context is waarop de vragen betrekking hebben. Dit is zeker niet vanzelfsprekend bij attitudelijsten (zie bv Van Aalderen-Smeets, S. & Walma van der Molen, J., 2013) maar door de te verwachten grote individuele verschillen in relevante ervaring van de leerlingen lijkt mij een gestandaardiseerde context waarover de vragen gaan van groot belang. Echter, de validiteit van dit onderdeel van het toetsinstrument lijkt mij zeer belangrijk om nauwkeurig te onderzoeken. Zowel de vergelijking met het oordeel van de (ervaren of getrainde) leerkracht (middels bv de VROO; van Keulen & Slot, 2014) als de vergelijking met een bestaande attitude vragenlijst voor leerlingen (Walma van der Molen, 2007) zou denk ik een onderdeel van het validiteitsonderzoek moeten zijn.
Conclusie
Het toets-instrumentarium zoals het er nu ligt, is een interessant instrument waarin gedurfde keuzes gemaakt zijn voor de toetsing van met name vaardigheden en houding. Deze keuzes zijn goed te
verdedigen vanuit de literatuur over science educatie. Gezien deze gedurfde keuzes was er relatief korte tijd beschikbaar voor de ontwikkeling van een dergelijke test. De grote vraag is nu in welke mate het instrument ook betrouwbaar en valide zal blijken te zijn. Het rapport geeft hier vrijwel geen informatie over. Ook geeft het rapport geen inzicht in de mate waarin afzonderlijke onderdelen tijdens het ontwikkelproces uitgeprobeerd zijn. Dat maakt het zeer moeilijk om hierover verwachtingen uit te spreken.
Ik acht daarom een gedegen toets van het instrumentarium zoals het er nu ligt en eventuele
mogelijkheden om het toets-instrumentarium aan te passen van cruciaal belang om tot een kwalitatief goed instrument te komen. Mijn belangrijkste advies is vooral veel aandacht te besteden aan gedegen onderzoek waarin verschillende vormen van betrouwbaarheid (zowel wat betreft de uitvoering van afname, de scoring van de observaties, als de declaratieve vragen) en validiteit van het instrument (hoe vergelijkt dit instrument met het oordeel van de leerkracht en de kwantiteit en kwaliteit van de aandacht voor W&T op de school). Het belang van een dergelijk instrument rechtvaardigt deze investering wat mij betreft zonder meer.
Referenties
van Aalderen-Smeets, S., & Walma van der Molen, J. (2013). Measuring primary teachers' attitudes toward teaching science: Development of the dimensions of attitude toward science (DAS) instrument.
International Journal of Science Education, 35(4), 577-600.
Alfieri, L., Brooks, P. J., Aldrich, N. J., & Tenenbaum, H. R. (2011). Does discovery based instruction enhance learning? Journal of Educational Psychology, 103(1), 1-18.
Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why minimal guidance during instruction does not work:
An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41, 75–86.
Pellegrino, J. W., Wilson, M. R., Koenig, J. A., & Beatty, A. S. (Eds.). (2014).Developing assessments for the next generation science standards. National Academies Press.
Van Keulen, H. & Slot, E. (2014). Excellentiebevordering door middel van onderzoekend en ontwerpend leren: Vaardighedenrubrics onderzoeken en ontwerpen. Uitgegeven i.s.m. School aan Zet.
Walma van der Molen, J. (2007). De ontwikkeling van een attitude-instrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs. Eindrapportage VTB attitude monitor, Oktober, 2007.
Reactie D. Wammes
Bij de samenstelling van de praktijkopdrachten heb ik als niet CITO medewerker, veel ruimte gekregen om mijn kennis, van en ervaring met onderzoekend en ontwerpend leren, in te brengen in het ontwerp van de praktijkopdrachten. In vergelijking met het laatste PPON onderzoek, geeft het
praktijkonderzoek 2015 veel meer inzicht in de onderzoeksvaardigheden van de leerlingen.
De knikkerbaan meet de mate waarin leerlingen de control of variables strategie beheersen en maakt een vergelijking met resultaten van internationaal onderzoek mogelijk. Daarnaast wordt ook
vastgesteld in hoeverre ze gebruik maken van herhaald meten om de betrouwbaarheid van waarnemingen vast te stellen. Met de opdracht Knikkers te Koop kan vastgesteld worden in hoeverre leerlingen in staat zijn om data grafisch weer te geven en op basis van die weergegeven data voorspellingen te doen over een nieuwe situatie. De opdracht Kopje Onder geeft inzicht in de mate waarin leerlingen essentiële variabelen kunnen onderscheiden bij het waarnemen van een verschijnsel. Daarnaast kan ook worden vastgesteld in hoeverre zij een kritische houding hebben ten aanzien van een eerste hypothese; bevestigen zij deze of stellen zij deze bij op basis van nieuw verkregen informatie?
Bij ontwerpend leren is er bij de groepsopdracht nadrukkelijk aandacht voor de verschillende ontwerpvaardigheden die binnen de ontwerpcyclus een rol spelen en geeft de opdracht bibberspel inzicht in de mate waarin leerlingen in staat zijn om op basis van kennis over de stroomkring, probleem te
identificeren en op te lossen. Brug en Fietsbel maken een vergelijking met het laatste PPON onderzoek mogelijk.
Het gebruik van scaffolds in de opdrachten maakt het mogelijk om niet alleen vast te stellen welke onderzoeks- en ontwerpvaardigheden de leerlingen beheersen, maar geeft het ook een indicatie van het leervermogen van de leerlingen ten aanzien van deze vaardigheden.
Dan nog enkele opmerkingen over het document toetsplan en toetsmatrix Pag Opmerking
6 Niveaus van inhoudelijke sturing zijn niet helder beschreven, sluiten niet aan bij
onderzoeksliteratuur op het gebied van scaffolding. In Handleiding toetsleiders is in elk geval de omschrijving duidelijker.
Zelfbeoordeling leerling: waarde hiervan wordt niet onderbouwd 9 Beperkte wetenschappelijke onderbouwing
Bijlage B Resultaten pre-test toetsversies
90% Confidence : 0,22 =< 0,43 =< 0,60) 40 items: 0,62 (Spearman-Brown)
Population : NT2_VZ05
90% Confidence : -0,02 =< 0,25 =< 0,47) 40 items: 0,42 (Spearman-Brown)
Population : NT2_VZ07
90% Confidence : 0,35 =< 0,52 =< 0,67) 40 items: 0,71 (Spearman-Brown)
Population : NT2_VZ09
90% Confidence : 0,16 =< 0,39 =< 0,58) 40 items: 0,59 (Spearman-Brown)
Population : NT2_VZ11
90% Confidence : -0,09 =< 0,28 =< 0,57) 40 items: 0,46 (Spearman-Brown)
Population : PPNTVZ03
90% Confidence : 0,18 =< 0,37 =< 0,54) 40 items: 0,57 (Spearman-Brown)
Population : PPNTVZ13
90% Confidence : 0,10 =< 0,34 =< 0,54) 40 items: 0,53 (Spearman-Brown)
Population : PPNTVZ15
90% Confidence : 0,14 =< 0,35 =< 0,53) 40 items: 0,54 (Spearman-Brown)
Population : PPNTVZ17
90% Confidence : 0,46 =< 0,63 =< 0,77) 40 items: 0,79 (Spearman-Brown)
Population : PPNTVZ19
90% Confidence : 0,22 =< 0,44 =< 0,63) 40 items: 0,64 (Spearman-Brown)
Bijlage C Resultaten opgaven in theorietoetsen
6Kerndoel = kerndoel code; N lln = Aantal leerlingen; Gem. p-waarde = gemiddelde p-waarde; Gem. Rit = Gemiddelde item- totaal-correlatie.
* Niet meegenomen in verdere analyses omdat item niet goed bleek te functioneren:
Item Label Naam
Item Label Naam
Item Label Naam
Kern-doel6 N lln Gem
p-waarde Gem Rit Opmerkingen
148 31990 Zeeklimaat 43 431 22,3 0,23
149 31991 Dag en nacht grafiek 43 452 36,9 0,24 150 31993 Ergens in Nederland 46 440 25,7 0,26
151 31994 Oase 46 451 67,6 0,41
152 31995 Henk de Haan 46 438 58,9 0,33
153 31996 Zierikzee 46 438 56 0,32
154 31997 Heelal 46 439 96,8 0,06
155 31999 Foto van de aarde 46 421 26,1 0,27
156 32000 Foto van Afrika 46 428 55,8 0,22
157 32001 Koude maand 46 424 72,4 0,26
158 32002 Europa 43 438 27,6 0,31
159 32007 Tuinvogels3 40 416 56,5 0,27
160 32008 Tuinvogels4 40 411 78,8 0,27
161 32009 Diergroepen2 40 421 6,0 0,37
162 32012 (On)gewervelde dieren2 40 428 74,5 0,24 163 32014 Dierenverblijfplaatsen2 40 451 45,7 0,07 164 32015 Dierenverblijfplaatsen3 40 416 79,6 0,08
165 32017 De natuur2 40 424 38,9 0,27
166 32023 Temperatuur op schoolplein 43 452 88,9 0,16 167 32025 Onweer boven Gouda 43 411 50,1 0,27 168 32026 Koudste plaats in de winter 43 451 84,0 0,36 169 32027 Temperatuur op 21 juni 43 451 49,9 0,23
170 32028 Positie zon 43 438 34,2 0,34
171 32029 Landklimaat 43 438 30,6 0,24
172 32030 Vier lichtverschijnselen aan
de hemel 43 438 95,2 0,08
173 32031 Hagel en ijzel 43 439 33,3 0,29
174 32032 Zonnestand 1 43 411 28,0 0,19
175 32033 Zonnestand 2 43 437 39,1 0,37
176 32034 Hoge luchtdruk 43 421 15,4 0,23
177 32035 Witte vlekken 43 421 85,0 0,28
178 32036 Opwarming aarde 43 428 35,7 0,31
179 32037 Luchtdruk 43 416 62,5 0,21 * slechte passing in model.
180 32039 Barometer 43 424 3,5 -0,12
Bijlage D Vergelijking resultaten van verschillende groepen leerlingen
Uit de analyses blijkt dat in deze peiling jongens beter scoren op Natuur en Techniek dan meisjes (Est. = 0.16, SE = 0.02, z = 6.70, effectgrootte7 = 0.35). Er zijn geen verschillen gevonden tussen scholen van verschillende regio’s op hoe goed de leerlingen presteerden op de Natuur en Techniek toets als men corrigeert voor de overige variabelen. Tegen de verwachting in zijn er ook geen verschillen gevonden tussen voorhoedescholen en representatieve scholen; leerlingen van voorhoedescholen scoren niet beter op Natuur en Techniek dan leerlingen van representatieve scholen (Est. = 0.01, SE = 0.03, z = 0.39, n.s.8), ook niet wanneer er gecorrigeerd wordt voor de eerder genoemde variabelen.
Tabel D.1 beschrijft de resultaten van deze analyse als ook gecorrigeerd is voor verschillende variabelen:
• Stratum, dat is een classificatie van scholen op het percentage gewichtsleerlingen op een school:
1 = Scholen met een percentage gewichtsleerlingen op de school tussen 0% en 10%;
2 = Scholen met een percentage gewichtsleerlingen op de school tussen de 10% en 25%;
3 = Scholen met een percentage gewichtsleerlingen op de school van meer dan 25%),
• leeftijd (Reg. = Regulier; Vert. = Vertraagd),
• de regio van de school en
• of een school tot een voorhoedeschool behoort of niet.
Tabel D.1 Vergelijking van resultaten van verschillende groepen op de totale schaal Natuur en Techniek
Variabele9 Est. SE z Effect
Net als bij de totale schaal Natuur en Techniek, scoren jongens beter dan meisjes op de kerndoelen 42 (‘natuurkunde’), 44 (‘techniek’) en het gecombineerde kerndoel 43-46 (‘aardrijkskunde’) als gecorrigeerd is voor de variabele leeftijd, stratum, de regio van de school en of een school tot een voorhoedeschool behoort of niet (zie Tabel D2-6). Voor de kerndoelen 40 (‘biologie’) en 41 (‘biologie’), zijn geen significante verschillen gevonden tussen jongens en meisjes. Verder zijn er net als bij de totale schaal Natuur en Techniek ook voor de verschillende kerndoelen geen verschillen gevonden tussen scholen van
7 Effectgrootte gedefinieerd als Cohen’s d
8 n.s. = niet significant bij een significantieniveau van 0.05
9Stratum 1 = Scholen met een percentage gewichtsleerlingen op de school tussen 0% en 10%;
Stratum 2 = Scholen met een percentage gewichtsleerlingen op de school tussen de 10% en 25%;
Stratum 3 = Scholen met een percentage gewichtsleerlingen op de school van meer dan 25%; J = jongen; M = meisje;
Reg. = Regulier; Vert. = Vertraagd; N = Regio Noord Nederland; O = Regio Oost Nederland; W = Regio West Nederland;
Z = Regio Zuid Nederland; Est. = schatter; SE = Standard Error; z = z waarde; Effect = effectgrootte gedefinieerd als Cohen’s d, gerapporteerd voor effecten die bij een significantieniveau van 0.05 significant zijn; n.s. = niet significant bij een significantieniveau van 0.05
verschillende regio’s, en ook geen verschillen tussen voorhoedescholen en representatieve scholen, wanneer er gecorrigeerd wordt voor de eerder genoemde variabelen.
Tabel D.2 Vergelijking van resultaten van verschillende groepen op subschaal kerndoel 40 Natuur en Techniek
Variabele10 Est. SE z Effect
Tabel D.3 Vergelijking van resultaten van verschillende groepen op subschaal kerndoel 41 Natuur en Techniek
Variabele Est. SE z Effect
Tabel D.4 Vergelijking van resultaten van verschillende groepen op subschaal kerndoel 42 Natuur en Techniek
Variabele Est. SE z Effect
Tabel D.5 Vergelijking van resultaten van verschillende groepen op subschaal kerndoel 44 Natuur en Techniek
Variabele Est. SE z Effect
Stratum 1-2 0.14 0.04 3.54 0.34
1-3 0.61 0.08 8.18 1.45
3-2 0.47 0.08 5.97 1.11
Geslacht J-M 0.20 0.04 5.29 0.46
Leeftijd Reg.-Vert. 0.16 0.05 3.03 0.38
Regio N-O 0.04 0.07 0.53 n.s.
N-W 0.09 0.07 1.33 n.s.
N-Z 0.04 0.07 0.56 n.s.
W-O 0.06 0.05 1.14 n.s.
Z-O 0.00 0.05 0.05 n.s.
Z-W -0.05 0.05 -1.12 n.s.
Voorhoedeschool Ja- Nee -0.02 0.05 -0.29 n.s.
Tabel D.6 Vergelijking van resultaten van verschillende groepen op subschaal kerndoel 43-46 Natuur en Techniek
Variabele Est. SE z Effect
Stratum 1-2 0.13 0.04 3.33 0.27
1-3 0.40 0.07 5.43 0.85
3-2 0.27 0.08 3.53 0.58
Geslacht J-M 0.18 0.04 5.08 0.37
Leeftijd Reg.-Vert. 0.24 0.05 4.79 0.50
Regio N-O 0.09 0.07 1.34 n.s.
N-W 0.08 0.07 1.14 n.s.
N-Z 0.11 0.07 1.58 n.s.
W-O -0.02 0.05 -0.37 n.s.
Z-O 0.02 0.05 0.36 n.s.
Z-W 0.03 0.05 0.75 n.s.
Voorhoedeschool Ja- Nee -0.09 0.05 -1.81 n.s.
Bijlage E Selectie van ankeropgaven
Klassiek (EstimatedS) OPLM
Oplm Label Kerndoel P-waarde cluster Max P RIT RIR a AI-50 AI-60 AI-70 AI-80 Info(S) 152 31995 46 P:,50-,65 1 0,56 0,33 0,25 4 0,04 0,14 0,25 0,38 3,61 109 31914 46 P:,65-,80 1 0,69 0,36 0,28 5 -0,09 -0,01 0,08 0,19 4,74 151 31994 46 P:,65-,80 1 0,67 0,40 0,33 6 -0,04 0,03 0,10 0,19 6,77 108 31913 46 P:,65-,80 1 0,65 0,40 0,33 6 -0,03 0,04 0,11 0,20 6,90 107 31912 46 Makkelijk;P>,80 1 0,92 0,26 0,21 6 -0,36 -0,30 -0,22 -0,13 2,55
Bijlage F Resultaten p10-, p50- en p90-leerling/groep
Tabel p’-waarden voor p10, p50 en p90-leerling voor de opgaven van opdracht A De brug
Ontwerp P’-waarde voor leerling
Opdracht De Brug Vaardigheid P10 P50 P90
❶ De pijlers zijn goed opgesteld Uitvoeren 0,57 0,87 0,99
❷ Er is één vel papier gebruikt Uitvoeren 0,16 0,68 0,97
❸ Het bootje kan overal onder de brug door Testen en aanpassen 0,00 0,49 0,97
❹ De brug draagt het lichte autootje Testen en aanpassen 0,00 0,23 0,60
❺ De brug draagt het zware autootje Testen en aanpassen 0,01 0,56 0,98
❻ De brug draagt beide autootjes Testen en aanpassen 0,00 0,47 0,97
❼ Het papier is in profiel gevouwen Uitvoeren 0,00 0,35 1,00
❽ Er is een boogconstructie bedacht Uitvoeren 0,00 0,22 0,94
Tabel p’-waarden voor p10, p50 en p90-leerling voor de opgaven van opdracht B De Fietsbel
Ontwerp P’-waarde voor leerling
Opdracht De Fietsbel Vaardigheid P10 P50 P90
❶ De hendel om de bel te laten rinkelen en het kleine radertje zijn op de juiste manier
aangebracht
Uitvoeren 0,34 0,82 1,00
❷ Het balkje met de metalen ringetjes is op de juiste manier aangebracht
Uitvoeren 0,32 0,85 1,00
❸ Het boutje om het balkje vast te zetten is op de juiste manier aangebracht
Uitvoeren 0,21 0,59 1,00
❹ De beldop is er op gedraaid; de bel rinkelt Uitvoeren 0,30 0,88 1,00
❶ De bel is op het juiste pijpje gemonteerd Uitvoeren 0,83 0,99 1,00
❷ De bel is stevig aan het pijpje gemonteerd Uitvoeren 0,81 0,97 1,00
Tabel p’-waarden voor p10, p50 en p90-leerling voor de opgaven van opdracht D De knikkerbaan
Onderzoek P’-waarde voor leerling
Op Omschrijving Vaardigheid P10 P50 P90
2 ❶ knikkers van hetzelfde gewicht. Experiment opzetten 0,78 0,95 0,96
❷ en ❹ Resultaat baan 1 Data verzamelen 0,39 0,61 0,90
❸ en ❺ Resultaat baan 2 Data verzamelen 0,33 0,61 0,90
4 ❶ knikkerbanen: startpositie Variabelen herkennen 0,85 0,96 0,96
❷ knikkerbanen: gewicht Variabelen herkennen 0,86 0,99 1,00
❸ knikkerbanen: helling Variabelen herkennen 0,83 0,96 1,00
❹ knikkerbanen: oppervlak Variabelen herkennen 0,83 0,99 1,00 5a ❸ Startpositie verschilt Experiment opzetten 0,33 0,67 0,74 5c ❹ Vijf metingen op beide banen Data verzamelen 0,84 0,97 0,99
❺ Twee knikkers gelijk gewicht Experiment opzetten 0,84 1,00 0,99
❻ Tabel juiste koppen (hoog of laag) Data analyseren 0,48 0,67 0,97
5d ❶ Conclusie is juist Conclusie trekken 0,65 0,82 1,00
6a ❶ Helling verschilt Experiment opzetten 0,55 0,91 0,94
6c ❹ en ❺ Meer metingen op banen Data verzamelen 0,70 0,64 0,93
❻ Twee knikkers van gelijk gewicht Experiment opzetten 0,89 0,99 1,00
❼ Tabel juiste koppen (steil of flauw) Data analyseren 0,68 0,87 0,99
6d ❶ Conclusie is juist Conclusie trekken 0,77 0,98 0,98
7 ❶ Invloed gewicht knikker gekozen Experiment opzetten 0,61 0,95 0,99
Tabel p’-waarden voor p10, p50 en p90-leerling voor de opgaven van opdracht E Knikkers te koop
Onderzoek P’-waarde voor leerling
Op Omschrijving Vaardigheid P10 P50 P90
3a ❶ diameter kleine knikker Data verzamelen 0,45 0,69 0,84
❷ gewicht kleine knikkers in bakje Data verzamelen 0,60 0,89 0,95 3c ❶ diameter middelgrote knikker Data verzamelen 0,59 0,95 0,96
❷ gewicht middelgrote knikkers Data verzamelen 0,79 0,95 0,99
❸ diameter grote knikker Data verzamelen 0,59 0,90 0,95
❹ gewicht grote knikkers in bakje Data verzamelen 0,84 0,98 0,99
4 ❶ kleine knikker in grafiek Data analyseren 0,08 0,50 0,94
❷ middelgrote knikker in grafiek Data analyseren 0,08 0,50 0,95
❸ grote knikker in grafiek Data analyseren 0,05 0,52 0,98
❹ trendlijn in grafiek Data analyseren 0,08 0,07 0,18
❺ label kleine knikker Data analyseren 0,03 0,56 0,98
❻ label middelgrote knikker Data analyseren 0,04 0,60 0,99
❼ label grote knikker Data analyseren 0,02 0,58 0,99
5 ❶ lichter (=juiste antwoord) Conclusie trekken 0,18 0,18 0,22
Tabel p’-waarden voor p10, p50 en p90-groepen voor de onderdelen van groepsopdracht Uilenpost
Ontwerp P’-waarde voor groep
Omschrijving Vaardigheid P10 P50 P90
Probleem1: scherpe snavel Probleem vertalen naar eisen 0,41 0,72 0,88 Probleem2: scherpe klauwen Probleem vertalen naar eisen 0,57 0,75 0,90 Probleem3: beschadigen post Probleem vertalen naar eisen 0,76 0,93 1,00 Probleem4: maar een brief tegelijk Probleem vertalen naar eisen 0,48 0,90 0,95 Probleem5: onderweg vallen brieven Probleem vertalen naar eisen 0,82 0,86 0,96 Eis1: post niet beschadigen Probleem vertalen naar eisen 0,85 1,00 1,00 Eis2: 1 tot 5 poststukken tegelijk Probleem vertalen naar eisen 0,68 0,92 0,93 Eis3: post niet verliezen tijdens vliegen Probleem vertalen naar eisen 0,82 0,89 0,95 Eis4: post zelf pakken en loslaten Probleem vertalen naar eisen 0,13 0,21 0,46 Eis5: uilen moeten kunnen vliegen Probleem vertalen naar eisen 0,14 0,36 0,63
Constructie1: juist materiaal Ontwerp uitvoeren 0,89 0,93 1,00
Constructie2: juist gereedschap Ontwerp uitvoeren 0,76 0,82 0,97
Constructie3: gereedschap doelmatig hanteren Ontwerp uitvoeren 0,64 0,79 0,97 Constructie4: (werk)tekening eindproduct Ontwerp uitvoeren 0,72 0,78 0,93 Constructie5: (werk)tekening tussenstappen Ontwerp uitvoeren 0,52 0,76 0,93 Test eis1: post niet beschadigen Ontwerp testen en aanpassen 0,55 0,74 0,96 Test eis2: 1 tot 5 poststukken tegelijk Ontwerp testen en aanpassen 0,56 0,84 0,95 Test eis3: post niet verliezen tijdens vliegen Ontwerp testen en aanpassen 0,38 0,57 0,90 Test eis4: post zelf pakken en loslaten Ontwerp testen en aanpassen 0,36 0,65 0,88 Test eis5: uilen moeten kunnen vliegen Ontwerp testen en aanpassen 0,38 0,71 0,88