3 Psychometrische kwaliteit van het instrumentarium
3.7 Resultaten analyse praktische opdrachten
Tijdens de peiling hebben toetsleiders zes individuele praktische opdrachten afgenomen en twee
groepsopdrachten. De helft van deze opdrachten betrof een meting van onderzoekvaardigheid (kerndoel 42), de andere helft betrof een meting van ontwerpvaardigheid (kerndoel 45).
De toetsleiders begeleidden de leerlingen tijdens de uitvoering van de opdracht. Zij registreerden de door hen gegeven hulp of begeleiding en de prestaties van de leerlingen. Helaas ontbraken de
identificatienummers van de beoordelaars in het databestand. Het is Cito dan ook niet bekend hoeveel verschillende toetsleiders bij het onderzoek waren betrokken.
De toetsleiders registreerden bij elk onderdeel (=opgave) van een praktische opdracht de (door hen) gegeven begeleiding: leeshulp, proceshulp, inhoudelijke hulp of modelling (zie paragraaf 2.3) of een aanwijzing bij een groepsopdracht. Leeshulp is dichotoom gescoord.
De gegeven inhoudelijke hulp bepaalt de score bij elk opgave-onderdeel: indien een leerling of groep leerlingen zelfstandig, zonder inhoudelijke hulp, tot het juiste antwoord komt, wordt een 2 gescoord voor een opgave-onderdeel, met inhoudelijke hulp krijgt de (groep) leerling(en) een score 1. Als een leerling of groepje leerlingen niet tot een correct antwoord komt, wordt dat gescoord als 0.
Binnen de datasets zijn opgaven opnieuw gescoord om betekenisvolle somscores te kunnen hebben en zijn analyses uitgevoerd. Een aantal opgaven was contra-indicatief, wat betekent dat een lage score juist indicatief is voor een positieve prestatie. Deze opgaven worden omgekeerd, zodat een hoge score altijd indicatief is voor een hoge prestatie en zodoende somscores betekenisvol zijn in de dataset.
Teneinde te kunnen berekenen in hoeverre de registraties van deze beoordelaar betrouwbaar zijn, heeft bij ongeveer 9% van de opdrachten een tweede beoordelaar eveneens de gegeven hulp en prestaties van de leerlingen geregistreerd. De opdrachten zijn door de volgende aantallen (groepen) leerlingen gemaakt.
Een groep leerlingen bestaat steeds uit drie leerlingen.
Tabel 3.13 Beschrijving praktische opdrachten: aantal leerlingen/ groepen en tweede beoordelingen 2e beo
Opdracht Vaardigheid N lln N %
A De brug ontwerp 374 34 9,1
B De fietsbel ontwerp 403 33 8,2
C Het bibberspel ontwerp 363 31 8,5
D Knikkerbaan (individueel) onderzoek 263 22 8,4
E Knikkers te koop onderzoek 330 32 9,7
F Kopje onder onderzoek 350 31 8,9
G Uilenpost (groepsopdracht) Ontwerp 146 15 10.3
H Knikkerbaan (groepsopdracht) onderzoek 155 14 9,0
Ter bepaling van de schalen zijn enkele analyses uitgevoerd. Allereerst is de overeenstemming tussen de eerste en de tweede beoordelaar op itemniveau bepaald om te zien of de individuele opgaven goed waren te scoren. Er zijn kappa’s berekend, maar aangezien het hier vaak polytome opgaven betreft en grote afwijkingen tussen beoordelaars zwaarder wegen, is ervoor gekozen om de mate van overeenstemming vooral te bepalen op grond van de resultaten van de gewogen kappa die de afstand tussen twee
beoordelingen meeneemt. Er is gekozen voor een kwadratische weging waardoor de gewogen kappa’s ook uit te rekenen zijn als Pearsoncorrelaties. De kwaliteit van de overeenstemming is beoordeeld op grond van de volgende indeling (Landis & Koch, 1977).
Tabel 3.14 Criteria van Landis en Koch
Gewogen Kappa range Kwalificatie overeenstemming
0,0 - 0,2 gering
0,2 - 0,4 matig
0,4 - 0,6 redelijk
>0,6 voldoende tot perfect
In de tabellen wordt steeds een gewogen Kappa van lager dan 0,4 grijs gearceerd. Dit zijn de geringe en matige overeenstemmingsmaten. Voor de rapportage op stelselniveau zijn alleen de scores van de eerste beoordelaar meegenomen wanneer de overeenstemming als redelijk gekwalificeerd kan worden. De scores van de tweede beoordelaar zijn verder niet bij de rapportage betrokken.
Om te kunnen evalueren welke opgaven bij elkaar genomen kunnen worden om tot somscores te leiden en wat de kwaliteit van die schalen is, zijn twee typen analyses uitgevoerd. Ten eerst is waar mogelijk een factoranalyse uitgevoerd (PCA en Varimaxrotatie met Kaisernormalisatie) . Daarnaast is een schaling uitgevoerd en is de kwaliteit van de schaal geëvalueerd als geheel en wat betreft de bijdrage van de opgaven.
Voor het schalen wordt gekeken naar de betrouwbaarheid van de schaal op basis van inter-itemrelaties.
Ook de impact van de opgave binnen de schaal wordt onderzocht. Voor de schaal of schalen die van deze analyses het best gevormd kunnen worden, zijn voor elke leerling som-scores berekend.
Om de somscores terug te kunnen rapporteren zijn ontbrekende scores geïmputeerd met het gemiddelde op het item. Er zijn meer geavanceerde methoden mogelijk, waarbij ook rekening gehouden wordt met de vaardigheid van de leerling op basis van de overige items. Het lastige in de huidige dataset is dat er minstens drie verschillende indicatoren van de vaardigheid van de leerling zijn die indicatief zijn voor het item (subschaal, groeps- of individuele schaal en de totaalschaal). Het meest heterogeen zijn de
subschalen, maar die subschalen hebben als nadeel dat de schaal soms erg klein is, of slechts uit één opgave bestaat. In dat geval zou dan geen imputatie mogelijk zijn3. Er is zodoende gekozen voor de
simpelste wijze die voor alle opgaven toegepast kan worden en die onafhankelijk is van de indicator van de vaardigheid. Per schaal is ook het aantal of percentage ontbrekende waarden gegeven. Mocht een analyse uitgevoerd moeten worden zonder de geïmputeerde waarden dan moeten alleen de leerlingen worden geselecteerd met dat het percentage missing op 0 (nul).
Voor een vergelijking op stelselniveau van de resultaten op de verschillende praktische opdrachten is bij elke opdracht voor elke leerling het percentage behaalde scorepunten berekend. Dit percentage geeft een indicatie van de beheersing van de opdracht door de leerling. Tevens zijn op verzoek van de opdrachtgever bij alle onderdelen van de praktische opdrachten de gemiddelde percentages behaalde scorepunten berekend van de percentiel 10-, 50- en 90-leerling(groep)en (zie bijlage F).
In deze paragraaf wordt eerst de kwaliteit van de scores op de zes individuele praktische opdrachten beschreven en vervolgens de kwaliteit van de scores op de twee groepsopdrachten. De resultaten worden steeds per opdracht weergegeven omdat de resultaten per opdracht behoorlijk konden verschillen.
3 Als er slechts 1 opgave gebruikt wordt voor de gehele terugrapportage is dat niet zo uitgevoerd en blijft de score als ontbrekend staan.
3.7.1 Individuele praktische opdrachten
Bij opdracht A (De brug) is de mate van overeenstemming tussen de eerste en de tweede beoordelaar als volgt:
De interbeoordelaarsbetrouwbaarheid van de registratie van leeshulp is relatief laag, gegeven dat dit pure registratie zou moeten zijn of er wel of niet een bepaalde leeshulp is gegeven. Kennelijk was het niet volledig duidelijk wat precies als leeshulp moest worden beschouwd (en als zodanig gescoord). Omdat de scoring van de prestaties van de leerlingen niet gebaseerd is op de registratie van leeshulp, heeft de relatief lage interbeoordelaarsbetrouwbaarheid van leeshulp geen negatieve invloed op de
betrouwbaarheid van de scoring van deze prestaties.
Ook de overeenstemming tussen de twee beoordelaars over de eis of de brug het lichte autootje kan dragen laat te wensen over. Het is logisch dat deze eis niet bij elke opdracht in gelijke mate is onderzocht, omdat de eis dat de brug het zware autootje draagt reeds impliceert dat de brug ook het lichte autootje kan dragen.
Een factoranalyse van de inhoudelijke beoordelingen levert één component op, die 47% van de variantie verklaart. Op grond van deze analyse is een schaal gemaakt waarin de scores op alle acht opgaven die door de eerste beoordelaar zijn gegeven zijn opgenomen,. Dat leverde een schaal op met een betrouwbaarheid van 0,857 (lambda-2; alpha van 0,832). Alle opgaven leveren een bijdrage aan de betrouwbaarheid van de schaal.
Tabel 3.16 Betrouwbaarheden voor schaal met opgaven van opdracht A De brug
Item eigenschappen Als opgave verwijderd wordt uit schaal
Op grond van deze resultaten is een schaal opgesteld die bestaat uit de somscore van de acht prestatie-elementen van opdracht A. Deze schaal heeft een gemiddelde van 8,87 (sd = 4,314) en is niet normaal verdeeld. 21 leerlingen hebben de maximale score van 16 behaald. De scores met een zeer lage frequentie zijn ontstaan door de imputatie van ontbrekende scores bij de desbetreffende leerlingen.
Figuur 3.2 Verdeling van de somscores bij opdracht A De Brug
Opdracht B betreft het in elkaar zetten van een fietsbel en het monteren van een fietsbel aan een ijzeren pijpje dat een stuur moet voorstellen. In totaal betreft opdracht B dus twee opgaven. Bij 33 leerlingen hebben twee beoordelaars de resultaten onafhankelijk van elkaar gescoord. De mate van
overeenstemming tussen de eerste en de tweede beoordelaar is als volgt:
Tabel 3.17 Interbeoordelaarsbetrouwbaarheid (Pearson R) opdracht B (N=33)
Opdracht De Fietsbel Pearson R
Leeshulp 0,851
Proceshulp/modelling 0,681
❶ De hendel om de bel te laten rinkelen en het kleine radertje zijn op de juiste
manier aangebracht 0,917
❷ Het balkje met de metalen ringetjes is op de juiste manier aangebracht 0,749
❸ Het boutje om het balkje vast te zetten is op de juiste manier aangebracht 0,817
❹ De beldop is er op gedraaid; de bel rinkelt 0,643
Leeshulp 0,695
Proceshulp/modelling 0,36
❶ De bel is op het juiste pijpje gemonteerd *
❷ De bel is stevig aan het pijpje gemonteerd *
* Alle leerlingen hebben van tweede beoordelaar hoogste score gekregen, dus geen variantie.
De interbeoordelaarsbetrouwbaarheid van de registratie van proceshulp en/of modelling bij de tweede opgave laat te wensen over. Ook de overeenstemming bij de leeshulp is relatief laag, gegeven dat dit pure
registratie zou moeten zijn of er wel of niet een bepaalde leeshulp is gegeven. Kennelijk was het niet volledig duidelijk wat precies als proceshulp, modelling en/of leeshulp moest worden beschouwd (en als zodanig gescoord). Ook hier geldt dat deze lage overeenstemmingen geen consequenties hebben voor de scoring van de prestaties van de leerlingen.
De onderlinge samenhang tussen de vier onderdelen van opgave 1 en de twee onderdelen van de tweede opgave is relatief gering. De interitemcorrelaties tussen beide groepen variabelen staan in de volgende tabel. In de tabel is duidelijk zichtbaar dat de eerste vier, respectievelijk de laatste twee variabelen onderling goed met elkaar samenhangen: 0,600 is de laagste correlatie. Maar de eerste vier variabelen hangen relatief laag samen met de laatste twee variabelen. Zo is bijvoorbeeld de correlatie tussen het boutje en stevig slechts 0,115.
Tabel 3.18 Inter-item Correlaties opdracht B
De hendel Het balkje Het boutje De beldop Juiste pijpje Stevig
De hendel … 1,000 ,793 ,600 ,776 ,233 ,256
Het balkje… ,793 1,000 ,689 ,811 ,221 ,232
Het boutje ,600 ,689 1,000 ,708 ,175 ,115
De beldop ,776 ,811 ,708 1,000 ,198 ,197
Juiste pijpje ,233 ,221 ,175 ,198 1,000 ,761
Stevig ,256 ,232 ,115 ,197 ,761 1,000
Een factoranalyse van de inhoudelijke beoordelingen levert hetzelfde beeld, namelijk twee componenten (=opgaven), die samen 82,7% van de variantie verklaren.
Omdat beide opgaven inhoudelijk onlosmakelijk bij de opgave horen, is één schaal gemaakt waarin de scores op alle zes opgaven zijn opgenomen, die door de eerste beoordelaar zijn gegeven . Dat leverde een schaal met een betrouwbaarheid van 0,887 (lambda-2; alpha van 0,843). Alle opgaven leveren een bijdrage aan de betrouwbaarheid van de schaal. Duidelijk zichtbaar is de eenvoud van de opgaven waarbij
leerlingen de fietsbel aan het pijpje monteren. Deze opgaven zijn door vrijwel alle 384 leerlingen goed gemaakt: 96% van de leerlingen monteert de fietsbel stevig op het juiste pijpje. Dit verklaart de relatief lage Rit van deze opgaven, evenals de zeer kleine, maar wel positieve bijdrage aan de betrouwbaarheid van de schaal.
Tabel 3.19 Betrouwbaarheden voor schaal met opgaven van opdracht B De fietsbel (N=384)
Item eigenschappen Als opgave verwijderd wordt uit schaal Max Sc P Rit* gemiddelde variantie Cronbach's
Alpha
❶ De hendel … 2 0,76 0,782 8,19 4,189 0,783
❷ Het balkje … 2 0,76 0,829 8,18 4,094 0,772
❸ Het boutje … 2 0,67 0,676 8,37 4,072 0,812
❹ De beldop … 2 0,75 0,818 8,2 4,055 0,774
❶ De bel zit op het juiste pijpje 2 0,96 0,327 7,78 5,991 0,862
❷ De bel is stevig gemonteerd 2 0,96 0,311 7,79 5,97 0,863
* gecorrigeerd
Op grond van deze resultaten is een schaal opgesteld die bestaat uit de somscore van de zes prestatie-elementen van opdracht B. Deze schaal heeft een gemiddelde van 9,63 (sd = 2,568) en is zeer scheef verdeeld. Kennelijk is deze ontwerpopdracht voor veel leerlingen niet zo moeilijk.
Figuur 3.3 Verdeling van de somscores bij opdracht B De fietsbel
Bij Opdracht C test de leerling de elektrische aansluiting voor een bibberspel en stelt een testrapport hierover op. In totaal betreft opdracht C vier opgaven. Bij 31 leerlingen hebben twee beoordelaars de resultaten onafhankelijk van elkaar gescoord. De mate van overeenstemming tussen de eerste en de tweede beoordelaar is als volgt:
Tabel 3.20 Interbeoordelaarsbetrouwbaarheid (Pearson R) opdracht C (N=31)
Opdracht Bibberspel Pearson R
Leeshulp 0,422
Proceshulp/modelling 0,678
❶ Het lampje is goed ingedraaid 0,812
❷ De draden zijn goed aangesloten. 0,874
Leeshulp -0,0644
Proceshulp/modelling 0,552
❶ Het lampje is vastgedraaid. 0,934
Leeshulp 0,471
Proceshulp/modelling 0,47
❶ De gekleurde draad is op de koperdraad van de spiraal aangesloten. 0,947
❷ De batterij is vervangen. 0,956
Leeshulp 0,637
Proceshulp/modelling 0,677
Prestatie: De tekst bevat de volgende informatie
❶ Ik heb de lege batterij vervangen door een volle batterij. 0,823
❷ Ik heb de gekleurde draad aangesloten op de koperdraad van de spiraal. 0,583 Ook bij deze opdracht laat de interbeoordelaarsbetrouwbaarheid van de registratie van leeshulp, proceshulp en/of modelling te wensen over. Alleen bij deze registratie is de Pearson R lager dan 0,5.
4 Slechts 21 van de 29 dubbele beoordelingen komen met elkaar overeen.
Kennelijk was het niet volledig duidelijk wat precies als proceshulp, modelling en/of leeshulp moest worden beschouwd (en als zodanig gescoord).
De onderlinge samenhang tussen de vier opgaven is relatief gering. Met name de twee onderdelen van de laatste opgave hangen niet hoog samen met de overige opgaven. De interitemcorrelaties tussen beide groepen variabelen staan in de volgende tabel. In de tabel is duidelijk zichtbaar dat de variabelen onderling niet goed met elkaar samenhangen.
Tabel 3.21 Inter-item Correlaties opdracht C
Lampje goed Draden goed Lampje vast Kleur draad Batterij Ik … batterij Ik draad
Lampje goed 1.000 .276 .131 .078 .022 -.095 -.046
Draden goed .276 1.000 .179 .076 .284 .107 .120
Lampje vast .131 .179 1.000 .143 .272 .084 .046
Kleur draad .078 .076 .143 1.000 .241 .111 .056
batterij .022 .284 .272 .241 1.000 .256 .099
Ik … batterij -.095 .107 .084 .111 .256 1.000 .348
Ik … draad -.046 .120 .046 .056 .099 .348 1.000
Een factoranalyse van de inhoudelijke beoordelingen levert hetzelfde beeld, namelijk drie componenten (1=lampje vast, kleur draad en batterij, 2= ‘Ik … batterij’ en ‘ik … draad’ en component 3 betrof de eerste twee variabelen ‘Lampje goed’ en ‘Draden goed’), die samen 59,9% van de variantie verklaren.
Omdat alle opgaven inhoudelijk onlosmakelijk bij de opdracht horen, is toch één schaal gemaakt waarin de scores op alle zeven onderdelen zijn opgenomen, die door de eerste beoordelaar zijn gegeven . Dat leverde een schaal met een beperkte betrouwbaarheid van 0,438 (lambda-2; alpha van 0,522). Het eerste onderdeel levert daarbij een geringe negatieve bijdrage aan de betrouwbaarheid van de schaal. De leerlingen hadden duidelijk de meeste moeite om de stroomkring te sluiten (‘Draden goed’) bij deze opdracht. Gemiddeld kregen de leerlingen hierbij 43% van het aantal te behalen punten. Dat betekent dat waarschijnlijk de meeste leerlingen bij dit onderdeel inhoudelijke hulp hebben gekregen.
Tabel 3.22 Betrouwbaarheden voor schaal met opgaven van opdracht C Het bibberspel (N=334)
Item eigenschappen Als opgave verwijderd wordt uit schaal Max Sc P R it* gemiddelde variantie Cronbach's
Alpha
Lampje goed 2 0,87 .113 8.90 5.138 .535
Draden goed 2 0,43 .340 9.78 4.209 .444
Lampje vast 2 0,78 .268 9.09 4.380 .479
Kleur draad 2 0,92 .220 8.79 5.143 .500
batterij 2 0,74 .389 9.16 4.216 .424
Ik … batterij 2 0,78 .263 9.07 4.472 .481
Ik … draad 2 0,81 .205 9.02 4.708 .505
* gecorrigeerd
Op grond van deze resultaten is een schaal opgesteld die bestaat uit de somscore van de zeven prestatie-elementen van opdracht C. Deze schaal heeft een gemiddelde van 10,57 (sd = 2,41) en is scheef naar rechts verdeeld. 32 leerlingen hebben de maximale score van 14 behaald. 70,1% van de leerlingen haalt een somscore van 10 of hoger. Ook deze ontwerpopdracht lijkt voor de meeste leerlingen eenvoudig te zijn.
Figuur 3.4 Verdeling van de somscores bij opdracht C Bibberspel
In Opdracht D onderzoekt de leerling het effect van verschillende variabelen op het gedrag van knikkers op een knikkerbaan. Opdracht D is omvangrijk: na een voorspelling over het gedrag van een knikker op twee knikkerbanen wordt uitgelegd wat een experiment is en wat onderzocht kan worden met de twee knikkerbanen. Dit betreft de eerste vier inleidende opgaven. Vervolgens moet een leerling twee
experimenten uitvoeren: deze experimenten worden aangeduid met opgave 5 en 6. Tenslotte maakt de leerling nog opgave 7, waarbij hij of zij moet aangeven welke variabele centraal staat in een onderzoek met de twee knikkerbanen.
Bij 22 van de 263 leerlingen hebben twee beoordelaars de resultaten onafhankelijk van elkaar gescoord.
Ook bij deze opdracht laat de interbeoordelaarsbetrouwbaarheid van de registratie van leeshulp,
proceshulp en/of modelling te wensen over. Vaak is de overeenstemming niet te berekenen (.a in de tabel) omdat de beoordelaar geen variantie vertoont, omdat hij of zij alle leerlingen dezelfde score heeft
gegeven.
Tabel 3.23a Interbeoordelaarsbetrouwbaarheid (Pearson R) opdracht D (N=22) Leeshulp Proces of modelling
Opdracht 1 0,614 .a
Opdracht 2 1,000 0,686
Opdracht 3 1,000 1,000
Opdracht 4 0,869 0,773
Opdracht 5a 0,491 0,816
Opdracht 5bc 1,000 0,506
Opdracht 5d .a .a
Opdracht 6a -0,069 0,936
Opdracht 6bc 0,549 0,664
Opdracht 6d .a .a
Opdracht 7 .a 1,000
Uit tabel 3.23b blijkt dat de overeenstemming tussen de beoordelaars op de variabelen hoog is, met uitzondering van de Pearson correlatie bij 5c en 6c: knikkers van hetzelfde gewicht. Van de 22 leerlingen met dubbele beoordelingen geven beide beoordelaars 19 maal een score 2. De overige drie leerlingen beoordeelden de twee beoordelaars verschillend.
2 ❶ Leerling gebruikt knikker van hetzelfde gewicht. 0,641
❷ 1 resultaat baan 1 0,756
❻ Tabel heeft juiste koppen (hoog of laag) 0,585
5d ❶ Conclusie is juist 1,000
6a ❶ Helling verschilt 0,939
6c ❹ een meting op beide banen 0,871
❺ Meer metingen op beide banen 0,935
❻ Twee knikkers van gelijk gewicht 0,282
❼ Tabel heeft juiste koppen (steil of flauw) 0,846
6d ❶ Conclusie is juist 1,000
7 ❶ Invloed gewicht knikker gekozen 1,000
Omdat veel prestaties slechts een beschrijving vormen van het gedrag van een leerling zonder dit gedrag te beoordelen, is ervoor gekozen om de variabelen in een aantal gevallen te hercoderen tot een oordeel over het gedrag van een leerling. Dit betreft de volgende variabelen:
• Bij opdracht 1 is baan 1 het juiste antwoord. Een leerling kan daarom alleen punten scoren voor de prestaties 3, 4 en 5 als baan 1 is gekozen.
• Bij opdracht 2 sluiten de prestaties 2 en 4, en 3 en 5 elkaar uit. Hetzelfde geldt voor de prestaties 4 en 5 bij opgave 6c. Wanneer een leerling meer dan 1 resultaat (meting) heeft genoteerd bij de prestaties 4 en 5 bij opdracht 2 en 5 bij 6c, impliceert dat namelijk altijd dat een leerling 1 resultaat heeft genoteerd (= prestatie 2 en 3 bij opdracht 2 en 4 bij 6c). Daarom zijn drie nieuwe variabelen gemaakt met het totaal aantal resultaten of metingen voor baan 1 en 2 bij opgave 2 en voor beide
banen bij opgave 6c, met de volgende scoreverdeling: score 0 bij 0 resultaten genoteerd, score 1 bij 1 resultaat en score 2 bij 2 of meer resultaten.
• Bij opdracht 5a geeft de leerling het correcte antwoord bij prestatie 3 en bij opdracht 6a en 7 is het correcte antwoord steeds gescoord als prestatie 1. Alleen deze variabelen zijn dan ook bij de analyse meegenomen.
Opgave 5b en 6b kunnen niet worden beoordeeld, omdat de situatie van de twee knikkerbanen niet bekend is. Daarom kunnen de prestaties bij 5b en 6b niet worden geanalyseerd.
De onderlinge samenhang tussen de opgaven is relatief gering. Een factoranalyse van de inhoudelijke beoordelingen levert zeven componenten op die samen 60,4% van de variantie verklaren. De
componenten bij de factoren zijn in tabel 3.24 steeds grijs gearceerd. De componenten betroffen (1) de instellingen van de knikkerbanen in opgave 4, (2) het aantal genoteerde resultaten in opgave 2, (3) gegevens experiment 2, (4) gelijk gewicht knikkers, (5) juiste conclusies van de experimenten, (6) het principe van een experiment en (7) baan 1 en de startpositie van de knikker.
Tabel 3.24 Componenten factoranalyse opdracht De Knikkerbaan
Opd Omschrijving 1 2 3 4 5 6 7
1 ❶❸❹❺ Baan 1 met startpositie, helling en
oppervlak ,101 -,093 -,068 ,125 ,044 -,049 ,699
2 ❶ Leerling gebruikt knikker van hetzelfde gewicht. -,009 ,189 ,231 ,440 -,165 -,129 ,074
❷ en ❹ Resultaat baan 1 -,010 ,895 -,024 ,013 ,092 ,007 -,035
❸ en ❺ Resultaat baan 2 -,082 ,887 -,022 ,145 ,088 ,033 ,033 3 ❷ Onderzoek Driss gekozen ,022 ,091 ,136 ,060 -,399 ,478 -,141 4 ❶ Instellingen knikkerbanen: startpositie ,221 ,136 ,116 -,262 -,166 ,098 ,630
❷ Instellingen knikkerbanen: gewicht ,922 -,014 ,010 ,038 -,002 ,004 ,088
❸ Instellingen knikkerbanen: helling ,912 -,004 -,038 ,075 ,088 -,054 ,081
❹ Instellingen knikkerbanen: oppervlak ,838 -,077 ,039 -,057 ,088 ,101 ,091 5a ❸ Startpositie verschilt ,035 ,002 -,102 -,088 -,012 ,711 ,159 5c ❹ Vijf metingen op beide banen -,182 -,166 ,028 ,095 ,204 ,516 ,107
❺ Twee knikkers van gelijk gewicht ,089 ,027 ,402 ,494 ,002 ,039 -,061
❻ Tabel heeft juiste koppen (hoog of laag) -,077 ,151 ,032 ,451 ,160 ,265 ,294
5d ❶ Conclusie is juist ,069 ,133 ,188 -,028 ,720 ,220 ,047
6a ❶ Helling verschilt ,139 ,098 ,061 ,099 ,053 ,562 -,159
6c ❹ en ❺ Meer metingen op beide banen ,011 -,001 ,658 -,204 ,009 ,035 -,276
❻ Twee knikkers van gelijk gewicht ,009 -,005 ,721 ,213 -,058 ,016 ,156
❼ Tabel heeft juiste koppen (steil of flauw) -,062 -,095 ,601 ,233 ,391 -,007 ,123
6d ❶ Conclusie is juist ,119 ,102 -,048 ,111 ,695 -,044 -,138
7 ❶ Invloed gewicht knikker gekozen ,040 -,021 -,062 ,749 ,128 ,088 -,095
Omdat alle opgaven inhoudelijk onlosmakelijk bij de opdracht horen, is één schaal gemaakt waarin de scores op alle 20 onderdelen zijn opgenomen, die door de eerste beoordelaar zijn gegeven . Dat leverde een schaal met een betrouwbaarheid van 0,568 (lambda-2; alpha van 0,538). Verwijdering van de opgaven 1 en 3 levert een voldoende betrouwbare schaal op voor metingen op systeemniveau met een Lambda-2 van .646.
Tabel 3.25 Betrouwbaarheden voor schaal met opgaven van opdracht D De knikkerbaan (N=226) Itemeigenschappen Als opgave uit schaal
Op Omschrijving Max Sc P R it* gem var
Cronbach's Alpha 2 ❶ knikkers van hetzelfde gewicht. 2 0,87 ,120 28,12 10,978 ,620
❷ en ❹ Resultaat baan 1 2 0,55 ,192 28,76 10,498 ,610
❸ en ❺ Resultaat baan 2 2 0,58 ,317 28,71 10,140 ,585
4 ❶ knikkerbanen: startpositie 2 0,93 ,061 27,98 11,627 ,619
❷ knikkerbanen: gewicht 2 0,96 ,221 27,91 11,340 ,604
❸ knikkerbanen: helling 2 0,95 ,210 27,93 11,254 ,604
❹ knikkerbanen: oppervlak 2 0,96 ,208 27,92 11,302 ,604
5a ❸ Startpositie verschilt 1 0,53 ,122 29,31 11,266 ,615
5c ❹ Vijf metingen op beide banen 2 0,95 ,183 27,94 11,276 ,606
❺ Twee knikkers gelijk gewicht 2 0,95 ,232 27,94 11,171 ,601
❻ Tabel juiste koppen (hoog of laag) 2 0,79 ,303 28,27 10,200 ,588
5d ❶ Conclusie is juist 2 0,91 ,367 28,04 10,266 ,579
6a ❶ Helling verschilt 2** 0,82 ,290 28,23 10,307 ,590
6c ❹ en ❺ Meer metingen op banen 2 0,89 ,140 28,07 11,217 ,612
❻ Twee knikkers van gelijk gewicht 2 0,97 ,287 27,90 11,181 ,598
❼ Tabel juiste koppen (steil of flauw) 2 0,88 ,304 28,10 10,394 ,588
6d ❶ Conclusie is juist 2 0,92 ,249 28,00 10,818 ,598
7 ❶ Invloed gewicht knikker gekozen 2** 0,88 ,248 28,10 10,569 ,597
* gecorrigeerd, ** maximale score had eigenlijk 1 moeten zijn, maar in databestand is als maximale score 2 gehanteerd.
* gecorrigeerd, ** maximale score had eigenlijk 1 moeten zijn, maar in databestand is als maximale score 2 gehanteerd.