3 Psychometrische kwaliteit van het instrumentarium
3.9 Zelfbeoordelingen door leerlingen
Bij de praktische opdrachten hebben de leerlingen hun vaardigheden op het gebied van ontwerpen en onderzoeken ingeschat door criteria te scoren op de volgende vier categorieën:
1 Daar gaat nog veel mis mee 2 Dat lukt, maar met enkele fouten 3 Dat lukt goed, heel soms een fout 4 Dat lukt perfect
Er zijn vier opdrachten die de vaardigheid Ontwerpen beogen te meten. Voor de vaardigheid Ontwerpen kregen de leerlingen de criteria voorgelegd die in de volgende tabel staan. Bij elk criterium is aangegeven bij welke fase in de ontwerpcyclus het criterium hoort en bij welke opdrachten het criterium aan de leerlingen is voorgelegd. De mate van consistentie van de scores van de leerlingen op de criteria is weergegeven als de betrouwbaarheid Lambda-2.
Tabel 3.36 Criteria voor zelfbeoordeling van Ontwerpen, verdeeld over opdrachten
fase Brug Fietsbel
Bibber-spel Uilen-post 1.2 Hoe goed ik het probleem kan uitleggen aan een
andere leerling verkennen X
1.3 Het begrijpen aan welke eisen …*moet voldoen verkennen X X
2.2 Het bedenken van mogelijke oplossingen Ontwerpen X X
2.3 Het maken van een goede beschrijving en
werktekening van …* Ontwerpen X
3.1K Het kiezen van het juiste materiaal voor het
maken van …* Uitvoeren X X
3.1L Het kiezen van het juiste gereedschap voor het
maken van …* Uitvoeren X X X X
3.1M Het kunnen maken van …* Uitvoeren X X X X
3.2K Het oplossen van problemen bij het maken van
…* Uitvoeren X X X X
3.2L Het begrijpen van de problemen die ontstonden
bij het maken van …* Uitvoeren X X X X
4.1 Testen of …*voldoet aan de gestelde eisen Testen en … X X X X
4.2 Het schrijven van een duidelijk testrapport Testen en … X
4.2 Het bedenken van mogelijkheden om …*te
verbeteren Testen en
evalueren X
Betrouwbaarheid van alle criteria (Lambda-2) .841 .826 .816 .839
*Tekst is afhankelijk van inhoud opdracht: de brug, de fietsbel, het bibberspel, het hulpmiddel voor de uil Een factoranalyse op alle uitspraken vertoont bij elke individuele opdracht een component en bij de groepsopdracht twee componenten. Omdat alle criteria inhoudelijk bij elkaar horen, zijn de componenten niet verder geanalyseerd. Alle schalen geven een zeer hoge betrouwbaarheid (zie onderste rij in tabel 3.36). Deze gegevens zijn dan ook goed bruikbaar voor vergelijkingen op stelselniveau.
Bij de vier opdrachten die de vaardigheid Onderzoeken beogen te meten kregen de leerlingen de criteria in de volgende tabel voorgelegd. Bij elk criterium is aangegeven bij welke fase in de ontwerpcyclus het criterium hoort en bij welke opdrachten het criterium aan de leerlingen is voorgelegd. De mate van consistentie van de scores van de leerlingen op de criteria is weergegeven als de betrouwbaarheid Lambda-2.
Tabel 3.37 Criteria voor zelfbeoordeling van Onderzoeken, verdeeld over opdrachten
fase
Knikker-baan Knikkers
te koop Kopje
onder Knikker-baan gr 1 Het bedenken wat er wel en niet
onderzocht kan worden verkennen X
2.1 Het bedenken van een onderzoeksvraag verkennen X
2.2 Goede redenen geven waarom iets zal
gebeuren (voorspelling doen) verkennen X X X
2.3 Goed klaarzetten van de twee
knikkerbanen bij de experimenten opzetten X X
3.2 Het verzamelen van voldoende aantal
metingen Gegevens verzamelen X X X
3.2 Nauwkeurig meten Gegevens verzamelen X X X
3.2 Het duidelijk opschrijven van de
metingen in een tabel Gegevens verwerken X X X
3.3 Het kunnen rekenen met de getallen uit
de tabel Gegevens verwerken X X X
4.1 Het trekken van een conclusie uit de resultaten van de metingen in een experiment
concluderen X X X
4.2 Het kunnen uitleggen wat de oorzaak is
van de verschillen die zijn vastgesteld concluderen X X X
Betrouwbaarheid van alle criteria (Lambda-2) .798 .684 .613 .784
Een factoranalyse op alle criteria vertoont bij de individuele opdrachten Knikkers te koop en Kopje onder één component en bij de individuele en de groepsopdracht Knikkerbaan twee componenten. Omdat ook hier alle criteria inhoudelijk bij elkaar horen, zijn de componenten niet verder geanalyseerd. Alle schalen geven een betrouwbaarheid hoger dan .6 (zie laatste rij in tabel 3.36). Deze gegevens zijn dan ook voldoende betrouwbaar voor vergelijkingen op stelselniveau.
Om de eigen oordelen van de leerlingen over de verschillende fasen en opdrachten te kunnen vergelijken, is bij elke opdracht het gemiddelde genomen van de scores op de criteria die bij dezelfde fase horen.
Hierbij heeft geen imputatie van ontbrekende scores plaats gevonden.
Naast deze uitspraken is de leerlingen steeds gevraagd om een 5-punts Likertschaal in te vullen over de eigen interesse (plezier, motivatie) en bij de individuele praktische opdrachten over initiatief en
zelfsturing. De uitspraken links en rechts van de schaal waren als volgt geformuleerd:
Tabel 3.38 Uitspraken voor zelfbeoordeling van interesse en zelfsturing, verdeeld over Onderzoeken en Ontwerpen Vaardigheid Oordeel over Negatieve uitspraak (links) Positieve uitspraak (rechts)
Ontwerpen Interesse, plezier,
motivatie Ik vind het oplossen van een
technisch probleem erg saai. Ik vind het oplossen van een technisch probleem heel leuk.
Onderzoeken Interesse, plezier,
motivatie Ik kon mijn aandacht moeilijk bij de
opdracht houden. Ik was steeds aandachtig bezig met de opdracht.
Ontwerpen Initiatief,
zelfsturing Ik had veel hulp nodig bij het oplossen van de problemen die ik tegenkwam.
Ik kon de problemen die ik tegenkwam altijd zelf oplossen.
Onderzoeken Initiatief,
zelfsturing Ik vond het moeilijk om door te gaan toen ik dreigde vast te lopen in de opdracht.
Ik vond het niet moeilijk om de opdracht uit te voeren.
Omdat bij elke praktische opdracht de scoring van alle leerlingen gelijk is bij deze variabelen, zijn de
resultaten van deze variabelen onverkort in het uiteindelijke bestand opgenomen. Voor een vergelijking op stelselniveau over de opdrachten zijn vier verzamelvariabelen gemaakt, namelijk de variabelen interesse en zelfsturing voor zowel ontwerpen als onderzoeken.
Tabel 3.39 Scores voor zelfbeoordeling van interesse en zelfsturing, gemiddelde en standaarddeviatie Voorhoedescholen
(N=437) Representatieve steekproef (N=2580)
Vaardigheid Oordeel over Gem sd gem sd
Ontwerpen Interesse, plezier, motivatie 1,88 2,12 1,98 2,15
Onderzoeken Interesse, plezier, motivatie 1,24 1,83 1,29 1,87
Ontwerpen Initiatief, zelfsturing 1,74 2,10 1,78 2,11
Onderzoeken Initiatief, zelfsturing 1,73 2,07 1,77 2,09
De gemiddelde oordelen van de leerlingen uit de voorhoedescholen zijn steeds lager dan die van de leerlingen uit de representatieve steekproef.