Resultaten
Met de vragenlijst wilden we OMZA meten. We controleerden eerst de betrouwbaarheid waarna een factoranalyse volgde. De gevonden factoren werden geanalyseerd en van een passende naam voorzien. Extra controle van deze naamgeving vond plaats door de ge-vonden factoren te correleren met de OMZA-score.
De tweede deelvraag vergde meer werk daar de RTTI-gemiddelden sterk verschilden tus-sen beide scholen. Vervolgens werd een variantieanalyse uitgevoerd om te onderzoeken of er karakteristieke subgroepen waren. Daaruit bleek dat er tussen de scholen dusdanige verschillen zaten dat deze de resultaten konden beïnvloeden. Daarom zijn de gegevens van beide scholen separaat behandeld om de tweede deelvraag te beantwoorden.
5.1 Betrouwbaarheid
Het OMZA-construct met de bijbehorende omschrijving van de onderdelen vormde de basis van de items in de vragenlijst. Een betrouwbaarheidsanalyse op dit construct resul-teerde in een te lage betrouwbaarheid voor alle constructen, zie Tabel 5.1. Optimaliseren door het verwijderen van items en herberekening van de Cronbachs alfa, resulteerde in een onvoldoende verbetering van de betrouwbaarheid. Elke Cronbachs alfa lag tussen de 0,5 en 0,7. Voor het construct opgesplitst per item verwijzen we naar Bijlage B.
Tabel 5.1
Cronbachs alfa constructen
Construct
O M Z A
initieel ,631 ,558 ,453 ,502 na optimalisatie ,668 ,636 ,552 ,554 5.1.1 Factoranalyse
Om te onderzoeken welke items samen factoren vormen, is een verkennende factorana-lyse (EFA) uitgevoerd. Met SPSS hebben we verschillende indelingen berekend om het grootste aantal betrouwbare factoren te vinden. In Tabel 5.2 is de patroonmatrix van de factoranalyse met extractie op basis van eigenwaarde te zien. De kleine coëfficiëntenon-derdrukking is van de standaardwaarde 0,1 naar 0,3 omgezet13. Hierdoor is de tabel over-zichtelijker.
13 “…Suppress small coefficients option. Change the Absolute value below: from ‘.10’ to ‘.3’. …” naar (Laerd Statistics, 2018b, blok 16)
20 OMZA en RTTI, een correlatie?
Tabel 5.2
Patroonmatrix van de factoranalyse met drie componenten
Component
N.B. Een achtergrondkleur geeft de groepering van items aan na trendbreukanalyse per factor, zie Bijlage D.
De factoranalyse kwam op maximaal drie factoren uit met een Cronbachs alfa van elk meer dan 0,7. Voor de factoren A, B en C waren dit 0,751; 0,701 en 0,707.
Item SQ209 ‘ik kan mij goed concentreren’, kwam zowel in factor A als C voor en SQ308
‘ik voel me onzeker bij nieuwe stof’ zowel in factor B als C. Deze items zijn dus niet onder-scheidend. We konden deze items echter niet verwijderen, omdat we dan een Cronbachs alfa van minder dan 0,7 kregen en dus een onbetrouwbaar resultaat.
5.1.2 Naamgeving factoren
Volgens de bevraagden waren er dus drie betrouwbare factoren: A, B en C. Net als bij OMZA wilden we daar graag betekenisvolle namen aan toekennen door de factoren na-der te analyseren.
In Tabel 5.2 zijn de items gerangschikt op afnemende coëfficiënt, ofwel de belangrijkheid van de items voor die factor. De codering per item is weergegeven in Bijlage C. De con-structen O, M, Z en A zijn gecodeerd als SQ1xx, SQ2xx, SQ3xx en SQ4xx, waarbij xx voor een getal staat.
Trendbreukanalyse per factor, zie Bijlage D, gaf aan dat voor factor A, B en C de eerste zeven, vijf en zes items gegroepeerd zijn (zoals met kleur aangegeven in Tabel 5.2). Deze groepen vormden de kern van factoren en werden gebruikt om een zinvolle benaming te geven aan de factoren. Er is gecontroleerd of de vragen die buiten de kern vielen niet in tegenspraak met de naamgeving waren.
Voor factor A waren dit de volgende vragen:
• Ik maak regelmatig mijn huiswerk
• Ik vergeet regelmatig mijn boeken (* omgepoold)
• Een opdracht lever ik op tijd in
• Ik ben op tijd in de les
• Ik let op tijdens de uitleg
• Ik vraag mijn medeleerlingen vaak om spullen (pen, geodriehoek) (* omge-poold)
• Ik wil graag precies weten wat er geleerd moet worden
De items in Tabel 5.2a waren, op twee na, items uit de initiële constructen Organisatie (SQ1xx) en Meedoen (SQ2xx), zie Bijlage C. De items SQ302 en SQ305: ‘Als iets niet lukt vind ik dat vervelend’ respectievelijk ‘Ik wil graag precies weten wat er geleerd moet worden’ werden door de leerlingen bij factor A en niet bij het construct Zelfvertrouwen geplaatst. We zien dat deze leerlingen school belangrijk vinden. Wij hebben daarom voor de term ‘conformeren’ gekozen om deze groep te labelen.
Voor factor B zagen we in Tabel 5.2b 2x Meedoen (SQ2xx); 3x Zelfvertrouwen (SQ3xx) en 5x Autonomie (SQ4xx).
De eerste vijf items zijn:
• Ik vind het vervelend om in de klas hardop iets te moeten zeggen (* omge-poold)
• Ik ben mezelf in de klas
• Ik vind het niet erg om een presentatie te moeten geven
• Ik vind het belangrijk dat mijn stem gehoord wordt
• Ik durf fouten te maken
Dit leek op het OMZA-construct Zelfvertrouwen. Andere mogelijke namen zouden ‘spre-ken in het openbaar’, zelfverzekerdheid of zelfbewustzijn kunnen zijn. Met de schoolom-geving in het achterhoofd en de benaming van de vorige factor, ‘conformeren’ , kozen we voor ‘profileren’ .
Factor C, zie Tabel 5.2c, had een frequentieverdeling van 1x Organisatie; 3x Meedoen; 2x Zelfvertrouwen en 3x Autonomie die dus evenredig verdeeld waren over de laatste drie constructen.
22 OMZA en RTTI, een correlatie?
De kern van deze factor bestond uit zes items:
• Als ik iets moet gaan doen kan ik vaak goed inschatten hoe lang dat zal gaan duren en wat ik daarvoor nodig heb
• Ik kan me goed concentreren in de les
• Bij het maken van opgaven kan ik meerdere goede of bruikbare oplossingen bedenken
• Bij de theorie en ook bij opgaven kan ik belangrijke en minder belangrijke zaken goed van elkaar onderscheiden
• Ik voel me onzeker bij nieuwe stof (* omgepoold)
• De stof en huiswerk dat we hebben gemaakt en behandeld ken ik
Deze lijst kwam voornamelijk neer op kennen en kunnen. Factor C noemden we derhalve
‘beheersen’. Interessant was het tweede item, ‘concentreren in de les’. Blijkbaar moet je als je de stof wilde beheersen ‘bij de les zijn’. Uiteindelijk kwamen we dus op de factoren
‘conformeren’ , ‘profileren’ en ‘beheersen’ uit.
5.2 Univariate analyse
We voeren een aantal ANOVA-testen uit (SPSS-Handboek, 2017) om te controleren dat er geen sterk verschillende subgroepen zijn.
Voor het rapporteren van de 𝐹-functie wordt de volgende conventie gebruikt:
[𝐹(𝐷 𝑓1, 𝐷 𝑓2) = 𝐹𝑤𝑎𝑎𝑟𝑑𝑒; 𝑝 = 𝑠𝑖𝑔] Df_1, Df_2 aantal vrijheidsgraden F_waarde de waarden van de 𝐹-functie sig significantiewaarde
en voor het gemiddelde:
(𝑀 = 𝑤𝑎𝑎𝑟𝑑𝑒; 𝑆𝐷 = 𝑤𝑎𝑎𝑟𝑑𝑒) M gemiddelde (mean) SD standaard deviatie
Bij een betrouwbaarheidsinterval van 95% is er sprake van een significant verschil als de significantiewaarde kleiner dan 0,05 is. De resultaten hiervan worden in de volgende subparagrafen besproken.
5.2.1 Geen verschillen
Er werden geen significante verschillen gevonden in leerjaar. Conformeren [𝐹(2, 427) = 0,37; 𝑝 = 0,69], profileren [𝐹(2, 427) = 0,47; 𝑝 = 0,63] en beheersen [𝐹(2, 427) = 0,77; 𝑝 = 0,47].
Er werd geen significant verschil gevonden in niveau tussen HAVO en VWO met betrek-king tot gevonden factoren. Conformeren [𝐹(1, 431) = 0,98; 𝑝 = 0,32], profileren [𝐹(1, 431) = 0,01; 𝑝 = 0,91] en beheersen [𝐹(1, 431) = 0,19; 𝑝 = 0,66].
Met betrekking tot de RTTI-scores werden er geen significante verschillen gevonden tus-sen mannen en vrouwen. De waardes waren: R [𝐹(1, 243) = 1,50; 𝑝 = 0,22]; T1[𝐹(1, 243) = 1,85; 𝑝 = 0,18]; T2[𝐹(1, 243) = 0,04; 𝑝 = 0,83] en I [𝐹(1, 243) = 1,05; 𝑝 = 0,31].
5.2.2 Verschil in geslacht
Vergeleken met vrouwen schatten mannen zichzelf voor conformeren lager en voor profi-leren en beheersen hoger in. We vonden voor conformeren [𝐹(1, 430) = 21,86; 𝑝 = 0,00] een gemiddelde voor mannen van (𝑀 = 3,66; 𝑆𝐷 = 0,43) en voor vrouwen (𝑀 = 3,84; 𝑆𝐷 = 0,38). Voor profileren [𝐹(1, 430) = 14,48; 𝑝 = 0,00], mannen (𝑀 = 3,62; 𝑆𝐷 = 0,44) en vrouwen (𝑀 = 3,45; 𝑆𝐷 = 0,48). Beheersen [𝐹(1, 430) = 13,27; 𝑝 = 0,00], mannen (𝑀 = 3,56; 𝑆𝐷 = 0,41) en vrouwen (𝑀 = 3,40; 𝑆𝐷 = 0,46).
5.2.3 Verschil in school
Tabel 5.3 toont grote verschillen in RTTI-scores tussen de beide scholen, wat we goed kunnen verklaren door de aselecte groep op school A.
Tabel 5.3
RTTI-gemiddelden per school
RTTI school A (𝑁=200) school B (𝑁=307) Anova
R 𝑀 = 5,83; 𝑆𝐷 = 2,35 𝑀 = 3,93; 𝑆𝐷 = 1,20 𝐹(1, 505) = 142,60; 𝑝 = 0,00 T1 𝑀 = 6,66; 𝑆𝐷 = 1,50 𝑀 = 4,48; 𝑆𝐷 = 1,11 𝐹(1, 505) = 351,61; 𝑝 = 0,00 T2 𝑀 = 5,60; 𝑆𝐷 = 1,56 𝑀 = 4,06; 𝑆𝐷 = 1,06 𝐹(1, 505) = 174,99; 𝑝 = 0,00 I 𝑀 = 4,17; 𝑆𝐷 = 2,00 𝑀 = 3,05; 𝑆𝐷 = 1,01 𝐹(1, 505) = 69,52; 𝑝 = 0,00 Er waren significante verschillen tussen beide scholen in elk van de factoren van de fac-toranalyse. Conformeren [𝐹(1, 425) = 4,00; 𝑝 = 0,05] gaf voor school A (𝑀 = 3,80; 𝑆𝐷 = 0,44) en voor school B (𝑀 = 3,71; 𝑆𝐷 = 0,39) Voor profileren [𝐹(1, 425) = 5,29; 𝑝 = 0,02]
had school A (𝑀 = 3,59; 𝑆𝐷 = 0,50) en school B (𝑀 = 3,49; 𝑆𝐷 = 0,44). Beheersen [𝐹(1, 425) = 5,27; 𝑝 = 0,02] gaf voor school A (𝑀 = 3,54; 𝑆𝐷 = 0,47) en voor school B (𝑀 = 3,44; 𝑆𝐷 = 0,41).
Alleen bètaleerlingen en bètavakken gaven een groot verschil in de gemiddelden van zo-wel de factoren als de RTTI-scores. Er was een redelijke kans dat dit problemen ging opleveren zoals voorspeld in §4.5.1.
5.3 Correlaties
Voor het beantwoorden van de tweede deelvraag correleerden we de vragenlijst met RTTI en OMZA. In alle correlatietabellen is het significantieniveau weergegeven door middel van een kleurcodering. Voor het weergeven van de correlaties is de volgende wiskundige notatie gebruikt: 𝜌(𝑂, 𝑀) leest als de correlatie tussen Organisatie en Meedoen.
24 OMZA en RTTI, een correlatie?
5.3.1 Correlaties met vragenlijst en RTTI
De correlaties van onze dataset zijn in vier tabellen weergegeven:
Tabel 5.4a toont de correlatie tussen de resultaten van de factoranalyse en RTTI. Vooral beheersen heeft een sterke correlatie met elk onderdeel van RTTI.
In Tabel 5.4c is de correlatie weergegeven tussen OMZA en RTTI. Op de hoofddiago-naal, de omlijnde rechthoeken, zien we de correlaties waarnaar we op zoek waren. Al-leen 𝜌(𝐴, 𝐼) heeft een te lage betrouwbaarheid. Mogelijke verklaringen kunnen zijn dat autonomie voor docenten een minder belangrijk item is om te meten of dat docenten dit moeilijker kunnen vaststellen.
Problematisch echter zijn de correlaties met onvoldoende betrouwbaarheid, zoals 𝜌(𝑀, 𝑇2), 𝜌(𝑀, 𝐼) en 𝜌(𝑅, 𝐴). Dit onderzoeken we door eerst per school en later per profielvak te kij-ken.
Tabel 5.4b geeft de correlatie weer van de factoren met OMZA. Aangezien deze enkel van school B bekend zijn, zijn hier dus enkel de leerlingen van deze school meegeno-men. We zien dat conformeren sterk correleert met zowel Organisatie als Meedoen, zoals beoordeeld door de docenten. Beheersen en Zelfvertrouwen hebben een correlatie. Voor Tabel 5.4
a) factoren met RTTI b) factoren met OMZA
RTTI
c) OMZA met RTTI d) RTTI met RTTI
𝑝 < .01; 𝑝 < .05;
N.B. Tabel d: de zelfcorrelatie waarde van exact één op de hoofddiagonaal is met een ‘⋯’ aangegeven.
profileren zien we negatieve correlaties met zowel Organisatie als Meedoen maar positief met Zelfvertrouwen.
Als laatste wordt in Tabel 5.4d RTTI met zichzelf gecorreleerd. Deze lijkt op de verwachtte matrix zoals we eerder in Tabel 2.2c zagen. Opvallend is de hoge correlatie van 0,80 tussen T1en T2.
5.3.2 Correlaties factoren met RTTI opgesplitst per school
Uit de ANOVA-test is gebleken dat er een sterke schoolcomponent in de dataset aanwezig is. Het grootste deel (71,6%) van de ingevulde vragenlijsten op school A is door leerlingen met een NG- of NT-profiel ingevuld. Ook zijn op deze school de vragenlijsten afgenomen tijdens het lesuur van een exact vak.
Tabel 5.5
Correlaties factoren met RTTI per school
RTTI
factor R T1 T2 I
conformeren 0,00 0,08 0,15 0,05 profileren 0,18 −0,01 0,15 0,15 beheersen 0,27 0,10 0,38 0,23
RTTI
factor R T1 T2 I
conformeren 0,02 0,03 −0,01 0,04 profileren 0,07 0,07 0,01 0,03 beheersen 0,17 0,25 0,22 0,16
a) school A b) school B
𝑝 < .01; 𝑝 < .05;
Splitsen we de dataset per school, dan verdwijnen een deel van de gevonden correla-ties uit Tabel 5.4a, zie Tabel 5.5. Er is alleen een correlatie met beheersen. De andere twee factoren, conformeren en profileren correleren niet met welk onderdeel van RTTI dan ook.
School A heeft geen correlatie tussen beheersen en T1terwijl R en T2wel correleren en dat gat kunnen we niet uit de gegevens verklaren. School B heeft echter tussen beheersen en T1wel een correlatie. Vergelijken we beheersen van beide scholen, dan zien we zowel grote verschillen in betrouwbaarheid als in de grootte van de correlaties.
26 OMZA en RTTI, een correlatie?
Tabel 5.6
Correlaties met RTTI-profiel, school B
RTTI-profiel
factor R T1 T2 I
conformeren −0,01 0,08 −0,07 0,05 profileren 0,06 0,15 0,01 0,11 beheersen 0,24 0,35 0,24 0,22
RTTI-profiel profiel R T1 T2 I
O 0,21 0,19 0,13 0,06
M 0,25 0,31 0,21 0,21
Z 0,29 0,25 0,26 0,05
A 0,20 0,33 0,25 0,21
a) factoren met RTTI-profiel b) OMZA-profiel met RTTI-profiel
𝑝 < .01; 𝑝 < .05;
Met RTTI-profiel en OMZA-profiel krijgen we voor school B andere waarden voor de RTTI- en de OMZA-score, zoals te zien is in Tabel 5.6. Deze profielgegevens konden we niet genereren voor school A omdat we daar een groot deel van de vakken misten.
We zien in Tabel 5.6a dat met name beheersen de leerlingen verder hielp in het ontwikkelen van de RTTI-scores van de profielvakken. Conformeren en profileren hebben geen correlatie met de RTTI-scores.
Het eerste wat in Tabel 5.6b opvalt, zijn de correlaties tussen de indicatoren van OMZA-profiel en RTTI-OMZA-profiel. We zien hier een tabel waarin een groot deel van de correlaties significant blijkt te zijn. Ook zien we dat de hoofddiagonaal, de omlijnde rechthoeken, met betrouwbare waarden gevuld is. Elke indicator van OMZA-profiel correleert dus met de equivalente indicator van RTTI-profiel.
We vinden een groot aantal sterke correlaties, vooral linksonder. De rechterbovenhoek van Tabel 5.6b is hiermee vergeleken leeg, We kunnen van een benedendriehoeksmatrix spreken zoals verwacht in §2.5.