Eindhoven University of Technology MASTER. OMZA en RTTI, een correlatie? van Oorschot, J.; Witbreuk, E.H.R. Award date: Link to publication

Eindhoven University of Technology

MASTER

OMZA en RTTI, een correlatie?

van Oorschot, J.; Witbreuk, E.H.R.

Award date:

2019

Link to publication

Disclaimer

This document contains a student thesis (bachelor's or master's), as authored by a student at Eindhoven University of Technology. Student theses are made available in the TU/e repository upon obtaining the required degree. The grade received is not published on the document as presented in the repository. The required complexity or quality of research of student theses may vary by program, and the required minimum study period may vary in duration.

General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.

• Users may download and print one copy of any publication from the public portal for the purpose of private study or research.

• You may not further distribute the material or use it for any profit-making activity or commercial gain

Afstudeeronderzoek (10 ECTS) Science Communication and Education, Eindhoven School of Education

Eindhoven, 2019-06-06

Auteurs Jeroen van Oorschot, 0721913, informatica Erwin Witbreuk, 565646, wiskunde Begeleider dr. M.C.G. Thurlings

Zie: http://www.tue.nl/universiteit/over-de-universiteit/integriteit/wetenschappelijke-integriteit/ Hier is ook de Nederlandse Gedrags- code Wetenschapsbeoefening van de VSNU te vinden. Meer informatie over wetenschappelijke integriteit is te vinden op de websites van de TU/e en de VSNU.

1

Verklaring inzake TU/e Gedragscode Wetenschapsbeoefe- ning in het kader van de Masterscriptie

Ik heb kennis genomen van de TU/e Gedragscode Wetenschapsbeoefening¹.

Hierbij verklaar ik dat mijn Masterscriptie conform de regels van de TU/e Gedragscode Wetenschapsbeoefening tot stand is gekomen.

Datum

J. van Oorschot

Handtekening

E.H.R. Witbreuk

Handtekening

Lever de ondertekende verklaring in bij de coördinator van Onderzoek van Onderwijs.

Samenvatting

RTTI is een methode om toetsen te beoordelen op vier cognitieve niveaus van leren: Re- productie, Toepassen in bestaande context, Toepassen in nieuwe context en Inzicht. Naast het cognitieve domein is ook het affectieve domein te classificeren. Hiervoor gebruiken we de OMZA-classificatie: Organisatie, Meedoen, Zelfvertrouwen en Autonomie. Beide classificaties zijn piramidevormig en geordend van laag naar hoog. Er zijn aanwijzingen dat er correlaties zijn tussen beide classificaties. Specifieker tussen O-R, M-T₁, Z-T₂, en A-I.

Om dit te onderzoeken zijn door ons twee instrumenten ontwikkeld en toegepast: een vragenlijst en een uittreksel van de OMZA+RTTI-gegevens van de deelnemende leerlin- gen. De vragenlijst is gebaseerd op gedragskenmerken zoals deze door de ontwerpers van OMZA beschreven zijn.

De resultaten laten zien dat deze vragenlijst slechts drie factoren meet: conformeren, pro- fileren en beheersen. Ook blijkt dat alleen beheersen correleert met RTTI. Bekijken we de inschatting van de docenten van de OMZA-score van een leerling, dan blijkt dat er een goede correlatie is tussen RTTI en OMZA.

Inhoudsopgave

1 Inleiding . . . 1

2 Theoretisch kader . . . 3

2.1 RTTI . . . 3

2.2 OMZA . . . 4

2.3 Kanttekeningen OMZA . . . 5

2.4 Berekenen van RTTI-scores . . . 5

2.5 Correlaties . . . 7

2.6 Validatie en betrouwbaarheid . . . 8

3 Onderzoeksvraag . . . 9

4 Methode . . . 11

4.1 Participanten . . . 11

4.2 Instrument: vragenlijst . . . 12

4.2.1 Ontwerp . . . 13

4.2.2 Afname . . . 14

4.2.3 Vragenlijst digitalisering . . . 14

4.3 Instrument: RTTI en OMZA . . . 14

4.4 Analyse vragenlijst . . . 15

4.4.1 Controle vragenlijst . . . 15

4.4.2 Factoranalyse . . . 16

4.4.3 Cronbachs Alfa . . . 16

4.4.4 Trendbreukanalyse . . . 16

4.5 Analyse datasets . . . 17

4.5.1 Univariate analyse . . . 17

4.5.2 Correlaties . . . 17

5 Resultaten . . . 19

5.1 Betrouwbaarheid . . . 19

5.1.1 Factoranalyse . . . 19

5.1.2 Naamgeving factoren . . . 20

5.2 Univariate analyse . . . 22

5.2.1 Geen verschillen . . . 22

5.2.2 Verschil in geslacht . . . 23

5.2.3 Verschil in school . . . 23

5.3 Correlaties . . . 23

iv OMZA en RTTI, een correlatie?

5.3.1 Correlaties met vragenlijst en RTTI . . . 24

5.3.2 Correlaties factoren met RTTI opgesplitst per school . . . 25

6 Conclusie en discussie . . . 27

6.1 Gedragskenmerken . . . 27

6.2 Dataverwerking . . . 28

6.3 Implicaties en advies . . . 28

Literatuur . . . 29

A Vragenlijst . . . 31

B Cronbachs alfa per construct . . . 35

C Codering vragenlijst en resultaten factoranalyse . . . 37

D Trendbreukanalyse componenten . . . 39

Figuren en tabellen

2.1 Overzicht taxonomieën . . . 4

2.2 Verwachtte correlaties met RTTI . . . 7

4.1 Overzicht gegevens per school . . . 11

4.1 Venndiagram van de verzamelde gegevens . . . 12

5.1 Cronbachs alfa constructen . . . 19

5.2 Patroonmatrix van de factoranalyse met drie componenten . . . 20

5.3 RTTI-gemiddelden per school . . . 23

5.4 Correlatie factoren, OMZA en RTTI . . . 24

5.5 Correlaties factoren met RTTI per school . . . 25

5.6 Correlaties met RTTI-profiel, school B . . . 26

B.1 Cronbachs alfa constructen . . . 35

C.1 Codering vragenlijst en resultaten factoranalyse . . . 37

Verklarende woordenlijst

construct A priori indeling van de vragenlijst in groep (set) van items factor Een factor van de factoranalyse van de vragenlijst

item Een vraag in de vragenlijst

OMZA-classificatie Affectieve classificatie in de OMZA-indicatoren Organisatie- vermogen (O), Meedoen (M), Zelfvertrouwen (Z) en Auto- nomie (A)

OMZA-construct A priori indeling van de vragenlijst in de constructen: Orga- nisatievermogen, Meedoen, Zelfvertrouwen en Autonomie OMZA-gegeven Set van OMZA-indicatoren: jaargemiddelde (per vak, per

leerling)

OMZA-indicator Eén van de indicatoren O, M, Z en A

OMZA-profiel Set van OMZA-score van alleen de profielvakken

OMZA-score Set van OMZA-indicatoren: per indicator het ongewogen jaar- gemiddelde over alle vakken (per leerling)

RTTI-classificatie Cognitieve classificatie in de RTTI-indicatoren Reproductie (R), Toepassing 1 (T₁), Toepassing 2 (T₂) en Inzicht (I) RTTI-gegeven Set van RTTI-indicatoren: jaargemiddelde (per vak, per leer-

ling)

RTTI-indicator Eén van de indicatoren R, T₁, T₂en I RTTI-profiel RTTI-score van alleen de profielvakken

RTTI-score Set van RTTI-indicatoren: per indicator het ongewogen jaar- gemiddelde over alle vakken (per leerling)

1 Inleiding

“Het primair onderwijs heeft de opdracht zorg te dragen voor de brede ontwikkeling van leerlingen. Dat wil zeggen: zorgen dat alle leerlingen zich op cognitief, sociaal-emotioneel, cultureel en lichamelijk gebied optimaal kunnen ontplooien en goed voorbereid zijn op hun verdere (school)loopbaan. Het uitvoeren van deze opdracht stelt eisen aan de structuur van een school, aan docenten en schoolleiders en aan ouders.¹”

Eén van de aanbevelingen uit het hierboven genoemde advies is het gebruik van toetsing als diagnostisch instrument. Om toetsen (en daarmee de capaciteiten van leerlingen) be- ter te kunnen analyseren zijn er verschillende methoden ontwikkeld.

Een voorbeeld hiervan is RTTI, een systeem voor het metadateren van toetsen om het cognitieve leerniveau te meten. Dit systeem is ontwikkeld door Docentplus BV, een be- drijf dat zich bezighoudt met het meten en verbeteren van leerprocessen in het primaire proces. Volgens hen is “RTTI is een middel om scherp en transparant de vier cognitie- ve niveaus van leren in kaart te brengen”². Met het RTTI-systeem worden toetsvragen ingedeeld in vier categorieën: Reproductie(R), Training(T₁), Transfer(T₂) en Inzicht(I).

Naast de cognitieve indeling gebruikt het bedrijf ook een affectieve classificatie met de naam OMZA. Dit staat voor Organisatievermogen, Meedoen, Zelfvertrouwen en Autono- mie. De beide classificaties RTTI en OMZA zijn geordend van laag naar hoog en hebben een piramidevorm. Dat wil zeggen dat de lagere niveaus worden beheerst op de hogere niveaus. Dus een goede score op Zelfvertrouwen zal betekenen dat de niveaus Organisa- tievermogen en Meedoen ook worden beheerst.

De ontwikkelaars van zowel RTTI en OMZA vermelden een zekere correlatie tussen ge- lijke niveaus van beide classificaties, dus tussen O-R, M-T₁, Z-T₂, en A-I. Hoe sterk deze relatie is wordt echter niet vermeld en dat er een zekere correlatie zal zijn lijkt triviaal. Ie- mand die meedoet in de les zal in staat zijn de trainingsgerichte toepassingsvragen (T₁) te beantwoorden. Tenminste, als de trainingsgerichte toepassingsvragen in de les worden behandeld. Iemand die een autonome leerhouding heeft, zal inzichtvragen (I), vragen buiten de standaardcontext, kunnen beantwoorden.

Wij willen met dit onderzoek een bijdrage leveren aan de wetenschappelijke onderbou- wing van meetinstrumenten in het onderwijs zoals OMZA. “Een zekere correlatie” zegt in deze niet veel.

1 Bron: De Onderwijsraad, https://www.onderwijsraad.nl/dossiers/primair-onderwijs/item125. Het advies Een stevige basis voor iedere leerling (2011) gaat hier uitgebreider op in.

2 Bron: Docentplus, https://docentplus.nl/meten-met-rtti/

2 OMZA en RTTI, een correlatie?

Als tweede aspect willen wij een instrument ontwikkelen voor zelfbeoordeling door leer- lingen om OMZA vast te stellen. Dit om docenten te ontlasten. Bijkomend voordeel is dat een zelfbeoordeling heel leerzaam voor leerlingen kan zijn en hen kan helpen hun vaardigheden verder te ontwikkelen.

2

Theoretisch kader

In dit hoofdstuk worden de basisbegrippen RTTI en OMZA behandeld. Hoe kunnen de- ze Nederlandse begrippen geplaatst worden in een internationaal kader? Wat kunnen wij verwachten als uitkomst van dit onderzoek? Daarnaast wordt er een onderbouwing gegeven ter ondersteuning van de gebruikte methode.

In het Handboek RTTI (Drost & Verra, 2016) worden de kernconcepten RTTI en OMZA beschreven. Dit boek is onderdeel van een cursuspakket aangeboden door het bedrijf Docentplus, grondlegger en ontwikkelaar van RTTI^®en OMZA^®. De aanwezigheid van handelsmerken, net als de Nederlandse afkorting, belemmeren het gebruik ervan in de internationale literatuur.

2.1 RTTI

Het RTTI-systeem³is een toetsmethode. Toetsvragen worden ingedeeld in vier cognitie- ve niveau’s, van laag naar hoog: Reproductie (R), Training of toepassingsgericht 1 (T₁), Transfer of toepassingsgericht 2 (T₂) en Inzicht & Innovatie (I).

Reproductievragen (R) gaan over basiskennis. De antwoorden kunnen op basis van me- morisatie van de leerstof geleerd worden.

Trainingsgerichte toepassingsvragen (T₁) toetsen of de leerling kennis kan toepassen in herkenbare situaties. Deze vragen zijn oplosbaar via een getrainde procedure.

Transfergerichte toepassingsvragen (T₂) toetsen of de leerling kennis kan toepassen of combineren die niet direct geoefend is. Vergeleken met trainingsgerichte toepassingsvra- gen moet de leerling een extra stap maken.

Bij Inzicht- & Innovatievragen (I) moet de leerling zelf de context en methode construeren om tot een oplossing te komen.

De toetsmaker deelt de toetsvragen bij één van de vier RTTI-indicatoren in. Via deelscores per vraag kan dan de score van de desbetreffende categorie berekend worden.

RTTI is een vorm van formatieve toetsing met terugkoppeling naar zowel docenten als leerlingen. Enerzijds geeft het informatie over het leerproces en de leerresultaten van de leerlingen. Daarmee geeft het de docent de mogelijkheid om de lessen aan te passen.

Anderzijds krijgen de leerlingen inzicht in hun eigen leerproces, hun sterke en zwakke punten en welke acties zij kunnen ondernemen om de schoolresultaten te verbeteren.

RTTI heeft net als de (herziene) cognitieve hiërarchie van Bloom (Anderson, Krathwohl,

& Bloom, 2001) een opbouwend karakter. Om in een hiërarchie op een hoger niveau te komen, moeten de vorige niveaus beheerst worden (R → T₁→ T₂→I). Vaak wordt dit

3 Naar meten met RTTI (Docentplus, 2019)

4 OMZA en RTTI, een correlatie?

schematisch als een piramidevorm weergegeven. Tabel 2.1 geeft beide taxonomieën met de bijbehorende niveau’s in tabelvorm weer.

Naast het “cognitieve” domein is er ook een taxonomie opgesteld voor het “affectieve”

domein (Krathwohl, Bloom, & Masia, 1964), zie Tabel 2.1. Een andere taxonomie voor het affectieve domein is OMZA, zie §2.2.

Tabel 2.1

Overzicht taxonomieën

Cognitief Affectief Niveau

(Bloom herzien) RTTI OMZA (Krathwohl)

Onthouden Reproductie (R) Organisatie Ontvangen laag Begrijpen Training (T₁) Meedoen Reageren

Toepassen Transfer (T₂) Zelfvertrouwen Waarderen Analyseren Inzicht (I) Autonomie Organiseren

Evalueren Karakteriseren

Creëren hoog

N.B. Niveaus van boven naar beneden oplopend in moeilijkheidsgraad.

2.2 OMZA

Voor het onderzoek beginnen we met de definities zoals deze in het handboek RTTI staan.

O = Organisatie

het gaat hier om overzicht, planning, het meenemen van de juiste boeken en schriften, werkt de leerling per vak met aparte schriften of een map met tabbladen [in plaats van dat alle aantekeningen door elkaar staan of op allemaal ‘losse blaadjes’], etc. …

M = Meedoen

doet de leerling mee in de les, heeft de leerling huiswerk gemaakt, is hij betrokken, beant- woordt hij vragen, etc. …

Z = Zelfvertrouwen

bij een gebrek aan zelfvertrouwen zie je bijvoorbeeld onzekerheid bij nieuwe leerstof, twij- fel bij de leerling, dat de leerling heel veel vragen stelt, graag precies wil weten wat geleerd moet worden, of op andere wijze veel bevestiging en aandacht vraagt. Dat de leerling vra- gen die net even anders zijn dan geoefend overslaat bij het maken van het huiswerk, maar ook juist clownesk gedrag om het gebrek aan zelfvertrouwen te versluieren. …

A = Autonoom

kan de leerling zelfstandig functioneren, stelt de leerling vragen die er toe doen in plaats van uit onzekerheid of roep om aandacht, is de leerling pro-actief, stelt hij vragen over de leerstof die nog aan de orde gaat komen in de lessenreeks, is er sprake van kritische reflec- tie, interne attributie, etc. …⁴

4 (Drost, et al., 2016, p. 19)

Bloom (Bloom, Englehard, Furst, Hill, & Krathwohl, 1956) heeft een drietal gebieden geïdentificeerd van leeractiviteiten, namelijk “cognitive”, “affective” en “psychomotor”.

RTTI en OMZA omvatten, volgens de ontwerpers, samen de eerste twee leergebieden.

Analoog aan het cognitieve domein (RTTI) kent het affectieve domein (OMZA) ook een hiërarchie ( 𝑂 → 𝑀 → 𝑍 → 𝐴).

2.3 Kanttekeningen OMZA

In het Handboek RTTI (Drost, et al., 2016) worden de OMZA-indicatoren ook wel gedrags- indicatoren⁵genoemd. Gedrag en gevoel zijn twee verschillende componenten. Organi- satievermogen en Meedoen zijn gedrag, terwijl Zelfvertrouwen en Autonomie eerder aan een gevoel of gemoedstoestand doen denken.

Een instrument voor het meten van gedrag in de klas is de “Teacher Observation of Classroom Adaptation - Checklist” ofwel TOCA-C (Koth, Bradshaw, & Leaf, 2009). Deze wordt gebruikt om het sociaal-emotioneel functioneren van leerlingen te verbeteren en om vroegtijdig risicoleerlingen te signaleren. Deze checklist is opgesteld voor en getest op de basisschool, maar komt voor dit onderzoek goed overeen. Deze checklist meet een drietal factoren: ‘concentratieproblemen’, ‘disruptief gedrag’ en ‘prosociaal gedrag’. Er is een overlap met ‘Organisatievermogen’ en ‘Meedoen in de les’, maar het verschil tussen de affectieve indeling en deze checklist is groot.

De betekenis van OMZA kan door scholen verschillend geïnterpreteerd worden. Het Sint- Laurenscollege heeft bijvoorbeeld ouders ingelicht over de betekenis van OMZA op het rapport van de leerling (Sint-Laurenscollege, 2015). Zelfvertrouwen volgens de OMZA- definitie is het ‘vertrouwen in eigen kunnen’ en dit wordt door het Sint-Laurenscollege vertaald in “bij moeilijkheden doorzetten”. Maar ‘doorzettingsvermogen’ en ‘zelfvertrou- wen’ zijn twee verschillende begrippen. Doorzettingsvermogen is taakgericht en vergt vertrouwen in je eigen kunnen. Er is een zekere mate van beheersing van de stof voor nodig, wat resulteert in weer een zekere mate van zelfvertrouwen.

2.4 Berekenen van RTTI-scores

Van elke leerling zijn er per vak RTTI-gegevens beschikbaar. Voor dit onderzoek willen we, onafhankelijk van het vak, correlaties tussen leerlingen berekenen. Daartoe verwerken we deze gegevens tot een enkele RTTI-score per leerling. Van alle vakken die de leerling volgt nemen we het ongewogen gemiddelde van de RTTI-gegevens.

Zoals in dit onderzoek gebeurde, geeft dit problemen wanneer op scholen verschillende deelgroepen worden onderzocht. Op school A hebben wij een specifieke groep leerlingen

5 “Naast cognitieve indicatoren kunnen ook gedragsindicatoren (OMZA) gebruikt worden …” (Drost, et al., 2016, p. 19)

6 OMZA en RTTI, een correlatie?

bevraagd: bèta-leerlingen met alleen de resultaten van de bètavakken. Leerlingen dus die goed zijn in de onderzochte vakken, wat resulteert in goede gemiddelde RTTI-scores.

Op school B zijn van de onderzochte leerlingen de RTTI-gegevens van alle vakken be- schikbaar. Er zijn leerlingen die een 100% score hebben voor (een RTTI-indicator van) wiskunde of natuurkunde. Het is veel onwaarschijnlijker dat een leerling dat voor alle gevolgde vakken heeft. Ook is het minder waarschijnlijk dat een leerling onvoldoende staat voor een keuze- of profielvak dan voor één van de andere verplichte vakken. De gemiddelde RTTI-score zal voor deze leerlingen lager zijn dan bij school A.

Een ander probleem is de schaalverkleining die zal optreden bij vakken die de leerling niet liggen. Bij deze vakken zullen de RTTI-scores dan voornamelijk in de R- en T₁-sfeer liggen. Een leerling die het talent niet heeft, maar wel zijn best doet en voldoende tijd erin steekt, zou goed op Z en A kunnen scoren omdat hij zijn verantwoordelijkheid neemt.

Zowel de selecte deelgroep van school A als de schaalverkleining zullen vertekeningen geven in de RTTI-scores.

Beide problemen zijn te verminderen door bij het berekenen van de RTTI-score van een leerling minder vakken mee te nemen. Dit moeten vakken zijn waar een leerling redelijk tot goed in is. Omdat we de cijfers per vak niet hadden meegenomen in ons onderzoek, konden we dit niet berekenen. Daarom zijn we uitgegaan van de veronderstelling dat het profiel vakken bevat waar een leerling redelijk tot goed in is. Dit hoeven echter niet alle vakken te zijn. Om de gemiddelde RTTI-scores van beide scholen beter vergelijkbaar te maken, wordt een nieuwe score, RTTI-profiel, berekend. Dit kan alleen voor school B omdat we hier van alle vakken de RTTI-gegevens hebben. De vakken zijn als volgt in profielen ingedeeld:

CM wiskunde A, geschiedenis, Spaans, aardrijkskunde, economie en de kunstvakken

EM wiskunde A, economie, geschiedenis, Spaans, aardrijkskunde en management & organisatie

NG wiskunde A, wiskunde B, biologie, scheikunde, aardrijkskunde en natuurkunde

NT scheikunde, wiskunde B, wiskunde D, natuurkunde en biologie We merken op dat de verplichte kern-vakken niet zijn meegenomen.

2.5 Correlaties

In Handboek RTTI wordt de RTTI-classificatie gekoppeld aan OMZA. Deze relaties zouden een-op-een⁶zijn, dus tussen O-R, M-T₁, Z-T₂, en A-I. We verwachten dan een correlatie te zien tussen OMZA en RTTI zoals in Tabel 2.2a is weergegeven.

Maar als OMZA net als RTTI hiërarchisch is, dan zou je verwachten dat iemand die Au- tonoom (A) is op alle andere onderdelen van OMZA ook goed scoort. Als Autonomie dan correleert met Inzicht, dan zal Autonomie correleren met elk onderdeel van RTTI.

Hetzelfde argument geldt ook voor RTTI. Een correlatie met bijvoorbeeld T₂zal ook een correlatie geven met T₁en R. Dan zou de relatie niet een-op-een zijn maar de structuur hebben zoals te zien in Tabel 2.2b. Wiskundig heet dit een benedendriehoeksmatrix, waar- bij de elementen boven de hoofddiagonaal nul zijn.

Bij een zelfcorrelatie van RTTI verwachten we dat naastgelegen zones, bijvoorbeeld T₁ en T₂een hogere correlatie met elkaar hebben dan bijvoorbeeld R en I. De correlaties op Tabel 2.2

Verwachtte correlaties met RTTI

RTTI

R T₁ T₂ I

O — — —

M — — —

Z — — —

A — — —

RTTI

R T₁ T₂ I

O — — —

M — —

Z —

A a) OMZA met RTTI:

verwachting Docentplus

b) OMZA met RTTI:

onze verwachting

RTTI

R T₁ T₂ I

R ⋯

T₁ ⋯

T₂ ⋯

I ⋯

c) RTTI met RTTI

N.B. Tabel a en b: de kleur geeft een correlatie weer, ‘—’ de afwezigheid van een correlatie.

Tabel c: hoe donkerder de kleur, hoe sterker de correlatie. De zelfcorrelatie wordt op de hoofddiagonaal door ‘⋯’ weergegeven.

6 Per OMZA categorie wordt vermeld: “Deze gedragsindicator vertoont een bepaalde mate van samenhang met de cognitieve indicator ...” (Drost, et al., 2016, p. 19)

8 OMZA en RTTI, een correlatie?

de hoofddiagonaal zijn per definitie één, want een factor correleert altijd met zichzelf. In Tabel 2.2c zien we de hoofddiagonaal met de hoogste correlatie en verder van de hoofd- diagonaal af een lagere correlatie.

2.6 Validatie en betrouwbaarheid

Voor het ontwikkelen van een betrouwbaar en valide meetinstrument om OMZA te kun- nen meten, moet er duidelijkheid zijn over de definities. We hebben gezien dat er kantte- keningen te plaatsen zijn bij het begrip OMZA, wat weer vraagtekens plaatst bij de vali- diteit ervan.

De OMZA-classificatie is voor ons een gegeven. Met behulp van het berekenen van de Cronbachs alfa kunnen we een oordeel geven over de betrouwbaarheid. Een Cronbachs alfa van boven de 0,7 heeft een hoge betrouwbaarheid en wordt in de meeste studies als minimum aangemerkt. In SPSS Explained (Hinton, McMurray, & Brownlow, 2004) wordt een Cronbachs alfa van van 0,5 tot 0,7 als een matige betrouwbaarheid ingeschaald.

Bij De Jong en Westerhof worden verschillende vormen van validiteit toegepast. De cor- relatie tussen de indicator (OMZA) en resultaten (RTTI) wordt ingeschaald als de meest eenvoudige vorm van validatie, de voorspelbare validatie⁷.

Inhoudelijke validatie⁸ is lastiger. A priori zijn we zo dicht mogelijk gebleven bij de ge- dragskenmerken waar docenten op zouden moeten letten bij het beoordelen van de OMZA- scores van leerlingen. A posteriori wordt een factoranalyse gebruikt om te zien of de theore- tische indeling in de verschillende OMZA-indicatoren met empirisch bewijs kan worden gestaafd.

7 “Predictive validity is the simplest form of validity. The correlation between predictor (…) and criterion (…)”

(De Jong & Westerhof, 2001, p. 4)

8 “Content validity is more troublesome. (…) A priori theories (…) and existing tools (…) can be used to select behavioural items to observe. The relevance of items can be argued on logical grounds. A posteriori factor analysis can be applied in order to see if the theoretical constructs gain empirical evidence.” (De Jong, et al., 2001, p. 4)

3

Onderzoeksvraag

Naar aanleiding van de veronderstelde een-op-een correlatie tussen RTTI- en OMZA- niveau’s, is de volgende onderzoeksvraag opgesteld:

In hoeverre correleert de affectieve OMZA-classificatie met de cognitieve RTTI-classificatie?

Voor dit doel wordt er een meetinstrument ontworpen om OMZA van een grote groep leerlingen te kunnen meten. Samen met de RTTI-gegevens van de leerlingen kan dit ver- band onderzocht worden. Om een eenduidig antwoord te formuleren zijn de volgende deelvragen opgesteld:

1. In hoeverre kan een valide en betrouwbare vragenlijst ontwikkeld worden voor zelfbeoordeling door leerlingen van de bovenbouw van het VO om hun OMZA- scores te berekenen?

2. In hoeverre correleert de gevonden OMZA-score van een leerling met diens RTTI-score?

4 Methode

Voor dit onderzoek zijn een tweetal instrumenten ontwikkeld. Het eerste instrument is een valide en betrouwbare vragenlijst voor zelfbeoordeling door leerlingen van de bo- venbouw van het voortgezet onderwijs om hun OMZA-scores te meten. Deze instru- ment wordt vragenlijst genoemd. Het tweede instrument zijn verkregen RTTI- en OMZA- gegevens. Deze gegevens zijn de beoordelingen door de docenten van de leerlingen. De gegevens van beide instrumenten zijn in SPSS verwerkt en geanalyseerd. De verklarende woordenlijst op pagina vii bevat de lijst van definities en benamingen van de verschillen- de datasets zoals deze in dit hoofdstuk worden beschreven.

4.1 Participanten

We hebben onze vragenlijst op twee middelbare scholen in de regio Eindhoven uitgezet.

De respons was 433 ingevulde vragenlijsten van de in totaal 695 leerlingen.

Van beide scholen hebben we leerlingen uit de klassen 3 tot en met 5, zowel havo als vwo.

Op het moment dat de vragenlijst werd uitgezet, waren de examenleerlingen reeds klaar en deze hebben dus niet mee kunnen doen aan het onderzoek. Om dit te compenseren is ervoor gekozen om ook klas 3 mee te nemen, deze leerlingen zijn immers slechts een zomervakantie van de bovenbouw verwijderd. Op school A werden de klassen van drie wiskunde- en twee natuurkunde-docenten bevraagd. Op school B hebben we (bijna) al- le leerlingen van een jaarlaag mogen bevragen. De vragenlijst was dus niet homogeen verdeeld over beide scholen, zie Tabel 4.1, wat effect heeft gehad op de dataverwerking.

Hierop komen we terug in §4.5.2.

Tabel 4.1

Overzicht gegevens per school

Gegevens school A school B

vragenlijst X X

OMZA X

RTTI X X

alfa lln (CM+EM) X

bèta lln (NG+NT) X X

Naast de RTTI-gegevens verkregen wij ook toegang tot OMZA-gegevens. Op school B was OMZA geïntroduceerd en een aantal docenten had leerlingen hierop al beoordeeld.

12 OMZA en RTTI, een correlatie?

Figuur 4.1 toont drie verschillende verzamelingen: vragenlijst, RTTI en OMZA. OMZA is een deelverzameling van RTTI, omdat OMZA pas wordt geïmplementeerd als RTTI gedaan is. Per doorsnede is het aantal leerlingen weergegeven waarvan we de gegevens hebben verzameld.

vragenlijst

RTTI

OMZA 188

76

186

124 121

Figuur 4.1. Venndiagram van de verzamelde gegevens

Uitgaande van een populatie van 1 miljoen scholieren (Onderwijs in Cijfers, 2017), een standaard betrouwbaarheidsniveau van 95% met dus een foutmarge van 5% zouden we een steekproef van 385 (SurveyMonkey, 2018) nodig hebben. Dit aantal is met 433 vra- genlijsten ruim gehaald.

Uitgaande van hetzelfde betrouwbaarheidsniveau kwamen we bij een populatie van 433 (aantal vragenlijsten) op een steekproefgrootte van 204 uit. Voor het correleren van de vragenlijst met RTTI, zie Figuur 4.1, hadden we met 245 (124+121) participanten dus een voldoende grootte voor de steekproef. Alleen bij een correlatie van vragenlijst met OMZA was een steekproefgrootte van 121 te mager, dus minder betrouwbaar.

4.2 Instrument: vragenlijst

Om een duidelijk beeld te vormen van de OMZA-indicatoren en om een grote respons te verkrijgen, is er besloten een vragenlijst samen te stellen. De doelgroep van de vragenlijst is de bovenbouw van de middelbare school. Van deze groep mag je immers verwachten dan ze de OMZA-competenties beheersen of een flink eind op weg zijn⁹. Het taalgebruik van het ontwikkelde instrument is dan ook op deze doelgroep afgestemd.

Na het ontwerp en validatie van de vragen wilden we, via een steekproef en een betrouw- baarheidsanalyse, een kleinere groep meest relevante vragen overhouden. Dit zou de be- lasting voor leerlingen en docenten verminderen. Door de grote vakantie is hiervan afge- zien.

9 “…classification of educational goals…” (Krathwohl, et al., 1964)

4.2.1 Ontwerp

Voor de vragenlijst hebben we gebruik gemaakt van twee verschillende bronnen. Ten eer- ste heeft Docentplus voor elk van de niveaus in OMZA een lijst opgesteld met indicatoren waar docenten op kunnen letten, zie ook §2.2 op pagina 4. Deze indicatoren zijn vertaald naar items, ofwel vragen in de vragenlijst. Een groep items noemden we construct. De vragenlijst telt vier constructen met dezelfde naam als de OMZA-indicatoren. Een voor- beeld is de indicator: “werk is zelden af binnen de gestelde tijd”. Wij hebben deze indica- tor vertaald naar “Als de docent in de les een opdracht geeft heb ik deze binnen de door hem/haar gestelde tijd af” voor het construct Meedoen.

Ten tweede hebben we gekeken naar bestaande vragenlijsten (Psychology Today, 2017;

University of Cambridge Psychometrics Centre, 2017). Op internet zijn talloze zelftests te vinden die bijvoorbeeld Zelfvertrouwen meten. Ook zijn er veel vragenlijsten met be- trekking tot Organisatie die gebruikt worden in het bedrijfsleven. Hieruit hebben we een aantal items gedestilleerd die zowel in een schoolsituatie als in relatie tot OMZA bruik- baar zijn.

Inhoudelijke validatie vond a priori plaats via terugkoppeling door collega’s en een pa- nelevaluatie met drie leerlingen van school A. Op basis van deze interviews hebben we een aantal items geherformuleerd.

Bij de evaluatie door de leerlingen zijn allereerst de items individueel beoordeeld. Vervol- gens zijn de items geordend naar OMZA en is het panel gevraagd waar zij dachten dat de constructen over gingen. Items over het organisatievermogen werden geïnterpreteerd als

“moeite in willen steken” of “iets voor willen doen”. Bij meedoen in de klas werd meer gedacht aan “hoe voelt iemand zich in de klas”. Het onderdeel zelfvertrouwen werd ge- relateerd aan “bereid zijn van fouten te leren”. De Autonomie-items deden denken aan

“initiatief nemen” en “hoe staat iemand in de groep”. Ook deden deze items denken aan de “mening van anderen mee in overweging nemen”. Dit zijn duidelijk andere benamin- gen dan die binnen OMZA worden gebruikt.

Door het panel werd ook de docentfactor genoemd. Bereid zijn om van je fouten te leren was niet alleen individueel bepaald maar verschilde ook per docent. Gaf deze het ‘laat maar’- of het ‘laat maar zien of je het kan’-gevoel. Bij de eerste docent leerde je weinig, bij de tweede des te meer.

Na de inhoudelijke validatie hebben we alleen een aantal items geherformuleerd. De naamgeving en indeling van de constructen hebben we niet veranderd.

Op de vragenlijst wordt het unieke leerlingnummer gevraagd, om de koppeling te kunnen maken naar de RTTI- en OMZA-gegevens van de school. Vervolgens moeten de leerlingen hun schooljaar, niveau en geslacht invullen. Dan volgen er 38 items. Elke item kan wor- den beantwoord op een vijf punts Likert schaal (‘zeer oneens’, ‘oneens’, ‘eens/oneens’,

‘eens’ en ‘zeer eens’). De vragenlijst is zó opgesteld dat de items onderverdeeld zijn in de constructen ‘Organisatievermogen’, ‘Meedoen’, ‘Zelfvertrouwen’ en ‘Autonomie’. Enke- le willekeurige items zijn omgepoold om de aandacht van de leerlingen erbij te houden.

14 OMZA en RTTI, een correlatie?

De items die bij deze constructen horen zijn per blokken van twee willekeurig over de vragenlijst verdeeld. Zie Bijlage A voor de complete vragenlijst.

4.2.2 Afname

De vragenlijst werd op papier afgenomen, want volgens de docenten worden papieren versies door hun leerlingen serieuzer ingevuld. Organisatorisch had dit ook de voorkeur van de docenten. De vragenlijst werd voorzien van een begeleidend schrijven die aan de leerlingen werd voorgelezen voordat ze begonnen. De vragenlijst opende met een stukje uitleg over het doel van het onderzoek. De leerlingen werden erop gewezen dat de vra- genlijst anoniem verwerkt zou worden en dat er geen goede of foute antwoorden waren.

Op deze manier werden de leerlingen gerustgesteld omdat ze wisten dat ze niet persoon- lijk werden beoordeeld.

Afname van de vragenlijst vond plaats op twee scholen en in verschillende klassen onder begeleiding van een docent en werd door de leerlingen individueel ingevuld.

4.2.3 Vragenlijst digitalisering

De vragenlijst is gemaakt met het programma Limesurvey (LimeSurvey Project Team / Carsten Schmitz, 2012). Dit programma maakt automatische detectie en verwerking mogelijk door elk item te koppelen aan een SPSS-variabele met een bijbehorend invul- veld(en). Van elk invulveld is de unieke positie beschreven ten opzichte van herkennings- punten. Een unieke streepjescode op elk blad van de vragenlijst maakt automatische ver- werking mogelijk.

Met het programma queXF (ACSPRI, 2017) worden de papieren vragenlijsten betrouw- baar verwerkt tot een digitaal bestand dat direct is in te lezen in SPSS. Van elke gemaakte papieren vragenlijst wordt een scan gemaakt (pdf) en ingeladen in queXF. Het program- ma controleert of de vragenlijst compleet is en of deze al eens eerder is ingeladen. Au- tomatische detectie van de invulvelden vindt plaats waarna, na eventuele correctie, de gegevens worden toegevoegd aan de dataset.

4.3 Instrument: RTTI en OMZA

Naast de vragenlijst maakten we gebruik van RTTI- en OMZA-gegevens. Van beide scho- len werden de RTTI- en OMZA-gegevens programmatisch aan de dataset toegevoegd.

Van school A verkregen we de RTTI-gegevens in spreadsheets. Dit waren dezelfde leer- lingen die de vragenlijst hadden ingevuld, dus alleen bèta-leerlingen. OMZA-gegevens waren niet beschikbaar.

Van school B konden we de RTTI- net als de OMZA-gegevens, verkrijgen via RTTI-online¹⁰. We hebben de gegevens overgenomen van de jaarlagen waarin we de vragenlijst hebben afgenomen, dus jaar drie tot en met vijf.

RTTI-gegevens worden per toets gegenereerd. Voor dit onderzoek is het jaargemiddelde per vak gebruikt. OMZA-gegevens worden door de docent ingevuld, meestal meerdere keren per jaar. Via RTTI-online wordt per periode de OMZA-score via het stoplicht mo- del (Drost & Verra, 2014) ingevuld. Voor elke OMZA-indicator staat deze standaard op groen (in orde) en kan gewijzigd worden in geel (deels in orde) of rood (niet in orde).

Voor dit onderzoek is het jaargemiddelde per vak gebruikt. De RTTI- en OMZA-gegevens zijn dus afkomstig van de docenten die de betreffende leerling in de klas hebben. Hier- bij moet de kanttekening worden gemaakt dat veel docenten de OMZA-gegevens niet hadden ingevuld.

Voor beide scholen genereerden we voor elke leerling de RTTI-score als het ongewogen gemiddelde van alle vakken en de OMZA-score als het ongewogen gemiddelde van alle beoordelingen door de docenten.

4.4 Analyse vragenlijst

Om de gewenste informatie uit de vragenlijsten te halen, zijn een aantal analyses toege- past. De functies van deze analyses en hoe deze zijn uitgevoerd worden hieronder be- sproken.

4.4.1 Controle vragenlijst

Sommige leerlingen hadden door dat er een verschil zat tussen anoniem zijn en anoniem verwerken en vulden derhalve een foutief leerlingnummer in. Omdat we deze leerlin- gen niet kunnen koppelen aan gegevens zijn deze vragenlijsten niet meegenomen in het onderzoek.

Leerlingen met een dubbel profiel als NG en NT zijn als NG in de dataset opgenomen.

Op het moment van afname waren de eindexamens al begonnen en de zesdeklassers dus niet meer beschikbaar om onze vragenlijst in te vullen. Aangezien er toch leerlingen hebben aangegeven in de zesde klas te zitten, zijn deze ook verwijderd.

Omdat we alleen de bovenbouwleerlingen meenemen of diegenen die al een profiel ge- kozen hebben (eind derde klas), is de vragenlijst van een leerling verwijderd die aangaf in klas twee te zitten.

Van de 443 ingevulde vragenlijsten zijn er 433 schoon overgebleven.

Het is te verwachten dat de respons op elk item normaal verdeeld is. Bij item SQ104: ‘Ik kijk regelmatig in mijn agenda om te zien wat mijn huiswerk is’ bleek dit niet het geval

10 Website van Docentplus voor het bijhouden van RTTI- en OMZA-gegevens (https://www.rttionline.nl)

16 OMZA en RTTI, een correlatie?

en waren 2 pieken zichtbaar. Een leerling had bij dit item geschreven dat huiswerk in het elektronisch systeem van de school staat. Dit item is derhalve verwijderd.

4.4.2 Factoranalyse

De items van de vragenlijst zijn allemaal gesteld met het doel meer inzicht te krijgen in een construct van OMZA. Het is echter niet zeker dat deze constructen ook als zodanig uit de vragenlijst zullen volgen. Om te kijken welke items volgens de gegeven antwoorden het beste bij elkaar passen voeren we een exploratieve factoranalyse¹¹uit. Deze zal de items die door de leerlingen vergelijkbaar worden beantwoord weergeven in een groep.

4.4.3 Cronbachs Alfa

De Cronbachs alfa¹² wordt gebruikt om te controleren of de interne consistentie hoog genoeg is. Een construct met een Cronbachs alfa van meer dan 0,7 geldt algemeen als ondergrens voor hoge betrouwbaarheid.

Zowel het OMZA-construct als de gevonden factoren uit de factoranalyse worden op be- trouwbaarheid gecontroleerd. Om ervoor te zorgen dat we een zo goed mogelijk beeld krijgen uit onze gegevens, optimaliseren we de sets items naar een zo hoog mogelijke Cronbachs alfa. Bij elk factor worden items iteratief verwijderd zolang dit resulteert in een hogere Cronbachs alfa en dus een hogere betrouwbaarheid.

4.4.4 Trendbreukanalyse

Een goede naamgeving van de gevonden factoren uit de factoranalyse vergemakkelijkt het onderzoek. De kern van een factor verkregen we door een trendbreukanalyse uit te voeren. Niet alle items in een factor droegen evenveel bij en een verandering in de trendlijn duidde op een clusterverandering. Op deze manier kwamen we tot de kern van de factor.

11 Zie: Conduct and Interpret a Factor Analysis (Statistics Solutions, 2018)

12 Zie: Cronbach’s Alpha (α) using SPSS Statistics (Laerd Statistics, 2018a)

4.5 Analyse datasets 4.5.1 Univariate analyse

Bij het uitvoeren van ons onderzoek bestaat er een kans dat we te maken gaan krijgen met Simpson’s paradox(Carlson, 2018). Een statistisch resultaat blijkt dan te verklaren te zijn door een onderliggende onafhankelijke variabele die de populatie opdeelt in sterk ver- schillende subgroepen. Om dit te voorkomen willen we graag de effecten van verscheide- ne onafhankelijke variabelen meten. Dit doen we met een ANOVA-test (SPSS-Handboek, 2017). Het doel is om aan te tonen dat er geen grote verschillen tussen de subgroepen bestaan.

4.5.2 Correlaties

De correlaties tussen de constructen, RTTI-score en OMZA-score werden met behulp van het Pearson productmoment berekend. Deze correlaties zijn in drie varianten berekend:

1. totale groep

2. gesplitst per school

3. nieuwe dataset met alleen de profielvakken

Er werd gesplitst per school, omdat uit de univariate analyse bleek dat er voor alle waar- des een significant verschil zat tussen school A en school B. Na opsplitsing waren er nog steeds sterke verschillen tussen de aldus verkregen correlatietabellen. De groep op school B bestond uit alle leerlingen en alle vakken. Op school A werd van een selecte groep (bèta-leerlingen) en een select aantal vakken (bèta-vakken) de vragenlijst afgeno- men. Dit laatste vertaalden we naar profiel en profielvakken. We genereerden een nieuwe dataset met het ongewogen gemiddelde van de vakken van het profiel dat de leerling vol- gens de vragenlijst volgde. Deze scores noemden we RTTI-profiel en OMZA-profiel. Met deze nieuwe dataset bepaalden we opnieuw de correlaties.

5

Resultaten

Met de vragenlijst wilden we OMZA meten. We controleerden eerst de betrouwbaarheid waarna een factoranalyse volgde. De gevonden factoren werden geanalyseerd en van een passende naam voorzien. Extra controle van deze naamgeving vond plaats door de ge- vonden factoren te correleren met de OMZA-score.

De tweede deelvraag vergde meer werk daar de RTTI-gemiddelden sterk verschilden tus- sen beide scholen. Vervolgens werd een variantieanalyse uitgevoerd om te onderzoeken of er karakteristieke subgroepen waren. Daaruit bleek dat er tussen de scholen dusdanige verschillen zaten dat deze de resultaten konden beïnvloeden. Daarom zijn de gegevens van beide scholen separaat behandeld om de tweede deelvraag te beantwoorden.

5.1 Betrouwbaarheid

Het OMZA-construct met de bijbehorende omschrijving van de onderdelen vormde de basis van de items in de vragenlijst. Een betrouwbaarheidsanalyse op dit construct resul- teerde in een te lage betrouwbaarheid voor alle constructen, zie Tabel 5.1. Optimaliseren door het verwijderen van items en herberekening van de Cronbachs alfa, resulteerde in een onvoldoende verbetering van de betrouwbaarheid. Elke Cronbachs alfa lag tussen de 0,5 en 0,7. Voor het construct opgesplitst per item verwijzen we naar Bijlage B.

Tabel 5.1

Cronbachs alfa constructen

Construct

O M Z A

initieel ,631 ,558 ,453 ,502 na optimalisatie ,668 ,636 ,552 ,554 5.1.1 Factoranalyse

Om te onderzoeken welke items samen factoren vormen, is een verkennende factorana- lyse (EFA) uitgevoerd. Met SPSS hebben we verschillende indelingen berekend om het grootste aantal betrouwbare factoren te vinden. In Tabel 5.2 is de patroonmatrix van de factoranalyse met extractie op basis van eigenwaarde te zien. De kleine coëfficiëntenon- derdrukking is van de standaardwaarde 0,1 naar 0,3 omgezet¹³. Hierdoor is de tabel over- zichtelijker.

13 “…Suppress small coefficients option. Change the Absolute value below: from ‘.10’ to ‘.3’. …” naar (Laerd Statistics, 2018b, blok 16)

20 OMZA en RTTI, een correlatie?

Tabel 5.2

Patroonmatrix van de factoranalyse met drie componenten

Component

Item A B C

SQ205 ,645 SQ103 * ,584 SQ108 ,548 SQ107 ,539 SQ208 ,533 SQ106 * ,526 SQ305 ,514 SQ109 ,460 SQ105 ,456 SQ410 ,425 SQ203 ,399 SQ102 ,386 SQ302 ,326

SQ209 ,311 ,535

Component

Item A B C

SQ201 * ,714

SQ406 ,662

SQ301 ,588

SQ404 ,536

SQ306 ,435

SQ401 ,421

SQ310 ,383

SQ204 * ,372

SQ308 * ,340 ,509

SQ403 ,327

SQ402 * ,311

Component

Item A B C

SQ101 ,560

SQ209 ,311 ,535

SQ409 ,525

SQ408 ,514

SQ308 * ,340 ,509

SQ206 ,504

SQ405 ,428

SQ309 * ,390

SQ207 ,387

a b c

* deze items zijn omgepoold

N.B. Een achtergrondkleur geeft de groepering van items aan na trendbreukanalyse per factor, zie Bijlage D.

De factoranalyse kwam op maximaal drie factoren uit met een Cronbachs alfa van elk meer dan 0,7. Voor de factoren A, B en C waren dit 0,751; 0,701 en 0,707.

Item SQ209 ‘ik kan mij goed concentreren’, kwam zowel in factor A als C voor en SQ308

‘ik voel me onzeker bij nieuwe stof’ zowel in factor B als C. Deze items zijn dus niet onder- scheidend. We konden deze items echter niet verwijderen, omdat we dan een Cronbachs alfa van minder dan 0,7 kregen en dus een onbetrouwbaar resultaat.

5.1.2 Naamgeving factoren

Volgens de bevraagden waren er dus drie betrouwbare factoren: A, B en C. Net als bij OMZA wilden we daar graag betekenisvolle namen aan toekennen door de factoren na- der te analyseren.

In Tabel 5.2 zijn de items gerangschikt op afnemende coëfficiënt, ofwel de belangrijkheid van de items voor die factor. De codering per item is weergegeven in Bijlage C. De con- structen O, M, Z en A zijn gecodeerd als SQ1xx, SQ2xx, SQ3xx en SQ4xx, waarbij xx voor een getal staat.

Trendbreukanalyse per factor, zie Bijlage D, gaf aan dat voor factor A, B en C de eerste zeven, vijf en zes items gegroepeerd zijn (zoals met kleur aangegeven in Tabel 5.2). Deze groepen vormden de kern van factoren en werden gebruikt om een zinvolle benaming te geven aan de factoren. Er is gecontroleerd of de vragen die buiten de kern vielen niet in tegenspraak met de naamgeving waren.

Voor factor A waren dit de volgende vragen:

• Ik maak regelmatig mijn huiswerk

• Ik vergeet regelmatig mijn boeken (* omgepoold)

• Een opdracht lever ik op tijd in

• Ik ben op tijd in de les

• Ik let op tijdens de uitleg

• Ik vraag mijn medeleerlingen vaak om spullen (pen, geodriehoek) (* omge- poold)

• Ik wil graag precies weten wat er geleerd moet worden

De items in Tabel 5.2a waren, op twee na, items uit de initiële constructen Organisatie (SQ1xx) en Meedoen (SQ2xx), zie Bijlage C. De items SQ302 en SQ305: ‘Als iets niet lukt vind ik dat vervelend’ respectievelijk ‘Ik wil graag precies weten wat er geleerd moet worden’ werden door de leerlingen bij factor A en niet bij het construct Zelfvertrouwen geplaatst. We zien dat deze leerlingen school belangrijk vinden. Wij hebben daarom voor de term ‘conformeren’ gekozen om deze groep te labelen.

Voor factor B zagen we in Tabel 5.2b 2x Meedoen (SQ2xx); 3x Zelfvertrouwen (SQ3xx) en 5x Autonomie (SQ4xx).

De eerste vijf items zijn:

• Ik vind het vervelend om in de klas hardop iets te moeten zeggen (* omge- poold)

• Ik ben mezelf in de klas

• Ik vind het niet erg om een presentatie te moeten geven

• Ik vind het belangrijk dat mijn stem gehoord wordt

• Ik durf fouten te maken

Dit leek op het OMZA-construct Zelfvertrouwen. Andere mogelijke namen zouden ‘spre- ken in het openbaar’, zelfverzekerdheid of zelfbewustzijn kunnen zijn. Met de schoolom- geving in het achterhoofd en de benaming van de vorige factor, ‘conformeren’ , kozen we voor ‘profileren’ .

Factor C, zie Tabel 5.2c, had een frequentieverdeling van 1x Organisatie; 3x Meedoen; 2x Zelfvertrouwen en 3x Autonomie die dus evenredig verdeeld waren over de laatste drie constructen.

22 OMZA en RTTI, een correlatie?

De kern van deze factor bestond uit zes items:

• Als ik iets moet gaan doen kan ik vaak goed inschatten hoe lang dat zal gaan duren en wat ik daarvoor nodig heb

• Ik kan me goed concentreren in de les

• Bij het maken van opgaven kan ik meerdere goede of bruikbare oplossingen bedenken

• Bij de theorie en ook bij opgaven kan ik belangrijke en minder belangrijke zaken goed van elkaar onderscheiden

• Ik voel me onzeker bij nieuwe stof (* omgepoold)

• De stof en huiswerk dat we hebben gemaakt en behandeld ken ik

Deze lijst kwam voornamelijk neer op kennen en kunnen. Factor C noemden we derhalve

‘beheersen’. Interessant was het tweede item, ‘concentreren in de les’. Blijkbaar moet je als je de stof wilde beheersen ‘bij de les zijn’. Uiteindelijk kwamen we dus op de factoren

‘conformeren’ , ‘profileren’ en ‘beheersen’ uit.

5.2 Univariate analyse

We voeren een aantal ANOVA-testen uit (SPSS-Handboek, 2017) om te controleren dat er geen sterk verschillende subgroepen zijn.

Voor het rapporteren van de 𝐹-functie wordt de volgende conventie gebruikt:

[𝐹(𝐷 𝑓₁, 𝐷 𝑓₂) = 𝐹_{𝑤𝑎𝑎𝑟𝑑𝑒}; 𝑝 = 𝑠𝑖𝑔] Df_1, Df_2 aantal vrijheidsgraden F_waarde de waarden van de 𝐹-functie sig significantiewaarde

en voor het gemiddelde:

(𝑀 = 𝑤𝑎𝑎𝑟𝑑𝑒; 𝑆𝐷 = 𝑤𝑎𝑎𝑟𝑑𝑒) ^M gemiddelde (mean) SD standaard deviatie

Bij een betrouwbaarheidsinterval van 95% is er sprake van een significant verschil als de significantiewaarde kleiner dan 0,05 is. De resultaten hiervan worden in de volgende subparagrafen besproken.

5.2.1 Geen verschillen

Er werden geen significante verschillen gevonden in leerjaar. Conformeren [𝐹(2, 427) = 0,37; 𝑝 = 0,69], profileren [𝐹(2, 427) = 0,47; 𝑝 = 0,63] en beheersen [𝐹(2, 427) = 0,77; 𝑝 = 0,47].

Er werd geen significant verschil gevonden in niveau tussen HAVO en VWO met betrek- king tot gevonden factoren. Conformeren [𝐹(1, 431) = 0,98; 𝑝 = 0,32], profileren [𝐹(1, 431) = 0,01; 𝑝 = 0,91] en beheersen [𝐹(1, 431) = 0,19; 𝑝 = 0,66].

Met betrekking tot de RTTI-scores werden er geen significante verschillen gevonden tus- sen mannen en vrouwen. De waardes waren: R [𝐹(1, 243) = 1,50; 𝑝 = 0,22]; T₁[𝐹(1, 243) = 1,85; 𝑝 = 0,18]; T₂[𝐹(1, 243) = 0,04; 𝑝 = 0,83] en I [𝐹(1, 243) = 1,05; 𝑝 = 0,31].

5.2.2 Verschil in geslacht

Vergeleken met vrouwen schatten mannen zichzelf voor conformeren lager en voor profi- leren en beheersen hoger in. We vonden voor conformeren [𝐹(1, 430) = 21,86; 𝑝 = 0,00] een gemiddelde voor mannen van (𝑀 = 3,66; 𝑆𝐷 = 0,43) en voor vrouwen (𝑀 = 3,84; 𝑆𝐷 = 0,38). Voor profileren [𝐹(1, 430) = 14,48; 𝑝 = 0,00], mannen (𝑀 = 3,62; 𝑆𝐷 = 0,44) en vrouwen (𝑀 = 3,45; 𝑆𝐷 = 0,48). Beheersen [𝐹(1, 430) = 13,27; 𝑝 = 0,00], mannen (𝑀 = 3,56; 𝑆𝐷 = 0,41) en vrouwen (𝑀 = 3,40; 𝑆𝐷 = 0,46).

5.2.3 Verschil in school

Tabel 5.3 toont grote verschillen in RTTI-scores tussen de beide scholen, wat we goed kunnen verklaren door de aselecte groep op school A.

Tabel 5.3

RTTI-gemiddelden per school

RTTI school A (𝑁=200) school B (𝑁=307) Anova

R 𝑀 = 5,83; 𝑆𝐷 = 2,35 𝑀 = 3,93; 𝑆𝐷 = 1,20 𝐹(1, 505) = 142,60; 𝑝 = 0,00 T₁ 𝑀 = 6,66; 𝑆𝐷 = 1,50 𝑀 = 4,48; 𝑆𝐷 = 1,11 𝐹(1, 505) = 351,61; 𝑝 = 0,00 T₂ 𝑀 = 5,60; 𝑆𝐷 = 1,56 𝑀 = 4,06; 𝑆𝐷 = 1,06 𝐹(1, 505) = 174,99; 𝑝 = 0,00 I 𝑀 = 4,17; 𝑆𝐷 = 2,00 𝑀 = 3,05; 𝑆𝐷 = 1,01 𝐹(1, 505) = 69,52; 𝑝 = 0,00 Er waren significante verschillen tussen beide scholen in elk van de factoren van de fac- toranalyse. Conformeren [𝐹(1, 425) = 4,00; 𝑝 = 0,05] gaf voor school A (𝑀 = 3,80; 𝑆𝐷 = 0,44) en voor school B (𝑀 = 3,71; 𝑆𝐷 = 0,39) Voor profileren [𝐹(1, 425) = 5,29; 𝑝 = 0,02]

had school A (𝑀 = 3,59; 𝑆𝐷 = 0,50) en school B (𝑀 = 3,49; 𝑆𝐷 = 0,44). Beheersen [𝐹(1, 425) = 5,27; 𝑝 = 0,02] gaf voor school A (𝑀 = 3,54; 𝑆𝐷 = 0,47) en voor school B (𝑀 = 3,44; 𝑆𝐷 = 0,41).

Alleen bètaleerlingen en bètavakken gaven een groot verschil in de gemiddelden van zo- wel de factoren als de RTTI-scores. Er was een redelijke kans dat dit problemen ging opleveren zoals voorspeld in §4.5.1.

5.3 Correlaties

Voor het beantwoorden van de tweede deelvraag correleerden we de vragenlijst met RTTI en OMZA. In alle correlatietabellen is het significantieniveau weergegeven door middel van een kleurcodering. Voor het weergeven van de correlaties is de volgende wiskundige notatie gebruikt: 𝜌(𝑂, 𝑀) leest als de correlatie tussen Organisatie en Meedoen.

24 OMZA en RTTI, een correlatie?

5.3.1 Correlaties met vragenlijst en RTTI

De correlaties van onze dataset zijn in vier tabellen weergegeven:

Tabel 5.4a toont de correlatie tussen de resultaten van de factoranalyse en RTTI. Vooral beheersen heeft een sterke correlatie met elk onderdeel van RTTI.

In Tabel 5.4c is de correlatie weergegeven tussen OMZA en RTTI. Op de hoofddiago- naal, de omlijnde rechthoeken, zien we de correlaties waarnaar we op zoek waren. Al- leen 𝜌(𝐴, 𝐼) heeft een te lage betrouwbaarheid. Mogelijke verklaringen kunnen zijn dat autonomie voor docenten een minder belangrijk item is om te meten of dat docenten dit moeilijker kunnen vaststellen.

Problematisch echter zijn de correlaties met onvoldoende betrouwbaarheid, zoals 𝜌(𝑀, 𝑇₂), 𝜌(𝑀, 𝐼) en 𝜌(𝑅, 𝐴). Dit onderzoeken we door eerst per school en later per profielvak te kij- ken.

Tabel 5.4b geeft de correlatie weer van de factoren met OMZA. Aangezien deze enkel van school B bekend zijn, zijn hier dus enkel de leerlingen van deze school meegeno- men. We zien dat conformeren sterk correleert met zowel Organisatie als Meedoen, zoals beoordeeld door de docenten. Beheersen en Zelfvertrouwen hebben een correlatie. Voor Tabel 5.4

Correlatie factoren, OMZA en RTTI

RTTI

factor R T₁ T₂ I

conformeren 0,05 0,12 0,14 0,09 profileren 0,15 0,05 0,11 0,12 beheersen 0,23 0,14 0,28 0,20

OMZA

factor O M Z A

conformeren 0,30 0,39 −0,12 0,14 profileren −0,23 −0,24 0,18 −0,07 beheersen −0,05 0,04 0,25 0,09

a) factoren met RTTI b) factoren met OMZA

RTTI

R T₁ T₂ I

O 0,17 0,22 0,14 0,12 M 0,14 0,13 0,05 0,09 Z 0,13 0,11 0,12 0,13 A 0,10 0,14 0,11 0,05

RTTI

R T₁ T₂ I

R ⋯ 0,59 0,58 0,48

T₁ 0,59 ⋯ 0,80 0,55 T₂ 0,58 0,80 ⋯ 0,63 I 0,48 0,55 0,63 ⋯

c) OMZA met RTTI d) RTTI met RTTI

𝑝 < .01; 𝑝 < .05;

N.B. Tabel d: de zelfcorrelatie waarde van exact één op de hoofddiagonaal is met een ‘⋯’ aangegeven.

profileren zien we negatieve correlaties met zowel Organisatie als Meedoen maar positief met Zelfvertrouwen.

Als laatste wordt in Tabel 5.4d RTTI met zichzelf gecorreleerd. Deze lijkt op de verwachtte matrix zoals we eerder in Tabel 2.2c zagen. Opvallend is de hoge correlatie van 0,80 tussen T₁en T₂.

5.3.2 Correlaties factoren met RTTI opgesplitst per school

Uit de ANOVA-test is gebleken dat er een sterke schoolcomponent in de dataset aanwezig is. Het grootste deel (71,6%) van de ingevulde vragenlijsten op school A is door leerlingen met een NG- of NT-profiel ingevuld. Ook zijn op deze school de vragenlijsten afgenomen tijdens het lesuur van een exact vak.

Tabel 5.5

Correlaties factoren met RTTI per school

RTTI

factor R T₁ T₂ I

conformeren 0,00 0,08 0,15 0,05 profileren 0,18 −0,01 0,15 0,15 beheersen 0,27 0,10 0,38 0,23

RTTI

factor R T₁ T₂ I

conformeren 0,02 0,03 −0,01 0,04 profileren 0,07 0,07 0,01 0,03 beheersen 0,17 0,25 0,22 0,16

a) school A b) school B

𝑝 < .01; 𝑝 < .05;

Splitsen we de dataset per school, dan verdwijnen een deel van de gevonden correla- ties uit Tabel 5.4a, zie Tabel 5.5. Er is alleen een correlatie met beheersen. De andere twee factoren, conformeren en profileren correleren niet met welk onderdeel van RTTI dan ook.

School A heeft geen correlatie tussen beheersen en T₁terwijl R en T₂wel correleren en dat gat kunnen we niet uit de gegevens verklaren. School B heeft echter tussen beheersen en T₁wel een correlatie. Vergelijken we beheersen van beide scholen, dan zien we zowel grote verschillen in betrouwbaarheid als in de grootte van de correlaties.

26 OMZA en RTTI, een correlatie?

Tabel 5.6

Correlaties met RTTI-profiel, school B

RTTI-profiel

factor R T₁ T₂ I

conformeren −0,01 0,08 −0,07 0,05 profileren 0,06 0,15 0,01 0,11 beheersen 0,24 0,35 0,24 0,22

RTTI-profiel profiel R T₁ T₂ I

O 0,21 0,19 0,13 0,06

M 0,25 0,31 0,21 0,21

Z 0,29 0,25 0,26 0,05

A 0,20 0,33 0,25 0,21

a) factoren met RTTI-profiel b) OMZA-profiel met RTTI-profiel

𝑝 < .01; 𝑝 < .05;

Met RTTI-profiel en OMZA-profiel krijgen we voor school B andere waarden voor de RTTI- en de OMZA-score, zoals te zien is in Tabel 5.6. Deze profielgegevens konden we niet genereren voor school A omdat we daar een groot deel van de vakken misten.

We zien in Tabel 5.6a dat met name beheersen de leerlingen verder hielp in het ontwikkelen van de RTTI-scores van de profielvakken. Conformeren en profileren hebben geen correlatie met de RTTI-scores.

Het eerste wat in Tabel 5.6b opvalt, zijn de correlaties tussen de indicatoren van OMZA- profiel en RTTI-profiel. We zien hier een tabel waarin een groot deel van de correlaties significant blijkt te zijn. Ook zien we dat de hoofddiagonaal, de omlijnde rechthoeken, met betrouwbare waarden gevuld is. Elke indicator van OMZA-profiel correleert dus met de equivalente indicator van RTTI-profiel.

We vinden een groot aantal sterke correlaties, vooral linksonder. De rechterbovenhoek van Tabel 5.6b is hiermee vergeleken leeg, We kunnen van een benedendriehoeksmatrix spreken zoals verwacht in §2.5.

6

Conclusie en discussie

Uit ons onderzoek is gebleken dat de affectieve OMZA-classificatie correleert met de cog- nitieve RTTI-classificatie. De gesuggereerde een-op-een relatie tussen OMZA en RTTI hebben we zowel in theorie, zie §2.5, als in praktijk, zie Tabel 5.6b, niet gevonden. We zien wél een piramidestructuur zodat een OMZA-indicator met dezelfde als mede de lagere RTTI-indicatoren correleert. Zo zal Zelfvertrouwen correleren met Toepassing 2, maar ook met Toepassing 1 en Reproductie.

Uit ons onderzoek is gebleken dat het opstellen van een valide en betrouwbare vragen- lijst voor het meten van OMZA-scores nog niet zo evident is. De aanbevelingen vanuit Docentplus en voorbeelden van het gedrag van leerlingen in de klas waarop we onze vragenlijst gebaseerd hebben, leveren andere factoren op dan OMZA. De factoren gere- lateerd aan het gedrag van een leerling in de klas, conformeren en profileren hebben geen relatie met RTTI. Beheersen correleert met alle onderdelen van RTTI.

Het berekenen van OMZA- en RTTI-scores door het ongewogen gemiddelde te berekenen van alle vakken, geeft onbetrouwbare correlaties. RTTI-profiel en OMZA-profiel werken echter wel.

6.1 Gedragskenmerken

Bij het opstellen van de vragenlijst zijn we uitgegaan van gedragskenmerken die karak- teristiek zouden zijn per OMZA-indicator. Uit de factoranalyse is gebleken dat er twee soorten gedrag gevonden zijn: conformeren en profileren. Tevens is gebleken dat beide fac- toren geen correlatie hebben met RTTI. We moeten dus concluderen dat gedragskenmer- ken geen leidraad voor OMZA vormen. Er zal derhalve verder gekeken moeten worden dan alleen naar gedrag. Dat docenten dat doen lijkt te volgen uit de gevonden correlatie tussen OMZA en RTTI, wanneer docenten OMZA zelf vaststellen.

Taakgerichte vragen echter, de items in de factor beheersen, hebben over de gehele breedte een correlatie met RTTI. In een vervolgonderzoek naar OMZA is het aanbevelenswaardig de vragen indien mogelijk taakgericht te omschrijven.

Vanuit de theorie zien we dat wanneer we twee hiërarchische systemen met elkaar laten correleren we een benedendriehoeksmatrix verwachten. Dit is het geval met OMZA en RTTI. Een willekeurig andere hiërarchische indeling gebaseerd op gevoelens en/of ge- dragingen met betrekking tot de te verrichten taken, zal dus ook correleren met RTTI.

Vandaar dat sommige scholen gaan voor een meer taakgerichte uitleg van de OMZA- indicatoren. De theoretisch verwachtte zelfcorrelatie van RTTI zien we terug in de resul- taten, ook al is de correlatie tussen T₁en T₂met 0,8 hoog te noemen.

De namen die we aan de gevonden factoren gegeven hebben, zien we terug in de correla- ties met OMZA. Iemand met een hoge score in conformeren zal zal zijn of haar spullen voor

28 OMZA en RTTI, een correlatie?

elkaar hebben (Organisatie) en zal in de les opletten (Meedoen). Opvallend is het ont- breken van correlaties met Zelfvertrouwen en Autonomie. Blijkbaar is Meedoen in de les onvoldoende om de stof goed te beheersen en dus Zelfvertrouwen te krijgen. De tweede gedragsfactor profileren lijkt het tegenovergestelde van conformeren. Deze heeft negatieve correlaties met zowel Organisatie als Meedoen en een positieve met Zelfvertrouwen. Als beheersen voldoende is, dan zien we dat terug in een positieve correlatie met Zelfvertrou- wen.

Vergelijken we de resultaten van de factoranalyse met TOCA-C, zie §2.3, dan zijn er grote overeenkomsten. De “Teacher Observation of Classroom Adaptation - Checklist” meet een drietal factoren: ‘concentratieproblemen’, ‘disruptief gedrag’ en ‘prosociaal gedrag’.

De laatste twee factoren komen overeen met profileren en conformeren. Beheersen is geen gedragskenmerk en daarom niet met de checklist te vergelijken.

6.2 Dataverwerking

Bij het berekenen van de RTTI- en OMZA-scores van een leerling zijn wij uitgegaan van het middelen van de scores over alle vakken. Gebleken is dat deze scores alsmede de gevonden correlaties sterk afhankelijk zijn van deelgroepen.

Leerlingen zijn meestal maar in een deel van de vakken goed. Voor deze vakken zal de volledige RTTI- en OMZA-schaal gebruikt worden. Vakken waar de leerling geen affiniteit mee heeft zullen lagere OMZA- en RTTI-scores hebben en vooral op de hogere niveau’s (T₂, I en Z, A) lager scoren. Dit werkt door in de gemiddelden en de berekende correlaties.

Het ongewogen gemiddelde over de profielvakken blijkt goede resultaten op te leveren.

6.3 Implicaties en advies

Uit het onderzoek komt naar voren dat OMZA-scores bepalen met behulp van een vra- genlijst op basis van gedragskenmerken niet werkt. Docenten hebben goed door dat je moet kijken naar wat een leerling werkelijk doet. En dat zou je moeten kunnen vangen met een verbeterde vragenlijst. Voorwaarde is wel dat je als leerling een eerlijk beeld van jezelf moet hebben.

Literatuur

ACSPRI (2017). QueXF: An Open Source, web based paper form verification and data entry system. Australian Consortium for Social and Political Research Incorporated. Ont- vangen van https://quexf.acspri.org.au/

Anderson, L. W., Krathwohl, D. R., & Bloom, B. S. (2001). A taxonomy for learning, tea- ching, and assessing: a revision of Bloom’s taxonomy of educational objectives. New York:

Longman.

Bloom, B. S., Englehard, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxo- nomy of educational objectives: the classification of educational goals: Handbook I Cognitive Domain. New York, 16, 207.

Carlson, B. W. (2018). Simpson’s paradox. Ontvangen van https://www.britannica.com /topic/Simpsons-paradox

De Jong, R. & Westerhof, K. J. (2001). The quality of student ratings of teacher behaviour.

Learning Environments Research, 4(1), 51–85. doi:10.1023/A:1011402608575

Docentplus (2019). Meten met RTTI. Ontvangen van https://docentplus.nl/meten-met-rtti/

Drost, M. & Verra, P. (2014, 1). RTTI-online beknopte handleiding. Bodegraven: RTTI-online B.V..

(2016). Handboek RTTI. Bodegraven: Docentplus B.V..

Hinton, P. R., McMurray, I., & Brownlow, C. (2004). SPSS Explained. London & New York:

Routledge (Taylor & Francis).

Koth, C. W., Bradshaw, C. P., & Leaf, P. J. (2009). Teacher observation of classroom adapta- tion—checklist: Development and factor structure. Measurement and evaluation in counseling and development, 42(1), 15-30. doi:10.1177/0748175609333560

Krathwohl, D. R., Bloom, B. S., & Masia, B. B. (1964). Taxonomy of educational objectives:

the classification of educational goals - Handbook II: Affective Domain.

Laerd Statistics (2018a). Cronbach’s Alpha (α) using SPSS Statistics. Laerd Statistics. Ont- vangen van https://statistics.laerd.com/spss-tutorials/cronbachs-alpha-using-spss -statistics.php

30 OMZA en RTTI, een correlatie?

(2018b). Principal Components Analysis (PCA) using SPSS Statistics. Laerd Statistics.

Ontvangen van https://statistics.laerd.com/spss-tutorials/principal-components -analysis-pca-using-spss-statistics.php

LimeSurvey Project Team / Carsten Schmitz (2012). LimeSurvey: An Open Source sur- vey tool. Hamburg, Germany: LimeSurvey Project. Ontvangen van http://www .limesurvey.org

Onderwijs in Cijfers (2017). Leerlingenaantallen voortgezet onderwijs. Ontvangen van https:/

/www.onderwijsincijfers.nl/kengetallen/vo/leerlingen-vo/aantallen-leerlingen-in-het-vo Psychology Today (2017). Organization Skills Test (Version For Workers & Students). Ont- vangen van https://www.psychologytoday.com/intl/tests/career/organization-skills -test-version-workers-students

Sint-Laurenscollege (2015). OMZA op het rapport. Ontvangen van http://laurenslyceum .nl/uploads/schooldocumenten/omzaouders.pdf

SPSS-Handboek (2017). Voorbeeld One-Way ANOVA Output Interpretatie in SPSS. Ontvan- gen van https://spsshandboek.nl/one_way_anova_f-test_output/

Statistics Solutions (2018). Conduct and Interpret a Factor Analysis. Ontvangen van http:/

/www.statisticssolutions.com/factor-analysis-2/

SurveyMonkey (2018). Steekproefgrootte berekenen. Ontvangen van https://nl.surveymonkey .com/mp/sample-size-calculator/

University of Cambridge Psychometrics Centre (2017). Autonomy Questionnaire. Ontvan- gen van https://discovermyprofile.com/autonomy.html

Bijlage A Vragenlijst

De vragenlijst zoals deze door het programma Limesurvey wordt gegenereerd. Elke vra- genlijst heeft een eigen barcode waarin ook het paginanummer is verwerkt. De vier hoek- punten worden door het programma queXF gebruikt voor de pagina-analyse. De laatste pagina met het bedankje is hier weggelaten.