MOERASSITUATIES ALS
VRAAGSTUKKEN IN
HET ONDERWIJS:
Het gebruik van slecht gestructureerde problemen
die cues bevatten als aanmoediging voor het
toepassen van metacognitie tijdens het oplossen
van moerassituaties
Emile J.O.A. Jaspar
Studentnummer: 12984760Schoolvak: Educatief ontwerpen Variant: Prototype
Opleiding: Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Naam begeleider: Quincy Elvira
1
1 Voorwoord
Eerst en vooral wil ik mijn dank betuigen aan Quincy Elvira voor de ondersteunende, kritische en wetenschappelijk kijk op dit werk. Zowel Quincy Elvira als mijn tweede beoordelaar Mathijs Booden ben ik erkentelijk voor de moeite en inspanningen die zij hebben genomen om de ontwerpnotitie tot tweemaal toe te herzien en van kritische feedback te voorzien. Tot slot, wil ik ook nog mijn dank uitspreken aan mijn medestudenten die tijdens de lessen van het educatief ontwerp mij hebben weten te inspireren, stimuleren en ondersteunen.
2 Samenvatting
In dit onderzoek is onderzocht of de inzet van cues in slecht gestructureerde problemen leidt tot het gebruik van metacognitieve vaardigheden bij het oplossen van moerassituaties. Hiermee tracht dit onderzoek dan ook een nieuw licht te werpen op de kloof tussen probleemsituaties die de leerlingen hedendaags in de schoolboeken tegen komen en de probleemsituaties die zij dagelijks tegenkomen als burger, ondernemer of werknemer. Respectievelijk spreekt men over goed gestructureerde en slecht gestructureerde probleemsituaties. De laatste term krijgt in de Nederlandse taal ook wel het synoniem moerassituaties. Uit de praktijkervaring van de onderzoeker en uit de literatuur blijkt dat met het huidig onderwijsmateriaal de leerlingen te weinig worden geconfronteerd met deze moerassituaties. Leerlingen kunnen hierdoor moeite ervaren met het oplossen van dit soort problemen zowel op school als in het dagelijks leven. Ook in de toekomst kunnen zij als burger, ondernemer of werknemer hiermee problemen ervaren. In dit onderzoek zijn er daarom twee prototypes, moerassituaties, ontwikkeld die leerlingen moeten oplossen met als doel om metacognitieve vaardigheden te
bevorderen. Tijdens de uitvoering van de prototypes is er gekeken naar oriënterende, monitorende en evaluerende vaardigheden. De hypothese luidt dan ook als volgt:
‘Als het probleem van gebrek aan metacognitie onder leerlingen (P) onder handen wordt genomen door het gebruik van cues die self-questioning oproepen (OR1), effective questioning oproepen (OR2)
en sturing en begeleiding bieden over vragen van de taak (OR3) bij slecht gestructureerde
problemen (X), dan kan worden verwacht dat leerlingen oriënterende (Y1), monitorende (Y2) en
evaluerende (Y3) vragen zullen stellen tijdens het oplossen van deze moerassituaties’
De hypothese mist alleen nog ontwerpregel 1 (OR1). Deze stelt dat dit ontwerp moet aanzetten tot
het kunnen oplossen van probleemsituaties.
Het idee is dat de leerlingen vragen kunnen stellen aan een chatbot, onderdeel van een applicatie, om vervolgens met de verzamelde gegevens een slecht gestructureerd probleem op te lossen. In eerste instantie was het de bedoeling dat er door de leerling gebruik zou worden gemaakt van WhatsApp, wat diende ter vervanging van de chatbot. Echter, is de interactie via WhatsApp op basis van
validering I vervangen door een rechtstreekse interactie met de onderzoeker. Tijdens het oplossen van de twee prototypes (slecht gestructureerde problemen) kregen de respondenten de taak om hardop te denken. De basis van dit ontwerp zijn dus twee slecht gestructureerde problemen die zo ontwikkeld zijn dat dit vernieuwend is binnen het onderwijs. De twee prototypes zijn gevalideerd met de getranscribeerde gegevens die verzameld zijn het tijdens de uitvoering van de prototypes. Het resultaat van de beoordeling van een expert, van het hardop denken en van een enquête die de mate van structuur van een probleemsituatie toetst, geeft de mogelijkheid om een conclusie te trekken over de werkzaamheid en haalbaarheid van de prototypes. De ontwerpregels zijn deels behaald met deze prototypes, omdat de prototypes een tekort schieten op de bevordering van het facet evalueren binnen metacognitieve vaardigheden. Echter, kunnen de prototypes wel als werkzaam worden beschouwd. Uiteraard is er ruimte voor verbetering en is er een breed scala aan toekomstig onderzoek mogelijk. Hiermee kan het gehele idee inclusief de prototypes worden verbeterd. Ondanks de uitkomsten heeft biedt dit onderzoek een goed fundament.
3
Inhoudsopgave
1 Voorwoord... 1 2 Samenvatting ... 2 3 Ontwerpnotitie ... 6 3.1 Ontwerpvraagstuk ... 63.2 Theoretische verkenning van het probleem ... 7
3.2.1 Metacognitie ... 7
Relevantie van metacognitieve vaardigheden ... 8
Oorzaken van het gebrek aan metacognitie in het onderwijs ... 9
Lesmateriaal ... 9
Instructies in de klas ... 9
Percepties van de docenten en leerlingen ... 10
Eindexamens ... 10
3.2.2 Relevantie van slecht gestructureerde problemen ... 10
3.3 Taakanalyse ... 11
3.4 Empirische verkenning: context ... 11
3.5 Theoretische verkenning van oplossingen ... 13
3.6 Ontwerphypothese en ontwerpregels ... 15
3.7 Plan voor valideringsonderzoek ... 16
3.7.1 Betrouwbaarheid... 17
3.7.2 Validatie ... 17
3.7.3 Experts ... 17
4 Ontwerpen, valideren, rapporteren ... 18
4.1 Validering I ... 18 4.1.1 Aanpassingen na validering I ... 18 4.2 Het Ontwerp ... 18 4.2.1 Het idee ... 18 4.2.2 De prototypes ... 19 4.2.3 Geplande uitvoering ... 19 4.2.4 Gerealiseerde uitvoering ... 20 4.2.5 Materialen ... 20 4.3 Validering II ... 20
4.3.1 Resultaten na validering IIa ... 21
Het resultaat van de prototypes ... 22
Het resultaat van de enquête ... 22
Resultaat werkbaarheid ... 22 4.4 Conclusie en discussie ... 23 4.4.1 Conclusie ... 23 4.4.2 Discussie ... 24 4.4.3 Toekomstig onderzoek ... 24 4.5 Analytische terugblik ... 25 5 Literatuurlijst ... 27 6 Bijlagen ... 31 6.1 Bijlage 1 ... 31 6.2 Bijlage 2 ... 32 6.3 Bijlage 3 ... 33 6.4 Bijlage 4 ... 35 6.5 Bijlage 5 ... 37 6.6 Bijlage 6 ... 41 6.7 Bijlage 7 ... 43 6.8 Bijlage 8 ... 44 6.8.1 Casus I ... 44 6.8.2 Casus II ... 44 6.8.3 Casus III ... 45 6.9 Bijlage 9 ... 46 6.9.1 Prototype I ... 46 6.9.2 Prototype II ... 49 6.10 Bijlage 10 ... 52 6.11 Bijlage 11 ... 56 Leerling 1 - Prototype 1 ... 56 Leerling 2 - Prototype 1 ... 57 Leerling 3 – Prototype 2 ... 58 Notities leerling 1 ... 61 Notities leerling 2 ... 62 Enquête leerling 1 ... 63 Enquête leerling 2 ... 64 Enquête leerling 3 ... 65
5 6.12 Bijlage 12 ... 66 Leerling 1 - Prototype 1 ... 66 Leerling 2 - Prototype 1 ... 67 Leerling 3 – Prototype 2 ... 69 6.13 Bijlage 13 ... 72 6.13.1 Codeur 1: De onderzoeker ... 72 Leerling 1 - Prototype 1 ... 72 Leerling 2 - Prototype 1 ... 73 Leerling 3 – Prototype 2 ... 74
6.13.2 Codeur 2: Docent Frans ... 76
Leerling 1 - Prototype 1 ... 76
Leerling 2 - Prototype 1 ... 77
3 Ontwerpnotitie
3.1 Ontwerpvraagstuk
In het onderwijs is er een kloof tussen probleemsituaties die leerlingen in de schoolboeken
tegenkomen en probleemsituaties die zij tegenkomen in het dagelijks leven als burger, ondernemer of medewerker. Janssen et al. (2018) geven aan dat het erg merkwaardig is dat in het onderwijs leerlingen niet expliciet worden voorbereid met het omgaan van dergelijke moerassituaties (real-life problems). In het secundaire onderwijs streeft men ernaar om leerlingen onder andere voor te bereiden op het hoger onderwijs en ook al voor de arbeidsmarkt (Van Daal et al., 2013). Om dit te kunnen
bewerkstelligen is er een overdracht van kennis noodzakelijk. Het is hierbij van belang dat de leerling zelfbewust is over hoe hij of zij kennis opdoet, zodat de leerling een leerstrategie kan plannen, monitoren en vervolgens hierop kan evalueren of reflecteren. Een overkoepelende term voor
soortgelijke vaardigheden noemen we ook wel metacognitie, waarbij in dit onderzoek voornamelijk de focus zal liggen op metacognitieve vaardigheden, zie 3.2.1.
Binnen het vak bedrijfseconomie, ondernemerschap en financiële redzaamheid (BECO) is
metacognitie van belang. Ten eerste, moeten de leerlingen in staat zijn om onder andere persoonlijke en financiële keuzes te maken en deze naderhand ook te kunnen evalueren (Boot et al., 2014; Boot, 2016). Het belang van metacognitie in de samenleving wordt pas echt zichtbaar als de mens onderhevig is aan triggers zoals werkloosheid of stress. Opmerkelijk is dat men dan meer naar kortetermijnbelangen kijkt, minder goed problemen kan analyseren, minder goed prioriteiten kan stellen, minder goed zaken kan organiseren etc. Deze vormen van gebreken van metacognitie kunnen uiteindelijk tot verregaande consequenties leiden zoals gezondheidsproblemen en
schuldenproblematiek (Wesdorp, z.d.; Jungmann, z.d.). Ten tweede, verplaatst de leerling zich in het vak bedrijfseconomie vaak in een ondernemende rol of in de rol van een manager waarbij
metacognitie van belang is. Ondernemers en managers zijn namelijk continue bezig met het zo goed mogelijk plannen, monitoren en evalueren van beslissingen of bedrijfseconomische processen. Echter, blijkt dat afgestudeerden een gebrek aan kennis bezitten over het zakenleven. Dit komt mede doordat de leerlingen in het onderwijs voornamelijk worden geconfronteerd met goed gestructureerde
casestudy’s. De casestudy’s zijn niet of slechts in geringe mate vergelijkbaar met
managementproblemen die complex en vaak slecht gestructureerd zijn. Mintzberg (2004) (geciteerd in Arts, 2007) stelt dan ook dat het onderwijs meer real-life situaties moet bieden.
De onderzoeker merkt in zijn eigen praktijk dat leerlingen veel moeite hebben wanneer zij real-life situaties moeten oplossen. Als je aan een leerling vraagt waarom hij of zij specifiek die keuze maakt tijdens het oplossen van een probleemsituatie of als je aan een leerling vraagt welke stappen hij of zij verwacht te doorlopen tijdens het oplossen van een probleemsituatie dan stuit je al vaak op
opmerkingen als ‘Ik weet niet waar ik zou moeten beginnen’, ‘Ik snap de vraag niet’, ‘Zo werkt het ook in het voorbeeld’ etc. In de literatuur zijn er ook aanwijzingen dat het huidige onderwijsmateriaal, de instructie in de klas en het eindexamen onvoldoende focus hebben op metacognitieve vaardigheden. Zo sluiten de vraagstukken van huidige probleemsituaties in het onderwijsmateriaal (goed
gestructureerde problemen1) niet aan op de vraagstukken die zich voordoen in real-life situaties (slecht
gestructureerde problemen2). Dus het is maar de vraag of het huidige programma van
bedrijfseconomie voldoende aansluit op de ontwikkeling van metacognitie. Over de toepassing van
1 De leerling moeten een antwoord geven dat goed of fout is; de vraag/opgave heeft een gesloten karakter. 2 Allerlei heuristieken (aanpakken) en oplossingen zijn mogelijk. De vraag/opgave heeft een open karakter.
7 metacognitie is dan ook nog maar weinig bekend binnen het schoolvak bedrijfseconomie in de
bovenbouw van havo en vwo. Laat staan dat er een effectieve didactiek is ontwikkeld. De wens van dit ontwerp is het ontwerpen van onderwijsmateriaal dat zich richt op slecht gestructureerde problemen en te achterhalen of de ontwikkelde prototypes metacognitieve
vaardigheden bij leerlingen in de bovenbouw oproept. De verwachting is dat zodra leerlingen aan de slag gaan met gedidactiseerde slecht gestructureerde problemen, zij metacognitieve vaardigheden zullen toepassen bij het oplossen van deze problemen. Zo zijn leerlingen op lange termijn en uitgaande van een doorlopende leerlijn in het hoger onderwijs, beter voorbereid om als ondernemer of als
manager keuzes te kunnen maken. Bovendien zullen zij ook bewuster worden in het maken financiële keuzes zoals het afsluiten van een lening etc.
Aldus, betracht dit educatief ontwerp prototypes te ontwikkelen die de huidige probleemsituaties uit de oefenboeken vervangt door probleemsituaties die wat betreft structuur meer overeenkomen met die in real-life situaties (slecht gestructureerde problemen). De inzet van deze slecht gestructureerde
problemen heeft als doel om de metacognitie onder leerlingen te bevorderen. In het verslag zal er eerst worden ingaan op de theoretische achtergrond van metacognitie en de mogelijke oorzaken van het gebrek aan metacognitie in het bedrijfseconomisch onderwijs.
3.2 Theoretische verkenning van het probleem
In dit hoofdstuk wordt de definitie van metacognitie en relevante onderzoek voorgaande besproken en de relevantie van slecht gestructureerde problemen worden onderbouwt.
3.2.1 Metacognitie
Flavell (1979, 1981) (geciteerd in Kaberman & Dori, 2008) beschrijft metacognitie als het bewustzijn van hoe iemand leert, kennis heeft van hoe informatie te gebruiken om het doel te bereiken en het vermogen om de cognitieve eisen van een bepaalde opdracht te beoordelen. Het gaat dus om het bewust zijn van eigen cognitieve processen, zelfregulatie en het beheer van die processen in relatie tot de leertaak. De meest recente indeling van metacognitie bestaat uit drie componenten namelijk (Efklides, 2008 & Efklides, 2011; 2014; Jacobs & Paris, 1987; Veenman, 2011; 2016; Young, 2010, geciteerd in Stephanou & Mpiontini, 2017):
- Metacognitieve kennis: - Metacognitieve ervaringen - Metacognitieve vaardigheden:
De nadruk in dit ontwerp zal worden gelegd op metacognitieve vaardigheden en kan worden verwezen naar het reguleren van en controle over leerstrategieën en-activiteiten. Brown (1987) (geciteerd in Efklides, 2008) identificeert controle over cognitie als selectieve aandacht, werkgeheugen, plannen, conflict oplossen en foutdetectie. Dit is vervolgens gerelateerd aan metacognitieve regulatie wat betrekking heeft op het monitoren van leren en het controleren van cognitieve processen.
Metacognitieve regulatie bestaat uit drie essentiële componenten namelijk plannen, monitoren, en evalueren (Schraw, 1998; Tarricone, 2011; Veenman et al., 2006, geciteerd in Stephanou & Mpiontini, 2017). Bij metacognitieve vaardigheden betreft het hier om vaardigheden als taak oriëntatie, doelen stellen, plannen, systematische aanpak opbouwen, monitoren, evalueren en reflecteren
(Deleidseaanpak, z.d.; Talenteducation, z.d.).
Uit onderzoek blijkt overigens dat bij verankering van metacognitieve activiteiten tijdens probleem oplossen het niet alleen om de inhoud gaat, maar het betreft ook om de cultuur van de klas,
socioculturele inhoud, leeromgeving en ‘vitale levensactiviteit’. (Larkin, 2015, geciteerd in Hancock, 2018). Daarnaast moet er ook een omgeving worden gecreëerd die waarde hecht aan procesgerichte probleemoplossing en reflectie op dit proces (Hancock, 2018).
Relevantie van metacognitieve vaardigheden
Zonder metacognitieve vaardigheden, zullen leerlingen moeite ondervinden bij het begrijpen van complexe onderwerpen. Leerlingen zijn namelijk niet in staat te plannen, doelen te stellen, effectieve strategieën te gebruiken en leerprocessen tijdens het leren te monitoren en te reflecteren (Mumu & Tanujaya, 2020). Het gaat dan om vaardigheden die te pas komen bij metacognitie zoals oriënteren, monitoren, plannen evalueren en reflecteren en die een bijdrage leveren aan zelfregulatie (Veenman, 1993, geciteerd in Christoph, 2006). Daarnaast is er empirisch bewijs dat metacognitie positief gerelateerd is aan het leersucces (Brown, 1987; Glaser, 1989; Wang, Haertel & Walberg, 1990; Veenman, 1993; Butler, 1998; Veenman & Elshout, 1999 geciteerd in Christoph, 2006). Verder is er aangetoond dat metacognitie een goede voorspeller is voor de mate van probleemoplossend vermogen, omdat leerlingen significante verschillen vertoonde in het oplossen van problemen (Aurah et al., 2011
& Schoenfeld, 1985; Lester, 1994; Desoete, Roeyers and Buysse, 2001 geciteerd in Özsoy & Ataman, 2017). Uit vele andere onderzoeken blijkt ook dat metacognitie het vermogen vergroot van leerlingen om hun leerproces over te kunnen dragen of aan te passen wanneer zij nieuwe contexten of taken krijgen (Bransford, Brown, & Cocking, p. 12; Palincsar & Brown, 1984; Scardamalia et al., 1984; Schoenfeld, 1983, 1985, 1991, geciteerd in Chick, z.d.). Zohar & Lustov (2018) beschrijven metacognitie dan ook als de overbruggende factor voor het bevorderen van ‘transfer’ in de klas. De leerlingen kunnen door metacognitie verschillende onderwerpen beter aan elkaar relateren doordat ze gelijkenissen vertonen in de oplossingsstrategie. Eveneens is door het gebruik van metacognitie een toename waar te nemen in de mate van hogere denkvaardigheden en kritisch denken onder leerlingen (Kaberman & Dori, 2008; Ku & HO, 2010).
Niet alleen als toepassing binnen het onderwijs is het belangrijk om metacognitie te ontwikkelen. In het dagelijks leven zijn er genoeg voorbeelden om na te denken over je planning, monitoring en evaluatie. Denk bijvoorbeeld aan alternatieven die mogelijk zijn tijdens het winkelen. Hoe beweeg jij je in de winkel? Koop je eerst de zware artikelen die je vervolgens mee moet slepen door de winkel of haal je die pas als je gaat afrekenen? En met welke doel ga jij naar de winkel? Ga je doelbewust naar datgene wat je nodig hebt of loop je bijvoorbeeld langs allerlei bonus artikelen, want die zijn
onwaarschijnlijk voordeliger. In het laatste geval, stel je dan jezelf ook de vraag wat je korting is bij bijvoorbeeld 2 zakken Autodrop voor €3,-? Hoeveel korting krijg ik daadwerkelijk? Vaak zie je dat de korting nog geen €0.20 is. Terwijl je eigenlijk geen behoefte had aan Autodrop, ook wel bekent als een impulsaankoop. Dit zijn maar kleine voorbeelden die uiteindelijk gaan over belangrijke
bedrijfseconomische onderwerpen zoals persoonlijke en financiële beslissingen (Boot et al., 2014; Boot, 2016). Zo is er ook onderzoek gedaan naar grotere effecten zoals de planning van je pensioen die door zowel de financiële kennis als mate van metacognitie wordt beïnvloed (Kiso & Hershey, 2017). Het belang van metacognitie in de samenleving wordt pas echt zichtbaar als de mens onderhevig is aan triggers zoals werkloosheid of stress. Opmerkelijk is dat men dan meer naar kortetermijnbelangen kijkt, minder goed problemen kunnen analyseren, minder goed prioriteiten kunnen stellen, minder goed zaken kan organiseren etc. Deze vormen van gebreken van metacognitie kunnen uiteindelijk tot verregaande consequenties leiden zoals gezondheidsproblemen en
schuldenproblematiek (Wesdorp, z.d.; Jungmann, z.d.).
Evenzeer is metacognitie ook beroepsmatig van belang zoals bij ondernemers. Zo blijkt dat bij ondernemers onder andere metacognitieve kennis significant effect heeft op de strategieën die de
9 oprichtende ondernemer voor zijn nieuwe onderneming kiest. Zo moet een ondernemer in staat zijn om evaluaties te doen over zijn eigen vermogen om zowel verantwoordelijkheden te nemen van externe partijen als het succes bepalen van zijn eigen onderneming. Maar ook adaptieve strategieën kunnen bedenken om complexe taken met succes te kunnen uitvoeren. Of het kunnen inschatten wanneer hij of zij moet terugtrekken uit falende acties of keuzes is allemaal onderdeel van
metacognitie (Nambisan & Baron, 2013). Daarnaast is aangetoond dat het gebruik van metacognitie door ondernemers significant een positief effect heeft op de bedrijfsprestaties (Cho & Jung, 2014). Eveneens is metacognitie van belang voor managers. Volgens onderzoek kun je als manager, als je bewust bent van je aannames, vertrouwen opbouwen en je team zelfs echt creatief laten samenwerken in plaats van alleen samenwerken aan een taak (Morris, 2012). Dus als ondernemer of manager is metacognitie een belangrijke vaardigheid. In beide beroepen ben je continue bezig met het zo goed mogelijk plannen, monitoren en evalueren van beslissingen of bedrijfseconomische processen.
Oorzaken van het gebrek aan metacognitie in het onderwijs
In de introductie is kort aangegeven welke oorzaken er nu toe leiden dat de leerlingen te weinig metacognitie bezitten. Deze worden in deze paragraaf verder toegelicht.
Lesmateriaal
Leerlingen gebruiken werkboeken waarin voornamelijk wordt geoefend met goed gestructureerde problemen. Janssen et al. (2018) stellen zelfs dat slecht gestructureerde problemen (moerassituaties) worden vermeden in de leerstof. Het proces van het oplossen van een goed gestructureerd probleem is volgens Vernooij (2009) voor een ondernemer een onnatuurlijke situatie. De leerling gaat van de beschikbare gegevens in een probleemstelling naar de onbekende grootheid. Een ondernemer start normaal gesproken met een probleem, bedenkt zelf welke gegevens nodig zijn, verzameld die gegevens, waarna zij vervolgens het probleem oplossen. Zij starten dus met een onbekende grootheid en moeten eerst beredeneren welke gegevens zij nodig hebben en zullen gebruiken. Hierbij leggen zij dus al een verband tussen de onbekende grootheid en de vereiste data. Ondanks deze bevinding blijft deze manier van vraagstelling zich voordoen in de boeken, zelfs in het nieuwe programma van
Management & Organisatie namelijk bedrijfseconomie. Een dergelijke oplossing hiervoor zou volgens
Vernooij (2009) een computerprogramma zijn, die de gegevens kan vasthouden totdat een leerling erom vraagt. De Meyer et al. (2012) spreken hier dan ook over interactieve problemen, waarbij de leerling zelf nuttige informatie moet verzamelen door de probleemsituatie te analyseren. Het vraagstuk begint dan niet met een opsomming van gegevens om die vervolgens in de vraag uit te rekenen. Een idealere manier is de mogelijkheid tot een interactieproces, waarbij de leerlingen zelf aan relevante gegevens kunnen komen om hun vraagstuk op te kunnen lossen. Hierdoor wordt voor hen de samenhang van de onbekende grootheid en de data duidelijk. De laatste benadering komt veel meer overeen met de probleemsituaties die leerlingen in het dagelijks leven ervaren oftewel slecht
gestructureerde problemen. Daarnaast maken leerlingen veel gebruik van stille hints die in de context van een probleemsituatie naar voren komen (Vernooij, 2003).
Instructies in de klas
Wat betreft de instructies in de klas zie je dat er veelal gebruik wordt gemaakt van het toepassen van een stappenplan of schema voor het oplossen van een probleem. Dit bevordert het oplossen van het probleem, maar dat wilt niet zeggen dat die schema’s leiden tot een bevordering van metacognitie (Slof et al., 2018). Vernooij (2009) erkent dit en geeft aan dat van oudsher het lesmateriaal sterk is voor gestructureerd en dat de docent een rol bekleed als instructeur. Zo oefenen de leerlingen niet de vaardigheid om zelf problemen op te lossen, maar leren ze procedures aan (Janssen et al., 2018). De leerlingen leren zichzelf vooral in de eerste drie jaren gewoontes aan om probleemsituaties op te
lossen door middel van het toepassen van trucjes. Dit komt onder andere doordat in de exacte vakken vaak abstracte begrippen worden gebruikt en je logisch moet kunnen redeneren en conclusies trekken (Terpstra & Prinsen, 2009). Gabel & Bunce (1994) (geciteerd in Kaberman & Dori, 2008)
verkondigen zelfs dat door algoritmisch te denken de verzameling van oefeningen in leerboeken het mogelijk maakt om de juiste antwoorden te vinden in bepaalde categorie van probleemsituaties zonder dat je daar de juiste cognitieve inzichten voor hebt ontwikkeld.
Percepties van de docenten en leerlingen
In de vorige alinea werd de rol als instructeur benoemd van de docent. Deze rol zou eigenlijk moeten verschuiven naar coaching. Hierbij is het belangrijk dat de docent laat zien dat er ook een andere strategie is die ook nog eens relevant kan zijn voor ander rekenkundige problemen. Uit het rapport van
Den Elzen & De Vries (2020) blijkt dat docenten op het havo en vwo voornamelijk aandacht hebben voor rekenvaardigheden volgens de docenten wordt hier 89.5% voldoende of veel aandacht aan besteedt voor. Echter, zijn bij vaardigheden die onder metacognitie vallen zoals creatief oplossen, reflecteren en informatie verzamelen de gemiddeldes aanmerkelijk lager respectievelijk 45%, 34% en 36%. De leerlingen ervaren zelf dat de vaardigheden wat betreft rekenen 94.5% vaak of altijd wordt gebruikt door de docent. Wat betreft creatief oplossen, reflecteren en informatie verzamelen wordt respectievelijk 39.5%, 28% en 39% van de vaardigheden vaak of altijd gebruikt. Er heerst dan ook het vermoeden dat de leerling te weinig wordt gestimuleerd in de ontwikkeling van metacognitie. Baker (1994) concludeert dat noch ouders noch leraren instructies geven aan kinderen die gericht zijn op de bevordering van metacognitieve vaardigheden.
Eindexamens
Tot slot, zijn er nog de eindexamens die zowel een leidraad vormen voor de auteurs van lesboeken als een verkeerde manier van toetsen gebruiken om metacognitie te bevorderen. De vragen op het
eindexamen zijn veelal goed gestructureerd, omdat deze makkelijker te beoordelen zijn. Het is goed of fout. Dit is een stuk lastiger bij slecht gestructureerde problemen. Daarnaast worden de eindexamens getoetst aan de hand van cijfers prestatiegericht, maar bij de bevordering van metacognitie is juist procesgericht beoordelen een belangrijk onderdeel (Hancock, 2018).
3.2.2 Relevantie van slecht gestructureerde problemen
In de introductie is de relevantie van slecht gestructureerde problemen al kort aangegeven. Zo stelt
Mintzberg (2004) (geciteerd in Arts, 2007) dat het onderwijs meer real-life situaties moet bieden, op basis van de tekortkomingen die net afgestudeerde vertonen in het zakenleven (Arts, 2007). Vele onderwijzers en leraren erkennen dat er tekortkomingen zijn bij het gebruik van goed gestructureerde problemen (Jonassen, 2000; Kitchener, 1983; Lave, 1988; Rogoff & Lave, 1984; von Glasersfeld, 1995; Alexander, 1992; Kuhn, 1991; Perkins & Salomon, 1989, geciteerd in Toy, 2007). Dit komt doordat goed gestructureerde problemen geen of weinig vergelijkenis vertonen met problemen waarmee leerlingen in de praktijk te maken hebben (Jonassen, 2000; Kitchener, 1983; Lave, 1988; Rogoff & Lave, 1984, geciteerd in Toy, 2007). Sommige onderzoekers beweren zelfs dat het gebruik van goed gestructureerde problemen studenten niet voorbereid op problemen die ze in hun
professioneel leven zullen tegenkomen (Daniels et al., 2007). Dit in tegenstelling tot slecht
gestructureerde problemen waar dit wel het geval is (Arts, 2007; Daniels et al., 2007; Simon, 1984; Toy, 2007). Eveneens bevordert slecht gestructureerde problemen een contextueel, constructief, zelfgestuurd en samenwerkend proces waarin de probleemoplosser actieve kenniszoeker wordt die authentieke problemen aanpakt (Merra et al., 2014, geciteerd in Pee, 2019).
11
3.3 Taakanalyse
Om concreet zichtbaar te maken welke stappen een leerling bij slecht gestructureerde probleemsituatie moet doorlopen om de taak succesvol uit te voeren is er een taakanalyse opgesteld. Een hulpmiddel, een beslissingsboom, tijdens het oplossen van een slecht gestructureerd probleem is zichtbaar in Bijlage 1. In Bijlage 2& Bijlage 3is een slecht gestructureerd probleem weergegeven waarvoor een bijpassende taakanalyse als volgt is:
1. Lees de tekst en lees de vraag.
a. Onderstreep de woorden die relevant zijn.
2. Wat wordt er gevraagd?
a. Het resultaat van 2019 b. De opbrengsten en kosten
3. Wat weet jij hierover en wat kan je ermee associëren vanuit je kennis die je hebt?
a. Een overzicht dus iets wat duidelijk moet zijn in één oogopslag b. Geld dat binnenkomt en geld dat eruit gaat
c. Aantal producten dat je verkocht hebt
d. De prijs die je voor de producten hebt gevraagd (verkoopprijs/omzet) e. De kosten voor het inkopen van de producten (inkoopprijs/inkoopwaarde) f. De overige kosten die je hebt gemaakt (bedrijfskosten)
g. Winst of verlies?
4. Maak een overzicht van hoe deze begrippen zich tot elkaar relateren/verhouden. Welke rekenstappen moet je maken?
a. (Verkoopprijs – inkoopprijs) x afzet – bedrijfskosten = nettowinst/verlies
5. Stel vragen om meer informatie te kunnen verzamelen.
a. Wat is de omzet van Amber in 2019?
b. Wat is de inkoopwaarde van Amber in 2019? c. Wat zijn de bedrijfskosten van Amber in 2019? d. Wat is het verlies of winst van Amber in 2019?
6. Controleer of de verzamelde gegevens kloppen en volledig zijn
a. Leveren de gegevens samen de juiste waarde wat betreft het resultaat een winst of verlies
b. Of leiden de overige gegevens tot een hoger of lager getal?
7. Maak de berekening compleet en kloppend zodat het een duidelijk overzicht wordt.
a. Bedenk hierbij welke manieren je kent: scontrovorm of paginavorm
8. Stel jezelf de vraag of je hier iets van hebt geleerd.
a. Wat zou je de volgende keer anders doen? b. Had je andere vragen gesteld?
c. Duidelijker moeten lezen?
d. Je bent dus in staat om iemand te helpen met het maken van een resultatenrekening of winst- en verliesrekening
3.4 Empirische verkenning: context
Door een empirische verkenning duidelijkheid worden geschept over welke denkproblemen leerlingen ervaren, hoe de leerlingen denken over bepaalde probleemsituaties, welke kennis zij al bezitten etc. In deze empirische verkenning zal er ten eerste gebruik worden gemaakt van een semigestructureerd interview met een bedrijfseconomie docent. Hieruit kan worden opgemaakt of het geconstateerde probleem van de onderzoeker wordt gedeeld. Ten tweede wordt er van de leerlingen data verzameld
uit door hen een probleemsituatie op te laten lossen. Hierbij mogen leerlingen zoveel vragen stellen als ze willen. Op deze wijze kan er steekproefsgewijs worden achterhaald in hoeverre een leerling in staat is om slecht gestructureerde problemen op te lossen en of hij of zij in staat zijn de juiste vragen te stellen. Daarnaast kan met de gegevens een waarneming worden gedaan over de mate van metacognitieve vaardigheden.
De redenen voor het gebruik van een semigestructureerd interview zijn te achterhalen wat de
gedachtes of attitudes van een docent zijn over het huidig onderwijsmateriaal en wat de mening is van de docent over de doelen die dit prototype tracht te behalen. De tweede methode, waarbij de leerlingen een probleem moeten oplossen is een vergelijkbare manier van valideren als een inhoudsanalyse. De meerwaarde van deze vergelijkbare inhoudsanalyse is de mogelijkheid om vooraf al een inzicht te krijgen hoe leerlingen omgaan met het oplossen van slecht gestructureerde problemen. Daarnaast wordt er vaak voor deze methode gekozen om literatuur of eigen verzamelde data te kunnen categoriseren.
Het interview is niet opgenomen en de vragen zijn vooraf bedacht. Tijdens het interview zijn er nog explorerende vragen gesteld. Om pragmatische redenen gekozen om één docent te interviewen die zeker al vijf jaar full time voor de klas staat en niet een docent die nog bezig is met het behalen van zijn of haar eerstegraads of een part time docent.
De voorbeeldcase is uitgevoerd tijdens de eerste les na de herfstvakantie. De leerlingen kregen een kort filmpje op YouTube te zien van een zeer jonge onderneemster genaamd Amber. Amber heeft een bedrijf in het verkopen van bedrukte shirts en vertelt hierover. Na het filmpje werden de leerlingen van 4H gevraagd om een probleemsituatie op te lossen, zie Bijlage 2& Bijlage 3. De kennis die
noodzakelijk is voor het oplossen van dit probleem is voor de herfstvakantie behandeld en ook getoetst in een voortgangstoets (VT). Daarnaast is het belangrijk om te vermelden dat tijdens de uitwerking van deze toetsing de leerlingen problemen ondervonden met de toegang tot de enquête in Google Forms. Eind van de les heeft de onderzoeker dit weten op te lossen, maar daardoor hebben niet alle leerlingen het ingevuld (7 van de 15). Daarnaast waren er twee leerlingen die de opdracht op papier ingeleverd hebben. Bovendien, was dit een lesuur dat op maandag van 15:30 tot 16:30 plaatsvond wat niet een optimaal moment is aangezien de leerlingen dan vaak weinig of niet gemotiveerd zijn. Uit het interview in Bijlage 4is op te maken dat volgens de geïnterviewde docent naar zijn mening de probleemsituaties uit het boek representatief zijn voor de werkelijkheid, maar deze weliswaar
vereenvoudigd zijn. Leerlingen kiezen veelal voor een veilige manier van leren of oplossen van problemen. Zo gebruiken ze vaak samenvatten als leerstrategie en grijpen ze al gauw naar het antwoordenboek tijdens het oefenen. Ze confronteren zichzelf zo min mogelijk met hun ‘gebreken’. De docent stelt dat oplossen van slecht gestructureerde probleemsituatie lastig gaat zijn en dat
leerlingen een mate van inzicht moeten beschikken. De huidige vraagstellingen zijn volgens de docent vaak simpeler opgesteld denk maar aan alleen optellen of aftrekken. Bij het oplossen van algemene vragen is de rol van de docent cruciaal, want die moet leerlingen de juiste stappen aanreiken en hen hierin begeleiden, aangezien het in een antwoordenboek ontbreekt aan een beslissingsboom. De docent geeft aan dat havo en vwo wel in staat moeten zijn om een real-life problemen (slecht gestructureerde problemen) op te lossen. Toch wordt het volgens de docent met de huidige vraagstellingen in het boek niet getraind. De realistische probleemsituaties zouden nog deels opgelost kunnen worden met trucjes, maar gerobotiseerd een slecht gestructureerd probleem oplossen is niet meer mogelijk. Het interview bevestigt hiermee de bevindingen en ervaringen van de onderzoeker.
13 Uit de gegevens, zie Bijlage 5, die verzameld zijn door middel van een vergelijkbare inhoudsanalyse zijn de vragen ingedeeld in de drie verschillende facetten van metacognitieve vaardigheden, namelijk oriënteren, monitoren en evalueren. De kenmerken waarop de indeling van vragen zich berust is door de onderzoeker opgesteld uit een combinatie van verschillende bronnen in een codeerschema of scoremodel zie Tabel 6. InFiguur 3is een duidelijke weergave te zien van de resultaten. Hierin ziet u dat de vragen voornamelijk onder de categorie oriënterend (78%) vallen. Achteraf gezien was dit was ook wel te verwachten, omdat de vraagstelling amper monitorende of evaluerende vragen oproept, een bias. Om dieper inzicht in te krijgen de oriënterende vragen is dit verder uitgewerkt aan de hand van de taxonomie van Kaberman & Dori (2008), want de oriënterende vragen zijn niet gefilterd op basis van relevantie. Uit het resultaat in Figuur 4 blijkt dat 23% van de oriënterende vragen irrelevant zijn. Om uit het resultaat in Figuur 3gegronde conclusies te trekken wat betreft metacognitieve
vaardigheden is daarom nogal wat te voorbarig. Ten eerste, vanwege de soort vraagstelling. De vraagstelling bevatte al erg veel hints, waardoor ze gemakkelijk konden achterhalen om welk probleem het hier zou gaan. De mate van structuur is hier onvoldoende bekend en daarnaast nodigde deze vraag te weinig monitorende en evaluerende vragen uit. Ten tweede, de kans is groot dat de leerlingen die het ingevuld hebben de leerlingen zijn die goed opletten en actief deelnemen in de klas. De andere helft van de klas heeft het namelijk niet ingevuld. Ten derde, is het nog de vraag of de leerlingen met deze vraagstellingen ook in staat zijn om vervolgens het probleem op te lossen en dus een antwoord te kunnen geven. Dat is uit deze data niet op te maken. Des al niettemin is de data niet onbruikbaar, want het kan namelijk als een nulmeting worden gebruikt. Tot slot, werd er door de onderzoeker ook een ander verschijnsel waargenomen betreffende metacognitie. Nadat de leerlingen de opdracht uitgelegd kregen of hadden gelezen waren er vele reacties als: ‘Huh ik snap het niet’, ‘Waar zijn de gegevens?’, ‘Vind het maar een vage vraag’, etc. Soortgelijke vragen kunnen we associëren met een gebrek aan metacognitie. Het is belangrijk om hier rekening mee te houden in het educatief ontwerp. Denk hierbij dan aan een andere methode van validatie waarbij dit beter zichtbaar wordt zoals hardop denken
3.5 Theoretische verkenning van oplossingen
In dit hoofdstuk worden oplossingen of middelen besproken die binnen het onderwijs implementeerbaar zijn om de metacognitie onder leerlingen te bevorderen.
In de literatuur is er al veel geschreven over strategieën die metacognitie bevorderen. Zo helpt het om vooraf te identificeren wat je wel en niet weet, te praten over het denken, een denkdagboek bij te houden, te plannen en zelfregulerend het denkproces na te bespreken of te evalueren (Blakey & Spence, 1990). Janssen et al. (2018) benadrukkenin hun onderzoek dat het gebruik van
vakperspectieven aanzet tot denken. Zij stellen dan ook dat dit een opzet kan zijn om metacognitieve vaardigheden te bevorderen. Wel onder de voorwaarde dat er een regie op het zoeken en bevragen moet plaatsvinden. Ook gaan zij ervanuit dat de slecht gestructureerde problemen voornamelijk bedrijfseconomisch zijn. Uit een ander onderzoek blijkt dat het belangrijk is dat leerlingen expliciet kunnen zien wat ze aan het doen zijn terwijl ze een taak aan het uitvoeren zijn. Het beste is dan als zowel het proces als de reacties van de leerling zichtbaar worden gemaakt tijdens het oplossen (Hollingworth & McLoughlin, 2001; White & Frederiksen, 2005). Daarnaast kan je als docent in je klassen meer nadruk leggen op een rolverschuiving van zowel de leerling als de docent. De leerling moet van een passieve ontvanger naar een autonomere rol toe gaan. De docent moet dan geen instructies meer geven en vertellen wat leerling moeten doen, maar juist een coachende rol op zich nemen. Anders worden de leerlingen experts in het zoeken van hulp of uitvoeren van routines in plaats van experts over het denken en sturen van hun eigen leerproces. (De Herdt et al., z.d.; Hatano & Inagaki, 1986, geciteerd in Hollingworth & McLoughlin, 2001). Wat een docent ook in zijn lessen zou
kunnen implementeren is reflecteren op je eigen leerproces. Zo kunnen leerlingen bijvoorbeeld vergelijkbare vragen beantwoorden als ‘Heb je het gevoel gehad dat je je goed voorbereid had voor de toets?’ of ‘Ben je verbaast van je cijfer?’. Daarnaast benoemd Fisher (1998) dat docenten dieper in moeten gaan op wat de kinderen hebben gezegd en wat ze denken. Dit wordt ook wel empathetic
challenging genoemd en kan worden bevorderd door effective questioning. Deze werkwijze typeert het
constructivistisch leren. Hierbij worden soortgelijke vragen aan de leerlingen voorgelegd als ‘What
about next?’, ‘What do you think?’, ‘Do you have a plan?’ (Bonnet, 1994, geciteerd in Fisher, 1998; Özsoy & Ataman, 2017). Met deze vragen helpt de docent studenten hardop te denken (Collier, 2018). Daarnaast heeft Vos (2003) een duidelijke weergave gemaakt, in Figuur 1, met mogelijke varianten die metacognitie bevorderen en deze ingedeeld per facet. Hieruit blijkt dat als leerlingen zelf hun benodigde informatie moeten verzamelen dit metacognitieve vaardigheden bevordert. Deze middelen zijn afwezig in goed gestructureerde problemen en Shin et al. (2003) (geciteerd in Toy, 2007) stellen zelfs dat goed gestructureerde problemen niet uitdagend genoeg zijn voor de studenten en ze daarom geen beroep hoeven te doen op metacognitie. Ze gebruiken dan de bestaande oplossingsschema’s en passen dat alleen toe. Volgens Cunningham (2009) zouden studenten die betrokken zijn bij het oplossen van slecht gestructureerde problemen technieken leren die hun metacognitie bevorderden. Als docent zou je dus meer slecht gestructureerde problemen voor kunnen leggen, waardoor deze middelen wel nodig zijn.
Eveneens wordt metacognitie bevordert door het stellen van vragen vooraf, tijdens en na een het lezen van een tekst, dit wordt ook wel self-questioning genoemd (Ammel et al., 2020; Chin, 2002, geciteerd in Byun et al., 2014).In een ander onderzoek is er gekeken naar de effecten van het stellen van vragen over scheikundige artikelen. Hierbij maakten de leerlingen gebruik van metacognitieve strategieën om de kwaliteit van hun eigen vragen te kunnen beoordelen. De onderzoekers concludeerden dat het stellen van vragen ertoe leidde dat de leerlingen meer bewust werden van hun eigen cognitieve
Figuur 1: Hulpmiddelen om de ontwikkeling van metacognitie te bevorderen: In elke cel staan voorbeelden van metacognitieve (MC) varianten die kunnen bijdragen aan de ontwikkeling van metacognitie. Ze zijn geordend naar de cognitie-varianten kennis, vaardigheden en informatie waar ze betrekking op hebben Vos (2003)
15 processen en de zelfregulatie over hun leerproces, oftewel metacognitie. (Kaberman & Dori, 2008). Het bleek een groot succes te zijn in Israël, echter betreft het hier om scheikundige artikelen en niet om bedrijfseconomische oefenvragen die in huidige werkboeken of op het examen te vinden zijn. Ook in het werk van Ge & Land (2003) werd een soortgelijke bevinding aangetoond. Zij namen waar dat het stellen van vragen significant invloed had op de prestaties van het oplossen van slecht
gestructureerde problemen onder leerlingen. En ook uit de onderzoeken van Taylor et al., 2002; Chi, Bassok, Lewis, Reimann & Glaser, 1989 (geciteerd in Balk, 2010) blijkt dat het stellen van vragen helpt bij het ontwikkelen van metacognitieve vaardigheden. Eveneens roept self-questioning op een natuurlijke wijze voorkennis en ervaringen op (King, 1992; Xie & Bradshaw, 2008, geciteerd in Byun et al., 2014).
Het is aannemelijk dat het stellen van vragen een effectief middel is in zowel het oplossen van slecht gestructureerde problemen als voor het bevorderen van metacognitie. Echter, is binnen het vak bedrijfseconomie hier geen tot weinig onderzoek naar gedaan. Met de huidige technologie kunnen leerlingen de vragen via een applicatie of programma stellen, waardoor ze expliciet zien wat ze doen. De vragen kunnen worden bewaard en ook gelijk worden gecategoriseerd, waarna de vragen kunnen worden beoordeeld. Ook is het mogelijk om met behulp van kunstmatige intelligentie de vragen direct te kunnen beantwoorden. Door deze vorm van interactie helpt de leerling zichzelf op weg naar de oplossing van het probleem. Daarnaast biedt het een behulpzaam middel voor de leraren, zij kunnen vervolgens de opgeslagen data analyseren en hierdoor een leerling nauwkeuriger begeleiden in het oplossen van problemen (Aurah et al., 2011).
3.6 Ontwerphypothese en ontwerpregels
Op basis van de uitkomsten van de theoretische en empirische verkenning kan er een verwachting worden vastgelegd. De ontwerphypothese van dit onderzoek luidt dan ook als volgt:
‘Als het probleem van gebrek aan metacognitie onder leerlingen (P) onder handen wordt genomen door het gebruik van cues die self-questioning oproepen, effective questioning oproepen en sturing en begeleiding bieden over vragen van de taak bij slecht gestructureerde problemen (X), dan kan worden verwacht dat leerlingen oriënterende (Y1), monitorende (Y2) en evaluerende (Y3) vragen
zullen stellen tijdens het oplossen van deze moerassituaties.’
De kenmerken waaraan de prototypes moeten voldoen om de gewenste effecten op gang te brengen worden uitvoerig besproken in Bijlage 6. De ontwerpregels zullen hier worden beschreven. De eerste ontwerpregel verluidt:
Het kunnen oplossen van een real-life probleemsituaties (slecht gestructureerde problemen).
De tweede ontwerpregel verluidt:
Het gebruik van cues die self-questioning oproept in slecht gestructureerde problemen leidt tot oriënterende, monitorende en evaluerende vragen.
De derde ontwerpregel verluidt:
Het gebruik van cues die effective questioning oproept in slecht gestructureerde problemen leidt tot oriënterende, monitorende en evaluerende vragen.
Het gebruik van cues die sturing en begeleiding bieden over vragen van de taak in slecht gestructureerde problemen leidt tot oriënterende, monitorende en evaluerende vragen.
3.7 Plan voor valideringsonderzoek
Het doel van het valideringsonderzoek is om met validering I te bekijken of de ontwerpregels een goede afspiegeling vormt van de theorie en met validering II zal duidelijk worden of de prototypes werkzaam zijn. Validering I zal worden getoetst door middel van de beoordeling van de vakdidacticus en een expert. Validering II kan worden getoetst door middel van hardop denken, de beoordeling van een expert en het gebruik van een vragenlijst over de mate van structuur.
Het gebruik van hardop denken maakt het mogelijk om denkactiviteiten of processen rechtstreeks af te kunnen leiden. Hierdoor worden onderliggende denkactiviteiten blootgesteld en niet verdraait,
interpreteert en of vergist, daarnaast wordt het protocol vaak gebruikt bij probleem oplossen. Hardop denken maakt het dus mogelijk om metacognitie waar te nemen tijdens het oplossen van een probleem (Schellings, 2012). Om het proces te kunnen uitvoeren zal je een aantal stappen moeten uitvoeren waarbij je als eerst uitleg geeft over wat de bedoeling is, vervolgens laat je een voorbeeld zien en daarna doe je een oefening, waarna je tot slot de hardop-denk taak uitvoert. Het is hierbij van belang dat je de leerlingen laat oefenen met hardop denken. Dit kan een aantal dagen vooraf worden gedaan of op dezelfde dag. De verbale vaardigheid of de leeftijd van de leerling kan namelijk een invloed hebben op het resultaat van hardop denken, dus oefening baart kunst (Schellings et al., 2006, geciteerd in Rust & Van Pinxteren, 2017). Verder is de taak van de begeleider gering en stelt hij of zij de leerling voornamelijk op zijn of haar gemak. Indien nodig stimuleert hij de leerling door vragen te stellen, ook wel prompting genoemd. Echter, kan het voor de begeleider moeilijk zijn om de leerling te laten ‘aanmodderen’ met een taak, maar alleen dan komt het denkproces echt naar boven (Schellings, 2012). Om de validiteit van dit onderzoek zo goed mogelijk te bewaken is er een protocol opgesteld (Stoel, z.d.):
1. Als eerst zullen er slecht gestructureerd problemen worden ontworpen, dit zijn de prototypes hierbij is het huidige werkboek Bedrijfseconomie in Balans een uitgangspunt. Bij dit proces worden ook experts betrokken. Dit wordt verder in het onderzoek toegelicht. Om de mate van structuur in het probleem te kunnen valideren zal er een tool worden gebruikt zoals in het werk van Toy (2007),zie Bijlage 7. Een externe partij (bijv. een vakdidacticus) oordeelt dan over de mate van structuur in het probleem.
2. Voor het opnemen van het onderzoek zal er gebruik worden gemaakt van een microfoon (hetzij door een telefoon of laptop). Het gebruik van een videorecorder zal te veel druk op de leerling leggen, waardoor hij/zij zich sneller ongemakkelijk zal voelen. Dit zou consequenties kunnen hebben op het resultaat;
3. Het gesprek zal worden uitgetypt in een transcript waarbij alles wordt genoteerd ook uh’s; 4. De segmenten van eenheden zullen waarschijnlijk per zin zijn en kunnen op die manier
gecodeerd worden;
5. Een codeerschema of scoremodel opstellen: deze zal bestaan uit segmenten die onder oriënteren, monitoren of evalueren vallen. In dit ontwerp is hier al enig werk aan besteed zie
Tabel 6. Het meten van het resultaat zal worden gedaan door simpelweg te turven hoe vaak de vaardigheden voorkomen. Voor validering II kan er eventueel gekeken worden naar
woorden/zinnen die opmerkingen zijn over het gebruik en ervaring van het prototype. Dit kan voorlopig onderverdeeld worden in positief en negatief ervaringen.
6. Een externe partij zoals een werkplekbegeleider of docent gebruikt het codeerschema en codeert de tekst ook
17
3.7.1 Betrouwbaarheid
Om rekening te houden met de betrouwbaarheid van dit onderzoek is het van belang dat de deelnemers willekeurig worden gekozen. Uit de klas kunnen één of twee leerlingen willekeurig worden gekozen om mee te werken aan dit onderzoek. Zij zullen worden gebruikt voor het valideren van het prototype. Met de verzamelde data van het hardop denken zal de mate van metacognitie worden bepaald. Het onderzoek zal worden uitgevoerd tijdens zelfstandige werkuren van de leerlingen, zodat zij dit niet in hun vrije tijd moeten doen. Hierdoor verklein je de kans dat de data beïnvloed wordt door een gebrek aan motivatie. Tot slot, kan er door een vergelijk met de resultaten van de onderzoeker en de andere docent een beoordelaarsbetrouwbaarheid (Kappa of percentage overeenkomst) worden opgesteld.
3.7.2 Validatie
Bij validering I moet het voor de onderzoeker duidelijk worden of de ontwerpregels een goede afspiegeling vormen van de theorie en of het mogelijk is de gewenste doelen te kunnen bereiken. Dit wordt gedaan aan de hand van de mening van de vakdidacticus en een expert, zie 3.7.3. Vervolgens kan er het een en ander worden aangepast, waarna de prototypes kunnen worden ontwikkeld. Bij validering II moet het voor de onderzoeker duidelijk worden of het prototype voldoet aan de ontwerpregels en of het prototype bruikbaar is in de klas. Als eerst zal de onderzoeker gebruik maken van de colleges educatief ontwerp. In deze colleges legt de onderzoeker twee prototypes voor aan zijn collega’s en zijn vakdidacticus, zie 3.7.3. Bovendien zal er bij deze validatie duidelijk moeten worden of de prototypes met cues bij leerlingen metacognitieve vaardigheden oproept. Dit kan worden bepaald aan de hand van een turflijst die per categorie zal worden ingevuld. Mocht het hardop denken te weinig data opleveren kan er gekozen worden om leerlingen een vragenlijst in te laten vullen over hun mening die ze hebben van het gebruik/ervaring van ill-structured problemen als oefeningen. Dit maakt het wel mogelijk dat er nu meer participanten mee zouden kunnen doen, echter heeft het gebruik van een vragenlijst wel zijn nadelen op de constructvaliditeit van het onderzoek (Van Swet & Munneke, 2017). Betreffende procesvalidatie zal voor de verzameling van de data er een stappenplan worden toegevoegd aan die deels ook al uit eerder werk zal bestaan namelijk Kaberman & Dori (2009). Echter, sluit het kleine aantal leerlingen externe validatie of generalisatie uit(Van Swet & Munneke, 2017). Daarnaast is het ook relevant dat de leerlingen dit niet moeten uitvoeren aan het eind van de dag, aangezien dan de concentratie vaak op is.
3.7.3 Experts
Voor de eerste validering zal er ook gebruik worden gemaakt van experts. Niet alleen zal de
vakdidacticus een bijdrage leveren aan de validatie van de ontwerpregels. De onderzoeker zal ook een andere expert, namelijk een bedrijfseconomie docent in opleiding als werkplekbegeleider (WPB), de ontwerpregels voorleggen met daarbij de bijbehorende theorie. De docent past veelvuldig metacognitie toe in de lessen, is hier actief mee bezig en heeft hier veel ervaring mee.
Het slecht gestructureerd problemen ofwel de twee prototypes zal worden gevalideerd bij validering II. Het bedenken van slecht gestructureerde problemen is tijdrovend, omdat er heel wat voorwaarde zijn voordat gewenste effecten worden opgeroepen bij de leerling. Om dit te kunnen bewerkstelligen zal de onderzoeker de prototypes tijdens het educatief ontwerp voorleggen aan medestudenten van de
interfacultaire lerarenopleiding (ILO). De medestudenten zijn met jarenlang ervaring in product strategiemanagement, prijsstrategie, strategisch consultancy, marketingmanagement, financieel planner, docent wft pensioen, wft vermogen etc. echte experts binnen het vak bedrijfseconomie. De experts zullen als eerst gevraagd worden om de problemen op te lossen. Door de problemen voor te leggen aan zowel deze expert als de vakdidacticus is het mogelijk om kennis hierover te delen en de
twee gewenste prototypes zodanig te ontwikkelen at ze aan de gewenste eisen voldoen. Dit wordt in het volgend hoofdstuk verder toegelicht, zie 4.2.2. Ook de expert die gestart is met een opleiding als werkplekbegeleider heeft hier uiteindelijk een oordeel over geveld.
4 Ontwerpen, valideren, rapporteren
4.1 Validering I
Door deze validering kan worden vastgesteld of de theorie voldoende aansluiting biedt aan de opgestelde ontwerpregels. De vraag is dus of met de opgestelde ontwerpregels de doelen kunnen worden bereikt.
De vakdidacticus heeft meerdere malen gekeken naar de aansluiting van de theorie en de opgestelde ontwerpregels. Hieruit bleek dat de ontwerpregels niet voldoende waren geformuleerd, omdat ze niet goed aansloten vanuit de theoretische oplossingen. Na een aantal besprekingen samen met de vakdidacticus zijn de ontwerpregels aangepast. Ook de bedrijfseconomie docent die een opleiding volgt als werkplekbegeleider en veel bezig is met het toepassen metacognitie in zijn lessen heeft het werk gevalideerd door de volgende vraag te beantwoorden:
Denk jij dat de vier hieronder genoemde ontwerpregels metacognitie kan bevorderen (mag toelichten)?
Antwoord: Dat is een lastige vraag. De theorie is erg complex, maar ik ben wel van mening dat het metacognitie oproept ja.
De docent die validatie deed voordat de laatste aanpassingen zijn gedaan was erg benieuwd naar de uitwerking van het prototype. Deze docent raadde daarbij af om gebruik te maken van een mobiele telefoon. In de kern is dat niet waar het onderzoek om gaat en zou in die mate weinig invloed hebben op de gewenste resultaten. Het zou meer werk opleveren en juist tot afleiding kunnen zorgen. Tot slot, werd er door deze docent nog een tip gegeven om het wel zo realistisch mogelijk te houden en dus de leerlingen de mogelijkheid te bieden om hun boek erbij te houden.
4.1.1 Aanpassingen na validering I
In het begin was het duidelijk dat de samenhang van de theorie en de ontwerpregels onvoldoende was om het gewenste doel te bereiken. In een van de eerste feedback werd duidelijk dat de prototypes moesten worden voorzien van cues. Na herzien bleek dit niet om metacognitieve cues te gaan maar om cues die onder andere self-questioning, effective questioning moet oproepen, waardoor vervolgens verwacht wordt dat de onafhankelijke variabelen worden bevorderd. De onafhankelijke variabelen waren niet duidelijk en de link met de theoretische oplossingen was niet terug te vinden. Na uitvoerig overleg is hier volop door de onderzoeker aan gewerkt. Waarna vervolgens ook door een expert kon worden vastgesteld dat de ontwerpregels voldoende zijn.
4.2 Het Ontwerp
Voordat de prototypes zijn ontworpen heeft de onderzoeker geëxperimenteerd met het ontwerpen van vragen, deze zijn zichtbaar in Bijlage 8. In dit ontwerp zal er gesproken worden over prototypes, het eindresultaat van deze prototypes zijn te vinden in Bijlage 9.
4.2.1 Het idee
Normaliter worden leerlingen gevraagd om te oefenen uit de werkboeken die zij meekrijgen bij de leerboeken van bedrijfseconomie. Het idee van dit prototype is dat de probleemsituaties ofwel in een oefenboek of via een app beschikbaar zijn voor de leerlingen. Deze probleemsituaties moeten op een
19 specifieke wijze zijn ontworpen, zie 4.2.2. Zodra de leerlingen het probleem hebben gelezen krijgen zij de mogelijkheid om hierover vragen te stellen. Deze vragen stelt de leerling via een nog te ontwerpen applicatie of programma dat kan worden gebruikt op een telefoon of op een computer. De vragen die door de leerlingen via de applicatie of het programma worden gesteld tijdens het
oplossingsproces worden zullen dan worden beantwoord door getrainde algoritmes. Hierdoor ontstaat er een interactie zoals bij een chatbot. De algoritmes beantwoorden alleen de vragen die de leerling stellen, hierbij geven ze in eerste instantie geen hints of advies. Op deze wijze moeten leerlingen zelf hun benodigde informatie verzamelen om uiteindelijk het probleem op te kunnen lossen.
4.2.2 De prototypes
In deze paragraaf zal worden toegelicht met welke zaken rekening mee moet worden gehouden bij het ontwerpen van de prototypes. Zo is het van belang dat door middel van cues in de probleemsituatie er bij de leerling bepaalde vragen worden opgeroepen, zoals vragen die betrekking hebben op
self-questioning, effective questioning. Maar ook moet het ontwerp ervoor zorgen dat er een sturing of
begeleiding is over de vragen van de taak. Waardoor uiteindelijk de leerling wordt genoodzaakt om metacognitie toe te passen. De voorkeur gaat ernaar uit om zo min mogelijk getallen te gebruiken, omdat leerlingen de informatie zelf moeten verzamelen. Het is daarnaast ook belangrijk dat het prototype zo ontworpen is dat het probleem duidelijk genoeg is voor de leerling. Op deze manier weet de leerling wat er verwacht wordt zonder dat het afdoet aan de mate van een slechte structuur. De leerling moet dus aan de hand van de tekst gerichte vragen kunnen stellen over het probleem. Die gerichte vragen, waar de leerling eerst over moet nadenken, vallen onder het begrip effective
questioning. Beide prototypes zijn ontworpen vanuit het werkboek Bedrijfseconomie in Balans, omdat
dit oefeningen zijn waar de leerling tijdens de huidige lessen ook mee oefenen. Williamson (1996)
geeft aan dat je self-questioning en effective questioning kan bevorderen door voorbeelden, uitleg, ondersteuning en suggesties te geven als docent. Dit is niet mogelijk wanneer de leerling zelfstandig de opgave moet maken. Het is dus de kunst om dit zoveel mogelijk in de probleemsituatie zelf te verwerken.
In het eerste prototype (Prototype I) is dit geprobeerd door middel van een discussie. Het lezen van de discussie moet tot self-questioning vragen leiden, dit kan worden gedaan door begrippen te benoemen of fouten te maken die niet vanzelfsprekend zijn. Door informatie weg te laten zoals getallen wordt de leerling genoodzaakt om over de taak of inhoudelijk vragen te stellen. Door elkaars meningen of standpunten te weerleggen kan de leerlingen worden gemotiveerd om monitorende vragen of stellingen in te nemen tijdens het hardop denken.
In de tweede prototype (Prototype II) is ervoor gekozen om de te doorlopen stappen bij het oplossen van een probleemoplossing bijna geheel vrij te geven. Echter, is deze uitwerking niet helemaal volledig juist. De leerling wordt uitgedaagd om zelf informatie te verzamelen, maar ook kritisch te kijken naar het proces van het probleem. Tijdens het lezen van de denkstappen die de Piet maakt zouden er self-questioning moeten worden opgeroepen bij de leerlingen. Door het toevoegen van een concept map wordt de leerling geholpen met een mogelijke strategie om het probleem op te lossen. De leerling wordt hierin uitgedaagd om na te gaan of dit wel juist is, zowel monitorende en evaluerende denkstappen worden verwacht te worden gebruikt.
4.2.3 Geplande uitvoering
Het ontwerp zal worden uitgevoerd tijdens een klassieke les met de volgende globale opzet: huiswerk bespreken, nieuwe stof behandelen, zelfstandig aan het werk. Een gedetailleerdere uitwerking van de lesplannen is te zien in Bijlage 10. De lessen waarin de prototypes zullen worden getoetst gaan over
domein B, van persoon naar rechtspersoon. Zodra de leerlingen alle informatie hebben ontvangen om zelfstandig aan de slag te kunnen, zal de onderzoeker willekeurig een leerling kiezen (d.m.v. een
randomizer). Afgezonderd van de klas zal validering II met de desbetreffende leerlingen worden
uitgevoerd. Het idee is dat de leerling de probleemsituatie (slecht gestructureerd probleem) probeert op te lossen door het stellen van vragen zoals in de empirische verkenning ook al is gedaan. Het ontwikkelen van een applicatie en het trainen van het algoritme, zoals besproken in 4.2.1, is niet haalbaar in de beschikbare tijd van dit onderzoek. Daarom zal de onderzoeker dit op een andere manier verwezenlijken. In eerste instantie was het de bedoeling om functies van de applicatie te vervangen door communicatie via WhatsApp. De leerlingen zouden dan terwijl zij hardop denken de bedachte vraag via WhatsApp stellen. De communicatie zou dan via een prepaid telefoonnummer verlopen, zo kan een chatbot worden nagebootst. De onderzoeker zal vervolgens op de vragen reageren van de leerlingen. Uiteindelijk is op basis van validering I besloten om de vragen te stellen aan de onderzoeker. De onderzoeker zal de vraag dan beantwoorden en is in wezen dus de chatbot. Er is gekozen om het aantal vragen te limiteren, zodat de leerlingen ook bewust omgaat met het stellen van vragen.
4.2.4 Gerealiseerde uitvoering
De onderzoeker heeft de eerste les van de geplande uitvoering uitgevoerd, maar dit verliep niet geheel volgens plan. Door uitloop van de les en een te strakke planning heeft de onderzoeker alleen de mogelijkheid gehad om in de één na laatste week voor de kerstvakantie de validatie uit te kunnen voeren. Deze week viel midden in een 40-minuten rooster en doordat de les uitliep heeft de onderzoeker maar 5 minuten van leerling 1 zijn of haar tijd gebruik kunnen maken. Het was geen succes en de onderzoeker merkte op dat als een leerling er niet zelf enthousiast over is het resultaat geen bijdrage kan leveren aan dit onderzoek. Na bespreking met de vakdidacticus en op advies van de werkplekbegeleider is besloten het onderzoek de week erop uit te voeren. De onderzoeker heeft een aantal potentiële respondenten (leerlingen) benaderd na de laatste les voor de toetsweek en hen gevraagd of ze bereid waren mee te doen aan een onderzoek. Het onderzoek met leerling 2 is in een leeg klaslokaal uitgevoerd en goed verlopen. De derde leerling was op dat moment niet op school en door de lockdown was de onderzoeker genoodzaakt om het onderzoek met leerling 3 online af te nemen. Afgezien van de tegenslagen is de onderzoeker vrij tevreden over het verloop van de geplande uitvoering. Prototype I is aan twee leerlingen voorgelegd, waarvan de eerste leerling snel opgaf, wel heeft de leerling de enquête ingevuld. Prototype II is aan één leerling voorgelegd.
4.2.5 Materialen
Voor dit onderzoek is er gebruik gemaakt van een aantal programma’s namelijk Microsoft
PowerPoint, Microsoft Teams en Google Forms. In PowerPoint zijn de slides gemaakt voor de twee lessen waarin het prototype zou worden uitgevoerd. Microsoft Teams is gebruikt om met leerling 3 het prototype te kunnen testen en per mail is Prototype II verzonden. Google Forms is gebruikt om een format te toe te reiken aan de leerlingen waarin ze de mate structuur konden beoordelen. Daarnaast is er gebruik gemaakt van Samsung Galaxy S7 Edge om het hardop denken op te nemen. Tot slot, hebben de leerlingen gebruik mogen maken van hun boek Bedrijfseconomie in Balans en een rekenmachine.
4.3 Validering II
Met validering II kan worden vastgesteld in welke mate het prototype overeenkomt met de ontwerpregels en in welke mate de ontwerpregels zijn gerealiseerd. De onderzoeker heeft ervoor gekozen deze op te delen in een validering IIa en validering IIb. Bij validering IIa krijgt de
21 het educatief ontwerp op te lossen. De medestudenten zijn experts in hun vakgebied (zie 3.7.3) en zijn op de hoogte van de opzet en doelen die dit onderzoek tracht te behalen. Iedere prototype is voorgelegd aan twee experts, in 10 minuten kregen zij de gelegenheid om het probleem op te lossen. Een belangrijke nota is dat de experts vergeleken met de leerlingen per twee de prototypes mochten oplossen. Het zou niet haalbaar zijn als de experts eerst nog de hele lesstof over dit onderwerp moesten bestuderen. Voor validering IIb zijn de prototypes aangepast na de feedback van validering IIa. Tijdens validering IIb is het de beurt aan de leerlingen en de expert die ook validering I heeft gedaan, de uitvoering is besproken in 4.2.4.
4.3.1 Resultaten na validering IIa
Uit de feedback van de experts kwam duidelijk naar voren dat voor Prototype I geen aanpassingen nodig waren. In tegen stelling tot Prototype II waren er nog heel wat aanpassingen nodig. Zo bestond de feedback uit:
‘Over welke tekst gaat het?’
‘Het probleem is mij volstrekt onduidelijk’
Na het bespreken van mogelijke aanpassingen onderling met experts gaf een expert aan dat hij/zij de onderzoeker wilde helpen met verbeteren van Prototype II. Deze expert heeft ruim 25 jaar
werkervaring in de pensioenbranche en ook al enige jaren ervaring in het onderwijs. Na het college heeft de onderzoeker samen met de expert het prototype doorgenomen en aangepast. Nadat ook deze aanpassingen zijn doorgevoerd heeft de onderzoeker aan de experts die het prototype eerder niet duidelijk genoeg vonden gevraagd of zij deze nog eens wilden herzien. Hieruit ontstond de volgende feedback:
‘Het probleem is mij nu duidelijk en blijkt uit de tekst. Wel is het lang, wat op zich geen probleem is als je langer dan 15 minuten hebt. De figuur is een goede toevoeging!’
‘De case is nog best ingewikkeld en er is veel tekst waardoor het juist verwarrend kan zijn. Echter biedt de conceptmap wel veel verduidelijking. Een tip was om onder de conceptmap aan te geven, wat er niet klopt.’
Aan de hand van deze feedback is het prototype concreter en korter gemaakt, maar is er bewust niet gekozen om bij de concept map (het figuur) een tip te geven. De bedoeling is namelijk dat de leerlingen hier een beroep moeten doen op hun monitorende vaardigheden van metacognitie. Ook heeft de onderzoeker nog een extra check gedaan bij de vakdidacticus die uit eindelijk nog wat aanpassingen gedaan heeft en de volgende feedback gaf:
‘Leuke prototype, wat opmerkingen. Kijk of je er iets mee kunt.’
Het eindresultaat is te vinden in Bijlage 9, hierbij zijn ook de antwoorden vermeld. Nu de prototypes door meerdere experts zijn beoordeeld, is het niet persé noodzakelijk om de prototypes nog door hen te laten valideren met behulp van de enquête zoals beschreven bij stap 1. Het is echter wel van belang dat de leerlingen de prototypes oordelen op de mate van structuur. Op aanraden van de vakdidacticus is er een deel van de enquête (vragen 10, 11 en 12) toegevoegd van Jacobs et al. (2003). Deze enquête dient ervoor om de mate van complexiteit en structuur te meten. Door hetgebruik van deze enquête kan de constructvaliditeit worden gemeten van de prototypes. De vragen van de enquête zijn door de onderzoeker vertaald naar het Nederlands.
4.3.2 Resultaten na validering IIb
De docent die ook de ontwerpregels heeft gevalideerd heeft de volgende vraag als volgt beantwoord:
Denk jij dat de twee prototypes metacognitieve vaardigheden oproept bij leerlingen (mag toelichten)? Antwoord: De prototypes lijken me wel okay. Je zou eventueel ook M&O examenopgave kunnen gebruiken met de vele bronnen (per examen eentje).
Het onderzoek is uitgevoerd en gecodeerd door de onderzoeker aan de hand van hetzelfde
codeerschema zoals bij het empirisch onderzoek. Vervolgens is een docent Frans gevraagd om het transcript te categoriseren aan de hand van het codeerschema. De docent is geïnstrueerd met de gegevens zoals in Bijlage 12. Om de resultaten gemakkelijker te kunnen verwerken heeft de onderzoeker een paarse kleur toegevoegd die staat voor geen kenmerk, zie Bijlage 13. Ook is de voorbeeldopgave bij leerling 3 eruit geknipt. Bij het verwerken van de resultaten van de enquête is er gebruik gemaakt van programma voor statistische berekening uit te kunnen voeren, namelijk Rstudio.
Het resultaat van de prototypes
De resultaten zullen worden besproken aan de hand van Tabel 1 hierin vindt u de resultaten na het coderen. De onderzoeker categoriseert de meeste denkvragen die de leerlingen zichzelf stellen als monitoren namelijk 36% (12/33). De docent Frans categoriseert de meeste vragen van de leerlingen als oriënterend namelijk 36% (12/33). Wat verder opvalt is dat de onderzoeker geen enkele denkvraag als evaluerend categoriseert en de docent Frans maar 12% van de vragen. Verder is ook het aantal
overeenkomende markeringen gegeven namelijk 55%. Hieruit kan de beoordelaarsbetrouwbaarheid worden uitgerekend, zodat de mate van overeenstemming tussen twee of meer beoordelaars duidelijk is. De Cohens Kappa voor dit onderzoek is 0.375.
Het resultaat van de enquête
Uit de gegevens van Tabel 2is op te maken dat het eerste prototype onder het gemiddelde ligt van 2.5. Hierbij neigt dit prototype meer in de buurt te komen van een slecht gestructureerd probleem dan het tweede prototype waarbij het gemiddelde van de vragen boven de 2.5 ligt en dus meer in de richting komt van een goed gestructureerd probleem.
Resultaat werkbaarheid
Uit het transcript van de leerlingen kan worden opgemaakt dat geen enkele leerling in staat is geweest het probleem volledig en juist op te lossen. Bij Prototype I hebben de leerlingen zelfs geen poging gedaan om een antwoord te geven. Uit een kort nagesprek van leerling 2 en leerling 3 kon er wel worden opgemaakt dat ze het doel van het prototype wel begrepen en interessant vonden, maar ze gaven aan dat ze het erg lastig vonden om het probleem op te lossen.
23
Tabel 1 Gegevens van de resultaten na coderen
Tabel 2 Beschrijvende statistieken van de enquête
Prototype N Min Max M SD Alpha
1 2 1 4 2.17 1.17
2 1 2 4 3.33 1.15
All 0.46
Note. N, Min, Max, M, SD and Alpha represent number of respondents, minimum, maximum, mean score (scale 1-5), standard deviation, coefficient alpha respectively.
4.4 Conclusie en discussie
Het doel van dit onderzoek is om metacognitie op te roepen tijdens het oplossen van slecht
gestructureerd problemen. In het huidig onderwijs worden de leerlingen te weinig geconfronteerd met real-life problemen, dit komt voort uit de literatuur. Metacognitie is een belangrijke vaardigheid om te bezitten en toe te kunnen passen zowel op school als in het dagelijks leven. Uit de empirische
verkenning bleek dat leerlingen wel moeite hadden met het oplossen van een slecht gestructureerd probleem en daarbij voornamelijk oriënterende vaardigheden van metacognitie vertonen. Vanuit de theoretische en empirische verkenning is er uiteindelijk een hypothese opgesteld met een aantal ontwerpregels. Om deze ontwerpregels te kunnen toetsen is er uiteindelijk een prototype opgesteld.
4.4.1 Conclusie
De werking van het prototype is getoetst aan de hand van twee vormen van validatie. Waarbij de eerste validatie tracht te achterhalen of de ontwerpregels een juiste afspiegeling zijn van de theorie. Het resultaat van deze validering is tweemaal negatief en is nog steeds officieel als negatief
beoordeeld. Inmiddels zijn er heel wat aanpassingen gedaan eer aleer de gewenste hypothese en ontwerpregels voldoende overeenkwam met de theorie. Bij de tweede validering is er onderzocht of het prototype voldoende overeenkomt met de gewenste ontwerpregels en of deze zijn gerealiseerd. Eveneens is er gekeken naar de werkbaarheid van het prototype. Hierbij kan worden gesteld dat deze
3 Proportie overeenstemming op basis van kans: (7 x 12 + 12 x 8 + 4 x 0 + 14 x 9)/ 332 = 0.28
(Lenaerts, 2017) C odeur : doc ent F ran s Codeur: Onderzoeker Overeenkomst: 18 33𝑥100% =55% Cohens Kappa: 0.55 − 0.283 1−0.28 = 0.375
Oriënteren Monitoren Evalueren Geen kenmerk 7 12 0 14 Oriënteren 12 5 Monitoren 8 4 Evalueren 4 0 Geen kenmerk 9 9
