DE LEEROPBRENGST VAN THE BOXGAME
Wat deelnemers daadwerkelijk leren van een managementgameJurjen Hallegraeff
Studie: Master of Science in Business Administration Specialisatie in Business Development
Rijksuniversiteit Groningen
Eerste begeleider
Professor dr. René J. Jorna
Faculteit Economie en Bedrijfskunde, Innovatie Management en Strategie Rijksuniversiteit Groningen
Tweede begeleider Dr. ir. Niels R. Faber
Faculteit Economie en Bedrijfskunde, Innovatie Management en Strategie Rijksuniversiteit Groningen
Opdrachtgever: Think too Organisatieadviseurs Begeleider: Drs. Lourens W. Dijkstra MMC CMC
VOORWOORD
Graag wil ik een aantal mensen bedanken die een bijdrage hebben geleverd aan dit afstudeeronderzoek. Ten eerste wil ik mijn begeleider René Jorna bedanken. Door zijn inspirerende manier van begeleiden is de kwaliteit van dit onderzoek toegenomen.
Ook wil ik Lourens Dijkstra van Think too Organisatieadviseurs bedanken voor het creëren van een plek voor mijn afstudeeronderzoek. Zijn getoonde begrip voor mijn speciale wensen om het onderzoek te starten vanuit het buitenland is wonderbaarlijk. Ondanks dat de afstandverschillen merkbaar zijn geweest in de beginfase van het onderzoek ben ik ervan overtuigd dat de kwaliteit van dit onderzoek hier niet onder heeft geleden.
Mijn vader Rob Hallegraeff en Atie Meijvogel wil ik bedanken voor het meedenken bij de onderzoeksopzet en de literatuur. Ook bedank ik hun voor het uitgebreid meelezen van het uiteindelijke verslag.
SAMENVATTING
Dit afstudeeronderzoek wordt uitgevoerd in opdracht van Think too Organisatieadviseurs. Think too heeft een managementgame ontwikkeld en geïmplementeerd, genaamd The Boxgame. The Boxgame is een simulatie van de werkelijkheid waarin de werkelijkheid wordt nagebootst in een aantal spelronden. Na een aantal malen deze game gespeeld te hebben is er bij Think too de wens ontstaan om The Boxgame verder te professionaliseren. De volgende probleemsituatie is voor dit onderzoek geformuleerd: “het is niet bekend wat de leeropbrengst is van managementgame The Boxgame, dit belemmert een meer effectieve manier van inzetten van managementgame The Boxgame door Think too Organisatieadviseurs”.
De onderzoeksvragen die uit deze probleemsituatie voortkomen zijn:
1e: Wat is de leeropbrengst van de managementgame ‘The Boxgame’?
2e: Is The Boxgame, gemeten in leeropbrengst, een aanvullende werkvorm op de werkvorm klassikaal
lesgeven? Moet de werkvorm managementgame vanaf nu als aanvullende werkvorm ingezet worden op klassikaal lesgeven? (waarom wel/niet)?
Uit het onderzoek blijkt dat de studenten die deel hebben genomen aan The Boxgame een aantoonbare leeropbrengst hebben van The Boxgame. Deelnemers geven aan dat ze de kennisvragen meer vanuit hun praktijkervaring beantwoorden en dat het inzicht in hun eigen functioneren in professionele teams is toegenomen. Ook is de positieve reactie van de deelnemers op The Boxgame een indicatie van de toegenomen leeropbrengst.
Ook blijkt uit het onderzoek dat The Boxgame, als aanvullende werkvorm op de werkvorm klassikaal lesgeven, een hogere leeropbrengst genereert bij het beoogde vak.
INHOUDSOPGAVE
Hoofdstuk 1. Inleiding ……… 5
Hoofdstuk 2. Leren ……… 7
2.1 Definitie praktijkgericht leren ……… 7
2.2 Leertheorieën ……… 8
2.3 Leerstijlen ……… 10
2.4 Werkvormen ……… 13
Hoofdstuk 3. Leeropbrengst ……… 17
3.1 Definitie leeropbrengst ……… 17
3.2 Meten van leeropbrengst ……… 18
Hoofdstuk 4. Onderzoeksopzet ……… 26
4.1 The Boxgame ……… 26
4.2 Hypothesen ……… 27
4.3 Conceptueel model ……… 27
4.4 Uitvoering van het onderzoek ……… 28
Hoofdstuk 5. Resultaten ……… 31
5.1 Persoonsgegevens ……… 31
5.2 De leeropbrengst van The Boxgame ………. 31
5.3 De leeropbrengst van klassikaal lesgeven ……… 34
5.4 Leeropbrengst en vooropleiding ………. 35
5.5 Leeropbrengst en werkervaring ……….. 37
5.6 Leeropbrengst en geleerde uren ………. 37
5.7 Onzekerheden ……… 39
Hoofdstuk 6 Conclusies en discussie ……… 44
HOOFDSTUK 1 – INLEIDING
Leren in een simulatie klinkt als een ideale omgeving voor leren. Deelnemers kunnen ervaringen op doen in een simpele vorm van de werkelijkheid. Zodoende kunnen de deelnemers inzicht krijgen in de processen van een organisatie. Een andere naam voor de hiervoor beschreven manier van leren is een ‘managementgame’. Managementgames worden al sinds het jaar 1956 of 1957 toegepast binnen organisaties (Wolfe & Guth, 1975). Sindsdien zijn deze games in populariteit toegenomen en worden ze steeds vaker ingezet binnen organisaties (Faria, 1998). Het begrip managementgame wordt in dit onderzoek gedefinieerd als een leersituatie waarin een simulatie van de werkelijkheid plaatsvindt en de deelnemers gestimuleerd worden om te leren (Faria & Wellington, 2004; Adobor & Daneshfar, 2005). Managementgame The Boxgame is een voorbeeld van de hiervoor genoemde managementgames.
Think too Organisatieadviseurs heeft The Boxgame ontwikkeld en is nu bezig met de ontwikkeling van een tweede managementgame. Think too is een klein tot middelgroot adviesbureau en is gevestigd in Groningen. The Boxgame valt binnen de adviesgebieden van Think too. De adviesgebieden zijn onderverdeeld in: 1. Strategie & beleid, 2. Structuur- en procesverbetering en 3. Cultuurverandering & HRM.
Voordat The Boxgame van start gaat worden de deelnemers in fictieve afdelingen ingedeeld, de rollen worden verdeeld en het productieproces wordt voorbereid. Gedurende de spelsimulatie worden verschillende spelronden gespeeld van de tien en vijftien minuten. Tussen deze spelronden vinden verschillende evaluaties plaats binnen en tussen de afdeling waarbij de meningen van de deelnemers besproken worden betreffende het productieproces en de samenwerking. Vervolgens worden verbeteringen aangedragen die in de daaropvolgende spelronde worden toegepast. Bij de evaluatie na de volgende spelronde wordt ingegaan op de toegepaste verbeteringen en worden nieuwe verbeteringen voorgesteld.
Bij computergestuurde managementgames wordt de nadruk gelegd op de financiële kant van de organisatie. Het computerprogramma geeft een simulatie van een fictieve organisatie weer met omzet cijfers, productie aantallen, kostprijzen, solvabiliteit, liquiditeit, werknemers, productiehallen en salarissen. Nadat het programma nieuwe kwartaalcijfers bekend heeft gemaakt, moeten deelnemers aan de hand van deze cijfers verschillende financiële keuzes maken. Bij deze managementgames werken deelnemers meer zelfstandig en de samenwerking tussen deelnemers is beperkt. Bij de evaluatie wordt ingegaan op managementkeuzes en niet over ontwikkeling van de vaardigheden en inzichten.
De onderwijsinstelling ‘Facility Management’ van de Hanzehogeschool is één van de instellingen waar The Boxgame op dit moment wordt toegepast. The Boxgame wordt toegepast binnen een studieblok ‘Introductie in Facility Management en Beleid’ van de eerstejaars studenten van de opleiding Facility Management. De studenten komen uit het Middelbaar Beroeps Onderwijs (MBO), Havo of VWO en spelen allemaal in het eerste studieblok The Boxgame.
Think too Organisatieadviseurs wil The Boxgame effectiever inzetten binnen de huidige instellingen waar de game op dit moment wordt toegepast. Ook wil Think too de toepassing van de game verder uitbreiden binnen HBO-opleidingen in Nederland. Om dit te bereiken wil zij weten wat precies de leeropbrengst is van de managementgame The Boxgame zodat de game verder ontwikkelt kan worden en op een meer effectieve manier ingezet kan worden bij klanten. Na een eerder uitgevoerde quick scan door Think too is gebleken dat The Boxgame door de deelnemers als leuk en leerzaam wordt ervaren maar hiermee is de leeropbrengst nog niet gemeten. De probleemsituatie voor dit onderzoek luidt dan ook: het is niet bekend wat de leeropbrengst is van managementgame The Boxgame, dit belemmert een meer effectieve manier van inzetten van managementgame The Boxgame door Think too Organisatieadviseurs.
De onderzoeksvragen die uit deze probleemsituatie voortkomen zijn:
1e: Wat is de leeropbrengst van de managementgame ‘The Boxgame’?
2e: Is The Boxgame, gemeten in leeropbrengst, een aanvullende werkvorm op de werkvorm klassikaal
lesgeven? Moet de werkvorm managementgame vanaf nu als aanvullende werkvorm ingezet worden op klassikaal lesgeven? (waarom wel/niet)?
Deelvragen die voortvloeien uit de onderzoeksvragen en vorm geven aan de invulling van het onderzoek zijn:
a. Wat is leren?
b. Wat is leeropbrengst?
c. Hoe is de leeropbrengst van The Boxgame te meten?
d. Wat is de leeropbrengst van klassikaal lesgeven voorafgaande aan The Boxgame?
e. Wat betekent de gemeten leeropbrengst voor het ontwerp van nieuwe managementgames?
HOOFDSTUK 2 – PRAKTIJKGERICHT LEREN EN WERKVORMEN
Managementgame The Boxgame is een manier van leren. In deze paragraaf wordt het begrip praktijkgericht leren verder worden besproken. Ook de leertheorieën gericht op de praktijk worden behandeld gevolgd door de leerstijlen van Kolb (1984) en Vermunt (1992). Als laatste zullen de werkvormen besproken worden, waaronder de werkvormen klassikaal lesgeven en managementgames.
2.1 Definitie praktijkgericht leren
Om de leeropbrengst te meten moet het begrip ‘leren’ eerst verder toegelicht worden. In deze paragraaf worden een aantal definities benoemd om zodoende een beeld te krijgen van de definitie leren.
Abstracte definities van leren zijn gedaan door Piaget en Kirkpatrick. De Zwitserse psycholoog J. Piaget heeft leren gedefinieerd als een wisselwerking tussen het individu en de omgeving. Deze wisselwerking leidt tot aanpassing van het individu aan de omgeving, ook wel ‘Adaptatie’ genoemd (Geerligs & Van der Veen, 1993). Adaptatie bestaat uit twee aspecten, namelijk: dat leren plaats vindt door nieuwe ervaringen te filteren en vervolgens te plaatsen binnen de bestaande kennis, ook wel ‘Assimilatie’ genoemd. Daarnaast beïnvloeden dat nieuwe ervaringen de bestaande kennis en denkpatronen, ook wel ‘Accommodatie’ genoemd.
Kirkpatrick (1960) heeft een meer abstracte definitie van leren geformuleerd. Leren is volgens hem het begrijpen en opnemen van: principes, feiten en technieken door deelnemers. Kirkpatrick geeft aan dat het begrijpen en opnemen op verschillende manieren kan plaats vinden. Hierbij is het resultaat van leren belangrijker dan de manier waarop de deelnemer leert.
Voorbeelden van een meer concretere definitie van leren zijn: Hilgard & Bower (1975), ‘Experiential Learning Theory’ en ‘Action Learning’. Volgens Hilgard & Bower is leren een verandering in iemands gedrag voortgebracht door zijn herhaaldelijke ervaring in deze situatie. Deze verandering in gedrag kan niet verklaard worden door een reactie op een nieuwe situatie, veroudering, of tijdelijke staat van persoon (vermoeidheid, medicijnen, etc.). Hilgard & Bower geven aan dat mensen leren in de praktijk door ervaringen van vergelijkbare voorgaande situaties.
Een benadering van leren op de werkvloer is Action Learning. Het leren wordt opgedaan door de werktaken te gebruiken als manier van leren (Mumford, 1997). Het standpunt hiervan is: ‘Er is geen leren zonder actie, en er is geen actie zonder leren.’ Action Learning is, net als Experiential Learning Theory, een leertheorie die het verband legt tussen het leren in de praktijk en het abstracte leren. De ervaringen uit de praktijk zijn leerstof voor de deelnemers in het abstracte gedeelte.
Ook de deelnemers van The Boxgame worden gestimuleerd om te leren in de praktijk en in een meer abstracte situatie. Voorafgaande aan de managementgame The Boxgame worden klassikale lessen gegeven waarbij de nadruk ligt op abstract leren. Tijdens de game worden deelnemers gestimuleerd om te leren van de gesimuleerde praktijk. Het spel wordt een aantal keren stilgelegd om te evalueren en te leren op abstract niveau.
Leren zal in dit onderzoek gedefinieerd worden als een proces waar deelnemers principes, feiten en kennis opnemen in een abstracte vorm zoals klassikaal lesgeven en in praktijksituaties. Ook kunnen deelnemers principes, feiten en kennis opnemen door de combinatie van de praktijksituaties en de abstracte leersituaties.
2.2 Leertheorieën
The Boxgame is een werkvorm waarbij de twee leertheorieën Experiential Learning Theory en Action Learning in de praktijk toegepast worden. In deze paragraaf worden de leertheorieën verder toegelicht.
- 2.2.1 Experiential Learning Theory
Figuur 1: Kolb’s Experiential Learning Theory
(Bron: Kolb, 1999a)
De Experiential Learning Theory is een leertheorie waarbij de koppeling gemaakt wordt tussen de praktijk en het abstract leren. Ook bij The Boxgame wordt tijdens de simulatie het spel even gestopt om te evalueren en werkzaamheden te verbeteren.
- 2.2.2 Action Learning
In 1986 was professor Reginad Revans ervan overtuigd dat het huidige onderwijssysteem geen toegevoegde waarde had voor studenten en voor het bedrijfsleven (Mumford, 1997). Als oplossing voor het huidige onderwijssysteem heeft Revans de nieuwe leertheorie ontwikkeld van Action Learning. In 1971 zijn de eerste onderzoeken uitgevoerd in Action Learning in kolenmijnen, ziekenhuizen, fabrieken en onderwijsinstellingen.
Action Learning is leren door mensen in organisaties die de dagelijkse taken gebruiken als manier van leren (Mumford, 1997). Volgens Revans is Action Learning een praktijkgerichte leertheorie met een koppeling naar het abstracte leren. Deze definitie is gebaseerd op de formule L = P + Q. (L= leren, P= geprogrammeerde kennis, Q= interne ondervraging). Dit houdt in dat leren (L) het traditionele leren is door het tot zich nemen van geprogrammeerde kennis samen met het interne ondervragen (Q) van deze kennis. De interne ondervraging is het verschil in vergelijking met de abstracte manier van leren. Interne ondervraging is een methode om de kennis van studieboeken en colleges niet automatisch te accepteren. Kritische vragen moeten gesteld worden over de bestaande kennis om deze vervolgens te testen en eventueel te herzien. Door deze vragen aan elkaar te stellen kunnen de deelnemers van elkaar leren en de gezamenlijke ervaringen toepassen in de praktijk. Action learning is het meest efficiënt wanneer deelnemers uit hetzelfde vakgebied komen en samen leren van de praktijkervaringen van elkaar.
algemeen geaccepteerde leertheorie te laten worden (Mumford). Ondanks deze kritieken is Action Learning een redelijk bekende leertheorie geworden die regelmatig wordt toegepast.
Deelnemers van The Boxgame ervaren samen dezelfde werkervaringen wanneer de deelnemers werkzaamheden uitvoeren binnen de afdeling. Vervolgens worden deze werkervaringen gedeeld met elkaar in de tussenevaluaties. Door te evalueren en verbeteringen door te voeren tijdens het werkproces leren deelnemers in de praktijk. Dit is een vorm van Action Learning.
2.3 Leerstijlen
Een managementgame, zoals The Boxgame, is een werkvorm waarbij praktijkgericht leren gestimuleerd wordt. In deze paragraaf zal praktijkgericht leren uitgebreider worden besproken aan de hand van de verschillende leerstijlen. De leerstijlen van Kolb (1984) en van Vermunt (1992) zullen besproken worden.
- 2.3.1 Leerstijlen van Kolb
De leerstijlen van Kolb (1984) zijn gebaseerd op de leertheorie ‘Experiential Learning Theory’. Deze leertheorie is in de vorige paragraaf behandeld. In elke fase van het model worden verschillende leereigenschappen aangesproken van de deelnemer. De ideaalsituatie is dat elke deelnemer elke fase even goed beheerst. In de praktijk blijkt echter dat deelnemers een voorkeur hebben naar één of twee fasen binnen de leertheorie. Om deze voorkeuren te benoemen heeft Kolb (1984) deze voorkeuren voor fasen ‘Learning Style Inventory’ (leerstijlen) genoemd en heeft in totaal vier leerstijlen benoemd, namelijk: de ‘Accomodator’, de ‘Diverger’, de ‘Converger’ en de ‘Assimilator’ (Armstrong & Mahmud, 2008). Zie ook figuur 1: ‘Kolb’s Experiential Learning Theory’ voor het verband tussen de leertheorie en de leerstijlen volgens de leerstijlen theorie Learning Style Inventory.
1. De Accomodator voert zijn werkmethoden uit aan de hand van trial-and-error. Hij leert van zijn fouten en door nieuwe werkmethoden toe te passen in de praktijk. Deze persoon gaat actiegericht te werk en krijgen voldoening uit hun activiteiten.
2. De Diverger excelleert in het bekijken van concrete situaties. Hij kan goed werken met alternatieve en creatieve werkmethoden zoals brainstormen. Daarnaast is de Diverger geïnteresseerd in de menselijke kant en kan erg gevoelig zijn.
3. De Converger heeft zijn sterke punten op het gebied van het oplossen van problemen, maken van beslissingen en het praktisch toepassen van ideeën en theorieën. Hij houdt van technische werkzaamheden en specifieke problemen. Een Converger is minder sterk in het contact met mensen. 4. De Assimilator heeft zijn sterke punten op het gebied van logisch redeneren en het maken van theoretische modellen. Hij kan grote hoeveelheden informatie samenvatten en in een model gieten maar is minder gefocust op contact met mensen.
De leertheorie Experiential Learning Theory en de leerstijlen van Kolb waren één van de eerste theorieën over leren in de praktijk. Hierdoor is deze theorie veel toegepast maar ook ter discussie gesteld. (Coffield, Mosely, & Ecclestone, 2004).
Kritieken op de Learning Style Inventory voor 1999.
De eerste kritiek op de Learning Style Inventory gaat in op de toepassing van deze theorie. Wetenschappers die de theorie van Kolb hebben overgenomen, hebben voorbarig gehandeld (Freedman & Stumpf, 1980; 1981). Voordat andere wetenschappers de theorie van Kolb hebben overgenomen hebben zij deze theorie niet goed genoeg geëvalueerd en gevalideerd. Zij hebben de leertheorie overgenomen voordat verschillende empirische onderzoeken de theorie van Kolb bevestigd hebben. Het onderzoek van Kolb is voor een zeer groot gedeelte gebaseerd op niet gepubliceerde wetenschap. Daarnaast is de kritiek dat de leerstijlentheorie van Kolb is ontwikkeld voor de pedagogiek en niet specifiek voor het leren van mensen.
Kritieken op de Learning Style Theory na 1999.
In 1999(a) heeft Kolb een aangepast model gepubliceerd van de Experiential Learning Theory en de Learning Style Inventory. Na deze publicatie ontstond een nieuwe vorm van kritiek. Dit maal was de kritiek meer geconcentreerd op de theoretische beperkingen (Kayes, 2002). Eén hiervan was dat het model niet genoeg ingaat op het leren in combinatie met het geslacht, sociale status en cultuur. Ook schiet de leertheorie te kort op het gebied van sociale verantwoordelijkheden van de deelnemer naar zijn omgeving toe.
Kortom de leertheorie Experiential Learning Theory met de daarbij behorende Learning Style Inventory hebben een aantal kritieken ontvangen in de afgelopen jaren. Desondanks is het model geaccepteerd in de wetenschap en wordt het model veel toegepast in de praktijk. The Boxgame laat de deelnemers de leercyclus van de leertheorie Experiential Learning Theory doorlopen. Dit gebeurt doordat deelnemers ervaringen opdoen in de gesimuleerde praktijk, evalueren en verbeteringen plannen. Deze verbeteringen worden vervolgens doorgevoerd in de praktijk. Door deze leercyclus worden alle leerstijlen aangesproken en worden deelnemers aangesproken in hun eigen leerstijl. Hierdoor neemt de leeropbrengst toe.
- 2.3.2 Leerstijlen van Vermunt
1. De betekenisgerichte leerstijl
Deze leerstijl kenmerkt zich door het gebruik van relaterende en kritische verwerkingsstrategieën door de deelnemer. Ook wordt de zelfsturende leerstrategie toegepast samen met het mentale leermodel waarin eigen kennis en inzichten centraal staan.
2. De reproductiegerichte leerstijl
Deze leerstijl kenmerkt zich door het gebruik van memoriserende en analytische verwerkingsstrategieën. Deze leerstijl is gericht op het reguleren en bewaken van de bereikte leerresultaten. Dit komt tot uiting in een leeroriëntatie gericht op het behalen van certificaten en het uittesten van de eigen capaciteiten.
3. De toepassingsgerichte leerstijl
De toepassingsgerichte leerstijl kenmerkt zich door het hanteren van concrete verwerkingsstrategieën. Ook wordt een mentaal leermodel toegepast waarin waarde wordt gehecht aan het gebruik van geworven kennis en een beroepsgerichte leeroriëntatie.
4. De ongerichte leerstijl
De ongerichte leerstijl kenmerkt zich door stuurloos leergedrag van de deelnemer. Het model richt zich hoofdzakelijk op de samenwerking met medestudenten en het gebruik van leeractiviteiten aangedragen door de onderwijsinstelling.
De leerstijlen van Vermunt zijn meer letterlijk uit zijn onderzoek geformuleerd, in tegenstelling tot de leerstijlen van Kolb (Kaldeway, 2007). Doordat de leerstijlen meer letterlijk uit het onderzoek van Vermunt zijn geformuleerd zijn de leerstijlen geen tegenstellingen van elkaar. De kritiek op het onderzoek van Vermunt naar de verschillende leerstijlen is dat het verband tussen de tentamenscores en het effect van leren niet goed bewezen is (Kaldeway).
Door de toepassing van de klassikale lessen en The Boxgame worden de verschillende leerstijlen van Vermunt aangesproken. Net als bij de leerstijlen van Kolb geldt dat wanneer deelnemers aangesproken worden in hun leerstijl de leeropbrengst zal toenemen.
2.4 Werkvormen
- 2.4.1 Definitie werkvormen
De heer Dewey beschreef als één van de eerste de principes van lesgeven in 1904. (Randi & Corno, 2007). Zeer lange tijd heeft de gedachte bestaan dat hoorcolleges de beste methode waren voor leren. Langzamerhand kwam men erachter dat lesgeven niet altijd de beste methode is. Klassikaal lesgeven is één van de didactische werkvormen is waarin geleerd kan worden. Naast lesgeven zijn ook andere werkvormen beschikbaar (Kessels & Smit, 2005).
Maar wat verstaan wij nu onder het begrip didactische werkvorm? Geerligs & Van der Veen (1993) definiëren didactische werkvormen als gedragswijze van de leerkracht, gericht op het tot stand brengen van gewenste leerprocessen en leereffecten bij de student. Door het inzetten van een werkvorm moet een leerproces op gang worden gebracht en het leerdoel bereikt worden op een zo effectief mogelijke manier.
De definitie van Dirkse – Hulscher & Papas – Talen (2003) lijkt sterk op de hiervoor gedefinieerde werkvorm van Geerligs & Van der Veen (1993). Een werkvorm is de aanpak of structuur die gebruikt wordt bij een bijeenkomst van vergadering, training, onderwijssituatie of coachingsgesprek (Dirkse – Hulscher & Papas – Talen). De werkvorm heeft invloed op het resultaat van de bijeenkomst. Het doel is om een zo hoog mogelijk rendement te behalen met de gekozen werkvorm. Als gespreksvoerder of als docent moet je goed bewust zijn welke werkvorm je kiest voor de situatie. Afhankelijk van de keuze zal het gesprek of onderwijssituatie anders verlopen en de eindresultaten zullen verschillen.
Samengevat is een didactische werkvorm de aanpak of structuur van de begeleider gericht op het tot stand brengen van de gewenste leerprocessen, leereffecten en eindresultaten. Deze leerdoelen zijn bepaald voorafgaande aan de onderwijssituatie. Hierbij is het van belang om te realiseren dat een didactische werkvorm een werkvorm is welke niet een doel op zich is maar een middel om het leerdoel te bereiken (Kessels & Smit, 2005). The Boxgame is een werkvorm die in de categorie past van managementgames. Think too Organisatieadviseurs, de blokcoördinator en de docenten zijn van mening dat de managementgame de beste werkvorm is in deze situatie omdat zij ervan overtuigd zijn dat de leerdoelen hierdoor op de meest effectieve manier bereikt worden.
- 2.4.2 Kiezen van de juiste werkvorm
Onderwijs, vergaderingen, coachingsgesprekken en trainingen kunnen verbeterd worden door het kiezen van de juiste werkvormen. Nu zijn er talloze werkvormen beschikbaar om uit te kiezen, zoals: doceren, discussiëren, opdrachten, gespreksvormen, groepswerk, enquêtes, werkstuk en ook simulaties (Geerligs & Van der Veen, 1993; Kessels & Smit, 2005). Al deze werkvormen kunnen ingezet worden om onderwijsdoelen te bereiken. Maar welke is het meest geschikt voor welke situatie?
wordt. Ook is bewezen dat het noodzakelijk is om verschillende werkvormen te gebruiken. Afwisseling van de werkvormen voorkomt dat de deelnemers verveeld raken.
Stappenplan
Ondanks dat de wetenschap geen model heeft kunnen ontwikkelen voor het kiezen van de juiste werkvorm is wel een stappenplan ontwikkeld. Het stappenplan geeft de afwegingen weer voor het kiezen van een werkvorm (Dirkse – Hulscher & Papas – Talen, 2003; Kessels & Smit, 2005):
Stap 1. Bepaal het eindresultaat
Dit kan een bepaald gedrag zijn van de deelnemer of juist een concreet product als een planning of beslissing. Formuleer dit zo concreet mogelijk met behulp van subdoelstellingen, competenties en/of meetbare (deel)eindproducten. Hierdoor kan het bepalen van de juiste werkvormen beter gebeuren en kunnen de eindresultaten beter gemeten worden na afloop van de onderwijsperiode.
Stap 2. Kies een werkvorm
De gekozen werkvorm moet voldoen aan: de inhoud van de onderwijssituatie, het gewenste gedrag dat wordt opgeroepen, de werkvorm moet passen in de sfeer van de groep en de werkvorm moet uitgevoerd kunnen worden. Zorg voor een goede afwisseling van de werkvormen en wees creatief. Wanneer deelnemers praktijkgerichte competenties moeten opdoen moet ook een werkvorm gekozen worden die het mogelijk maakt om ervaringen op te doen.
Stap 3. Begeleiding van de werkvormen
Een aantal tips die het slagen van de werkvorm vergroten zijn: kies de meest geschikte opstelling van de groep, maak een tijdsplanning, praat niet over werkvormen met de deelnemers, door mensen te activeren moet je eerst al een beetje beweging krijgen bij de deelnemers en daarna vertellen wat gaat gebeuren. Door het toepassen van deze simpele tips neemt de eventuele weerstand af. Een voorbeeld hiervan is door de deelnemers eerst uit de banken op te laten staan om vervolgens dan pas te vertellen wat het idee is van de oefening. Wanneer eerst verteld wordt wat de oefening is, zijn meer deelnemers geneigd om te blijven zitten en niet mee te werken aan de oefening.
2.4.3 Verschillende werkvormen
De werkvormen klassikaal lesgeven, projectwerk en managementgame zullen in deze paragraaf besproken worden.
Werkvorm klassikaal lesgeven
met de tijdsplanning van één les want de evaluatie van de producten en processen kan ook plaatsvinden in de allerlaatste les voordat het resultaat gemeten wordt bij de studenten (Geerligs & Van der Veen, 1993).
Klassikaal lesgeven is als werkvorm gedefinieerd omdat voorafgaande aan de onderwijssituatie doelen worden gesteld. Deze doelen moeten bereikt worden door het inzetten van klassikale lessen waarbij de deelnemers de stof tot zich kunnen nemen, de werkvorm is niet een doel op zichzelf. In de praktijk blijkt dat de werkvorm klassikaal lesgeven vaak in combinatie wordt gegeven met andere werkvormen. Tijdens de lessen kunnen studenten vragen stellen en tussenopdrachten maken. Vaak gemaakte combinaties met deze werkvorm zijn onder andere: projectwerk, tussenopdrachten en/of discussies.
Een voordeel van deze werkvorm is dat deelnemers hieraan gewend zijn. De activiteiten van klassikaal lesgeven zijn voorspelbaar en deelnemers kunnen zich van te voren instellen op deze manier van leren. Nadelen zijn dat deelnemers een passieve houding aan kunnen nemen tijdens de klassikale lessen en verveling kan toeslaan omdat steeds dezelfde werkvorm gebruikt wordt.
Werkvorm projectwerk
Projectwerk is een werkvorm gericht op het maken van opdrachten in groepen. Deelnemers van een cursus worden ingedeeld in kleinere groepen waarin samen gewerkt wordt (Geerligs & Van der Veen, 1993). De werkvorm projectwerk kan in veel verschillende situaties worden toegepast op een relatief simpele manier. Binnen de werkvorm kan gekozen worden voor verschillende soorten opdrachten, zoals: uitvoerende opdrachten, onderzoeksopdrachten, evaluatieopdrachten of schrijfopdrachten. Ook moet een keuze gemaakt worden in de groepsomvang van de groep, tijd voor het project, grootte van de opdracht, moeilijkheidsgraad van de opdracht en de soort van begeleiding.
Net als de werkvorm klassikaal lesgeven, geldt dat de werkvorm projectwerk wordt ingezet voor het bereiken van een bepaald doel. De werkvorm projectwerk is niet een doel op zichzelf maar een middel om de onderwijsdoelen te bereiken. Het komt geregeld voor dat de werkvorm projectwerk gecombineerd wordt met verschillende andere werkvormen. Voorbeelden hiervan zijn: klassikaal lesgeven, evalueren, presenteren en discussiëren.
Voordelen van projectwerk zijn dat deelnemers leren samenwerken, naar elkaar luisteren, doelgericht leren werken en een concrete tijdsplanning maken. Nadelen zijn de verveling van het gebruiken van steeds dezelfde werkvorm en het meeliften met groepsleden en niet actief meedoen in het groepsproces is een nadeel van deze werkvorm.
Werkvorm managementgame
complex is. In de simulatie worden maar een aantal aspecten uit de werkelijkheid gebruikt. Deze aspecten worden door de trainers/ begeleiders gezien als essentiële onderdelen van de werkelijkheid waar de deelnemers van kunnen leren.
Een andere definitie is dat een managementgame een complexe managementopdracht is in de vorm van een simulatie welke ingezet wordt met één hoofddoel en meerdere subdoelen (Dill & Doppelt, 1963; Faria & Wellington, 2004). De doelen zijn onder andere het ontwikkelen van kennis, strategieën en houdingen van de deelnemers. Deze doelen zijn vrij in te delen naar de wensen van de begeleider. Meestal kan een managementgame klantspecifiek gemaakt worden naar de wensen van de deelnemers. De begeleiders kunnen ervoor kiezen om bepaalde aspecten wel of juist niet mee te nemen in de simulatie.
Managementgames zijn een vorm van activerende werkvormen. Andere soortgelijke vormen zijn assessmentgesprekken, praktijkopdrachten en teambuilding. Activerende werkvormen leiden tot een toename van veranderend gedrag van de deelnemer in de praktijk. Doordat de deelnemers actief bezig zijn met de theorie wordt de deelnemer geïnspireerd en kan de koppeling met de werkelijkheid beter gemaakt worden (Dirkse – Hulscher & Papas – Talen, 2003).
Voordelen van managementgames zijn de mogelijkheid tot het afwisselen van werkvormen, werken in groepen, inzicht krijgen in organisatieactiviteiten en organisatieprocessen. Nadelen zijn dat managementgames ontwikkeld of gekocht moeten worden. Ook kost het veel tijd voor het leren begeleiden van een managementgame.
HOOFDSTUK 3 – LEEROPBRENGST
In dit hoofdstuk komt het begrip leeropbrengst aan bod. Dit is van belang voor de meting van de leeropbrengst. Het begrip leeropbrengst zal in de eerste paragraaf besproken worden. In de tweede paragraaf zal het meten van leeropbrengst uitgebreid uiteen worden gezet.
3.1 Definitie leeropbrengst
Dit onderzoek brengt inzicht in de leeropbrengst van klassikaal lesgeven en The Boxgame. Het begrip leeropbrengst wordt toegelicht door eerst een definitie te geven van het begrip. Vervolgens zullen een aantal adviezen gegeven worden om op leeropbrengst te sturen.
De leeropbrengst is vanuit twee invalshoeken te bekijken. Ten eerste zal leeropbrengst bekeken worden vanuit de relatie met de werkvorm. Het tweede gedeelte van deze paragraaf zal specifiek ingaan op het doel van de onderwijssituatie. Aan de hand van deze twee stappen zal de definitie van leeropbrengst gegeven worden.
Volgens de Van Dale is opbrengst het voortgebrachte van iets (www.vandale.nl). Het doel van een training, cursus, opleidingen, simulatie, project, game, les, etc (verder te noemen “onderwijssituatie”) is dat verbetering moet plaats vinden in vergelijking met de situatie voorafgaande aan de onderwijssituatie. Hierin zijn alleen de studenten belanghebbenden en brengen hun eigen doelen en motieven mee naar de cursus (Spitzer, 1999). Als deelnemers uit een organisatie komen en een cursus volgen zijn er naast de eigen doelen en motieven van de deelnemer ook organisatiedoelen die een rol spelen bij de onderwijssituatie (Spitzer, 1999 en 2005; Kessels en Smit, 2005; Arthur Jr., Bennet Jr., Edens, & Bell, 2003; Attia, Honeycutt Jr., & Leach, 2005).
Ter voorkoming dat onderwijssituaties geen of te weinig opbrengst opleveren moeten organisaties meer sturen en meten op de overdracht van kennis (Brinkerhoff, 2005). Kennisoverdracht is de continue toepassing van de geleerde kennis en vaardigheden in de praktijk van de deelnemer (Garavaglia, 1993). Positieve transformatie van onderwijs vindt plaats wanneer de deelnemer effectief en continu de geleerde kennis en vaardigheden toepast in het werk (Nijman, Nijhof, Wognum, & Veldkamp, 2006). Afgevraagd kan worden wat het nut is van een onderwijssituatie waarvan je de kennis en vaardigheden niet kan toepassen binnen je eigen werkzaamheden. De kennisoverdracht is hierbij erg laag. Wel valt te beargumenteren dat de deelnemer deze kennis en vaardigheden in een later stadium kan toepassen of dat dit bij het opleidingsplan van de deelnemer past.
Om verbetering van de kennisoverdracht te realiseren moeten de doelen vertaald worden naar leerdoelen en/of excellent gedrag van medewerkers en managers (Kessels en Smit, 2005; Arthur Jr. et al., 2003). Vervolgens moet het excellente gedrag meetbaar gemaakt worden in houding, vaardigheden en skills. Wanneer het excellente gedrag meetbaar is gemaakt kan de opleidingscoördinator de onderwijssituatie op een zo efficiënt mogelijke manier indelen met als doel het hoogst haalbare leeropbrengst te behalen.
Samengevat kan geconcludeerd worden dat leeropbrengst het doel heeft om een positieve opbrengst te realiseren voor de deelnemer. Na afloop van de onderwijssituatie moet een betere situatie ontstaan zijn dan voorafgaande aan de onderwijssituatie. Per onderwijssituatie zijn andere leerdoelen geformuleerd waar naartoe gewerkt wordt. Dit gebeurt aan de hand van de leerdoelen te vertalen naar excellent gedrag. Deze leerdoelen en excellent gedrag zijn weer onder te verdelen in vaardigheden en skills waar de onderwijssituatie op kan aansturen en evalueren.
Voor studenten van Facility Management zijn de leerdoelen en het excellent gedrag moeilijker te formuleren omdat studenten een meerjarige opleiding volgen waarin ze verschillende cursussen volgen. De studenten hebben weinig tot geen werkervaring en kunnen het geleerde niet direct toepassen in de praktijk. Maar ook hier is een doel te formuleren, namelijk: ‘om de student optimaal te prepareren voor de praktijk waar ze al hun kennis, vaardigheden en skills moeten toepassen’. Voordat The Boxgame gespeeld werd zijn een aantal doelstellingen geformuleerd die passen binnen het studieblok. Uiteindelijk sluiten de doelen van het studieblok weer aan bij de grotere leerdoelen voor het prepareren van de studenten voor de praktijk.
3.2 Meten van leeropbrengst
Het meten van leeropbrengst is een zeer moeilijke activiteit. Ten eerste komt dit omdat de wetenschappelijke wereld verdeeld is over de meest geschiktste evaluatiemethode (Miles Jr., Biggs, & Schubert, 1986). Daarbij is dit onderwerp relatief weinig onderzocht in de wetenschap (McClelland, 1994; Nijman et al., 2006). Een verklaring dat weinig evaluaties hebben plaatsgevonden in het verleden is dat managers hier geen toestemming voor gaven omdat de managers overtuigd waren van het effect van het onderwijs. De resultaten die de managers dachten te zien wilden ze niet nog eens evalueren en bevestigen.
In deze paragraaf wordt de evaluatiemethode van Kirkpatrick (1960) uiteengezet, bekritiseerd, aangevuld en andere evaluatiemethodes voor het meten van leeropbrengst worden besproken. Uiteindelijk zal een conceptueel model gepresenteerd worden wat het meten van de leeropbrengst van managementgames mogelijk maakt.
- 3.2.1 Kirkpatrick’s evaluatiemethode
doorlopen moet worden aan de hand van vier stappen (Brown & Gerhardt, 2002). In deze subparagraaf wordt de evaluatiemethode verder toegelicht.
Stap 1: Reactie
De eerste stap van het model van Kirkpatrick (1960) is de meest toegepaste evaluatie stap, namelijk het meten van de reactie van de deelnemers. Door te onderzoeken wat de deelnemers vonden van de onderwijssituatie kan een eerste inventarisatie gemaakt worden van de leeropbrengst. Deze gegevens kunnen verzameld worden door de deelnemers een formulier in te laten vullen met een aantal vragen over de onderwijssituatie en de mening van de deelnemers. Ook moeten de deelnemers ruimte krijgen om aanvullingen te geven op de gestelde vragen en onderwijssituatie.
Stap 2: Leren
In stap 2 Leren gaat Kirkpatrick (1960) in op het beheersen van de literatuur op abstract niveau en niet de beheersing van de literatuur in de praktijk. De beheersing van de literatuur in de praktijk zal gemeten worden in stap 3 van het evaluatiemodel.
De inhoudelijke termen waarop gemeten moet worden in stap 2: ‘Leren’ is dezelfde literatuur waar de onderwijssituatie de nadruk op legt. Wanneer deelnemers de theorie van Just-In-Time productie tot zich moeten nemen zal hier ook op gemeten worden in stap 2: ‘Leren’.
Om leren te meten moet een voormeting en een nameting worden uitgevoerd. Hierdoor kan eventuele vooruitgang gemeten worden. Waar het mogelijk is moet een controlegroep gebruikt worden omdat deze groep kan dienen als controle voor andere variabelen die de resultaten kunnen beïnvloeden. Kirkpatrick adviseert ook om een meting uit te voeren na een periode van 8 tot 12 maanden om te beoordelen welke kennis is verloren op langere termijn. Als laatste adviseert Kirkpatrick om zoveel mogelijk statistisch te meten door correlaties en significaties vast te leggen.
Kirkpatrick is van mening dat leren een stuk moeilijker te meten is in vergelijking met stap 1 reactie.
Stap 3: Gedrag
Zoals hiervoor al is genoemd zal bij deze stap gemeten worden in hoeverre de deelnemer het geleerde beheerst in de praktijk. Een voorwaarde voor het toepassen van het geleerde in de praktijk is dat de deelnemer de ruimte krijgt van de leidinggevende om de geleerde literatuur toe te passen. Net als de vorige stap moet in stap 3 ‘Gedrag’ een voormeting en een nameting gedaan worden om verschillen te meten. De verschillen kunnen het beste gemeten worden door het uitvoeren van interviews met de leidinggevende, collega’s en het desbetreffende individu. De nameting moet 3 tot 6 maanden na de onderwijssituatie plaatsvinden om zodoende de deelnemer de tijd te geven het geleerde in de praktijk toe te passen.
Het meten van gedrag is moeilijker dan het meten van de eerdere twee stappen.
Stap 4: Resultaten
makkelijk (Kirkpatrick, 1960; Attia et al., 2005). Het probleem van het meten van resultaten komt doordat veel andere variabelen een rol spelen die de organisatieresultaten beïnvloeden. Een voormeting en een nameting en een controle groep kunnen hierbij toegepast worden. Ook het vergelijken van organisatieresultaten zoals omzet, efficiëntie en winsten kunnen meegenomen worden.
Het meten van resultaten is moeilijker dan het meten van de eerdere drie stappen.
- 3.2.2 Kritiek op evaluatie methode Kirkpatrick
Er is ook een keerzijde van het evaluatie model van Kirkpatrick. Het model bestaat al meer dan 45 jaar en is vaak toegepast en bekritiseerd. In deze paragraaf zullen de belangrijkste kritieken genoemd worden.
Het evaluatiemodel is geen onderzoeksmodel
Het model van Kirkpatrick is geen model waar je makkelijk onderzoek mee kan doen (Alliger & Janak, 1989; Kraiger, Ford, & Salas, 1993; en Alliger et al., 1997). Hiermee doelen de auteurs op vage begrippen in de stappen. Kirkpatrick heeft geen meetcriteria geformuleerd voor het meten van deze stappen wat het meten van deze stappen lastig maakt en is eigen interpretatie mogelijk (Salas & Cannon Bowers, 2001).
Deze opmerking is gegrond gebleken bij de meting naar van de leeropbrengst van The Boxgame. Een aantal problemen ontstaan wanneer de leeropbrengst gemeten moet worden. Stap 1: Reactie kan gemeten worden maar het is niet duidelijk welke reactie gemeten moet worden. Geen meetcriteria worden genoemd van stap 1 om te voldoen aan de meting van de reactie. Hierdoor krijgt de onderzoeker vrijheid om de meting van reactie zelf te bepalen.
Ook is het ontbreken van meetcriteria bij stap 2 ‘Leren’ en bij stap 3 ‘Gedrag’ een probleem. De voor- en nameting met een controle groep schept wel een structuur voor het meten maar het is niet duidelijk welke criteria gemeten moet worden in deze voormeting en nameting. Volgens Kirkpatrick (1960) moeten de voormeting en de nameting gebaseerd worden op de eindtermen en leerdoelen van de onderwijsinstelling. Maar een specifieke methoden voor het onderzoeken van deze eindtermen en leerdoelen ontbreken.
Ook stap 4 ‘Resultaten’ zijn niet altijd even goed te meten omdat de specifieke onderzoeksmethoden ontbreken. Ook worden de organisatieresultaten beïnvloed door vele andere factoren. Ook hier krijgt de onderzoeker ruimte voor eigen interpretatie.
Laatste drie stappen vragen veel tijd en moeite
- 3.2.3 Aanvullingen evaluatie model Kirkpatrick
Er zijn verschillende artikelen die aanvullingen leveren op het evaluatiemodel van Kirkpatrick. Deze aanvullingen zijn gedaan om het evaluatiemodel beter te kunnen toepassen. De aanvullingen van Alliger et al. (1997) en Warr, Allan, & Birdi, (1999) worden hier besproken.
Alliger et al. (1997) hebben een meta-analyse uitgevoerd waarin ze 34 onderzoeken bespreken die het model van Kirkpatrick (1960) hebben toegepast. Ze hebben geconstateerd dat het evaluatiemodel van Kirkpatrick erg populair is en leidend binnen de wetenschappelijke wereld. Desondanks zijn een aantal tekortkomingen waargenomen. In het artikel van Alliger et al. wordt een nieuwe evaluatiemodel voorgesteld met als basis het evaluatiemodel van Kirkpatrick (1960). Hieronder worden de aanvullingen kort weergegeven.
Stap 1. Reactie:
1a Effect: mening van deelnemer over de het leuk vinden van het leren
1b Utiliteit oordeel: mening van deelnemer over toepasbaarheid van het onderwijs
1c Moeilijkheidsgraad: mening van deelnemer over hoe moeilijk het onderwijs was volgens hen.
Stap 2. Leren:
2a: Meting naar aanwezige kennis na de onderwijssituatie: meest voorkomende meting
2b: Meting van aanwezige kennis na de onderwijssituatie die pas later gemeten kan worden of wordt geobserveerd.
2c: Meting van gedrag/ skills demonstratie: verandering na de onderwijssituatie wat niet zozeer direct tijdens het werk toegepast wordt.
Stap 3. Transformatie: het vertalen van de onderwijssituatie naar de praktijk en het daadwerkelijk toepassen van deze kennis, gedrag en/of skills.
Stap 4. Resultaat: De impact van de onderwijssituatie op de organisatie
Door de vier stappen van het evaluatiemodel van Kirkpatrick onder te verdelen in nieuwe subvariabelen worden de stappen overzichtelijker en makkelijker te meten. Tot het jaar van publicatie (1997) geven Alliger et al. aan dat maar een klein aantal van de studies deze gevonden variabelen onderbouwen.
In 1999 hebben Warr et al. een onderzoek gedaan waarin ze deelnemers van een technische opleiding hebben gevolgd. In dit onderzoek hebben ze geprobeerd de bevindingen van Alliger et al. uit 1997 te bevestigen en verder uit te breiden. Uiteindelijk hebben zij een hogere correlatie tussen de criteria gevonden dan Alliger et al. (1997). Warr et al. hebben in stap 1 ‘Reactie’ dezelfde variabelen gevonden als Alliger et al.
Bij stap 2 ‘Leren’ hebben Warr et al. extra variabelen gevonden van een doelenonderzoek (organisatie en persoonlijke doelen). Dit doelenonderzoek houdt in dat voorafgaande aan de metingen de persoonlijke en organisatie leerdoelen onderzocht worden. Op basis van deze leerdoelen wordt stap 2 ‘Leren’ ingevuld aan de hand van een voormeting en een nameting. Ook stap 3 ‘Gedrag/ Transformatie’ moet de leeropbrengst gemeten worden aan de hand van een voormeting en een nameting. Als laatste stap 4 ‘Resultaat’ hebben Warr et al. geconstateerd dat het erg moeilijk is om te meten en een verband te leggen tussen de onderwijssituatie en het resultaat. Hiervoor is geen concrete oplossing gevonden.
Samenvattend zijn door Alliger et al. (1997) en Warr et al. (1999) nuttige aanvullingen gedaan op het evaluatie model van Kirkpatrick. Alliger et al. hebben stap 1 ‘Reactie’ en stap 2 ‘Leren’ beter meetbaar gemaakt door deze stappen subcriteria te geven waarop gemeten kan worden. Het beter meetbaar maken van de stappen 3 en 4 is niet gelukt. Ook hebben Warr et al. nuttige aanvullingen gedaan. Als eerste bevestigen ze de aanvullende criteria van Alliger et al. Daarnaast onderscheiden ze bij stap 2 een doelenonderzoek en beargumenteren ze dat bij de stappen 2 en 3 een voormeting en nameting moeten plaatsvinden.
- 3.2.4 Andere methodes voor het meten van leeropbrengst
Naast het dominerende evaluatiemodel van Kirkpatrick zijn ook andere modellen die de leeropbrengst meten. In deze paragraaf worden een aantal besproken.
Volgens Kessels en Smit (2005) moeten de hoofddoelen en leerdoelen geformuleerd worden voorafgaande aan de onderwijssituatie. Na afloop van de onderwijssituatie moeten de leerdoelen gemeten worden om te beoordelen of de hoofddoelen zijn bereikt. De opleidingsbaten kunnen gemeten worden door het kostenmodel, levensduurmodel, batenmodel en het productiviteitsmodel van Kearsley.
Een andere evaluatiemethode is de ‘Learning Effectiveness Measurement’ (LEM) methode van Spitzer (2005). Deze methode wil de meting van effectiviteit van onderwijssituaties benaderen als een bedrijfsproces. Voorafgaande aan de onderwijssituatie worden de verwachtingen bepaald, de voormeting vindt plaats en hier wordt de onderwijssituatie bepaald. Tijdens het proces kunnen aanpassingen gedaan worden om de effectiviteit te verhogen. Na afloop worden de resultaten vergeleken met de verwachtingen en de voormeting. Zodoende kan de hoogst haalbare effectiviteit bereikt worden en de effectiviteit van de onderwijssituatie bepaald worden. Deze evaluatiemethode kan zowel in onderwijssituaties toegepast worden waar geen werksituatie aanwezig is, als in een situatie waar praktijkwerkzaamheden worden uitgevoerd.
Opvallend is dat deze evaluatiemethode gedurende het onderwijs aanpassingen kan doen om de effectiviteit te verhogen. Een nadeel is echter dat deze methode er vanuit gaat dat de mogelijkheid bestaat om tijdens het proces aanpassingen te kunnen doen. Niet bij iedere onderwijssituatie is het mogelijk om aanpassingen te doen, een voorbeeld hiervan is The Boxgame. Tot een zekere hoogte kunnen aanpassingen gedaan worden tijdens het spel, zoals verandering van samenstelling van groepen en methode van presentatie van de evaluatie. Maar het spel is al ontworpen en de regels zijn bepaald.
In vergelijking met de meetmethode van Kirkpatrick (1960) is de LEM methode van Spitzer (2005) een methode die raakvlakken heeft met de meetmethode van Kirkpatrick. In beide methoden worden een voormeting en een nameting genoemd. Aan de hand hiervan kan de leeropbrengst gemeten worden. Het verschil is wel dat de LEM-methode ernaar streeft om een zo hoog mogelijke leeropbrengst te halen. Echter, de evaluatiemethode van Kirkpatrick meet alleen de leeropbrengst zonder de leeropbrengst te verhogen. Daarom is de LEM methode minder geschikt voor het meten van de leeropbrengst van The Boxgame.
Een volgende evaluatiemethode is het ‘Objectieve Training Evaluatie Procedure Model’ van McClelland (1994). Volgens de auteur is dit een uitstekende manier om onderwijssituaties op een objectieve manier te evalueren. Het model begint met het onderzoeken wat de onderwijsbehoeften zijn. Vervolgens worden de korte- en lange termijn doelen gesteld en worden deze gemeten door de voormeting. In de voormeting worden observaties gedaan en worden interviews en/of enquêtes uitgevoerd. Na de onderwijssituatie wordt de nameting precies hetzelfde uitgevoerd als de voormeting. Alleen wordt bij de nameting rekening gehouden met korte- en lange termijn doelen omdat lange termijn doelen op een later tijdstip worden gemeten dan korte termijn doelen. Nadat het verschil tussen de voormeting en de nameting gemeten zijn worden aanbevelingen gedaan om de leersituatie te verbeteren.
model van McClelland (1994) een minder uitgebreid model in vergelijking met het evaluatiemodel van Kirkpatrick. Het model van McClelland is overzichtelijk maar minder goed meetbaar.
- 4.2.5 Meten van de leeropbrengst van een managementgame
Bij de metingen van leeropbrengst bij managementgames blijkt dat de evaluatiemethode van Kirkpatrick als basis dient voor de meting. In verschillende studies naar de leeropbrengst van managementgames die zijn uitgevoerd is gebruik gemaakt van een controle groep en van een voor- en een nameting (Gremmen & Potters, 1997; Tompson & Dass, 2000; en Curtis, 2001).
Ook zijn een aantal onderzoeken geweest naar de leeropbrengst van managementgames die na afloop de leeropbrengst hebben proberen vast te leggen (Dill & Doppelt, 1963; Jennings, 2002; en Adobor & Daneshfar, 2005). In deze studies is door middel van interviews, enquêtes en observatie naar verandering in gedrag geprobeerd de leeropbrengst vast te leggen. Volgens het evaluatiemodel van Kirkpatrick (1960) heeft dit het nadeel dat alleen de eindsituatie gemeten wordt. Het verschil tussen de beginsituatie en de eindsituatie kan niet vergeleken worden en hierdoor blijft de leeropbrengst onbekend. Ook meten deze studies hoofdzakelijk op stap 1 ‘Reactie’ van de deelnemers. Ook de stappen 2 tot en met 4 meten leeropbrengst maar worden hier buiten beschouwing gehouden.
Figuur 2: Conceptueel model meten van de leeropbrengst Nametingen (korte termijn) Nameting (lange termijn) Nulmetingen Stap 3: Gedrag Stap 4: Resultaat Stap 1: Reactie Stap 3: Gedrag Stap 4: Resultaat Stap 2: Leren Stap 2: Leren Stap 3: Gedrag Stap 4: Resultaat Stap 2: Leren
HOOFDSTUK 4 – ONDERZOEKSOPZET
Voordat het onderzoeksopzet besproken wordt, zal eerst een korte uitleg worden gegeven van de managementgame The Boxgame. De hypothesen worden gepresenteerd in paragraaf 4.2 en in paragraaf 4.3 wordt het conceptueel model van dit onderzoek weergegeven. Als laatste wordt de uitvoering van dit onderzoek besproken.
4.1 The Boxgame
De managementgame The Boxgame wordt in deze paragraaf verder toegelicht. Dit zal gebeuren door toepassingen te bespreken en een korte uitleg te geven van de simulatie. Als laatste wordt toegelicht hoe The Boxgame is toegepast binnen de Facility Managmeent van de Hanzehogeschool.
- 4.1.1 Toepassingen
Managementgame The Boxgame is ontwikkeld en geïmplementeerd door Think too Organisatieadviseurs. Het doel van de game is leren door te spelen (zie bijlage I: Leaflet The Boxgame). De slogan is: ‘The Boxgame, it isn’t a game!’
De game kan in verschillende situaties worden ingezet zoals: de start van een organisatieverandering, een kwaliteitsopleiding, een opleidingstraject, een verbeteringstraject of dienen als inhoudelijke teambuilding. Voorafgaande aan de managementgame worden de doelen van The Boxgame samen met de klant bepaald. Het is een flexibele managementgame waarbij verschillende onderwerpen behandeld kunnen worden. Nadat de game is gespeeld vindt een laatste evaluatie ronde plaats waarin de vertaling van de game naar de praktijk gemaakt wordt. Afhankelijk van de wensen van de klant volgt een vervolgtraject.
- 4.1.2 Uitleg
Deelnemers van The Boxgame worden, in groepen van vijf tot negen personen, in verschillende afdelingen geplaatst. Vooraf moet geregeld worden dat de afdelingen een PR- slogan hebben, de rollen verdeeld zijn binnen de afdeling, het productieproces ingericht is en de kwaliteitscontrole georganiseerd is. Aan het begin van de simulatieronde krijgen de deelnemers een opdracht van de klant om verschillende doosjes te gaan produceren. De doosjes staan voor een simulatie voor producten of diensten van een organisatie.
In de meeste gevallen duurt een simulatieronde vijftien minuten. De tijd is een belangrijk onderdeel van de simulatie en wordt daarom groot weergegeven op de muur door middel van een beamer. Wanneer de tijd is verstreken zal het productieproces stil worden gezet en de klant neemt geen nieuwe producten meer in ontvangst.
proces zo vlekkeloos te laten verlopen. Bij deze samenwerking wordt de nadruk gelegd op samenwerking tussen afdelingen en de deelnemers ervaren het managementaspect binnen de game. Na elke simulatieronde gaan de groepen evalueren om zodoende verbeteringen door te voeren in hun groepsproces en hun productieproces. Afhankelijk van de wensen van de klant van Think too wordt meer aandacht besteed aan een klantspecifieke onderwerp. Ook komen de aspecten aan bod waar het productieproces haperde of fout is gegaan. Voorbeelden hiervan zijn de samenwerking met andere afdelingen, te veel afgekeurde doosjes door de klant, te weinig geproduceerde doosjes of juist te laat geleverde doosjes. Zie bijlage I: Leaflet The Boxgame voor meer informatie.
- 4.1.3 Toepassing bij de Hanzehogeschool
Bij de studenten van Facility Management, Hanzehogeschool ligt de nadruk om het managen van organisaties. Strategische vraagstukken worden voorgelegd met de daarbij behorende omgevingsinformatie. Ook het personeelsbeleid en het verbeteren van processen komen aan bod. De Hanzehogeschool kiest ervoor om vier simulatieronden te spelen. Voorafgaande aan de dag krijgen de studenten een werkmap van The Boxgame waarin de nodige informatie zit. Voordat The Boxgame gespeeld wordt, worden rollen verdeeld op basis van de Belbin test1, groepen gemaakt en een algemeen directeur wordt aangewezen. Zoals hiervoor genoemd worden vier simulatieronden gespeeld op de dag zelf. In de tussenevaluaties wordt de nadruk gelegd op het samenwerken in groepen en het managen van de organisatie als geheel. Na afloop van alle ronden wordt een algemene evaluatie gehouden waarbij de ervaringen van de game met elkaar gedeeld worden.
4.2 Hypothesen
Nu de theorie bekend is zijn een aantal hypothesen geformuleerd. Deze hypothesen zullen in dit onderzoek getoetst worden.
Hypothesen:
1. De leeropbrengst van klassikaal lesgeven en The Boxgame samen is hoger dan alleen klassikaal lesgeven.
2. Studenten van Facility Management met een meer praktijkgerichte vooropleiding hebben een hogere leeropbrengst dan studenten die een theoretische vooropleiding hebben gedaan. 3. Studenten van Facility Management met meer werkervaring hebben een lagere leeropbrengst
dan studenten met minder werkervaring.
4. Studenten van Facility Management die voorafgaande aan de nulmeting de literatuur van Keuning hebben geleerd, hebben een hogere leeropbrengst dan studenten die niet de literatuur hebben geleerd.
4.3 Conceptueel model
zal een gedeelte van dit conceptueel model onderzocht worden. In dit onderzoek zal alleen een nulmeting en een korte termijn nameting gehouden worden. In deze nulmeting en de nameting zullen alleen de stap 1: ‘Reactie’ en stap 2 ‘Leren’ gemeten worden. Er zal geen controle groep meegenomen worden in dit onderzoek omdat dit buiten de haalbaarheid van het onderzoek valt. In figuur 3 is het conceptueel model weergegeven voor The Boxgame.
Figuur 3: Conceptueel model The Boxgame
Tijd
Nametingen (korte termijn) Nulmetingen
Effect
Leeropbrengst is het verschil tussen metingen en uitslag stap 1 The Boxgame D O E L E N O N D E R Z O E K Stap 1: Reactie Utiliteit Moeilijkheid
Stap 2: Leren Stap 2: Leren
Kennisvragen Subvragen Inzichtvragen Kennisvragen Subvragen Inzichtvragen
4.4 Uitvoering van het onderzoek
In de eerste stap is de oud blokcoördinator van Facility Management geïnterviewd om zodoende de hoofddoelen en leerdoelen te achterhalen van de opleiding. Nadat de hoofddoelen en leerdoelen duidelijk zijn kunnen de kennisvragen en inzichtvragen geformuleerd worden.
- 4.4.1 Doelenonderzoek
Het hoofddoel van Facility Management is: Het Instituut voor Facility Management levert beginnende FM-professionals af die ruimschoots aan de eisen van het internationale werkveld voldoen. Door dit te bereiken biedt het Instituut voor Facility Management een palet van specialisaties aan dat past in de profilering, maximaal gebruik maakt van de sterktes van de HG en aansluit bij de maatschappelijke behoeftes. Zie voor meer informatie bijlage II: Interview blokcoördinator Hanzehogeschool.
De leerdoelen van het studieblok zijn verdeeld in één kernopdracht met daaronder drie kernopdrachten. De hoofd kernopdracht is: ‘Ontwikkel zicht op het vakgebied FM en Beleid. Maak kennis met het managen van de diverse Facilitaire producten en diensten en de onderlinge afstemming daarvan. Overleg en afstemming met de klant speelt daarbij een rol. Door middel van eenvoudige onderzoeksvaardigheden zoomt de student in op één van deze producten of diensten’. De eerste twee kernopdrachten worden behandeld in de klassikale lessen. In kernopdracht 3 wordt behandeld aan de hand van The Boxgame. Kernopdracht 3 is: “Beleid moet operationeel worden gemaakt en de operaties moeten integraal gemanaged worden. In deze kernopgave gaan jullie opgedane kennis van de diverse deelprocessen gebruiken om de beïnvloeding op elkaar te signaleren. Snelle informatie verzameling en interpretatie van gegevens speelt hierbij een rol (School Strategisch Plan 2005 – 2009)
Management en organisatie en het beleid van Facility Management worden behandeld in de opgegeven literatuur voor de studenten. Het studieboek van Keuning (2003) behandelt verschillende onderwerpen.
Bij het doelenonderzoek zijn een aantal suggesties gedaan door de oud blokcoördinator. De suggesties zijn gericht op het meten van de kennis en zijn:
- Functioneren in teams en sterke en zwakke punten - Functioneren van een organisatie
- Communicatie met de klant - Trends (buiten de organisatie)
- Kwaliteit van product (in tegenstrijd met snelheid van leveren) - Personeel (communicatie intern en medewerkertevredenheid)
De Leaflet van The Boxgame geeft aan dat deelnemers leren samenwerken door het spelen van The Boxgame. Het inzicht in het functioneren van organisaties neemt toe, net als het inzicht van de deelnemers in hun eigen sterke en zwakke punten. Zie voor meer informatie bijlage I: Leaflet The Boxgame.
- 4.4.2 Enquêtevragen stap 1: ‘Reactie’
deelnemer over de toepasbaarheid van de game en als laatste zal naar de mening van de deelnemer gevraagd worden over de moeilijkheid van de game (zie ook bijlage V: Onderbouwing enquêtes).
- 4.4.2 Enquêtevragen stap 2: ‘Leren’
In totaal zullen tien kennisvragen en twee inzichtvragen worden gesteld aan de deelnemers. Deze kennisvragen zijn gebaseerd op het doelenonderzoek en de opgegeven literatuur voor het studieblok. Zie ook bijlage V: Onderbouwing enquêtes.
De eerste zeven kennisvragen zijn gebaseerd op de leerdoelen van het studieblok van Facility Management en op de literatuur van Keuning (2003). De laatste twee vragen zijn gebaseerd op de leerdoelen van The Boxgame. Deze zijn terug te vinden in bijlage I: Leaflet The Boxgame. Twee inzichtvragen zullen gesteld worden in de enquêtes. De eerste inzichtvraag is gebaseerd op de leerdoelen van het studieblok en de tweede inzichtvraag is gebaseerd op de leerdoelen van The Boxgame. De onderbouwing van de twee verschillende vragen hebben veel raakvlakken met elkaar en overlap in de onderbouwing van de vragen komt geregeld voor.
Ook zullen de docenten een enquête ontvangen. In deze enquête zal worden gevraagd aan de docenten om antwoord te geven op de tien kennisvragen. Deze kennisvragen zijn dezelfde kennisvragen die aan de deelnemer zullen worden voorgelegd. Door de antwoorden van de docenten samen te voegen en te vergelijken met de antwoorden van de deelnemers kan een cijfer berekent worden voor de deelnemer. Aan de hand van deze cijfers kan bepaald worden wat de leeropbrengst is van de werkvorm klassikaal lesgeven en van managementgame The Boxgame (zie ook bijlage VI: Berekening cijfers studenten).
- 4.4.3 Subvragen kennisvragen
Na elke kennisvraag worden een drietal subvragen gesteld aan de deelnemer. De subvragen zijn hieronder weergegeven.
Subvraag a: ‘Ik weet dit vanuit mijn theorie’
Subvraag b: ‘Ik weet dit vanuit mijn praktijkervaring’
Subvraag c: ‘Ik weet dit vanuit mijn (eerdere) managementgame ervaring’
HOOFDSTUK 5 – RESULTATEN
De resultaten van de nulmeting en de nameting beginnen met de persoonsgegevens. Vervolgens zal de leeropbrengst van The Boxgame en van klassikaal lesgeven weergegeven worden. Daarna komen de variabelen vooropleiding, werkervaring, managementgames en geleerde uren aan bod. Als laatste zal de onzekerheid van begeleidende docent besproken worden.
5.1 Persoonsgegevens
Eerst worden de persoonsgegevens gepresenteerd. De onderzochte groep deelnemers zijn eerstejaars studenten aan de opleiding Facility Management van de Hanzehogeschool. Wanneer niet alle studenten de vragen hebben beantwoord zal hier melding van gemaakt worden. Alle studenten die The Boxgame hebben gespeeld hebben meegedaan aan het onderzoek.
Totaal hebben 86 studenten de enquêtes van de nulmeting en de nameting ingevuld (N = 86). Van 5 studenten zijn alleen gegevens verzameld van alleen de nulmeting of de nameting. De gemiddelde leeftijd van de groep is 19 jaar met een standaard deviatie van 2.
Tabel 1: Groepen deelnemers
Frequentie
Geslacht (man/ vrouw) 34/ 52
Vooropleiding (praktijk/ theoretisch) 30/ 56
Werkervaring (weinig/ veel) 7/ 73
Geleerde uren (weinig/ veel) 45/ 41
Totaal 86
5.2 De leeropbrengst van The Boxgame
De uitslagen van stap 1: ‘Reactie’ worden weergegeven in deze paragraaf. Vervolgens zullen de verschillen tussen de kennisvragen, subvragen en inzichtvragen van stap 2: “Leren’ weergegeven worden.
- 5.2.1 Stap 1: Reactie
De reactie is na afloop van The Boxgame gemeten. De vragen zijn gesteld op drie gebieden, namelijk de ervaring, utiliteit en de moeilijkheid van de game.
Tabel 2: Ervaring van de deelnemers
Frequentie Percentage Vervelend 5 5.8 Neutraal 9 10.5 Leuk 56 65.1 Heel leuk 16 18.6 Totaal 86 100
Tabel 3: Utiliteit van de game
Frequentie Percentage
Helemaal niet toepasbaar 2 2.3
Niet toepasbaar 2 2.3
Neutraal 26 30.2
Toepasbaar 47 54.7
Helemaal toepasbaar 9 10.5
Totaal 86 100
De deelnemers vinden The Boxgame ‘Toepasbaar’.
Tabel 4: Moeilijkheid van de game
Frequentie Percentage Erg makkelijk 9 10.5 Makkelijk 37 43.0 Neutraal 31 36.0 Moeilijk 8 9.3 Erg moeilijk 1 1.2 Totaal 86 100
De deelnemers vinden het spelen van The Boxgame ‘Makkelijk’ met een neiging tot ‘Neutraal’.
- 5.2.2 Stap 2: ‘Leren’
Om het verschil te berekenen tussen de nulmeting en de nameting is gebruik gemaakt van een afhankelijke t-test. De keuze voor de afhankelijke t-test is gemaakt omdat de nulmeting en de nameting aan elkaar te koppelen zijn en omdat dezelfde groep is gebruikt in de nulmeting als in de nameting. Daarnaast speelt het meetniveau ook een rol in de keuze voor de test. Door de Likert vijfpunt schaal te behandelen als een intervalschaal kunnen de resultaten beter vergeleken worden omdat de standaarddeviatie meegenomen wordt in de berekeningen.
Betrouwbaarheid
De betrouwbaarheid van de antwoorden is gemeten aan de hand van de Cronbach alpha test. De kennisvragen zijn niet meegenomen in de betrouwbaarheidsanalyse omdat de betrouwbaarheid hiervan niet berekend kan worden. Dit kan niet berekend worden omdat de vragen niet zijn verdeeld in categorieën en daarom niet bepaald kan worden hoe betrouwbaar de antwoorden zijn. De uitslagen van de subvragen zijn hieronder weergegeven.
Alle resultaten van de uitgevoerde Cronbach alpha testen zijn terug te vinden in bijlage VII.
Betrouwbaarheidsanalyse subvragen a
Betrouwbaarheidsanalyse subvragen b
In de nulmeting van de subvragen b is een Cronbach alpha gevonden van .840. Door deze hoge alpha zullen geen vragen worden verwijderd. In de nameting van de subvragen b is een Cronbach alpha gevonden van .856. Door deze hoge alpha zullen geen vragen worden verwijderd.
Betrouwbaarheidsanalyse subvragen c
Net als in de subvragen a en b konden de deelnemers hun antwoorden geven op een schaal van 1 tot en met 5. Daarnaast hadden de deelnemers ook de mogelijkheid om het vakje ‘niet van toepassing’ in te vullen. Helaas is een misverstand ontstaan bij de invulling van de subvragen c.
In de nulmeting is het goed te begrijpelijk dat deelnemers nog geen eerdere managementgame ervaring hebben en vervolgens het vakje ‘niet van toepassing’ invullen. In de nameting heeft iedere deelnemer The Boxgame ervaren en kan daardoor niet meer het vakje ‘niet van toepassing’ invullen bij deze subvragen. Desondanks hebben 41 deelnemers van de 86 het vakje ingevuld nadat ze The Boxgame hadden gespeeld.
Aan de hand van deze resultaten is besloten om alle subvragen c te verwijderen uit het onderzoek.
Kennisvragen
De antwoorden van de deelnemers zijn omgerekend naar cijfers voor de studenten. De uitslagen zijn gebaseerd op de gegeven antwoorden van de docenten (zie bijlage VI) Bij deze test is N = 81. De deelnemers van The Boxgame laten geen toename in hun kennis zien door het spelen van de game (M = -.04 (v); t = -.525; p = .6).
Subvragen a
De deelnemers van The Boxgame laten geen toename in hun subvragen a zien door het spelen van de game (M = -.06 (v); t = -.71; p = .479).
Subvragen b
De deelnemers van The Boxgame laten een significante verschil in hun antwoord op de subvragen b zien door het spelen van de game (M = .44 (v); t = 4.52; p = .00).
- 5.2.3 Inzichtvragen
In dit gedeelte zullen de uitslagen van de twee inzichtvragen weergegeven worden. De verschillen zijn gemeten aan de hand van een afhankelijke t-test.
Functioneren in professionele teams
Inzicht in sterke en zwakke punten
De deelnemers van The Boxgame laten geen toename in het inzicht in hun sterke en zwakke punten zien door het spelen van de game (M = .11 (v); t = 1.595; p = .114).
Samenvattend zijn de resultaten weergegeven in tabel 5.
Tabel 5: Leeropbrengst The Boxgame
Meetcriteria Subcriteria Resultaat
Level 1: Reactie Ervaring deelnemers Leuk
Toepasbaarheid Toepasbaar
Moeilijkheid Makkelijk
Level 2: Kennis Kennisvragen Geen toename
Subvragen a Geen toename
Subvragen b Significante verschil
Subvragen c Niet betrouwbaar
Inzichtvragen Functioneren in teams Significante verschil Sterke/ zwakke punten Geen toename
5.3 De leeropbrengst van klassikaal lesgeven
De leeropbrengst van klassikaal lesgeven is op een andere manier gemeten dan de leeropbrengst van The Boxgame. Een aanname is dat deelnemers van The Boxgame voorafgaande aan het studieblok geen tot weinig kennis hadden over de literatuur van het vak. Het studieblok is het eerste studieblok van de studie. Voorafgaand aan dit studieblok heeft iedere deelnemer een andere vooropleiding gevolgd waardoor ze hoogstwaarschijnlijk geen kennis hebben opgedaan over de literatuur van het vak. De leeropbrengst van de deelnemers is voorafgaande aan The Boxgame gemeten. Dit is gebeurd aan de hand van het stellen van kennisvragen met de subvragen a. De kennisvragen zijn gekoppeld aan de antwoorden van de docenten en aan de hand hiervan is een gemiddeld cijfer berekend voor de deelnemers (zie bijlage VI: ‘Berekening cijfers studenten’).
Voorafgaand aan The Boxgame hebben deelnemers gemiddeld resultaat van 8.36 gehaald op de kennisvragen. Maximaal was een resultaat van 10 punten te halen. Het behaalde resultaat is een hoge uitslag wat aangeeft dat deelnemers voorafgaande aan The Boxgame veel hebben geleerd van het klassikaal lesgeven.
Voorafgaande aan The Boxgame hebben deelnemers gemiddeld een resultaat van 3.8 gehaald op de subvragen a. Maximaal is een resultaat van 5 te behalen. Een 3.8 geeft aan dat deelnemers een groot deel van hun antwoorden op de kennisvragen baseren op hun theorie.
5.4 Leeropbrengst en vooropleiding
In deze paragraaf worden de resultaten gepresenteerd waarbij onderzocht wordt of deelnemers met een meer praktijkgerichte vooropleiding een andere leeropbrengst hebben dan deelnemers met een meer theoretische vooropleiding. Deelnemers met een MBO diploma vertegenwoordigen de groep met een meer praktijkgerichte vooropleiding en deelnemers met een Havo, HBO of VWO diploma vertegenwoordigen de groep met een meer theoretische vooropleiding. Van de onderzochte populatie waren 30 deelnemers met een meer praktijkgerichte vooropleiding en 56 deelnemers met een meer theoretische vooropleiding.
- 5.4 1 Stap 1: ‘Reactie’
Om het verschil te meten tussen de twee groepen deelnemers is gebruik gemaakt van een onafhankelijke t-test. De onafhankelijke t-test is gebruikt omdat het hierbij gaat om twee groepen die onafhankelijke van elkaar zijn getest maar dezelfde behandeling zijn ondergaan. Door de antwoordcategorieën als intervalniveau te behandelen kunnen de resultaten beter vergeleken worden door de standaard deviatie mee te nemen in de berekeningen.
Na het vergelijken van de mening van de deelnemers, de toepasbaarheid en de moeilijkheidsgraad bleek dat de deelnemers van de verschillende groepen geen verschillende antwoorden hebben gegeven. De deelnemers met een meer praktijkgerichte vooropleiding hebben geen ander antwoord gegeven in vergelijking met de deelnemers met een meer theoretische vooropleiding.
- 5.4 2 Stap 2: ‘Leren’
Het verschil in kennis is gemeten aan de hand van een afhankelijke t-test. De deelnemers zijn opgesplitst afhankelijk van hun vooropleiding.
Kennisvragen
De deelnemers van The Boxgame met een meer praktijkgerichte vooropleiding laten geen toename in hun kennis zien door het spelen van de game (M = .1 (v); t = .554; p = .58). De deelnemers van The Boxgame met een meer theoretische vooropleiding laten geen toename in hun kennis zien door het spelen van de game (M = -.13 (v); t = -1.316; p = .194).
Hieruit blijkt dat beide groepen geen verschillende resultaten hebben tussen de nulmeting en de nameting.
Subvragen a
De deelnemers van The Boxgame met een meer praktijkgerichte vooropleiding laten geen toename in hun subvragen a zien door het spelen van de game (M = .19 (v); t = 1.705; p = .099). De deelnemers van The Boxgame met een meer theoretische vooropleiding laten geen toename in hun subvragen a zien door het spelen van de game (M = -.19 (v); t = -1.839; p = .071).
