• No results found

Het effect van klaslokaalexperimenten; Een onderzoek naar de effectiviteit van klaslokaalexperimenten in het economieonderwijs.

N/A
N/A
Protected

Academic year: 2021

Share "Het effect van klaslokaalexperimenten; Een onderzoek naar de effectiviteit van klaslokaalexperimenten in het economieonderwijs."

Copied!
48
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

Het effect van klaslokaalexperimenten

Een onderzoek naar de effectiviteit van

klaslokaalexperimenten in het economieonderwijs.

O.V. Seinstra

Naam: Oscar Seinstra Studentnummer: 500164755

Opleiding: Master Algemene Economie Datum: 10 februari 2014

(2)
(3)

Inhoudsopgave

Samenvatting ...5

1. Inleiding ...7

2. Korte weergave analyseonderzoek ...9

3. Theoretisch kader ... 10

3.1 Wat zijn klaslokaalexperimenten?... 10

3.2 Aan welke randvoorwaarden moet voldaan worden bij klaslokaalexperimenten? ... 11

3.3 Het effect van klaslokaalexperimenten op leerresultaat ... 13

3.4 Het effect van klaslokaalexperimenten op motivatie ... 14

3.5 Effectiviteit van klaslokaalexperimenten ... 16

3.6 Conclusie ... 18 4. Conceptueel model ... 19 5. Interventie ... 20 6. Onderzoeksopzet ... 25 6.1 Onderzoeksvraag ... 25 6.2 Typering onderzoek ... 26 6.3 Instrumenten ... 28 6.4 Dataverzameling en analyse ... 32 6.5 Betrouwbaarheid en validiteit ... 32 7. Resultaten ... 34 7.1 Nulmeting ... 34 7.2 Betrouwbaarheid ... 35 7.3 Nameting ... 35 7.4 Verschillen ... 36

(4)

8. Conclusies ... 39

8.1 Nulmeting ... 39

8.2 Vakbeleving ... 39

8.3 Kennistoets ... 41

8.4 Gesplitst semigestructureerd groepsinterview ... 41

8.5 Eindconclusie ... 42

8.6 Alternatieve verklaringen ... 42

8.6 Reflectie onderzoek ... 43

9. Aanbevelingen ... 44

9.1 Aanbevelingen voor de onderwijspraktijk ... 44

9.2 Methodologische aanbevelingen ... 44

9.3 Aanbevelingen voor verder onderzoek ... 45

10. Literatuur ... 46

11. Bijlagen ... 48

Bijlage 1: Vragenlijst nulmeting ... 48

Bijlage 2: Vragenlijst nameting ... 52

Bijlage 3: Vragenlijst klaslokaalexperimenten ... 59

Bijlage 4: Lessenserie speltheorie ... 61

4a Leerlingenboek... 65

4b Docentenhandleiding ... 95

(5)

Samenvatting

Het examenprogramma voor economie voor de tweede fase van havo en vwo ondergaat momenteel een metamorfose: in navolging van het havo zullen op het vwo in het schooljaar 2013-2014 de eerste examens nieuwe stijl worden afgenomen. Dit nieuwe programma is erop gericht om leerlingen met een economische bril te laten kijken naar verschillende maatschappelijke, economische verschijnselen. Met het aanleren van deze zogenaamde economische kijk, leert een leerling dat verschillende praktische problemen begrepen kunnen worden met behulp van een beperkt aantal economische begrippen: het toepassen van verschillende economische concepten in steeds andere contexten. Een belangrijk onderdeel binnen het nieuwe examenprogramma is het toepassen van klaslokaalexperimenten. Dit zijn korte, interactieve oefeningen die zo zijn ontworpen dat ze bijdragen aan het begrijpen van economische concepten (Holt & McDaniel, 1996). In deze activerende werkvorm handelen leerlingen zelf als economische actor in een gegeven situatie (context) en leren ze door doen (Stichting Leerplanontwikkeling [SLO], 2009). Het is een werkvorm waarbinnen de context wordt geschapen om concepten te kunnen plaatsen in een simulatie van de werkelijkheid (Boerrigter & Van Donderen, 2013). In de meeste Amerikaanse onderzoeksliteratuur over klaslokaalexperimenten wordt gerapporteerd dat de experimenten een vergrotend leereffect teweeg brengen. Zowel Gremmen en Potters (1997) als Ball, Eckel en Rojas (2006) maakten gebruikt van een computergestuurde simulatie. De groepen studenten die aan deze experimenten deelnamen haalden significant hogere scores op gestandaardiseerde toetsen. Emerson (2004) en Dickie (2006) deden meer dan één experiment in een bepaalde periode bij grotere groepen studenten. Ook bij deze onderzoeken bleken de studenten significant hoger te scoren op de eindtoets dan de studenten uit de controlegroepen. Niet al het onderzoek wijst op een hoger leer-rendement door experimenten. Uit het onderzoek van Cardell (1996) en van Yandell (1999) bleek dat de studenten die de experimenten hadden gedaan wel hoger scoorden dan de controlegroep, maar dit was geen significant verschil. In het onderzoek van Yandell (1999) werden echter wel significant hogere scores gemeten bij de studentenevaluaties. Ook in onderzoeken van Dickie (2006) en Ball et al. (2006) zijn hier significant hogere scores gemeten wat duidt op een betere motivatie bij studenten die hebben deelgenomen aan klaslokaalexperimenten. Deze studenten vonden de gevolgde colleges veel stimulerender dan de studenten uit de controlegroepen. Ook de docenten die klaslokaalexperimenten uitvoerden kregen een hogere waardering. Holt (1999) beschrijft in zijn onderzoek dat na toepassing van klaslokaalexperimenten bleek dat het betreffende vak significant vaker werd gekozen en dat de tussentijdse uitval opzienbarend was gedaald.

Bovenstaande onderzoeksrapporten naar de effecten van klaslokaalexperimenten zijn steeds Amerikaanse onderzoeken die zijn uitgevoerd bij studenten op universiteiten in de VS. Onderzoek naar de effecten van klaslokaalexperimenten in het Nederlands voortgezet economieonderwijs is nauwelijks voorhanden. Hinloopen (2007), het SLO (2009) en Kneppers (2007) geven aan dat meer Nederlands onderzoek naar het effect van klaslokaalexperimenten nodig is. Dit rapport levert hieraan een bijdrage. In dit onderzoek is het effect gemeten van klaslokaalexperimenten op vakbeleving en op een kennistoets. Vakbeleving is een containerbegrip waar in dit onderzoek meerdere aspecten onder worden verstaan: 1. vakbeleving volgens een gestandaardiseerde vakbelevingstest met vier subcategorieën, te weten

ervaren plezier, ervaren moeilijkheid, ervaren interesse en ervaren nut, 2. waardering voor de docent,

3. waardering voor de gegeven lessenserie.

In twee 4-havoklassen is een lessenserie gegeven over een nieuw onderwerp: de speltheorie. In één groep, de experimentele groep, zijn binnen deze lessenserie (van tien lessen) vijf klaslokaalexperimenten afgenomen. In de andere groep, de controlegroep, is door dezelfde docent dezelfde lessenserie gegeven, maar in plaats van de experimenten werd de stof aan de hand van praktijkvoorbeelden besproken. Voordat de lessenserie begon bleek uit de nulmeting dat er geen verschillen waren tussen beide groepen op vakbeleving en op alle onderdelen daarbinnen. Ook was er geen verschil in niveau (zowel bij het vak

(6)

economie als bij andere vakken) en was er geen verschil in de verhouding jongens-meisjes. Op het onderwerp speltheorie was bij beide groepen geen voorkennis.

Na afloop van de lessenserie is opnieuw de vakbeleving gemeten en is er een toets over de speltheorie afgenomen. Uit deze nameting bleek dat de groep die deelnam aan de klaslokaalexperimenten significant hoger scoorde op de kennistoets. Verder werd er geen significant effect gemeten op het totaalbegrip vakbeleving. Hierbinnen waren wel significante verschillen op twee onderdelen: de experimentele groep beleefde meer plezier aan de lessen economie en deze groep gaven een hogere waardering aan de docent. In de experimentele groep is na afloop een groepsinterview gehouden. De uitspraken over klaslokaalexperimenten gedaan door deze leerlingen onderschrijven de conclusies uit de nameting.

Klaslokaalexperimenten worden niet alleen leuk gevonden maar de leerlingen leren er ook (meer) van!

Het is verstandig om meer onderzoek te doen naar het effect van klaslokaalexperimenten in het Nederlands voortgezet onderwijs. In dit onderzoek zijn vijf klaslokaalexperimenten gebruikt bij de uitleg van de speltheorie. Dit economische onderwerp leent zich bij uitstek voor het doen van klaslokaalexperimenten. Het is wenselijk om juist ook bij andere economische onderwerpen het gebruik van klaslokaalexperimenten te onderzoeken. Daarnaast zou onderzoek naar goede (effectieve) klaslokaalexperimenten docenten in de dagelijkse praktijk kunnen helpen. Welke klaslokaalexperimenten zijn succesvol en welke zijn minder effectief? Waar ligt dat aan? Ook de rol van ICT bij het gebruik van experimenten is het onderzoeken waard. Omdat het doen van klaslokaalexperimenten een verplicht onderdeel is geworden in het voortgezet middelbaar economieonderwijs is het potentiële onderzoeksveld enorm.

(7)

1. Inleiding

Het examenprogramma voor economie voor de tweede fase van havo en vwo ondergaat momenteel een metamorfose: in het schooljaar 2012-2013 zal het nieuwe economieprogramma voor de tweede keer worden geëxamineerd op het havo en in het schooljaar 2013-2014 zijn de eerste examens nieuwe stijl op het vwo. Dit nieuwe programma van de commissie Teulings II (Teulings, 2005) is erop gericht om leerlingen met een economische bril te laten kijken naar verschillende maatschappelijke, economische verschijnselen. Met het aanleren van deze zogenaamde economische kijk, leert een leerling dat verschillende praktische problemen begrepen kunnen worden met behulp van een beperkt aantal economische begrippen: het toepassen van verschillende economische concepten in steeds andere contexten. Ook moet het vak dichter bij de leerling komen te staan, het moet meer tot de verbeelding gaan spreken. Leerlingen krijgen de smaak van economie te pakken als ze er actief mee omgaan (Teulings, 2002). Dit verhoogt de motivatie bij leerlingen. “Uit de lespraktijk blijkt dat de vakinhoud beter beklijft wanneer leerlingen actief als economische actor optreden in de klas.”, aldus de commissie Teulings (2002, p. 9).

Klaslokaalexperimenten

Eén van de manieren om dit te bereiken is het gebruik van klaslokaalexperimenten. Dit is dan ook opgenomen als verplicht onderdeel in het nieuwe economieprogramma. Door klaslokaalexperimenten worden leerlingen beter voorbereid op hun toekomstige deelname aan het economische verkeer (Hinloopen, 2007). Het is duidelijk dat de commissie Teulings (2005) veel belang hecht aan deze manier van lesgeven. Experimenteren is ook in de economische wetenschap een aanvaarde methode om theorieën te testen, en veel experimenten laten zich in de klas eenvoudig reproduceren. Dat is een bijzonder leerzame ervaring volgens de commissie, doordat leerlingen via een experiment de praktische betekenis van de economische theorie beter leren doorgronden (Teulings, 2005).

Hoewel er geen inhoudelijke eisen met betrekking tot klaslokaalexperimenten zijn vastgelegd, is er wel aanzienlijk veel tijd uitgetrokken voor het gebruik van experimenten. Men gaat er van uit dat de experimenten 14 procent van de examenstof vertegenwoordigen. Hoewel een klaslokaalexperiment geen doel op zich is (het gaat uiteindelijk om begrip en het beklijven van kennis), is dit wel als een verplichte vorm opgenomen in het schoolexamen. De minimale eis waar een school aan moet voldoen is dat er van elke kandidaat twee verslagen van experimenten moeten worden opgenomen in het schoolexamen-dossier. Deze voorwaarde stelt op zichzelf niet veel voor, waardoor de mate waarin een docent zich bezig zal houden met experimenten (zowel in kwaliteit als in kwantiteit) volledig afhangt van de docent die voor de groep staat en de affiniteit van deze docent met klaslokaalexperimenten.

Speltheorie

Er zijn verschillende nieuwe onderwerpen opgenomen in het herziene examenprogramma. Eén van deze nieuwe onderwerpen is de speltheorie. Dit onderdeel is niet alleen het voornaamste onderdeel binnen het concept ‘samenwerken en onderhandelen’, de theorie komt daarnaast herhaaldelijk terug binnen de andere concepten en in verschillende contexten. In het kader (figuur 1) op de volgende bladzijde wordt een korte uitwerking gegeven van de basis van deze stof zoals dat op de havo dient te worden vormgegeven. De aandacht voor de speltheorie heeft niet alleen gevolgen voor het programma zoals dat getoetst wordt in het centraal examen, maar heeft ook praktische consequenties voor het lesprogramma en de toetsing in het schoolexamen. Deze stof laat zich namelijk uitstekend testen in experimenten. Het onderzoek

In het nieuwe economie-examenprogramma dienen docenten gebruik te maken van meerdere klaslokaal-experimenten. Docenten op middelbare scholen hebben echter weinig tot geen ervaring met het uitvoeren van deze experimenten. Het is door deze onbekendheid niet ondenkbaar dat docenten de inzet van experimenten zo minimaal mogelijk houden of zelfs helemaal geen experimenten uitvoeren. Terwijl het in Nederland nog relatief ongebruikelijk is om te werken met experimenten, is het met name in de Verenigde Staten al jarenlang vast onderdeel binnen verschillende economiecolleges op universiteiten. Onderzoeksrapporten naar de effecten van klaslokaalexperimenten betreffen dan ook grotendeels

(8)

Amerikaanse onderzoeken uitgevoerd bij studenten op universiteiten. Uitgebreid onderzoek naar de effecten in het Nederlands middelbaar voortgezet onderwijs ontbreekt. Hinloopen (2007), het SLO (2009) en Kneppers (2007) geven aan dat meer onderzoek binnen het middelbare onderwijs naar het effect van klaslokaalexperimenten wenselijk is. Voor de Nederlandse economiedocent is meer relevante informatie gewenst. Deze studie levert hieraan een bijdrage.

Ook is het aantal bruikbare en uitgewerkte klaslokaalexperimenten vooralsnog beperkt. In dit onderzoek wordt gebruik gemaakt van vijf experimenten die direct inzetbaar zijn (zie hiervoor bijlage 4). Op deze manier is dit onderzoek niet alleen praktijkgericht maar kunnen docenten deze uitgewerkte experimenten ook zelf gebruiken voor de eigen lespraktijk.

De commissie Teulings (2005) geeft aan dat klaslokaalexperimenten bijdragen aan motivatieverhoging bij leerlingen en dat de experimenten de behandelde stof beter laat begrijpen. In deze studie zal onderzocht worden of deze effecten van klaslokaalexperimenten binnen het Nederlandse economieonderwijs inderdaad meetbaar zijn. Om dat te kunnen doen zal eerst de huidige mate van vakbeleving en vakbeheersing worden onderzocht alsook het verband hiertussen. Deze zaken staan centraal in de analysefase. Daarna zal aan de hand van een experiment (met klaslokaalexperimenten) het effect hiervan in kaart worden gebracht.

Speltheorie

In de economie gaat het over het maken van keuzes. De speltheorie is een manier van kijken naar de keuzes die gemaakt worden. Waarom maken mensen of bedrijven bepaalde keuzes wel en andere niet? Door deze beslissingen in een spelvorm te gieten is het mogelijk om het keuzeproces te analyseren.

Veel alledaagse situaties vertonen de kenmerken van een ‘spel’. Dit houdt in dat de uitkomst voor een ‘speler’ niet alleen afhangt van de eigen beslissing maar ook van de beslissingen van andere spelers. Wanneer twee bakkers in een dorp een prijs moeten vaststellen voor hun brood, bevinden zij zich in een spelsituatie: hun afzet zal niet alleen afhangen van hun eigen prijs maar ook van de prijs van de concurrent. De keuze van de ene bakker hangt af van de keuze van de andere bakker. De speltheorie bestudeert het gedrag van spelers in situaties waarin de keuzes van deze spelers elkaar wederzijds beïnvloeden en bepalend zijn voor elkaars resultaten.

Een spel is een (wiskundig) model van het menselijk gedrag, waarin een logisch verband wordt gelegd tussen de doelstellingen van de spelers, hun handelwijze en de resultaten die zij bereiken. Spelers kunnen individuele mensen zijn maar ook

ondernemingen, bedrijfstakken, overheden of zelfs continenten. De wijze waarop een speler in een bepaalde situatie zal handelen, heet strategie. Het resultaat van een strategie wordt de uitkomst genoemd. Men drukt deze uitkomst ook wel uit in een te verwachten nutwaarde. Een ander woord voor nutwaarde is pay-off. Soms is het aan de uitkomsten van een spel zelf niet te zien welke uitkomst een speler prefereert boven een andere uitkomst. In zo’n geval is het beter om een pay-off-matrix te gebruiken. Hier vertegenwoordigt een hoger getal altijd een hogere nutwaarde. Een speler heeft als doel om zijn/haar nut te maximaliseren, dus een zo goed mogelijke uitkomst of een zo hoog mogelijke pay-off.

Geen van de spelers kan de uitkomsten eenzijdig bepalen of opleggen aan andere spelers. Zo heeft een schaakspel twee spelers, die elk hun eigen strategie bepalen. De uitkomst voor elk van de spelers kan zijn: winst, verlies of remise. Met behulp van de speltheorie kunnen we verschillende dilemma’s bekijken die bij samenwerken en onderhandelen kunnen optreden. Zo kunnen we meer inzicht krijgen in de manier waarop bijvoorbeeld cao-onderhandelingen verlopen. Ook de problematiek rondom externe effecten en de voorziening van collectieve goederen kunnen met behulp van de speltheorie nader bezien worden. figuur 1: korte uitwerking speltheorie

(9)

2. Korte weergave analyseonderzoek

In de analysefase is onderzocht hoe de 4-havoleerlingen de huidige economielessen ervaren en wat het huidige prestatieniveau van deze leerlingen is. Door de vakbeleving van de leerlingen te onderzoeken kan vastgesteld worden hoe zij de lessen ervaren voordat er klaslokaalexperimenten worden uitgevoerd. Ook is de mate waarin de leerlingen waardering hebben voor de docent meegenomen in het onderzoek. Het onderzoek naar het huidige prestatieniveau van de leerlingen heeft plaatsgevonden door de prestaties voor het vak economie tot dan toe te meten alsmede de prestaties in z’n algemeenheid op school. De huidige kennis van het onderwerp de speltheorie is ook meegenomen.

Voorts is er binnen de onderzochte variabelen onderzoek gedaan naar de mogelijke verbanden tussen vakbeleving en prestaties voor het vak economie. Is er een verband tussen de motivatie en de prestaties van leerlingen bij de huidige economielessen?

De onderzoeksvragen waren derhalve als volgt:

1. Wat is het huidige (gemiddelde) niveau van presteren voor alle schoolvakken? 2. Wat is het huidige niveau van presteren voor het vak economie?

3. Wat is de reeds aanwezige kennis over de speltheorie? 4. Wat is het huidige niveau van vakbeleving?

5. Wat is de huidig mate waarin de leerlingen waardering hebben voor de docent?

6. Is er een verband tussen vakbeleving bij economie en het gemiddelde niveau van presteren bij economie?

De uitkomsten van de eerste vijf vragen zijn meegenomen in de nulmeting van het ontwerponderzoek en staan tevens in onderstaande tabel.

tabel 1: uitkomsten analysefase: scores (vak)kennis en vakbeleving (n = 60)

variabele gemiddeld

n = 60

gemiddeld cijfer economie 6,8

gemiddeld cijfer alle vakken 6,4

score kennis speltheorie 0,0

score vakbeleving totaal 118,5

vakbeleving per categorie:

score ervaren plezier 29,9

score ervaren angst en moeilijkheid 32,0 score ervaren inzet en interesse 24,0 score ervaren nut en relevantie 32,6

score waardering docent 65,4

Verder bleek uit de resultaten, gemeten met behulp van de Spearman’s rangcorrelatie, dat er een significante correlatie is tussen vakbeleving en het gemiddelde cijfer voor economie (rs= 0,49; p < 0.01).

Hoe hoger de leerling scoort bij vakbeleving, hoe hoger het gemiddelde cijfer dat hij/zij heeft voor economie. Het is dan ook goed denkbaar dat leerlingen die plezier hebben in het vak, en die bijvoorbeeld het nut van het vak inzien, ook meer motivatie hebben om de stof tot zich te nemen. Andersom geldt dit ook: hoe beter een leerling in het vak is, hoe gemotiveerder de leerling is. Ook bleek uit de resultaten dat er een positieve samenhang is tussen waardering voor de docent en inzet voor het vak (rs= 0,41; p < 0.01).

Als uit het onderzoeksrapport zou blijken dat klaslokaalexperimenten een positieve bijdrage leveren aan vakbeleving dan is het dus aannemelijk (door de gebleken samenhang tussen vakbeleving en niveau van presteren) dat daardoor ook het gemiddelde cijfer positief wordt beïnvloed. Als door klaslokaalexperimenten de waardering voor de docent toeneemt heeft ook dat weer positieve gevolgen voor de leerprestaties.

(10)

3. Theoretisch kader

In het nieuwe examenprogramma wil men leerlingen actief betrekken bij de verschillende economische onderwerpen. Leerlingen moeten meer de praktische betekenis van de concepten leren doorgronden door actief te participeren. De titel van het eerste rapport van de commissie Teulings (2002) geeft dit ook aan: Economie moet je doen. Niet alleen zal de vakinhoud beter blijven hangen als leerlingen actief meedoen, ook zal dit volgens de commissie meer enthousiasme en interesse voor het vak wekken. Het economieonderwijs moet meer zijn dan het reproduceren van kennis of het aanleren van trucjes. De benaderingswijze van het vak zal meer verschuiven naar een aanpak met het accent op ‘learning by doing’. Het integreren van klaslokaalexperimenten waarbij economische concepten worden nagebootst is een manier om hieraan bij te kunnen dragen (Teulings, 2002).

Economiedocenten hebben (nog) weinig ervaring met het uitvoeren van klaslokaalexperimenten. Met name in Engeland en in de Verenigde Staten wordt al langer gebruik gemaakt van experimenten in het economieonderwijs. Er zijn in deze landen dan ook verschillende onderzoeken gedaan naar de effecten van klaslokaalexperimenten. Desondanks is wetenschappelijke literatuur, met name empirisch onderzoek naar de effecten van klaslokaalexperimenten, schaars. Zeker onderzoek naar het effect van klaslokaalexperimenten in het Nederlandse voortgezet economieonderwijs is nauwelijks voorhanden. Met gebruikmaking van de internationale literatuur die hierover wel aanwezig is, zal in dit hoofdstuk nader ingegaan worden op de klaslokaalexperimenten en de effecten daarvan. In paragraaf 3.1 zal de definitie van (en het doel van) een klaslokaalexperiment besproken worden, waarna in paragraaf 3.2 de randvoorwaarden bij het uitvoeren van een experiment aan bod komen.

Deelnemen aan klaslokaalexperimenten is een manier van leren door te participeren. De experimenten zouden kunnen bijdragen aan een grotere motivatie bij leerlingen en aan hogere resultaten. Op deze manier zullen effectieve experimenten ook beter de bruikbaarheid aantonen van anders abstracte economische theorieën. Het rendement van klaslokaalexperimenten kan, op basis van de beschikbare literatuur, opgesplitst worden in inzicht en motivatie. Deze effecten worden besproken in paragraaf 3.3 (effecten op leerresultaat/inzicht) en in paragraaf 3.4 (effecten op motivatie). De vraag waardoor de (eventuele) effectiviteit van klaslokaalexperimenten kan ontstaan wordt besproken in paragraaf 3.5. Tot slot worden in paragraaf 3.6 de conclusies weergegeven.

3.1 Wat zijn klaslokaalexperimenten?

Er zijn in de literatuur veel definities te vinden van klaslokaalexperimenten. In de evaluatie van de examenpilot havo wordt een klaslokaalexperiment omschreven als een interactieve werkvorm waarbij leerlingen zelf als actor op een bepaalde markt of in een gegeven situatie moeten opereren/handelen en ‘spelenderwijs’ leren door doen (Stichting Leerplanontwikkeling [SLO], 2009). Experimenten werken verhelderend en de kans is groter dat de stof langer blijft hangen als de begrippen niet alleen met een onderwijsleergesprek of met behulp van een voorbeeldopgave worden besproken (Teulings, 2005). Volgens de definitie van Holt en McDaniel (1996) zijn klaslokaalexperimenten korte, interactieve oefeningen die zo zijn ontworpen dat ze bijdragen aan het begrijpen van economische concepten. Met gebruikmaking van de (ongedwongen en gezamenlijke) inbreng van leerlingen waarbij er een logische opbouw is vanuit de (simpele) input van de leerling in het experiment naar begrip van een (meer complex) economisch concept. Zo kunnen leerlingen bijvoorbeeld in een experiment van een markt zelf prijsonderhandelingen voeren waardoor het mogelijk is het gedrag van deze leerlingen (vragers en aanbieders) en de uitkomsten van het experiment te vergelijken met voorspelde uitkomsten vanuit de economische theorieën over vraag en aanbod. Leerlingen bepalen zelf, of met elkaar, een strategie die van invloed is op het proces en op het handelen van andere deelnemers aan het experiment. Op deze manier zullen leerlingen bij een eerste kennismaking van een economisch concept zelf de economische krachten ervaren (Holt & McDaniel, 2006). Hinloopen (2007) voegt hier aan toe dat de deelnemers dienen te handelen binnen de kaders van vooraf uitgelegde spelregels. Dit is uiteraard van belang bij de uitvoering van een experiment op een middelbare school: de leerlingen moeten helder voor ogen hebben

(11)

wat zij wel en niet mogen/kunnen doen binnen het experiment. Boerrigter en Van Donderen (2013) definiëren een klaslokaalexperiment als een bepaalde werkvorm waarbinnen de context wordt geschapen om concepten te kunnen plaatsen in een simulatie van de werkelijkheid.

Een klaslokaalexperiment onderscheidt zich van andere (al dan niet wetenschappelijke) experimenten. Deze laatste hebben vaak tot doel het testen van een theorie of het vormen danwel uitbreiden van een reeds bestaande theorie door middel van een experiment. Deze wetenschappelijke doelstelling is afwezig bij klaslokaalexperimenten omdat het doel hierbij juist van didactische aard is. Een klaslokaalexperiment is een didactische werkvorm, niet de wetenschap maar de individuele leerling staat centraal (Bernard & Bernard, 2005). Volgens Emerson (2007) helpen klaslokaalexperimenten docenten om concepten te illustreren en helpen ze studenten in het leerproces doordat de economische theorie makkelijker is te begrijpen door het zelf te ervaren. Een experiment is een voorbeeld van een actieve leertechniek om hogere-orde denken te bevorderen. Bij klaslokaalexperimenten moeten studenten beslissingen nemen in een gecontroleerde omgeving. Hieruit volgen resultaten die gebruikt worden voor verdere analyse en discussie. Als een experiment goed is ontworpen en uitgevoerd, helpt het studenten zelf belangrijke economische concepten te ervaren (Emerson, 2007). Effectieve experimenten stimuleren studenten in het nemen van beslissingen, houden hun aandacht vast en zijn niet onnodig ingewikkeld. Studenten dienen op tijd aanwezig te zijn om alle instructies te horen. Studenten moeten de instructie goed begrijpen om te voorkomen dat zij willekeurige beslissingen nemen die de uitkomsten beïnvloeden. Typen experimenten

Er bestaan drie typen klaslokaalexperimenten (Balkenborg & Kaplan, 2009), te weten handmatige experimenten, computergestuurde experimenten en huiswerkexperimenten. Handmatige experimenten zijn experimenten die in een klaslokaalomgeving zonder hulp van bijvoorbeeld een computernetwerk worden uitgevoerd. Dit kunnen korte, simpele experimenten zijn bij bijvoorbeeld wat grotere groepen studenten of juist wat uitgebreidere experimenten waarbij er tussen een (vaak wat kleinere) groep studenten economische interactie plaatsvindt. De voordelen van dit type experimenten zijn dat het zowel heel korte als wat grotere en complexere experimenten kunnen zijn, en omdat de interactie ‘face to face’ is, kan de docent gelijk bijsturen indien nodig. Bij dit type experimenten is het noodzakelijk dat de betreffende docent het experiment heel nauwkeurig voorbereid en dat de instructies bij alle deelnemers zeer duidelijk zijn. Computergestuurde experimenten zijn experimenten waarbij gebruik is gemaakt van een computernetwerk. Economische wetenschappelijke experimenten worden bijvoorbeeld vaak gedaan in laboratoria met behulp van computers. Volgens Holt (1999) is door het gebruik van ICT de informatiestroom controleerbaar en beheersbaar en is er ook snelle communicatie mogelijk waardoor er bijvoorbeeld meer handelsperiodes kunnen worden nagebootst. Ook zijn de experimenten vaak mogelijk met gebruik van het internet. Deze voordelen zijn echter vaak niet nodig bij handmatige klaslokaalexperimenten. En het is nog maar de vraag of ze opwegen tegen de nadelen, bijvoorbeeld de zeer complexe voorbereiding (eventueel programmeren en klaarmaken van de elektronische omgevingssimulatie) en onverwachte (netwerk)storingen. Huiswerkexperimenten zijn vaak simpele klaslokaalexperimenten die door de studenten thuis gespeeld kunnen worden in plaats van tijdens de les. Hierdoor wordt lestijd gewonnen, er is echter weinig controle op de uitvoering van de experimenten (Balkenborg & Kaplan, 2009).

3.2 Aan welke randvoorwaarden moet voldaan worden bij klaslokaalexperimenten?

Experimenten maken de leerstof beter te begrijpen mits voldaan is aan een aantal randvoorwaarden. Deze randvoorwaarden zijn grofweg in te delen in voorbereiding, instructie, uitvoering en verwerking (nabespreking) (Arkel, 2009).

Voorbereiding

De voorbereiding van een klaslokaalexperiment is essentieel. Leerlingen zouden vanuit het experiment zelf het verband moeten zien met de leerdoelen en dat vergt een gedegen voorbereiding (Arkel, 2009). Allereerst is de keuze voor het juiste experiment van belang. Hoewel er inmiddels veel uitgewerkte klaslokaalexperimenten zijn gepubliceerd is het komen tot het juiste experiment, dat niet alleen simpel is of duidelijke instructies bevat maar dat ook precies dat doet wat door de docent beoogd is, een uitdaging.

(12)

Het moet duidelijk zijn welke leerdoelen worden nagestreefd bij het experiment. Ook moeten de eventuele ondersteunende (leer)middelen voorhanden zijn. De tijdsduur van een experiment is natuurlijk ook van belang, dit is immers bepalend voor de indeling en het verloop van de economieles (Arkel, 2009) Instructie

De instructie is een bepalende factor voor het succesvol laten verlopen van het experiment. Iedere participant dient volledig op de hoogte te zijn van de regels die gelden tijdens de uitvoering van het kaslokaalexperiment. Vaak worden de instructies niet alleen uitgedeeld maar ook hardop voorgelezen. Dit heeft tot doel dat de docent zich ervan verzekert dat essentiële details niet over het hoofd worden gezien door de deelnemers en dat onnodig commentaar wordt vermeden. Een veel gemaakte fout bij de instructie van experimenten is dat de instructeur veel extra opmerkingen maakt die het verloop van het experiment kunnen beïnvloeden en die bovendien ten koste gaat van tijd die beter gebruikt kan worden voor de nabespreking (Holt, 1999).

De docent dient het experiment te begeleiden en ervoor te zorgen dat de spelregels goed begrepen worden. Hij dient echter niet de verwachte uitkomsten te vermelden of de studenten te vertellen welke beslissing ze zouden moeten nemen. De docent moet niet liegen tegen de deelnemers door bijvoorbeeld aan te geven dat er geld te verdienen valt, terwijl dat achteraf niet wordt gegeven. Dat kan er toe leiden dat deze deelnemers in volgende experimenten niet meer serieus participeren waardoor de uitkomsten ook niet meer representatief zijn en afwijken van de economische theorieën (Emerson, 2007).

Vooraf moet de docent bepalen al dan niet gebruik te maken van beloningen (voor de winnaars) bij de experimenten. In de literatuur geeft men doorgaans aan dat niet belonen of beperkt belonen volstaat. Zo geeft Holt (1999) aan dat een kleine beloning bij klaslokaalexperimenten nuttig kan zijn om volkomen willekeurig gedrag te voorkomen, maar dat grotere beloningen juist kunnen leiden tot extreem rivaliserend gedrag bij de deelnemers. Dat komt onder andere doordat de klasgenoten bekenden zijn van elkaar zodat dit gedrag niet realistisch is voor een economische context waarbij de deelnemers elkaar niet kennen. Holt geeft als oplossing om niet iedereen (of alle winnaars) uit te betalen bij klaslokaal-experimenten maar na afloop een winnaar willekeurig te kiezen (bijvoorbeeld door loting) en alleen deze deelnemer(s) te belonen. In het onderzoek van Dickie (2006) zijn ook twee groepen met elkaar vergeleken die beide deelnamen aan klaslokaalexperimenten. In de ene groep werd wel gebruik gemaakt van een beloning bij de experimenten en bij de nader niet. Uit het onderzoek bleek dat het gebruik van een beloning niet leidde tot betere resultaten of een actievere houding .

Belonen door een ophoging van het cijfer te geven bij een (volgende) toets is volgens Holt (1999) niet wenselijk omdat de deelnemers dan een gevoel van oneerlijkheid kunnen ervaren en daarover in discussie willen met de docent. Daarnaast zouden cijfers niet mogen afhangen van de mate waarin een student succesvol is bij experimenten (bijvoorbeeld studenten die goed zijn in handelen). Extra punten geven aan winnaars van klaslokaalexperimenten leidt dus vooral tot stress en conflicten.

Uitvoering

Na een goede voorbereiding kan het experiment beginnen door de instructie door te nemen met de leerlingen. Er dient voor te worden gezorgd dat leerlingen alleen vragen kunnen stellen over de spelregels en niet over mogelijke tactieken waardoor het verloop van het experiment beïnvloed zou kunnen worden (Arkel, 2009). Tijdens het experiment zorgt de docent ervoor dat alles verloopt binnen de afgesproken kaders en treedt de docent alleen op in gevallen waarin leerlingen zich (al dan niet bewust) anders dreigen te gaan gedragen dan van tevoren was afgesproken. De docent heeft ook nagedacht hoe om te gaan met laatkomers. Daarnaast houdt de docent de tijd in de gaten zodat er voldoende tijd overblijft voor de nabespreking.

Verwerking (nabespreking)

Na afloop zal onderzocht moeten worden of de vooraf gestelde leerdoelen daadwerkelijk zijn bereikt. Bij veel experimenten kan dit gedaan worden met een nabespreking of een klassendiscussie. Ook zou dit kunnen gebeuren met behulp van (groeps)opdrachten. Zonder deze terugkoppeling naar de kennisbasis is een experiment niet veel meer dan een spel. Om echt van een geslaagd experiment te kunnen spreken is

(13)

een succesvolle verwerking van het geleerde van evident belang. Het resultaat van het afgenomen experiment zal geabstraheerd moeten worden naar algemeen geldende economische concepten. Indien de docent kiest voor een nabespreking zou hij de deelnemers moeten vragen de resultaten te analyseren met behulp van hun economische kennis (Emerson & Hazlett, 2007). Bij de nabespreking van een experiment volstaat het vaak om enkele antwoorden van enkele deelnemers te bespreken. Deze zijn vaak illustratief voor de andere antwoorden en deelnemers. Ook kan men eventueel gebruik maken van de resultaten van voorgaande experimenten (Balkenborg & Kaplan, 2009).

3.3 Het effect van klaslokaalexperimenten op leerresultaat

Er is met name in de Verenigde Staten onderzoek gedaan naar het leereffect van klaslokaalexperimenten. In Amerikaans onderzoek naar een dergelijk leereffect wordt vaak gebruik gemaakt van een gestandaardiseerde toets: Test of Understanding in College Economics (TUCE). Deze landelijk geüniformeerde toets wordt doorgaans afgenomen bij studenten die een introductiecollege economie volgen. Een deel van de test betreft micro-economische stof en het andere deel gaat over macro-economie. Het micro-economische deel bestaat uit 33 meerkeuzevragen. Vanwege het gestandaardiseerde karakter (de toets wordt op landelijk niveau gemaakt) leent deze test zich goed voor het doen van verschillenanalyses.

Gremmen en Potters (1997) deden onderzoek naar de resultaten van het gebruik van simulatiegames bij de uitleg van een economisch onderwerp (internationale economische relaties). Net als bij dit onderzoek werd de totale groep in tweeën gesplitst. In de ene groep (gamegroup) werd een economisch principe kort toegelicht waarna de studenten middels een simulatie een spel speelden waarbij dit economisch principe werd toegepast. Deze studenten ervoeren letterlijk het economische principe. De andere groep (lecturegroep), de controlegroep, kreeg dezelfde korte toelichting op het economische verschijnsel maar in de daarop volgende lessen kregen zij een verdere theoretische onderbouwing van het economische model. Zij speelden dus geen simulatiespel. Er werden bij beide groepen zowel vooraf als achteraf testen afgenomen om de kennis bij de studenten te peilen. Er bleek vooraf nauwelijks verschil te zijn in kennis tussen beide groepen. Achteraf bleek de gamegroup aanzienlijk hoger te scoren op een TUCE-test dan de lecturegroup. Dit onderzoek (Gremmen & Potters, 1997) ging over slechts één experiment. Fels (1993) gaf al eerder aan dat hij twijfelde aan de waarde van onderzoek waarbij slechts één experiment werd gebruikt. Hij dacht niet dat één experiment het verschil kon maken. Om deze reden pasten Emerson en Taylor (2004) meerdere klaslokaalexperimenten toe in hun onderzoek. Van de 300 onderzochte studenten die een introductiecollege micro-economie kregen, volgden 59 studenten de collegereeks waarbij elf experimenten werden gedaan. De overige studenten (241) volgden de traditioneel opgezette colleges zonder experimenten. Los van de experimenten werd geprobeerd andere factoren zoveel mogelijk hetzelfde te houden. Het aantal contacturen was gelijk, het betrof dezelfde docent en er werd gebruik gemaakt van hetzelfde studieboek waaruit dezelfde onderdelen werden besproken. De experimentele groep scoorde gemiddeld aanzienlijk hoger op de TUCE eindtoets dan de controlegroep die op de traditionele manier de stof kreeg aangeboden. Ook gaven de resultaten van het onderzoek aan dat het leereffect ook afhangt van de score voor een taal- en wiskundetoets: hoe hoger de score op deze toetsen, hoe hoger het leerrendement van klaslokaalexperimenten.

Dickie (2006) deed ook onderzoek naar het effect van klaslokaalexperimenten. Daarnaast onderzocht hij ook of de leerresultaten bij experimenten afhangen van de vraag of er gewerkt word met een (geldelijke) beloning voor de ‘winnaars’ van het experiment. Hij vroeg zich ook af of klaslokaalexperimenten de verschillen tussen goede en minder goede studenten zou laten doen afnemen. Voor het onderzoek gebruikte hij zeven klaslokaalexperimenten en 142 studenten micro-economie in drie groepen verdeeld. In twee groepen werden de klaslokaalexperimenten gedaan, terwijl deze in de derde groep (de controlegroep) niet werden gebruikt. De zeven klaslokaalexperimenten werden gedaan in een periode van vijftien weken. In één van de groepen die klaslokaalexperimenten deden, werden er bij de experimenten geen beloningen gegeven terwijl dat wel gebeurde bij de andere experimentele groep. De beloning bestond in dit geval uit maximaal een extra punt op het eindcijfer. Ook Dickie (2006) gebruikte de TUCE-toets als instrument voor zijn onderzoek. Zowel een voormeting als een nameting werd bij alle drie de groepen afgenomen. Het resultaat was een significant verschil tussen de controlegroep en de

(14)

experimentele groep: de studenten die hadden deelgenomen aan de colleges met klaslokaalexperimenten scoorden gemiddeld hoger op de TUCE-toets. Uit de gegevens bleek verder dat het gebruik van een beloning niet leidde tot betere resultaten of een actievere houding. De verschillen tussen goede en minder goede studenten namen door de klaslokaalexperimenten toe. Uit het onderzoek bleek dat de klaslokaalexperimenten de goede studenten nog betere resultaten liet halen terwijl de slechtste studenten juist lagere resultaten behaalden.

De gehanteerde klaslokaalexperimenten in het onderzoek van Ball, Eckel en Rojas (2006) waren computergestuurde experimenten. Door gebruik te maken van computer konden grotere groepen studenten tegelijk participeren in een klaslokaalexperiment. De twee groepen studenten die met elkaar werden vergeleken bestonden elk uit 80 studenten. De studenten werden vooraf niet geïnformeerd over het onderzoek. Beide groepen kregen te maken met experimenten. Op de momenten van de experimenten kreeg de controlegroep een uitwerking op papier met uitkomsten van het betreffende experiment. Zij deden het experiment dus niet zelf maar moesten wel over het betreffende experiment lezen en de resultaten analyseren. Vervolgens kregen zij daar vragen over. De experimentele groep voerde de experimenten daadwerkelijk uit, zij waren deelnemers van de economische spellen. Deze groep kreeg achteraf dezelfde vragen over het experiment. Op deze manier werd het effect van het daadwerkelijk doen van de experimenten gemeten. Uit de resultaten van dit onderzoek blijkt dat er een significant verschil was tussen de experimentele groep en de controlegroep bij een eindtoets die beide groepen maakten: de experimentele groep scoorde 5% hoger. Verder bleek uit de resultaten dat vrouwen aanzienlijk hoger scoorden bij de groep die de experimenten uitvoerden dan mannen.

Het onderzoek dat gedaan is naar het effect van klaslokaalexperimenten geeft overigens geen eenduidig beeld. In een onderzoek van Cardell (1996), waarbij meerdere klaslokaalexperimenten ingezet werden bij een vak dat een introductie geeft op micro-economie, bleek dat er geen significant verschil meetbaar was tussen een groep studenten die deze colleges volgden met experimenten en de groep studenten die colleges volgden op de meer traditionele manier (en dus zonder experimenten). Yandell (1999) deed vijftien jaar geleden onderzoek naar het effect van klaslokaalexperimenten. Hij onderzocht aan de Universiteit van San Diego (USD) een groep van 35 studenten die tijdens een semester van veertien weken gedurende zes uur per week een geïntegreerde collegereeks volgden van zowel micro- als macro-economie. In de eerste zeven weken kwam micro-economie aan bod en in de laatste zeven weken werden macro-economische colleges gegeven. Er werden tijdens de colleges meerdere klaslokaal-experimenten gedaan. De onderzochte hypothese was dat er een verbetering van het resultaat zou optreden. Om dit te testen werden de resultaten van de studenten en de studentevaluaties vergeleken met die van een groep van 31 studenten die hetzelfde vak hadden gevolgd van dezelfde docent, maar een jaar eerder en zonder klaslokaalexperimenten. Hoewel de groep studenten die de colleges volgden met klaslokaalexperimenten een gemiddeld hoger score haalden, was dit verschil niet significant.

3.4 Het effect van klaslokaalexperimenten op motivatie

Als het saai wordt in de scheikundelessen kan de leraar iets in de fik steken of iets opblazen. Bij economie hebben we niet een dergelijke interessante chemische reactie om op terug te vallen. Interactieve experimenten geven ons een manier om de aandacht van onze leerlingen te behouden terwijl ze hun economische kennis vergroten (Ball et al, 2006). Deze mooie uitspraak doet vermoeden dat klaslokaalexperimenten positieve aandacht genereert van de leerlingen. De vragen of klaslokaal-experimenten bijdragen aan motivatie bij leerlingen en hoe je dat dan zou moeten meten staan in deze paragraaf centraal.

Holt (1999) heeft, na toepassing van verschillende klaslokaalexperimenten, onderzoek gedaan naar het effect op de motivatie van de studenten. De resultaten van het onderzoek geven aan dat de experimenten effectief zijn omdat de studenten zelf in een economische omgeving (waarvan zij de theorie moeten begrijpen) worden gezet. Door zelf de economische ‘krachten’ te ervaren maken de studenten zich eerder, beter en op een leukere manier de economische theorieën eigen.

(15)

Dat studenten meer gemotiveerd zijn bij de lessen waarbij klaslokaalexperimenten worden gedaan blijkt uit het aantal studenten dat ervoor kiest om dergelijke vakken (met klaslokaalexperimenten) te volgen. Uit het onderzoek van Holt (1999) blijkt dat deze aantallen significant stijgen op de verschillende onderzochte Amerikaanse universiteiten waar vakken werden geïntroduceerd die gebruik maakten van deze klaslokaalexperimenten. Ook het aantal studenten dat tussentijds ‘uitvalt’ was opzienbarend gedaald.

Ball et al (2006) concludeerden uit hun onderzoek dat bij de evaluaties na de experimenten aanzienlijk hogere scores werden ingevuld door de studenten dan bij (economische) vakken zonder klaslokaal-experimenten (en gegeven door dezelfde docent). De studenten die aan de klaslokaal-experimenten deelnamen vonden de gevolgde colleges veel stimulerender dan de studenten uit de controlegroep.

In het onderzoek van Yandell (1999) werd naast de leerprestaties ook gekeken naar de studentenevaluaties waarbij een vergelijking werd gemaakt tussen de studenten met en zonder klaslokaalexperimenten. Er werden bij deze studentenevaluatie vragen gesteld aan de hand van stellingen over de gevolgde colleges en over de docent (de student kon aangeven in welke mate hij/zij het eens was met de stelling aan de hand van zes antwoorden: excellent – zeer goed – goed – gemiddeld – slecht – heel slecht). Er werd hier wel een significant verschil gevonden: er werd aantoonbaar hoger gescoord op de studententevredenheid en op de docentevaluatie. Ook uit het onderzoek van Dickie (2006) blijkt dat studenten het leuk vinden om deel te nemen aan klaslokaalexperimenten. Balkenborg en Kaplan (2010) pleiten voor het gebruik van klaslokaalexperimenten omdat het een goede manier is om de belangstelling bij studenten te bevorderen en om studenten in aanraking te laten komen met belangrijke economische concepten. Het is een welkome afwisseling op de ‘gewone’ standaardcolleges en de experimenten kunnen bij uitstek gebruikt worden als start van een discussie over een economisch onderwerp. Experimenten zijn leuk om te doen voor zowel de studenten als de docenten. Ze stimuleren studenten om meer te weten te komen van economische onderwerpen en het is een makkelijke manier om studenten te betrekken bij discussies over economische mechanismen. Een ander voordeel is dat klaslokaal-experimenten op elk niveau kunnen worden ingezet.

Van den Brekel en Gremmen (2011) deden onderzoek naar het effect van klaslokaalexperimenten op het gedrag van leerlingen in het Nederlandse voortgezette onderwijs. Ze vroegen zich af of het gebruik van experimenten een positief effect zou hebben op de motivatie van leerlingen gemeten in termen van een gedragsverandering. Er werden vier 4 VWO-klassen op twee verschillende scholen (twee op elke school) vergeleken met elkaar. Op de ene school werden klaslokaalexperimenten gedaan en op de andere school niet. Voor en na de lessenserie werden in alle klassen vragenlijsten ingevuld. Motivatie werd in dit onderzoek voor een deel gemeten door te kijken naar de tijd die leerlingen besteedden aan hun economiehuiswerk en de tijd die ze gebruikten om hun economieproefwerk voor te bereiden gecorrigeerd met de tijd die de docenten op de betrokken scholen op dat moment normaal achtten voor het huiswerk en voor het voorbereiden van een proefwerk. Daarnaast werd motivatie gemeten aan de hand van het voorgenomen keuzegedrag van de leerling: de kans dat ze hun profielwerkstuk voor het vak economie zouden willen gaan schrijven en de kans dat ze een economische studie zouden willen gaan volgen na het VWO. Verder werden er in de afgenomen vragenlijst vragen gesteld over vijf factoren die volgens eerder onderzoek (Schunk, Pintrich & Meece in Brekel & Gremmen, 2011) de motivatie van leerlingen kan beïnvloeden: mate van vertrouwen in eigen kunnen, de waarde die de leerling toekent aan het vak economie, interesse in het vak, intrinsieke motivatiefactoren zoals nieuwsgierigheid naar economische aspecten van het leven en waardering voor de docent. Op de experimentele school werden in twee maanden tijd drie klaslokaalexperimenten gedaan met daaraan gekoppeld (per experiment) een verwerkingsopdracht die zowel over het experiment gingen als over de relatie tussen het experiment en de stof. De effecten van de klaslokaalexperimenten op de motivatie bleken significant. De leerlingen van de experimentele groep gingen gemiddeld meer huiswerk maken en meer tijd besteden aan de voorbereiding van een economieproefwerk. Ook bleek de kans op een positieve verandering tussen de nulmeting en de nameting bij de waarschijnlijkheid dat de betreffende leerling een profielwerkstuk zou gaan schrijven voor het vak economie en bij de waarschijnlijkheid dat de leerling een economische vervolgstudie zou kiezen, bij de experimentele groep aanzienlijk groter te zijn dan bij de controlegroep. De auteurs maakten echter wel een aanzienlijke kanttekening: omdat de huiswerktijd en voorbereidings-tijd voor een proefwerk werden gemeten door de voorbereidings-tijd die leerlingen hieraan besteedden minus de voorbereidings-tijd die

(16)

de docent daar voor nodig achtte zouden de uitkomsten sterk kunnen veranderen als de betreffende docenten een andere inschatting zouden hebben gemaakt. Hoewel dit laatste onderzoek een van de weinige onderzoeken is naar motivatie van leerlingen door klaslokaalexperimenten in het Nederlandse voortgezette onderwijs, maakt de genoemde kanttekening dat de uiteindelijke conclusies niet heel sterk zijn.

Er wordt in het onderwijs meer onderzoek gedaan naar de motivatie van leerlingen. Niet zelden wordt er dan gebruik gemaakt van een schoolvakbelevingstest. Zo deed Wilschut (2012) onderzoek naar de vakbeleving van leerlingen bij de maatschappijvakken in vergelijking met de vakbeleving van leerlingen bij de zogenaamde kernvakken (Nederlands, Engels en wiskunde). De test werd ook gebruikt door de SLO bij de evaluatie van het nieuwe examenprogramma economie HAVO (SLO, 2009). Deze enquête is een vragenlijst die eerder was ontwikkeld als ‘belevingsschaal voor wiskunde’ door medewerkers van het CITO (Martinot, Kuhlemeier & Feenstra in Wilschut, 2012). Bij latere toepassing van deze gevalideerde vragenlijst bij andere vakken bleek de vragenlijst ook hier valide te zijn (Otten & Boekaerts in Wilschut, 2012). Deze test is onder te verdelen in vier categorieën die elk betrekking hebben op een aspect van de beleving van het vak: de mate waarin het vak leuk wordt gevonden, de mate waarin het vak als niet moeilijk wordt ervaren, de mate waarin het vak interessant wordt gevonden en de mate waarin het vak nuttig wordt gevonden. Voor de meting van elke categorie zijn (per categorie) 8 indicatoren gebruikt. De betreffende categorie is derhalve geoperationaliseerd in acht uitspraken / stellingen waarbij gebruik wordt gemaakt van een schaal die bestaat uit 5 waarderingen van “helemaal mee eens” tot “helemaal niet mee eens” met daaraan gekoppeld een score van 1 t/m 5. Deze 8 indicatoren vormen uiteindelijk gezamenlijk de totaalscore in de betreffende categorie. De aan de antwoorden gekoppelde scores worden bij elkaar opgeteld tot een totaalscore. De totaalscores bij deze 4 categorieën kunnen dus variëren van de score 8 (namelijk acht keer een score 1) tot maximaal 40 (acht keer een score 5). De variabelen zijn op een gelijke manier geschaald: een hoge score komt overeen met een hogere mate van plezier, een lagere mate van moeilijkheid, een hogere mate van inzet en van nut.

3.5 Effectiviteit van klaslokaalexperimenten

In de voorgaande paragrafen blijkt dat er meestal een positief effect wordt gemeten van klaslokaal-experimenten op kennis en vakbeleving. De onderzoeksvragen in dit rapport zijn ook van deze strekking: er zal onderzocht worden of deze effecten ook meetbaar zijn in het middelbaar economieonderwijs in Nederland. Hoewel de onderzoeksvragen in dit rapport niet primair gaan over de vraag hoe deze effecten kunnen ontstaan, zal daar in deze paragraaf kort nader op in worden gegaan.

Het eerste rapport van de commissie Teulings (2002) heet niet voor niets: “economie moet je doen”. Leerlingen krijgen de smaak van economie te pakken als ze er actief mee omgaan en het is daarom van belang dat inzichten uit de economische theorie op levendige wijze over het voetlicht wordt gebracht. Zoals Holt (1999) in zijn onderzoek al aangaf zijn experimenten effectief omdat de studenten zelf in een economische omgeving (waarvan zij de theorie moeten begrijpen) worden gezet. Door zelf de economische ‘krachten’ te ervaren maken de studenten zich eerder, beter en op een leukere manier de economische theorieën eigen. Nadat de studenten hebben deelgenomen aan de experimenten kunnen zij bij de nabespreking uit eigen ervaring putten. Hierdoor blijkt dat deze lesmethode effectiever is dan de meer traditionele lessen (Holt, 1999). Dat het gebruik van klaslokaalexperimenten leerlingen motiveert voor het vak komt ook volgens Noussair en Walker (1999) omdat leerlingen actief participeren in deze werkvorm: een leerling wordt geacht te participeren en individuele opbrengsten alsmede de uitkomst van het experiment worden bepaald door handelingen van de actoren. Ook kent een experiment vaak winnaars en verliezers waardoor leerlingen eerder gemotiveerd raken over hun strategie na te denken. Leerlingen vinden het leuk om actief deel te nemen aan het experiment en het experiment leidt tot een beter begrip van een bepaald economisch (abstract) concept (Noussair & Walker, 1999). Kneppers (2007) beaamt dit. Het actievere leren (leren door te participeren) zorgt voor een beter begrip van een bepaalde context in tegenstelling tot een theoretische analyse van een model waarbij men slechts aangeeft dat het toepasbaar is op verschillende economische situaties. Een economische theorie ‘in actie zien’ en daarbinnen zelf participeren leidt tot een beter begrip van deze theorie. Participeren in een klaslokaalexperiment is een inductieve manier van leren: de lessen uit het experiment kunnen

(17)

geabstraheerd worden naar een algemene economische theorie. Balkenborg en Kaplan (2010) geven aan dat door de actieve deelname aan het economische experiment het geleerde veel langer zal beklijven bij de student. Dit is een betere manier dan wanneer de studenten een theoretische analyse van een model krijgen voorgehouden met de toelichting dat het onderzochte mechanisme ook toepasbaar is op andere economische situaties. Juist door de theorie in actie te zien en deze zelf te ervaren zullen de studenten het mechanisme beter begrijpen en ook geloven dat het in andere situaties van toepassing kan zijn. Dat er ook onderzoeken zijn waaruit blijkt dat klaslokaalexperimenten niet leiden tot een verbetering van de resultaten kan volgens Dickie (2006) te maken hebben met het feit dat het effect van verschillende klaslokaalexperimenten heel diffuus is. Waar het ene experiment maar beperkt wat toevoegt aan de begripsvorming kan weer een ander experiment het begrip van een bepaalde concept juist aanzienlijk doen verbeteren. Dit verschil in leereffect per experiment kan ertoe leiden dat in bepaalde onderzoeken minder effecten blijken dan in andere onderzoeken. Uit ander onderzoek (Ball et al, 2006) blijkt dat het leereffect van klaslokaalexperimenten afneemt naarmate de studenten langer studeren. Het effect van een klaslokaalexperiment zou afhangen van hoeveel (economische) kennis iemand al bezit.

Conceptweg of contextweg?

Volgens Kneppers (2009) is er bij alle constructivistische leerpsychologische stromingen empirisch bewijs geleverd dat om effectief te leren leerlingen zelf kennis moeten construeren. Daaruit kan geconcludeerd worden dat het onderwijs zo moet worden opgezet dat leerlingen daartoe worden uitgelokt. Onder andere klaslokaalexperimenten lenen zich hier goed voor. Het zelf construeren van kennis kan op verschillende wijzen tot stand komen. De vraag daarbij is of conceptweg of de contextweg wordt bewandeld. Bij de conceptweg leren leerlingen eerst de concepten nog los van de contexten. Bij de contextweg maken de leerlingen juist vanuit de aangeboden context een transfer naar andere contexten waarbij leerlingen via de context tot begrip komen van de concepten. Kneppers (2007) heeft in haar onderzoek geen verschil kunnen aantonen tussen beide manieren. Wel gaat zij ervan uit dat contextgericht onderwijs effectiever is. Daarbij gaat het onderwijs uit van voor leerlingen herkenbare situaties. Daarnaast motiveert deze werkwijze de leerlingen voor het vak: het maakt duidelijk waarom het interessant is om met het vak bezig te zijn. Dit bevordert hun interesse in het vak waardoor zij dieper op vakkennis ingaan. Het is onvoldoende om economische concepten eerst te leren en daarna enkele oefeningen in de context te maken. In het economieonderwijs lijkt men nog te vaak voor alleen de conceptweg te kiezen.

Ook bij het uitvoeren van de klaslokaalexperimenten moet een keuze gemaakt worden voor de concept- of de contextbenadering. Concreet betekent dat, dat bij de experimenten moet worden afgewogen of eerst de theorie wordt besproken voordat het experiment wordt aangeboden of dat eerst het experiment wordt aangeboden waarna de theorie (als vanzelf) volgt. Naast Kneppers (2009) geven verschillende kenners (Holt & McDaniel, 1996; Noussair & Walker, 1999) er de voorkeur aan om het experiment uit te voeren voordat de theorie die het experiment laat zien besproken is. Als studenten zelf een theorie ervaren zullen zij meer overtuigd zijn van de toepasbaarheid ervan. Als het even mogelijk is moeten alle studenten meedoen omdat een actieve bijdrage aan een klaslokaalexperiment meer inzichten geeft dan een passieve rol, en daarnaast is actief meedoen leuker (Emerson, 2007). Ook Balkenborg en Kaplan vermelden dat experimenten meestal worden uitgevoerd voordat de stof (de theorie achter het experiment) in de les besproken gaat worden. Hinloopen (2009) laat het aan de docent zelf over of de economische theorie voor of na het experiment besproken dient te worden. Hij geeft aan dat de koppeling van het experiment naar de praktijk wellicht makkelijker is als de theorie al bekend is. Toch kan het ook een nadeel zijn als de besproken theorie het gedrag van de leerling bij het experiment zou beïnvloeden. Uiteindelijk kiest Hinlopen toch voor de context-concept benadering waarbij eerst het klaslokaalexperiment wordt gedaan en daarna de koppeling aan de theorie in een evaluatiegesprek plaatsheeft. Het is volgens hem voor de leerlingen een goede manier om te leren: het vertalen van het experiment naar de praktijk zonder dat de leerling op de hoogte is van de onderliggende economische theorieën. Ook hier is het resultaat van onderzoek niet volledig eenduidig. Boerrigter en Van Donderen (2013) concluderen dat juist de concept-context benadering leidt tot een groter leereffect. Zij geven daarbij aan dat verder onderzoek noodzakelijk is om vast te stellen of dit ook geldt voor andere (dan de

(18)

door hun onderzochte) concepten. Aangetekend moet worden dat het in dit onderzoek slechts om één klaslokaalexperiment ging.

3.6 Conclusies

Klaslokaalexperimenten zijn korte, interactieve oefeningen die zo zijn ontworpen dat ze bijdragen aan het begrijpen van economische concepten (Holt & McDaniel, 1996). In deze activerende werkvorm handelen leerlingen zelf als economische actor in een gegeven situatie (context) en leren ze door doen (SLO, 2009). Het is dus een werkvorm waarbinnen de context wordt geschapen om concepten te kunnen plaatsen in een simulatie van de werkelijkheid (Boerrigter & Van Donderen, 2013).

Experimenten maken de leerstof beter te begrijpen mits voldaan is aan een aantal randvoorwaarden. Het vergt allereerst een gedegen voorbereiding waarbij er een keuze voor een experiment wordt gemaakt op basis van de leerdoelen die worden nagestreefd. Bij de uitvoering van het experiment is het van belang dat iedere deelnemer de instructies goed begrijpt. De docent zorgt ervoor dat alles verloopt binnen de afgesproken kaders. Om van een geslaagd experiment te kunnen spreken is een succesvolle verwerking van het geleerde van belang waarbij onderzocht wordt of vooraf gestelde leerdoelen daadwerkelijk zijn bereikt. Dit kan aan de hand van een nabespreking of met behulp van een (groeps)opdracht.

In de meeste Amerikaanse onderzoeksliteratuur over klaslokaalexperimenten wordt gerapporteerd dat de experimenten een vergrotend leereffect teweeg brengen. Zowel Gremmen en Potters (1997) als Ball et al. (2006) maakten gebruikt van een computergestuurde simulatie. De groepen studenten die aan deze experimenten deelnamen haalden significant hogere scores op gestandaardiseerde toetsen. Emerson (2004) en Dickie (2006) deden meer dan één experiment in een bepaalde periode bij grotere groepen studenten. Ook bij deze onderzoeken bleken de studenten significant hoger te scoren op de eindtoets dan de studenten uit de controlegroepen. Uit beide onderzoeken blijkt tevens dat de betere student meer baat heeft bij klaslokaalexperimenten dan minder goede studenten.

Niet al het onderzoek wijst op een hoger leerrendement door experimenten. Uit het onderzoek van Cardell (1996) en van Yandell (1999) bleek dat de studenten die de experimenten hadden gedaan wel hoger scoorden dan de controlegroep, maar dit was geen significant verschil.

In het onderzoek van Yandell (1999) werden echter wel significant hogere scores gemeten bij de studentenevaluaties. Ook in onderzoeken van Dickie (2006) en Ball et al (2006) zijn significant hogere scores gemeten wat duidt op een betere motivatie bij studenten die hebben deelgenomen aan klaslokaalexperimenten. Deze studenten vonden de gevolgde colleges veel stimulerender dan de studenten uit de controlegroepen. Holt (1999) beschrijft in zijn onderzoek dat na toepassing van klaslokaalexperimenten bleek dat het betreffende vak significant vaker werd gekozen en dat de tussentijdse uitval opzienbarend was gedaald.

Dat klaslokaalexperimenten meer effect sorteren komt volgens Holt (1999) doordat studenten direct in de te bestuderen economische omgeving worden geplaatst waarna zij uit eigen ervaring kunnen putten bij de bespreking van de economische theorie. Kneppers (2007) beaamt dit. Participeren in een experiment is een inductieve manier van leren: de lessen uit het experiment kunnen geabstraheerd worden naar een algemene economische theorie (Kneppers, 2007).

De meeste kenners (Holt & McDaniel, 1996; Noussair & Walker, 1999; Kneppers, 2007; Hinloopen, 2009) geven er de voorkeur aan om eerst het experiment (de context) uit te voeren en daarna pas de achterliggende theorie te bespreken (het concept). Recent onderzoek (Boerrigter & Van Donderen, 2013) laat echter zien dat de concept-context effectiever kan zijn.

(19)

4. Conceptueel model

Het doel van deze studie is onderzoeken of er een verschil in effect bestaat tussen twee lesmethoden bij de uitleg van het onderwerp speltheorie. Op basis van de literatuur is de verwachting dat er een verschil meetbaar is in vakbeleving en in het resultaat van een kennistoets. Dit verschil ontstaat doordat leerlingen actief meedoen bij de klaslokaalexperimenten en zodoende economische principes ervaren. Vanuit de uiteenzetting (theoretisch kader) over het effect van het gebruik van klaslokaalexperimenten volgt de veronderstelling dat het gebruik van deze klaslokaalexperimenten een positieve invloed heeft op het resultaat van de leerlingen bij een kennistoets over de speltheorie en dat het een positief effect heeft op de vakbeleving bij deze leerlingen (hypothese). Dit is als volgt weer te geven in een eenvoudig causaal model:

figuur 2: conceptueel model

Om in dit onderzoek de causale verbanden te kunnen toetsen moeten er metingen plaatshebben op verschillende momenten bij verschillende groepen leerlingen: een controlegroep en een experimentele groep (zie verder paragraaf 6.2, causaliteit en ontwerp van onderzoek).

gebruik klaslokaalexperimenten bij uitleg speltheorie

positief effect op resultaat

kennistoets over de speltheorie

positief effect op vakbeleving

(20)

5. Interventie

Zoals beschreven blijkt uit de meeste internationale literatuur dat het gebruik van klaslokaalexperimenten een positief effect heeft op de resultaten en op de vakbeleving bij leerlingen/studenten. Leerlingen die meedoen aan klaslokaalexperimenten begrijpen de stof beter. De beschikbare literatuur gaat echter grotendeels over experimenten bij groepen studenten op universiteiten in Amerika en niet over experimenten bij scholieren op Nederlandse middelbare scholen.

Hinloopen (2007) geeft aan dat onderzoek naar het effect van klaslokaalexperimenten weinig zin heeft op basis van slechts één klaslokaalexperiment. Het is beter om in een bepaalde periode meerdere klaslokaalexperimenten uit te voeren in één groep terwijl de andere groep leerlingen juist niet deelneemt aan deze experimenten en waarbij de andere omstandigheden zoveel mogelijk hetzelfde zijn. Ook Hinloopen concludeert dat de beschikbare onderzoeken veelal Amerikaans zijn (en afgenomen op universiteiten) en dat onderzoek naar klaslokaalexperimenten in het Nederlandse voortgezette onderwijs zeer wenselijk is (Hinloopen, 2007).

In dit onderzoek bestaat de interventie uit vijf verschillende klaslokaalexperimenten die worden ingezet in één economieklas (30 leerlingen) bij de uitleg van een economisch onderwerp. Speciaal voor dit onderzoek is er voor gekozen om de speltheorie te behandelen. Dit heeft twee redenen. Allereerst leent deze stof zich goed voor het doen van klaslokaalexperimenten. Ten tweede is dit onderdeel voor de 4-havoleerlingen geheel nieuw en is voorkennis niet aanwezig (ook zittenblijvers hebben dit onderwerp niet eerder gehad aangezien zij automatisch de overstap maken van het oude naar het nieuwe programma). Dat deze voorkennis inderdaad niet aanwezig is, is niet slechts een aanname maar dat blijkt ook uit de nulmeting waarin de kennis over de speltheorie bij zowel de controlegroep als de experimentele groep daadwerkelijk is getoetst (voor aanvang van het onderzoek). Voor de behandeling van de speltheorie is een op dit onderzoek toegespitste lessenserie geschreven (bijlage 4) die past in het vernieuwde examenprogramma en die zowel met als zonder het gebruik van klaslokaalexperimenten uitgevoerd kan worden. Net als in het onderzoek van Gremmen en Potters (1997) zullen ook in dit onderzoek de experimenten vervangend zijn: waar in de ene groep een onderwerp of een begrip met een onderwijsleergesprek besproken word met behulp van een voorbeeld zal in de andere groep het onderwerp/begrip met een klaslokaalexperiment worden behandeld. Het is dus niet zo dat de ene groep naast de ‘gewone’ uitleg nog extra uitleg krijgt door de klaslokaalexperimenten. De experimenten in de ene groep komen in plaats van het onderwijsleergesprek aan de hand van een voorbeeld in de andere groep.

Het onderzoek vindt plaats in twee (parallel lopende) 4-havoklassen. Beide groepen krijgen een lessenserie over de speltheorie. In één van de twee groepen (de experimentele groep) zal bij de lessen gebruik worden gemaakt van de vijf klaslokaalexperimenten terwijl bij de andere groep (de controlegroep) de stof zonder klaslokaalexperimenten zal worden aangeboden. De interventie bestaat derhalve uit de vijf klaslokaalexperimenten.

Hinloopen (2009) geeft aan dat het bij de uitvoering van klaslokaalexperimenten van groot belang is dat er sprake is van een gedisciplineerde uitvoering. Eerder gaf Hinloopen (2007) al aan waar een klaslokaalexperiment aan zou moeten voldoen: een leerling moet begrijpen wat hij of zij moet doen, wat wel en wat niet mag en wat de gevolgen zijn van een gemaakte keuze. Met name de instructie is derhalve van evident belang: een heldere, simpele, goed te begrijpen instructie is hét ingrediënt om een experiment te doen slagen. De vijf klaslokaalexperimenten die in dit onderzoek gebruikt worden voldoen aan deze criteria.

De klaslokaalexperimenten

In deze paragraaf zal nader ingegaan worden op de interventie, bestaande uit de vijf klaslokaal-experimenten. Er zal aangegeven worden welke concepten in de experimenten terug komen en waarom juist deze experimenten zich lenen voor het behandelen van deze begrippen. Tevens zal weergegeven worden waar deze specifieke experimenten oorspronkelijk vandaan komen of door wie ze zijn bedacht en

(21)

welke aanpassingen gedaan zijn alvorens de experimenten zijn toegepast in deze lessenserie. Ook is er aandacht voor de randvoorwaarden bij experimenten, zoals hierboven geschetst en die onder andere besproken zijn in het theoretische kader.

Experiment 1: Het cijferspel

Het idee voor dit experiment komt uit een internetcollege in 2007 over de speltheorie aangeboden door een Amerikaanse Universiteit (Yale University: open Yale Courses). Het experiment is helemaal aangepast aan de omgeving waarin het binnen deze lessenserie is toegepast: het is zo gemaakt dat het op een middelbare school binnen de lessen economie kan worden gebruikt.

Dit experiment wordt in de eerste les over de speltheorie gedaan en is bij uitstek te gebruiken bij groepen leerlingen die voor het eerst kennismaken met dit onderdeel. Het experiment is zo aangepast dat leerlingen zonder voorkennis een gevangenenprobleem ervaren en daarnaast ook door het experiment bekend raken met verschillende basale principes binnen de speltheorie. Eerst ervaren de leerlingen bijvoorbeeld hoe het is om na te moeten denken over de mogelijke keuzes van de andere spelers en vervolgens worden deze ervaringen in de nabespreking gekoppeld aan de verschillende spel-theoretische begrippen (zie ook powerpointpresentatie hoofdstuk 1 in bijlage 4c). Kortom, een experiment die bij de introductie van dit onderwerp niet zou mogen ontbreken.

Omdat de instructie bij experimenten duidelijk moet zijn en de spelregels goed begrepen dienen te worden, staan de instructies van dit experiment opgenomen in de powerpoint die bij dit experiment wordt gebruikt. Er is bij dit experiment bewust gekozen om een (beperkte) beloning te hanteren in de vorm van een cijfer. Op deze manier zijn de leerlingen extra alert en wordt volkomen willekeurig gedrag voorkomen (Holt, 1999). De nabespreking is essentieel voor het slagen van dit experiment. De leerlingen dienen de koppeling te leggen tussen het experiment en de stof. Ook hier wordt de nabespreking ondersteund door de powerpointpresentatie.

experiment 1: het cijferspel

doel Eerste kennismaking met de meest basale begrippen binnen de speltheorie. begrippen spel, spelers, strategie, uitkomst, uitkomstenmatrix, dominante strategie,

Nash-evenwicht, prisoner’s dilemma korte

omschrijving Leerlingen moeten zonder overleg een ‘X’ of een ‘Y’ op een blaadje schrijven. Er worden vervolgens willekeurige paartjes gemaakt waarbij de volgende uitkomsten mogelijk zijn (dit krijgen de leerlingen te zien voordat ze hun keuze maken):

- een X en een X: beide leerlingen krijgen het cijfer 6, - een Y en een Y: beide leerlingen krijgen het cijfer 8,

- een X en een Y: leerling met een X krijgt een 10, de leerling met een Y een 5. Door dit experiment zijn de leerlingen zelf de spelers binnen een spel waarbij er een dominante strategie is (X) en bij de nabespreking ervaren ze zelf dat deze dominante keuze niet leidt tot de optimale uitkomst: een voorbeeld van een prisoner’s dilemma.

figuur 3a: uitwerking van de vijf gebruikte klaslokaalexperimenten: experiment 1 Experiment 2: Eerlijk delen?

Na drie lessen over de speltheorie is de basis gelegd. De belangrijkste basisconcepten zijn in de les aan de orde geweest. Het is een goed moment om met behulp van het volgende experiment te toetsen of de theoretische lessen ook door de leerlingen in de praktijk worden gebracht. Waar het eerste experiment de allereerste kennismaking was met de belangrijkste begrippen binnen de speltheorie, is dit experiment een volgende stap waarbij de elementaire begrippen opnieuw terugkomen in een andere context. Het experiment is in iets aangepaste vorm gedaan door Noussair en Walker (1999). De leerlingen ervaren opnieuw een gevangenenprobleem en de vraag zal zich aandienen of het vooraf mogen overleggen met de medespelers tot een andere uitkomst zou kunnen leiden. Het experiment zal slechts enkele minuten duren. De nadruk ligt, ook bij dit experiment, op de nabespreking. Deze bespreking zal zeker meer tijd in beslag nemen. Ook bij dit experiment wordt bij zowel het spel zelf als bij de nabespreking gebruik gemaakt van een powerpoint.

Referenties

Outline

GERELATEERDE DOCUMENTEN

Bovendien kan een toevertrouwd belang volgens de memorie van toelichting niet alleen zijn gelegen in rechtstreeks uit de wet verkregen taken, maar even- eens in

To investigate whether fluctuations in enzymatic activities were reflected at the level of mRNA, we measured expression levels for GBA, and genes encoding CathD (CTSD), GCase ’s

Hoe worden klaslokaalexperimenten door docenten in Noord-Nederland in de bovenbouw van de havo en het vwo toegepast binnen het economie onderwijs en welke effecten ervaren docenten

Een nadere analyse waarin naast de in de vorige regressieanalyse genoemde controlevariabelen ook alle individuele campagne-elementen zijn meegenomen, laat zien dat

Maatregel Om de aanvoercapaciteit van zoetwater voor West-Nederland te vergroten wordt gefaseerd de capaciteit van de KWA via zowel Gouda als Bodegraven uitgebreid.. Dit

De laagste gemiddelde leeftijd (37 jaar) hebben degene met een af- wijkend bedrijfstype (speciale bedrijven)? voor dit soort bedrijven is kennelijk meer animo bij de jongere

In de eerste plaats moet het vaccin ervoor zorgen dat de dieren niet meer ziek worden, legt Bianchi uit, maar ook moet duidelijk worden of het virus zich via de ge

Tegen het einde van de proef werden eveneens oogstrijpe vruchten be­ monsterd en onderzocht- In tabel 9 zijn de gevonden