• No results found

Is digitaal het helemaal?

N/A
N/A
Protected

Academic year: 2021

Share "Is digitaal het helemaal?"

Copied!
106
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)
(2)

Is digitaal het helemaal?

Onderzoek naar het gebruik en de effectiviteit

van een digitale lesmodule in het VMBO

Masterscriptie

Rijksuniversiteit Groningen, Faculteit der Letteren

Communicatie- en Informatiewetenschappen

25-08-2010

(3)

Samenvatting

In het middelbaar onderwijs wordt steeds meer gebruik gemaakt van digitale leermiddelen. Er zijn digitale manieren om het leren te ondersteunen maar ook om het leren uit te voeren. Dit is het geval wanneer er gebruik gemaakt wordt van digitale lesmodules. Op het VMBO wordt er veel geëxperimenteerd met digitale leermiddelen. Een belangrijke reden hiervoor is het aantrekkelijk maken van onderwijs om vroegtijdig schoolverlaten tegen te gaan. Als voordelen van een digitale lesmodule worden genoemd dat het leerlingen motiveert en dat het aansluit op hun belevingswereld. Daarnaast zou het beter aansluiten op de leerdoelen die in de loop van de jaren verschuiven door de hoeveelheden informatie die te allen tijde beschikbaar zijn via het onder andere het internet. Nadelen die genoemd worden is dat leerlingen informatie minder goed kunnen onthouden als het via een beeldscherm aangeboden wordt, ook zouden digitale lesmethoden bijdragen aan de ‘flitscultuur’ en is er niet voldoende aangetoond dat het echt motiverend werkt.

In dit onderzoek wordt er door middel van een experiment ingegaan op de vraag hoe een digitale lesmodule gebruikt wordt en wat de effecten er van zijn. Ook wordt er ingegaan op de vraag hoe de gebruikers de digitale lesmodule ervaren. Een VMBO-klas heeft hiervoor les gekregen via een volledig digitale lesmodule, een andere VMBO-klas heeft dezelfde stof via een tekst- en werkboek doorgewerkt. Het onderwerp van de module was ‘natuurrampen’ en het experiment vond plaats bij het vak Aardrijkskunde.

(4)

Voorwoord

Hier is hij dan, mijn meesterproef. Nu deze scriptie af is, mag ik mij officieel een communicatie- en informatiewetenschapper noemen. Ik ben er trots op. Waarover deze scriptie zou gaan, had ik al lange tijd in mijn hoofd. Sinds het schrijven van mijn bachelorscriptie eigenlijk al. Het onderwijs en digitale ontwikkelingen hierin vind ik bijzonder boeiend. De komende jaren moeten er echt keuzes gemaakt worden op dit vlak; gaan we er mee door, gaan we dit volledig ontwikkelen? Ik ben heel benieuwd of er uiteindelijk echt volledig digitale lesmodules zullen verschijnen in de klas, of onder druk van de digitale revolutie de traditionele boeken naar de achtergrond gedrongen worden.

Hoewel ik deze scriptie wel mijn meesterproef noem, heb ik hem niet geheel op eigen kracht kunnen schrijven. Graag wil ik dan ook van deze plek gebruik maken om Jacqueline Kuijpers en de klassen 1a en 1b van het Canisius College in Nijmegen te bedanken. Er is immers geen experiment mogelijk zonder deelnemers. Ook is er geen scriptie mogelijk zonder begeleiding. Bij deze wil ik dus ook mijn begeleider en kritische lezer, Jan Berenst, hartelijk danken. Tot slot bedank ik mijn vader, Nico Wismans, voor het vinden van ‘slachtoffers’ voor dit experiment.

Zo, het hoge woord is er uit. Tijd voor vakantie.

(5)

Inhoudsopgave

Inhoudsopgave... 5

1. Inleiding... 8

2. Onderwijs en leren in relatie tot digitale leermiddelen ... 10

2.1 Leeractiviteiten en onderwijsactiviteiten ... 10

2.2 Theorieën over leren in het onderwijs... 11

2.3 De theoretische visies concreet zichtbaar in het (digitale) onderwijs ... 12

2.4 Leerstijlen... 14

2.5 Cognitieve verwerking van (digitaal) lesmateriaal ... 15

2.6 Veranderde leerdoelen en het leren post-Gutenberg ... 17

3.1 Digitale leeromgeving ... 23

3.2 Digitaal leermateriaal ... 24

3.3 Tekstueel digitaal leermateriaal... 24

3.4 Overig digitaal leermateriaal ... 26

3.5 De e-reader ... 27

3.6 Gebruik digitale leermiddelen en ICT-toepassingen in het VMBO... 28

4. Methode... 31 4.1 Opzet experiment ... 31 4.2 Variabelen ... 33 4.3 Pretest ... 33 4.4 Proefpersonen... 34 4.5 Effectstudie... 34 4.6 Attitude-onderzoek... 35

4.7 Observationeel deel van het onderzoek... 35

4.8 Interviews ... 37

4.9 Onderzoeksvragen ... 37

4.10 Verwerking van de resultaten en analyses ... 39

4.10.1 Analyse toetsresultaten... 39

4.10.2 Analyse attitude-onderzoek ... 40

4.10.3 Correlatieanalyse ... 41

(6)

5. Analyse ... 43

5.1 Vergelijking van leerresultaten ... 43

5.1.1 Totaalscore pretest en eindtoets... 43

5.1.2 Score op het onderwerp ‘aarde’... 44

5.1.3 Score op het onderwerp ‘aardbevingen’ ... 44

5.1.4 Score op het onderwerp ‘vulkanen’ ... 45

5.1.5 Score op het onderwerp ‘orkanen’... 46

5.1.6 Wat betekent dit? ... 46

5.2 Attitude van leerlingen ten opzichte van de digitale lesmodule... 48

5.2.1 Zijn leerlingen enthousiast? ... 48

5.2.2 Zijn leerlingen geconcentreerd? ... 49

5.2.3 Hebben de leerlingen liever les via de computer of uit het boek? ... 50

5.2.4 Hebben de leerlingen voorkeur voor de computer of het boek specifiek bij het maken van opdrachten? ... 51

5.2.4 Vinden de leerlingen het nakijken van opdrachten fijn via de computer? ... 52

5.2.5 Hebben de leerlingen voorkeur voor de computer of het boek specifiek bij het leren van de stof voor de toets? ... 52

5.2.6 Vinden de leerlingen de lesstof uit de digitale module overzichtelijk? ... 53

5.2.7 Vinden de leerlingen de filmpjes en animaties nuttig?... 53

5.2.8 Werken en studeren leerlingen sneller als de stof via de computer wordt aangeboden? ... 54

5.2.9 Vinden de leerlingen het handig dat ze geen boeken mee hoeven te nemen naar school? ... 55

5.2.10 Wat betekent dit? ... 55

5.3 Samenhang tussen leerresultaten en attitude ... 56

5.3.1 Enthousiasme ... 56

5.3.2 Concentratie ... 57

5.3.3 Voorkeur boek of computer ... 57

5.3.4 Maken van opdrachten ... 58

5.3.5 Leren van de stof ... 58

5.3.6 Nut filmpjes en animaties ... 59

5.3.7 Snelheid ... 59

5.3.8 Overige correlaties... 60

(7)

5.4 Het gebruik van de digitale lesmodule ... 63

5.4.1 Algemeen ... 63

5.4.2 Observaties bij de lessen met de digitale lesmodule ... 64

5.4.3 Observaties bij de lesmodule met tekst- en werkboek ... 67

5.4.4 Evaluatie met leerlingen... 69

5.4.5 Evaluatie met docent ... 71

5.4.6 Wat betekent dit? ... 75

6. Conclusie en discussie ... 76 6.1 Conclusie ... 76 6.2 Discussie en aanbevelingen... 80 7. Bibliografie... 84 8. Bijlagen... 87 Bijlage I - Pretest... 88 Bijlage II – Website... 90

Bijlage III – Attitude-onderzoek ... 99

(8)

1. Inleiding

De Chinese denker Kong Qiu, bekend onder de naam Confucius, leefde van 551 tot 479 voor Christus. Hij stelde: “wie luistert, vergeet; wie kijkt, onthoudt; wie doet, leert” (Petegem, 2007 p.1). Confucius zou zo in kunnen stappen in het debat dat anno 2010 in en rondom het onderwijs gevoerd wordt. De visie die hij aan de dag legt wordt ook nu nog besproken als het gaat om leerdoelen en manieren van onderwijzen en leren. Waar hij waarschijnlijk niet over mee kan praten, maar wat zeer belangrijk is in het hedendaagse debat, zijn de technologische ontwikkelingen in het onderwijs. Digitale leermiddelen zijn inmiddels niet meer weg te denken uit het onderwijs. In het voortgezet en hoger onderwijs maakt vrijwel elke school gebruik van een digitale leeromgeving om het onderwijs te ondersteunen of te verrijken (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 5). Ook het aanbod en het gebruik van digitale leermiddelen groeit. In het voortgezet onderwijs lopen verschillende proeven om de zware boekentassen te laten verdwijnen; boeken worden vervangen door laptops waarop het leermateriaal aangeboden wordt. Vanuit de overheid wordt tevens beleid gemaakt in de richting van meer gebruik van ICT in de klas. Het doel van het gebruik van ICT is in de loop der jaren verschoven van voorzieningengericht naar onderwijsgericht (Ministerie van OCW, 2006 p. 17-19). De grootste onderwijskundige veranderingen die er op dit moment plaatsvinden, vinden plaats in het VMBO. Er wordt geprobeerd het onderwijs aantrekkelijker te maken om zo vroegtijdig schoolverlaten tegen te gaan. Het gebruik van ICT wordt hier onder andere voor ingezet (Ministerie van OCW, 2006), (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 5).

Er vindt echter niet voor niets een onderwijskundig debat plaats. Er zijn voor- en tegenstanders van het zogenaamde learning. Voorstanders geven onder andere aan dat e-learning leerlingen motiveert, dat het aansluit bij hun belevingswereld en dat er meer en leukere lesvormen gebruikt kunnen worden (Meijer en van Eck, 2008), (Van den Beemt, Akkerman en Simons, 2009), (Baars, van de Ven en Jager, 2007). Tegenstanders vinden onder andere dat je vanaf een beeldscherm minder goed kunt leren dan vanuit een boek, dat de concentratie van de leerlingen minder is en dat je te afhankelijk bent van techniek als het boek verdwijnt. Volgens hen kan het schoolboek niet uit de klas verdwijnen (Baars, van de Ven en Jager, 2007), (Low en Jin, 2009).

(9)

digitale leermiddelen op het VMBO. Ook wordt onderzocht hoe het gebruik van digitaal lesmateriaal wordt ervaren. Twee klassen zullen in een experimentele setting les krijgen via twee verschillende lesmethoden. De ene klas zet een stapje ‘terug in de tijd’, door op een traditionele manier les te krijgen uit enkel een leer- en werkboek. De andere klas zal een stap in de toekomst zetten, door dezelfde stof via een volledig digitale module te volgen; boeken laten zij links liggen.

Het vak aardrijkskunde staat in dit onderzoek model. Dit is van nature een vak waarbij veel lappen tekst geleerd moeten worden en waarbij inzicht in aardrijkskundige processen van belang is. Dit maakt het interessant te onderzoeken hoe een compleet digitale lesmethode bij het vak aardrijkskunde werkt. De effectiviteit van de twee lesmethoden zal getoetst worden aan de hand van een proefwerk. Naast het toetsen van de effectiviteit is het van belang te bekijken wat leerlingen van de digitale lesmethode vinden en hoe er om wordt gegaan met de lesmethode. Aan de hand van een attitude-onderzoek, het observeren van lessen en het interviewen van docent en leerlingen zal dit duidelijk worden. Onder andere de manier van lesgeven en leren, motivatie, concentratie en de sfeer in de klas zullen hierbij aan bod komen. Het doel van het onderzoek is het leveren van een bijdrage aan het onderwijskundig debat door inzicht te geven in de effectiviteit en het gebruik van digitale leermiddelen. Het zal voor scholen houvast kunnen bieden in hun keuze voor een overstap naar een volledig digitale lesmethode. Daarnaast zal het handvaten bieden voor verder onderzoek naar specifieke onderdelen die een rol spelen bij het gebruik van een digitale lesmethode.

(10)

2. Onderwijs en leren in relatie tot digitale leermiddelen

Leren is het proces waarin een leerling vaardigheden aanleert, attitudes verwerft en natuurlijk kennis vergaart. Het proces van leren speelt zich niet alleen in het onderwijs af, ook in het dagelijks leven buiten de onderwijssetting wordt veel geleerd. Echter vindt leren in het onderwijs doelgericht plaats, waar dat buiten de onderwijssetting meer terloops gebeurt (Baars, Wieland, van de Ven en Jager, 2007 p. 14). Dit alles is niet anders als het leren plaatsvindt met behulp van digitale leermiddelen. Het ontwikkelen en gebruiken van digitale leermiddelen moet dan ook aansluiten bij theorieën over leren en ontwikkelingen hierin om een optimaal resultaat te bereiken.

In dit hoofdstuk zal in worden gegaan op theorieën met betrekking tot leren in relatie tot digitale leermiddelen. In het volgende hoofdstuk zal ingegaan worden op specifieke mogelijkheden tot het inzetten van digitale leermiddelen in verschillende onderwijssituaties. Dit alles wordt bekeken in het licht van de 12 tot 16-jarige VMBO-leerling.

2.1 Leeractiviteiten en onderwijsactiviteiten

Om optimaal te leren moeten leerlingen drie typen leeractiviteiten uitvoeren:

• Cognitieve leeractiviteiten, die door leerlingen worden gebruikt bij het verwerken van de lesstof. Leerresultaten die hier uit voortvloeien zijn kennis, begrip en kunde.

• Affectieve leeractiviteiten, die betrekking hebben op het gevoel dat de leerlingen hebben bij het leren. Hiertoe behoren bijvoorbeeld de verwachtingen die leerlingen hebben bij het leren en in welke mate leerlingen zichzelf kunnen motiveren.

• Meta-cognitieve of regulatieve leeractiviteiten, die betrekking hebben op taken als plannen, toetsen en het bijstellen van de overige twee leeractiviteiten.

(Baars, Wieland, van de Ven en Jager, 2007 p. 14)

De verschillende leeractiviteiten worden ook wel verwerkingsactiviteiten, motivationele activiteiten en regulatie-activiteiten genoemd (van der Neut, Teurlings en Kools, 2005 p. 14-15).

(11)

zichzelf zijn ze namelijk niet snel geneigd deze activiteiten te verrichten. Over het algemeen stellen Van der Neut, Teurlings en Kools dat leerlingen die relatief goed zijn met, of goede ondersteuning hebben wat betreft de affectieve activiteiten en regulatieve activiteiten, de beste leerprestaties hebben. Deze leeractiviteiten ondersteunen immers de cognitieve leeractiviteiten. Deze laatste categorie leeractiviteiten staat veelal centraal in de toetsing (van der Neut, Teurlings en Kools, 2005 p. 15).

2.2 Theorieën over leren in het onderwijs

Er zijn drie grote gangbare theorieën op basis waarvan onderwijs kan worden ingericht: het behaviorisme, het cognitivisme en het sociaal-constructivisme (Baars, Wieland, van de Ven en Jager, 2007 p. 26). Het behaviorisme is de oudste theorie over onderwijs, het cognitivisme en constructivisme zijn moderner.

• Het behaviorisme vindt zijn oorsprong in het werk van Thorndike, Pavlov en Skinner. Er wordt in deze theoretische oriëntatie gesteld dat leren plaatsvindt wanneer een prikkel uit de leeromgeving een reactie in de vorm van een bepaald gedrag teweegbrengt. Kennis wordt bij de behavioristen omschreven als het hebben van steeds meer antwoorden op steeds meer vragen. Het geheugen is dus een soort van kennisbank (met antwoorden), aangedreven door stimuli (vragen) (Van Dam, 1977 p 152). De behavioristen zien het denken van leerling als een black box. Een reactie op een prikkel uit de leeromgeving kan worden geobserveerd, wat zich in het hoofd van de leerling afspeelt echter niet. De behavioristen gaan dus voornamelijk in op de ‘buitenkant’ en niet op wat er zich in het hoofd afspeelt (Baars, Wieland, van de Ven en Jager, 2007 p. 26 en Ally, 2004 p. 5-6).

(12)

• Het sociaal-constructivisme tot slot, geeft aan dat leerlingen zelf actief vorm moeten geven aan hun leerproces. De leerling bouwt cumulatief aan zijn persoonlijk proces van kennisverwerving, betekenisgeving en vaardigheidsontwikkeling. Interactie met anderen speelt hier een belangrijk rol in. Men construeert een (sociale) werkelijkheid door middel van interactie met anderen (Simons, 2000 p. 42). In het kader van leren houdt dit in dat leerlingen worden aangemoedigd zich bewust te zijn van het eigen leerproces en daarover ook de regie te voeren. Een paar belangrijke aspecten van deze theorie over leren en onderwijs zijn het besef dat kennis snel veroudert, dat kennisbronnen explosief toenemen en dat levenslang leren noodzakelijk is om te functioneren in de samenleving (Baars, Wieland, van de Ven en Jager, 2007 p. 28 en Ally, 2004 p. 11-13). Een belangrijk verschil tussen het sociaal constructivisme en het hierboven aan bod gekomen cognitivisme is dat het sociaal-constructivisme meer oog heeft voor subjectieve zaken als normen en waarden. Cognitivisten proberen met andere woorden de interne processen van buiten af te observeren of te achterhalen, terwijl sociaal-constructivisten de subjectiviteit van deze aspecten tot uitgangspunt nemen (Simons, 2000 p. 43).

In deze twee laatste theoretische oriëntaties is een grote rol weggelegd voor het korte- en langetermijngeheugen. Een groot deel van de binnenkomende informatie wordt geselecteerd en gecodeerd in het kortetermijngeheugen en vervolgens doorgegeven, geregistreerd en verankerd in het langetermijngeheugen (Van Dam, 1977 p 154). Een onderscheidend element in de drie visies op onderwijzen en leren is de vraag naar sturing van het leerproces: de verantwoordelijkheid voor het monitoren en aansturen van het leerproces ligt bij het behaviorisme voornamelijk bij de docent en bij het cognitivisme en constructivisme veel meer bij de leerling (Baars, Wieland, van de Ven en Jager, 2007 p. 28).

2.3 De theoretische visies concreet zichtbaar in het (digitale) onderwijs

Ally (2004) geeft op basis van de bovenstaande drie theorieën over onderwijs en leren een aantal implicaties voor het onderwijs. Deze implicaties geven aan hoe de drie theorieën in het hedendaagse (digitale) onderwijs tot uiting (zouden kunnen) komen:

• Behaviorisme:

(13)

- Leerlingen moeten regelmatig worden getoetst om te bepalen of ze de leeruitkomsten hebben bereikt. Dit is belangrijk voor het bijsturen van het leerproces.

- De leermaterialen moeten in een geschikte volgorde worden aangeboden. (Bijvoorbeeld van eenvoudig naar complex of van kennis naar toepassing)

- Leerlingen moeten feedback krijgen zodat ze hun vorderingen kunnen volgen en zo nodig aanpassen

(Ally, 2004 p. 5-6 en Baars, Wieland, van de Ven en Jager, 2007 p. 26) • Cognitivisme

- Leerlingen moeten de informatie toepassen, analyseren, synthetiseren en evalueren zodat deze van behalve in het kortetermijngeheugen ook opgeslagen worden in het langetermijngeheugen.

- Toepassing van lesstof in een levensechte situatie helpt ook om informatie in het langetermijngeheugen op te slaan. De koppeling tussen leerstof en werkelijkheid moet dus helder zijn. Hierdoor neemt de betekenis van de leerstof toe en kunnen leerlingen het in een context plaatsen.

- Aangeboden lesstof moet gevarieerd zijn zodat de leerlingen kunnen studeren op de manier die zij het meest fijn vinden. Digitale leermiddelen zijn hier uitermate geschikt voor aangezien er gewerkt kan worden met tekstuele, auditieve, visuele of animatieve lesstof.

- Leerlingen moeten regulatieve of metacognitieve vaardigheden gebruiken in het leerproces. Ze moeten dus plannen, sturen en reflecteren wat betreft hun eigen leerproces, al dan niet zelf geïnitieerd.

(Ally, 2004 p. 7-9 en Baars, Wieland, van de Ven en Jager, 2007 p. 27) • Sociaal-constructivistisme:

- Leerlingen moeten gestimuleerd worden samen te werken. Het werken met andere leerlingen geeft gelegenheid om te oefenen met ‘echte’ werksituaties. Daarnaast is het een goede manier om leerlingen van elkaar te laten leren wat betreft metacognitieve vaardigheden.

- Leerlingen moeten tijd en gelegenheid krijgen om te reflecteren. Dit kan bijvoorbeeld met behulp van een logboek of portfolio.

- Leren moet interactief zijn. Hierbij moeten leerlingen interactie hebben met andere leerlingen, de docent, andere betrokkenen en de leerstof.

(14)

Het behaviorisme is een theorie die steeds minder belangrijk is in het huidige onderwijs. Reden hiervoor is dat er steeds meer bekend is over de werking van het menselijke leerproces en dat er in het behaviorisme amper naar deze zaken gekeken wordt. Het cognitivisme en het sociaal-constructivisme spelen wel een grote rol bij de inrichting van het hedendaagse onderwijs. Deze theorieën houden meer rekening met de inrichting van het brein. De noodzaak tot toetsen en het logisch presenteren van informatie, zaken die vanuit de behavioristische theorie van belang waren, blijven van belang. Echter zijn dit niet meer het belangrijkste fundamenten bij het inrichten van het onderwijs. Ook bij het ontwerpen en invullen van digitale leermiddelen en het onderwijs hieromheen is het van belang de theorieën in het oog te houden.

2.4 Leerstijlen

Behalve bovengenoemde theorieën zijn ook andere zaken van belang als voor het bepalen van de invulling van lesmodules. Zo ook leerstijlen. Leerlingen kunnen flink van elkaar verschillen wat betreft leerstijl. Onder een leerstijl

wordt een karakteristieke, preferente manier van leren verstaan. (Baars, Wieland, van de Ven en Jager, 2007 p 49). Hierop kan met digitale leermiddelen op een goede manier ingespeeld worden, bijvoorbeeld door het gevarieerd aanbieden van lesmateriaal.

De Amerikaan Kolb heeft in 1976 een model ontwikkeld waarin leren gezien wordt als een cyclisch proces (zie figuur 1). Er zijn vier fasen: Concreet ervaren, reflectieve observatie

(reflecteren), abstracte begripsvorming (theoretiseren) en actief uitproberen (experimenteren). Elke leerling heeft een andere voorkeur waar in te stappen in het leerproces. Zo zijn er leerlingen die na een korte klassikale uitleg via zelfstudie willen achterhalen hoe iets in elkaar zit. Deze leerlingen zoeken graag naar het ‘waarom’ en doen dat graag op eigen houtje. Andere leerlingen zoeken ook liever eerst op eigen houtje de eerste zaken uit en willen daarna onder begeleiding te weten komen hoe iets precies in zijn werk gaat. Kolb spreekt in zijn theorie over denkers en ontdekkers (die ook wel dromers worden genoemd). Verder zijn er toepassers (die ook wel beslissers worden genoemd) en doeners. Toepassers staan er om bekend dat zij, nadat ze is uitgelegd hoe het zit, direct bezig willen met het geleerde. Kant en

(15)

klare opdrachten die gaan over toepassingen, passen bij hen. Doeners willen dingen liever proefondervindelijk uitvinden, zij leren graag door te doen (Baars, Wieland, van de Ven en Jager, 2007 p 49). Je kunt de verschillen in aanpak goed zien aan de hand van een voorbeeld. Wanneer iemand een nieuwe telefoon krijgt wordt het begrijpen van en het werken met het apparaat verschillend aangepakt. De ene persoon zet de telefoon meteen aan en drukt op verschillende knoppen om er achter te komen wat ze doen. De andere persoon pakt als eerste de gebruiksaanwijzing die hij op zijn gemak leest, waarna hij het apparaat aanzet om te gaan gebruiken.

Bij het ontwerpen van (digitaal)lesmateriaal is het belangrijk rekening te houden met dergelijke uiteenlopende leerstijlen. Afwisseling in les- en oefenmateriaal en opdrachten is van belang.

2.5 Cognitieve verwerking van (digitaal) lesmateriaal

Bij het opnemen van informatie in het algemeen en bij leren in het bijzonder, wordt er gebruik gemaakt van het geheugen. Over de werking en de inrichting van het geheugen is veel geschreven. In relatie tot digitaal leermateriaal is het menselijk informatieverwerkingsproces als volgt in een model weer te geven:

Digitaal lesmateriaal bestaat voornamelijk uit multimediale componenten. In het model hierboven is te zien dat de multimediapresentatie binnenkomt in woorden en beelden, zij gaat het zintuiglijk geheugen in via de oren en ogen. De zintuigen maken een selectie, waarna deze selectie in het kortetermijngeheugen (in de afbeelding werkgeheugen genoemd) terecht komt. In het kortetermijngeheugen wordt de informatie georganiseerd. Vanuit het langetermijngeheugen wordt bestaande kennis gekoppeld aan de nieuwe informatie in het kortetermijngeheugen (Mayer, 2009 p. 60-63).

(16)

Een theorie over de cognitie van de mens die als zeer belangrijk wordt gezien bij het ontwerp van leermiddelen is de Cognitive Load Theory. Onderzoekers die zich met deze theorie bezig houden, stellen dat het werkgeheugen van een persoon niet al te veel aan kan. Er wordt vaak gebruik gemaakt van het werkgeheugen voor overbodige en/of nutteloze zaken, waardoor het werkgeheugen ‘vol’ raakt met zaken die er niet toe doen, ‘niet noodzakelijke cognitieve activiteiten’. Deze zaken belemmeren het leerproces. Bij het ontwerpen van leermiddelen moet er dus rekening gehouden worden met de architectuur van de menselijke cognitie (Low, Jin & Sweller, 2009 p. 2). Vijf principes over de architectuur van de menselijke cognitie die hieraan ten grondslag liggen zijn:

• Principe van informatieopslag: het kortetermijngeheugen is beperkt, het langetermijngeheugen is onbeperkt

• Principe van lenen en reorganiseren: we lenen informatie van het langetermijngeheugen van anderen door te imiteren wat anderen doen, luisteren naar wat anderen zeggen en lezen wat anderen schrijven. Deze informatie wordt dus ‘geleend’ en vervolgens gereorganiseerd opgeslagen in ons eigen langetermijngeheugen.

• Principe van toevallig ontstaan: de opeenvolgende stappen die genomen worden bij het oplossen van problemen zijn niet vooraf vastgesteld maar ontstaan op het moment zelf. Uit alle mogelijke volgende stappen die genomen zouden kunnen worden, kiest het toeval een optie.

• Het principe van kleine veranderingen: er vinden slechts kleine veranderingen plaats in het langetermijngeheugen, nooit grote veelomvattende veranderingen in één keer. Nutteloze of foute informatie kan op die manier nooit het hele langetermijngeheugen verstoren.

• Principe van linken en het organiseren van de omgeving: de beperkingen van het kortetermijngeheugen verdwijnen op het moment dat het gaat om informatie die al (geheel of gedeeltelijk) in het langetermijngeheugen zit. Dit gaat dus alleen op bij bekende informatie.

(Low, Jin & Sweller, 2009 p. 2-4)

(17)

leermiddelen moeten de bovenstaande principes in ogenschouw genomen worden. Voor het principe van kleine veranderingen geldt bijvoorbeeld dat een leeronderdeel in kleine stapjes gebracht moet worden, alle informatie moet niet in één keer op tafel gegooid worden. Onderzoek heeft uitgewezen dat er nog meer effecten zijn, in het verlengde van de Cognitive Load Theory, die consequenties met zich mee brengen voor het ontwerpen van leermiddelen (Low, Jin & Sweller, 2009 p. 4):

• Het effect van verdeelde aandacht: het werkt minder goed om informatie naast elkaar, op verschillende manieren aan te bieden. Informatie kan het beste geïntegreerd aangeboden worden (Low, Jin & Sweller, 2009 p. 4-7).

• Het effect van meervoudigheid: als iets via meerdere vormen wordt gepresenteerd dan wordt de fijnste vorm gebruikt. De rest van de presentatievormen is ondergeschikt en wordt derhalve genegeerd (Low, Jin & Sweller, 2009 p. 7-9).

• Het effect van modaliteit: informatie wordt beter opgeslagen als het multimodaal gepresenteerd wordt. Informatie die gedeeltelijk visueel en gedeeltelijk auditief (het liefst tegelijkertijd, gezien bovenstaande effecten) gepresenteerd wordt, wordt sneller opgeslagen dan informatie die via slechts één van deze modi gepresenteerd wordt (Low, Jin & Sweller, 2009 p. 9-12).

De verschillende leertheorieën en theorieën over leerstijlen uit de vorige paragrafen lijken in conflict te zijn met de effecten die hierboven genoemd worden. Zo is eerder aan bod gekomen dat het nuttig kan zijn om informatie op verschillende manieren te presenteren (bijvoorbeeld dezelfde informatie via tekst en via een animatie). De studies naar het effect van meervoudigheid geven echter aan dat er slechts één manier gebruikt wordt, de andere manier zal genegeerd worden. Omdat elke leerling echter een eigen ‘favoriete manier’ kiest, kan het toch nuttig zijn om meerdere mogelijkheden aan te bieden, waarbij het risico dus bestaat op ‘cognitive load’: het kortetermijngeheugen raakt vol met niet-noodzakelijke cognitieve activiteiten.

2.6 Veranderde leerdoelen en het leren post-Gutenberg

(18)

Cognitive Load Theory zoals die op dit moment is ingevuld (DeSchryver en Spiro, 2009, p 134-136 en 141). Zij zijn niet de enigen, ook Wolfe (2007) stelt dat leren via digitale leermiddelen en het web cognitief meer en andere dingen vraagt van studenten dan traditionele manieren van onderwijs (Wolfe 2007, p 3).

De afgelopen decennia is er meer en meer aandacht gekomen voor zelfstandig leren. Dit sluit aan bij de constructivistische visie op leren, zoals in eerder in dit hoofdstuk naar voren is gekomen in het kader van de cognitieve en sociaal-constructivistische leertheorieën. Waar in de jaren `50 leerlingen nog rijtjes en feiten uit hun hoofd leerden, leren leerlingen nu om zelf op zoek te gaan naar informatie en die informatie toe te passen. Deze verhoogde aandacht voor de zogeheten zelfstandigheidsdidactiek is te verklaren door diverse veranderingen in de samenleving zoals de maatschappelijke tendensen en de vernieuwde inzichten in de leerpsychologie, maar ook vanuit de invalshoek van digitalisering van de samenleving. Maatschappelijke tendensen waar aan gedacht moet worden, betreffen ondermeer het levenslang leren (elk individu moet constant in ontwikkeling zijn, kennis veroudert snel) en het levensbreed leren (mensen dienen vaardigheden en kennis te bezitten die verder reikt dan enkel het eigen vakgebied; op de arbeidsmarkt wordt vaak flexibiliteit verwacht) (Petegem, 2007 p. 2).

(19)

De Cognitive Load Theory is in deze tijd dus niet meer zo goed bruikbaar omdat deze theorie gebaseerd is op goed gestructureerde informatie; informatie via het web is niet goed gestructureerd en vraagt dus om andere vaardigheden. In aansluiting hierop geven DeSchryver en Spiro (2009) aan dat de leerdoelen zoals die in de Cognitive Load Theory functioneren, veranderd zijn. Niet langer is het nodig om specifieke informatie kant en klaar op te slaan in het langetermijngeheugen, informatie kan namelijk zeer snel opgezocht worden. Belangrijker is het om van veel dingen een beetje te weten en te weten waar en hoe je er informatie over op kunt zoeken, informatie is immers altijd in ontwikkeling. Er zou volgens DeSchryver en Spiro (2009) een nieuwe Cognitive Load Theory ontwikkeld moeten worden waarbij rekening gehouden wordt met belangrijke concepten in het nieuwe leren als het herkennen van koppelingen tussen verschillende bronnen en het besef hebben van verschillende perspectieven op en representaties van de werkelijkheid (DeSchryver en Spiro, 2009, p 142).

2.7 Motivatie en leren via multimedia

Vooral in het VMBO wordt er veel met ICT en digitale leermiddelen gedaan. Er vinden grote onderwijsveranderingen plaats. De gedachte hierachter is dat het onderwijs door het gebruik van ICT en digitale leermiddelen, aantrekkelijker wordt voor de leerlingen. Leerlingen zijn dan gemotiveerder, wat er voor zorgt dat het aantal schoolverlaters afneemt (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 5).

Uit onderzoek van Oomens, Walraven, Donker, Hulsen, Klein, en Rijken (2008, p 12) en Meijer en van Eck (2009 p. 15-16) blijkt dat leerlingen in onderwijssituaties waarin gebruik gemaakt wordt van ICT inderdaad gemotiveerd aan het werk zijn in de les. Uit gesprekken met zowel docenten als leerlingen komt naar voren dat zij het onderwijs aantrekkelijker vinden wanneer er gebruik gemaakt wordt van digitale leermiddelen. Hoe meer de opdrachten aansluiten bij de belevingswereld van de leerlingen of hoe ‘echter’ de situatie is, hoe aantrekkelijker de leerlingen het leermateriaal vinden en hoe gemotiveerder ze er mee bezig zijn (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 12), (Meijer en van Eck, 2009 p. 15-16).

(20)

2005 p. 171-192). Ook uit andere studies komt naar voren dat de motivatie tot leren van groter belang is dan het feit dat leerlingen van digitale leermiddelen gebruik maken in de (goede) resultaten die leerlingen halen. Verder geven sceptici in dezen aan dat in onderzoek naar digitale leermiddelen het Hawthorne-effect groot kan zijn. Hierbij wordt gedoeld op het feit dat leerlingen vaak meer hun best gaan doen als zij weten dat zij mee doen aan een onderzoek (Low en Jin, 2009 p. 156).

Ook als het goed zit met de motivatie en inzet van leerlingen, kan leren via digitale leermiddelen mis gaan volgens Low en Jin (2009). Hogere interesse leidt niet altijd tot betere resultaten, enkele voorbeelden:

• Animaties kunnen afleiden en daardoor interfereren met het leren.

• Leerlingen kunnen verstrikt raken in de vele info die geboden wordt en zo niet meer aan leren toe komen.

• Leerlingen kunnen denken dat er minder inspanning nodig is om van het web te leren en presteren daardoor minder.

(Low en Jin, 2009 p. 156-158)

Low en Jin pleiten daarom voor meer onderzoek naar motivationele aspecten inzake leren met digitale leermiddelen. Vlakken waarop onderzoek plaats kan vinden, zijn onder andere: de keuze van taken, de moeite die er in gestoken wordt, de efficiëntie van het leren en het doel en het vertrouwen in de uitkomst dat leerlingen bij het leren voor ogen hebben.

2.8 Profiel VMBO-leerling

In dit onderzoek wordt er in gegaan op het gebruik van digitale leermiddelen in het VMBO. In Van der Neut, Teurlings en Kools (2005, p 17-20) wordt het profiel van een VMBO-leerling in de onderbouw beschreven. Er worden drie aspecten onderscheiden aan de hand waarvan het profiel wordt ingevuld: werkhouding/inzet, niveau/intellectuele capaciteiten en vaardigheden. Dit profiel ondersteunt de conclusies die Van der Neut, Teurlings en Kools (2005) trekken over de VMBO-leerling in relatie tot de meta-cognitieve en affectieve leeractiviteiten en het is van belang dit profiel in het achterhoofd te houden bij het ontwerpen en gebruiken van digitale leermiddelen op het VMBO.

(21)

of de stof begrepen is en of er voldoende of onvoldoende geleerd is. Wel vindt de leerling het reflecteren op de eigen prestaties lastig. De leerling raakt ontmoedigd als er te veel feiten en gegevens worden gepresenteerd. Ook is de leerling gevoelig voor reacties van klasgenoten. Wat betreft interesse, de leerling ziet als nut van leren het behalen van een diploma. Gedrag en opvattingen van leeftijdsgenoten en idolen zijn sterk bepalend. Wat betreft de huiswerkattitude is de leerling gericht op reproductie en vlot klaar met huiswerk. Er wordt weinig rekening gehouden met het overzicht van taken. De leerling heeft begeleiding nodig bij het zich (blijven) houden aan regels en afspraken met betrekking tot het huiswerk, inleverdata en het uitvoeren van een verslag en opdracht. (van der Neut, Teurlings en Kools, 2005 p. 18-19)

• Niveau/intellectuele capaciteiten: het blijkt dat de leerling moeite heeft met het vinden van de essentie uit een informatiebron. Ook vindt de leerling het moeilijk verbanden te zien tussen een concrete situatie en een abstract begrip of een formule. Er is begeleiding nodig om samenhang te ontdekken in complexe situaties. Een uitleg of instructie wordt het best begrepen als er stap voor stap wordt uitgelegd. De leerling kan overzicht bewaren over geringe hoeveelheid feiten en gegevens (van der Neut, Teurlings en Kools, 2005 p. 19).

• Vaardigheden: wat betreft concentratie laat de leerling zich snel afleiden door omgevingsruis. De leerling kan voor een korte periode luisteren naar een docent of medeleerling. Er wordt doorgewerkt als er positieve feedback ontvangen worden en als het einddoel van een taak in zicht is kan de leerling zich het beste concentreren. Wat betreft zelfstandigheid kan de leerling taakgericht werken, er wordt goed doorgewerkt als de taak concreet en goed gestructureerd is. De leerling voelt zich snel persoonlijk aangesproken. Er is behoefte aan afwisseling in opdrachten en werkvormen. De leerling wordt onrustig en onzeker van te open opdrachten (van der Neut, Teurlings en Kools, 2005 p. 19-20).

(22)

3. Inzet van digitale leermiddelen voor 12-16-jarigen

Sinds 1997 zijn de doelen wat betreft het gebruik van ICT in het onderwijs steeds meer verschoven van voorzieningengericht naar onderwijsgericht (Ministerie van OCW, 2006, p 17-19). In dit hoofdstuk zal in worden gegaan op het ontwerp en gebruik van digitale leermiddelen.

Onder het leren met digitale leermiddelen wordt het volgende verstaan: “leren waarbij de leeractiviteiten van leerlingen worden ondersteund of uitgevoerd met gebruik van digitale leermiddelen” (Baars, Wieland, van de Ven en Jager, 2007 p. 16).

In bovenstaande definitie komt meteen een belangrijk onderscheid naar voren. Digitale leermiddelen kunnen het leren ondersteunen of uitvoeren. Deze beide typen digitale leermiddelen vallen onder dezelfde noemer, een onderscheid is er echter wel degelijk. Het ondersteunen van het leren gebeurt via digitale leermiddelen als elektronische leeromgevingen, bestandsuitwisselingssystemen en e-mail. Deze ondersteunende middelen zijn van belang voor de beleidsvoering van de school (Ministerie van OCW, 2006 p. 14). Bij het uitvoeren van het leren met digitale leermiddelen gaat het om lesmateriaal dat niet uit een boek en/of werkboek wordt aangeboden maar op een digitale manier, dit wordt ook wel digitale leerstof genoemd. Dit heeft invloed op de leerprocessen (Ministerie van OCW, 2006 p.14). Voorbeelden hiervan zijn een stuk digitale tekst, een website, een digitaal videofilmpje of multimediale bronnen (Baars, Wieland, van de Ven en Jager, 2007 p. 17).

Oomens, Walraven, Donker, Hulsen, Klein, en Rijken (2008, p 6-7) maken een onderscheid in zes gebruiksvormen van ICT in onderwijssituaties:

• ICT als werktuig of instrument, waarbij de computer ingezet wordt voor tekstverwerking, het maken van presentaties e.d.

• ICT in communicatiemedia, waartoe e-mail, discussiefora en chat behoren

• ICT als elektronische leeromgeving (ELO), die gebruikt wordt om onderwijs te organiseren en structureren. De basisfunctionaliteiten van een ELO zijn administratief, informatief en communicatief.

• ICT als instructiemiddel, bijvoorbeeld in programma’s die basiskennis testen.

(23)

• ICT voor simulatie, waaronder interactieve programma’s met een virtuele werkelijkheid vallen

(Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 6-7)

De eerste drie categorieën vallen in de indeling van Baars, Wieland en van de Ven (2007) en het Ministerie van OCW (2006) onder het ondersteunen van leeractiviteiten. De overige categorieën vallen in die indeling onder het uitvoeren van leeractiviteiten.

3.1 Digitale leeromgeving

Er bestaan verschillende digitale leeromgevingen, zoals Moodle, Blackboard en Teletop. Vrijwel alle digitale leeromgevingen bieden dezelfde functionaliteiten. Het presenteren van digitaal leermateriaal gebeurt hier bijvoorbeeld, maar ook begeleiden van (groeps)opdrachten of groepsdiscussies en het afnemen van digitale (oefen)toetsen kan op deze leeromgeving plaatsvinden. Het is een belangrijk communicatiemiddel van docent naar leerling (bijvoorbeeld voor het communiceren van inleverdata en/of lestijden) en vice versa (voor het inleveren en uitwisselen van opdrachten en deelnemen aan discussies e.d.). De digitale leeromgeving is een platform voor communicatie, bestandsuitwisseling en samenwerken (Baars, Wieland, van de Ven en Jager, 2007 p. 17-18).

De digitale leeromgeving kan voor het onderwijs een aantal (organisatorische) voordelen ten opzichte van het face-to-face onderwijs bieden:

• Plaats- en tijdsonafhankelijk onderwijs: docenten en leerlingen kunnen op het tijdstip dat het hen goed uitkomt bezig zijn met het onderwijs. Zo kan een docent ’s avonds feedback geven op werkstukken en kan een leerling tussen voetbaltraining en bijbaantje door iets bijdragen aan een groepsdiscussie. Dit kan vanuit huis of school gebeuren.

• Up-to-date houden van het onderwijs: zaken als inschrijfgegevens kunnen gemakkelijk bijgewerkt worden, maar ook de laatste ontwikkelingen in een vakgebied kunnen eenvoudig toegevoegd worden aan de leerstof.

(24)

• Automatiseren van onderwijsactiviteiten: automatisering van zaken als interactieve oefeningen, diagnostische toetsen of bijspijkerprogramma’s kunnen de docent tijd en energie besparen die op andere plekken in het onderwijs ingezet kan worden.

(Baars, Wieland, van de Ven en Jager, 2007 p. 19-21)

3.2 Digitaal leermateriaal

Voorbeelden van ‘traditionele’ leerstof zijn ‘gewone’ boeken en artikelen. Digitaal leermateriaal of digitale leerstof zijn digitale boeken, digitale artikelen, digitale video- en audiofragmenten, websites, animaties, games of simulaties (Baars, Wieland, van de Ven en Jager, 2007 p. 56).

In vergelijking met het schriftelijk aanbieden van leerstof noemen Baars, Wieland, van de Ven en Jager de volgende voordelen van digitaal leermateriaal:

• De inhoud kan interactief en/of adaptief zijn, waardoor de inhoud zich aanpast aan het niveau en de behoefte van de leerling. Dit kan bijvoorbeeld bij oefenmateriaal of oefentoetsen het geval zijn.

• Er is vaak sprake van uiteenlopende presentatievormen zoals tekst, geluid (audio) en videofragmenten. Leerlingen kunnen zelf de vorm kiezen die het beste past bij hoe ze graag leren.

• Er kan goed worden ingespeeld op leerlingen met visuele, auditieve, cognitieve of taalbeperkingen.

• Er kan authentiek en up-to-date materiaal aangeboden worden zoals een digitale collectie van een museum of een live-registratie van een debat.

(Baars, Wieland, van de Ven en Jager, 2007 p. 57)

3.3 Tekstueel digitaal leermateriaal

(25)

blijkt verder dat leerlingen lange teksten liever vanaf papier lezen. Teksten worden vaak gelezen op plaatsen waar computers en of laptops niet altijd voor handen zijn of handig zijn in gebruik, ook vinden leerlingen het fijn om dingen te kunnen markeren en er zaken bij te schrijven. Dit geldt ook voor de leerlingen die computers en nieuwe media over het algemeen ten volle benutten (Spencer, 2006 p. 48).

Als een tekst via de computer aangeboden wordt, is het dus van belang dat er rekening gehouden wordt met de mediumkenmerken van de computer. Alleen dan zal het meerwaarde bieden om de leerstof vanaf de computer te leren en is te voorkomen dat leerlingen de stof alsnog uitprinten.

In een boek wordt de leerstof lineair doorgewerkt. Gestructureerd van links naar rechts en van boven naar beneden. Via een website of andere digitale leermethode is dit anders. Een belangrijk kenmerk van websites is dat zij non-lineair zijn. De specifieke volgorde van de tekst verdwijnt grotendeels. De verschillende onderdelen van de tekst zijn met elkaar verbonden via hyperlinks. Via een menu is het mogelijk min of meer willekeurig door de verschillende stukken tekst heen te klikken (Kaashoek en Simons, 2000 p. 160), (Walker en Reynolds, 2006 p. 227-228). Een persoon houdt slechts kort zijn echte aandacht bij één webpagina. Er moet daarom voor gezorgd worden dat de leestijd per pagina niet langer is dan enkele seconden. Lange stukken tekst waar in gescrolld moet worden zijn niet geschikt. De inhoud van de lesstof moet in logische stukken worden verdeeld en op verschillende webpagina’s geplaatst worden. Daarnaast is het van belang dat er een logische hiërarchie tussen de stukken is. Dit helpt de leerling de stof gestructureerd door te werken, ondanks het non-lineaire karakter van het web en de computer. Dit in stukken verdelen van informatie en op verschillende pagina’s plaatsen heet chunking (Kaashoek en Simons, 2000 p. 169), (Walker en Reynolds, 2006 p. 227-228). In een schema ziet een ‘gechunkte’ beeldschermtekst er in vergelijking met een brontekst uit het boek als volgt uit:

Chunk 1

Brontekst Titel paragraaf Chunk 2 (tekst zoals (+korte beschrijving

in het boek) inhoud) Chunk 3

(26)

Het in stukken hakken van de informatie alleen is niet genoeg om van een boek een geschikte beeldschermtekst te maken, de rest van de lay-out van de pagina is ook van belang. Zo moeten de regels met tekst niet oneindig breed zijn, ondanks de breedbeeldcomputerschermen die veel gebruikt worden. Er kan het beste één kolom gebruikt worden, die niet breder is dan 20 centimeter. Ook de regelafstand kan het beste groter zijn dan in een boek (Walker en Reynolds, 2006 p. 229). Verder is het van belang een lettertype zonder schreef te gebruiken, zoals Arial of Verdana. Het zwierige effect wat een lettertype met schreef (zoals Times New Roman) met zich meebrengt, ziet er onduidelijk uit op het beeldscherm. De lettergrootte moet groter zijn dan in het boek, bij voorkeur een middelgrote letter, bijvoorbeeld 12-punts (Kaashoek en Simons, 2000 p.169), (Walker en Reynolds, 2006 p. 230). Om het opnemen en het begrijpen van de stof te bevorderen is het verder van belang de informatie die belangrijk is vet te drukken of in een duidelijk kader te plaatsen. Leerlingen kunnen zelf immers geen informatie ‘highlighten’ (Walker en Reynolds, 2006 p. 230).

3.4 Overig digitaal leermateriaal

Behalve tekstueel, zijn er nog veel andere mogelijkheden om leerstof digitaal aan te bieden. Digitale video- en geluidsfragmenten bijvoorbeeld, kunnen gebruikt worden om informatie toe te lichten of instructies te geven en geregistreerde gebeurtenissen (zoals relevante toespraken, debatten of uitspraken van experts) weer te geven. Een grappig, mooi of toepasselijk videofragment ter inleiding op een opdracht of discussie kan leerlingen ook motiveren om enthousiast mee te doen met de opdracht of discussie (Baars, Wieland, van de Ven en Jager, 2007 p. 50-60).

Een animatie is een aparte vorm videofragment. Een animatie is een geleidelijk veranderende tekening die, als de tekeningen snel worden opgevolgd, een beweging suggereren. Animaties zijn geschikt voor het verduidelijken van concepten en procedures en hebben vooral meerwaarde als iets met het blote oog niet goed zichtbaar is. Er is vaak uitleg bij de animatie nodig. Die wordt idealiter aangeboden via audiofragmenten die synchroon lopen met de tekeningen maar dit kan ook door een begeleidende tekst (Baars, Wieland, van de Ven en Jager, 2007 p. 62).

(27)

Websites en games, maar ook digitale werkboeken zijn vaak multimediaal van aard. Er wordt meer dan één medium gebruikt om de leerstof over te dragen. Door het gebruik van de verschillende typen leerstof kunnen leerlingen leerstof op verschillende manieren bestuderen, dit sluit aan op het feit dat verschillende leerlingen verschillende leermethoden en lesmaterialen prefereren om informatie in zich op te nemen zoals in het vorige hoofdstuk naar voren is gekomen (Baars, Wieland, van de Ven en Jager, 2007 p. 64-65 en 76).

Digitale werkboeken zijn geschikt voor het opdoen van reproductieve vaardigheden en het (zelf) toetsen van kennis. In het digitale werkboek wordt de inhoud van de leerstof geoefend. Het multimediale werkboek kan goed inspelen op foute antwoorden door dit meteen aan te geven en extra vragen/opdrachten, hints of informatie te verstrekken zodat de stof hierna wel beheerst wordt (Baars, Wieland, van de Ven en Jager, 2007 p. 64-65).

Games kunnen leerlingen helpen situaties te doorgronden, kennis toe te passen of saaie taken (zoals woordjes leren) aantrekkelijk te maken. Een belangrijk voordeel van games is dat ze motiverend werken, ze zijn realistisch en er is een competitie-element. Het sluit bovendien aan op wat leerlingen in hun privé-situatie graag doen. Het ‘winnen’ van een game moet aansluiten bij het didactische doel (samenwerken, kennis reproduceren, et cetera.) (Baars, Wieland, van de Ven en Jager, 2007 p. 66).

3.5 De e-reader

De ontwikkelingen in het onderwijs die op dit moment gaande zijn, richten zich voornamelijk op computers en laptops. In de literatuur- en krantenwereld is echter de e-reader in opkomst. De e-reader is een rechthoekig apparaat waarop boeken en kranten digitaal worden weergegeven. Je kunt op een e-reader een groot aantal boeken kwijt en steeds meer kranten werken er aan om ook op een e-reader gelezen te kunnen worden. Sommige e-readers hebben ook een (draadloze) verbinding met het internet. De bladspiegelverdeling van een e-reader is nagenoeg gelijk aan die van een boek of krantenpagina. Anders dan een papieren boek is het zo dat er vanuit de inhoudsopgave meteen naar de desbetreffende paragraaf gesprongen kan worden. Het scherm van de reader is anders dan dat van een computerscherm. Moderne e-readers werken niet met achtergrondverlichting zoals andere soorten schermen, maar met zogenaamd digitale inkt. Dat houdt in dat het scherm geen licht geeft en er dus meer uitziet als normaal papier. Dit voelt rustiger aan de ogen en vergroot het leesgemak (Surfnet/Kennisnet 2009, p. 6-8) en (Schcolnik, 2001 p. 28-29).

(28)

een pilotstudie gehouden met de e-reader. De e-reader biedt kansen voor het onderwijs met digitale leermiddelen (Surfnet/Kennisnet 2009, p. 3). Zo is men bezig met het mogelijk maken van het afspelen filmpjes en animaties op de e-reader. De e-reader is tegelijkertijd geschikt om langere stukken tekst te lezen. De uitpuilende boekentas kan verleden tijd worden als de tekstboeken uit het onderwijs omgezet worden in boeken op de (verder ontwikkelde) e-reader. Ook kunnen docenten eenvoudig leerstof toevoegen of verwijderen. Uitgeverijen kunnen kosten besparen op logistiek en productie. Er is in de pilot van Kennisnet niet onderzocht hoe de e-reader zou kunnen samenwerken met digitale leeromgevingen en digitale schoolborden. Ook kan er aan technologie gewerkt worden om data in te voeren waarmee werkboeken op de e-reader kunnen verschijnen. In deze zaken zou verdere meerwaarde voor het (digitale) onderwijs liggen (Surfnet/Kennisnet 2009, p. 31).

3.6 Gebruik digitale leermiddelen en ICT-toepassingen in het VMBO

Van der Neut, Teurlings en Kools (2005) en Oomens, Walraven, Donker, Hulsen, Klein, en Rijken (2008) hebben in opdracht van Kennisnet op een aantal VMBO-scholen onder verschillende docenten en in verschillende klassen onderzoek gedaan naar het gebruik van ICT-toepassingen in het onderwijs.

In het kader van ICT onderwijs stellen scholen zich ten doel dat leerlingen gemotiveerd raken, dat zij zelfstandig leren werken en dat zij betere leerprestaties tonen. Daarnaast hopen de scholen dat de kinderen meer betrokkenheid hebben bij hun (huiswerk)taken en dat de zelfwaardering van de leerlingen omhoog gaat (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 10). Sommige scholen richten zich meer op computervaardigheden terwijl bij andere scholen ook de cognitieve prestaties van belang zijn (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 10).

De verschillende leeractiviteiten kunnen op de volgende manieren ondersteund worden door middel van ICT (van der Neut, Teurlings en Kools, 2005 p. 21-25):

• Cognitieve of verwerkingsactiviteiten:

(29)

bijzaken kunnen scheiden, et cetera. Er wordt door docenten vaak aangenomen dat VMBO-leerlingen dit niet kunnen.

o Leerlingen vinden het fijn om leerstof digitaal te oefenen of toe te passen. Hieruit blijkt de voorkeur voor VMBO-leerlingen om praktisch met leerstof bezig te zijn.

o Leerlingen gebruiken ICT verder als hulpmiddel voor schoolwerk als het maken van werkstukken en (powerpoint)presentaties.

(van der Neut, Teurlings en Kools, 2005 p. 23) • Meta-cognitieve of regulerende activiteiten:

o Het maken van (oefen)toetsen via ICT wordt door leerlingen gewaardeerd. Leerlingen kunnen via dit soort toetsen herhaaldelijk checken of ze de stof goed genoeg beheersen.

o Overige meta-coginitieve activiteiten (afstemmen, plannen, bewaken) worden betrekkelijk weinig gevraagd van leerlingen in het VMBO, als leerlingen hiertoe wel worden uitgedaagd dan wordt dit niet via ICT gedaan. Deze activiteiten worden voornamelijk overgenomen door docenten via gestructureerde opdrachten en studiewijzers e.d. Docenten geven hierover aan dat studenten deze activiteiten zelf niet (voldoende) kunnen uitvoeren.

(van der Neut, Teurlings en Kools, 2005 p. 23-24) • Affectieve of motivationele activiteiten:

o Leerlingen motiveren zichzelf amper voor het schoolse leren, docenten nemen deze activiteit vaak over. Hierbij wordt steeds meer ICT ingezet om bij de belevingswereld van leerlingen aan te sluiten. Zo worden leerlingen uitgedaagd te surfen naar sites die hen interesseren en wordt het leren soms ondersteund door middel van spelletjes. Op dit moment wordt er nog betrekkelijk weinig gebruik gemaakt van toepassingen die bij leerlingen populair zijn (chatten, mailen, spelletjes, websites maken) om leerlingen te motiveren.

(van der Neut, Teurlings en Kools, 2005 p. 24)

(30)

vervult de rol van coach en begeleider (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 11). Verder is gebleken dat leerlingen ICT-toepassingen alleen gebruiken wanneer de docent hiertoe opdracht heeft gegeven en niet uit eigen beweging (van der Neut, Teurlings en Kools, 2005 p. 25).

In het onderzoek van Oomens, Walraven, Donker, Hulsen, Klein, en Rijken (2008) geven docenten aan dat leerlingen op het cognitieve vlak net zo veel leren mét digitale leermiddelen als zonder. De winst van onderwijs met digitale leermiddelen zit hem volgens hen in vakinhoudelijke- en computervaardigheden die de leerlingen ontwikkelen met behulp van digitale leermiddelen. Daarnaast worden met de combinatie van zelfstandig werken en ICT-gebruik meer leerlingen bereikt. Dat is een verschil in het traditionele klassikale verhaal dat een docent eerder hield. Het bereiken van de leerlingen was hierbij moeilijker (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 12).

In dit hoofdstuk zijn enkele praktische zaken aan bod gekomen wat betreft de mogelijkheden en invulling van digitale leermateriaal. In het onderzoek zal in worden gegaan op het gebruik van digitale leermiddelen, niet op het gebruik van de digitale leeromgeving. Voor dit onderzoek zal er digitaal leermateriaal ontwikkeld worden; de zaken die in dit hoofdstuk aan bod zijn gekomen zijn van belang bij het ontwerpen hiervan. In het volgende hoofdstuk wordt ingegaan op de onderzoeksmethode.

(31)

4. Methode

Verschillende aspecten die een rol spelen bij het leren met digitale leermiddelen en het ontwerpen hiervan, zijn in de vorige hoofdstukken beschreven. De methoden van onderzoek zullen in dit hoofdstuk centraal staan.

In dit onderzoek worden de effecten en het gebruik van digitale leermiddelen onderzocht door middel van een experiment waarbij tijdens het uitvoeren geobserveerd wordt en een effectstudie plaatsvindt. Daarnaast vindt er attitude-onderzoek plaats om te bekijken wat men van digitale leermiddelen vindt. Hoe er met het digitale leermateriaal wordt omgegaan wordt onderzocht door middel van observaties en interviews.

Dit betekent dat er in dit onderzoek zowel kwalitatieve als kwantitatieve onderzoeksmethoden gebruikt worden. Er zullen vier typen data gebruikt worden: resultaten van een toets over de leerstof, evaluaties, observaties en interviews. Er wordt in dit onderzoek een antwoord gegeven op de volgende onderzoeksvraag:

Hoe wordt er op het VMBO-t omgegaan met digitaal lesmateriaal in vergelijking met lesmateriaal uit boeken, hoe wordt dit gebruik ervaren en welk lesmateriaal zorgt voor betere toetsresultaten?

4.1 Opzet experiment

Het experiment vindt plaats op het VMBO bij het vak aardrijkskunde. Het is interessant om dit onderzoek bij dit vak uit te voeren; er worden over het algemeen veel relatief lange teksten behandeld en het begrijpen van processen is bij aardrijkskunde van groot belang. Het goed omzetten van tekstuele informatie uit een boek naar digitale informatie is een uitdaging waar e-learning voor staat en digitaal lesmateriaal is uitermate geschikt om (aardrijkskundige) processen te laten zien in bijvoorbeeld animaties. Deze aspecten maken dat het aanbieden van lesmateriaal op een digitale manier voor verrassende uitkomsten kan zorgen in vergelijking met het aanbieden van lesmateriaal uit het boek. Er is specifiek voor het VMBO gekozen omdat hier op dit moment de grootste onderwijskundige veranderingen plaatsvinden in de richting van ICT. Er wordt hiermee getracht het onderwijs interessanter te maken om zo schoolverlaten tegen te gaan (Oomens, Walraven, Donker, Hulsen, Klein, en Rijken, 2008 p. 5), (Ministerie van OCW, 2006).

(32)

methode is uitermate geschikt om dit onderzoek mee uit te voeren. Het bestaat naast een tekst- en werkboek uit veel digitaal lesmateriaal dat via de website van de uitgever te bereiken is. De opdrachten die via deze site aangeboden worden, kunnen dienen als vervanging voor het werkboek. Ook zijn er op deze site aanvullende animaties, verwijzingen naar websites en filmpjes te vinden. De uitgeverij probeert scholen te stimuleren veel gebruik te maken van deze digitale leermiddelen en hoopt dat het op scholen (delen van) het boek zal vervangen (Bloothooft, de Boer, Botter & Oorschot, 2008 p. 2-17 en 26-28). Hoofdstuk vijf uit het boek, dat gaat over natuurrampen, wordt gebruikt om dit experiment uit te voeren. Het experiment is uitgevoerd tussen begin april en half mei 2010 in twee klassen.

Eén klas krijgt gedurende deze lessenserie les met behulp van een volledig digitale module. Dit is de e-groep. Zij gebruiken hun boeken de hele lessenserie niet, zelfs niet voor het leren van het proefwerk. De onderzoeker heeft deze module samengesteld. Het bestaat volledig uit lesmateriaal van de site van EPN. Op deze manier is gewaarborgd dat de leerlingen de goede stof leren, met dezelfde standaarden die zij uit het boek gewend zijn. Alle leerstof is op een website geplaatst. Er is gelet op de mediumkenmerken die belangrijk zijn voor het web. Zo is er een relatief groot lettertype gebruikt en zijn de lappen tekst uit het boek verdeeld over meerdere pagina’s op de website. Daarnaast is er gebruik gemaakt van de voordelen die de computer biedt ten opzichte van het boek; er zijn filmpjes, animaties en relevante links op de website van de digitale lesmodule geplaatst (Kaashoek en Simons, 2000) (Walker en Reynolds, 2006). In een speciaal gedeelte van de website zijn alle opdrachten geplaatst. Bij elk onderdeel van de website horen specifieke opdrachten. De opdrachten worden gedownload en ze kunnen dan op de computer, in Word, gemaakt worden. Via een pdf-bestand dat ook op de website te vinden is, kunnen de leerlingen hun antwoorden vervolgens zelf controleren. Deze antwoorden staan pas na het maken van de opdrachten online.

Via de site van EPN zou het mogelijk zijn om gebruik te maken van een online werkboek. Na het invullen kunnen de antwoorden daar direct nagekeken worden, dit online werkboek reageert op de antwoorden die er ingevuld zijn. De leerlingen die meedoen aan dit experiment konden helaas wegens problemen met inlogcodes niet inloggen op deze site; voor dit experiment wordt daarom niet van deze mogelijkheid gebruik gemaakt. De opdrachten die de leerlingen nu maken komen echter wel overeen met dit online werkboek; enkel het invullen gaat anders in zijn werk. In de bijlage is verdere uitleg over de website te vinden.

(33)

Per les krijgen zij de opdracht één van de vier deelonderwerpen van het hoofdstuk door te werken. Op het einde van de lessenserie maken de leerlingen een proefwerk. Het leren voor dit proefwerk gaat enkel via de digitale module, niet uit het boek.

De andere klas krijgt deze lessenserie les op de ‘traditionele’ manier. Het lesmateriaal bestaat uit een tekstboek en een werkboek, er wordt geen gebruik gemaakt van de computer. Deze klas vormt voor dit onderzoek de controlegroep, de c-groep.

Het is van belang op te merken dat beide klassen normaal gesproken les krijgen met behulp van tekst- en werkboek en zonder computer. Voor de leerlingen in de experimentele setting is het dus nieuw om met enkel de computer te werken. Zij zullen hieraan moeten wennen en het is belangrijk dit in het achterhoofd te houden bij het beoordelen van de resultaten.

4.2 Variabelen

In het experiment spelen diverse variabelen een rol (Baxter en Babbie, 2004 p. 49-51). Onafhankelijke variabelen zijn het digitale lesmateriaal en het lesmateriaal uit het boek. De afhankelijke variabelen bestaan uit de toetsresultaten van de leerlingen met betrekking tot de stof en uit de attitude-toets met betrekking tot de werkwijze.

Co-variabelen hierbij, zijn de voorkennis van de leerlingen over het onderwerp, de resultaten van de leerlingen in de vakken Aardrijkskunde en Nederlands en de ervaring die kinderen hebben met computers en nieuwe media, kortom de samenstelling van de klas.

4.3 Pretest

(34)

4.4 Proefpersonen

Er werken zoals gezegd twee klassen mee, één groep die werkt in de experimentele setting (klas 1a, de e-groep) en één controlegroep (klas 1b, de c-groep). Beide klassen zitten op het Canisius College in Nijmegen in het eerste jaar. Deze klassen en de leerlingen die er in zitten, zijn niet willekeurig gekozen. Aangezien er veel medewerking van de docent en de school vereist is, was dit niet mogelijk. Bovendien is de keuze voor klassen binnen deze school beperkt. Er heeft dus geen aselecte steekproeftrekking plaatsgevonden (Baxter en Babbie, 2004 p. 150-155). Het is voor het onderzoek van belang dat de klassen van hetzelfde niveau zijn en van dezelfde docent les krijgen. Ook is de indeling van de klassen bepaald door school; dit kan niet voor dit onderzoek aangepast worden. De keuze voor groepen proefpersonen is dus beperkt. Er heeft kortom, een zelfselecterende steekproeftrekking plaatsgevonden (Baxter en Babbie, 2004 p. 150-155).

In klas 1a, de klas die de digitale module volgt, zitten 26 leerlingen. In de controleklas, klas 1b, zitten 27 leerlingen. De verdeling jongens-meisjes is niet geheel gelijk. Klas 1a heeft 16 jongens en 10 meisjes. Klas 1b heeft 13 jongens en 14 meisjes. Ook zou het kunnen zijn dat de voorkennis over het onderwerp in klas 1a hoger ligt. In klas 1a hebben 14 leerlingen weleens een boek gelezen of een tv programma gezien over natuurrampen, tegenover 9 leerlingen in klas 1b. De gemiddelde rapportcijfers voor de vakken Nederlands en Aardrijkskunde zijn bij zowel rapport 1 als rapport 2 nagenoeg gelijk bij beide klassen. Het niveau van de leerlingen in beide klassen komt dus overeen. Ook wordt er in beide klassen ongeveer evenveel tijd besteed aan het spelen van spelletjes op de computer en surfen en chatten op het internet. De gemiddelde score op de kennisvragen uit de pretest ligt in klas 1a iets hoger dan in klas 1b. Waar in totaal 13 punten gescoord kunnen worden, haalt klas 1a er gemiddeld 8 en klas 1b 7; dit is echter geen significant verschil.

4.5 Effectstudie

(35)

(de c-groep). Behalve een algemeen beeld over het gehele proefwerk, wordt er ook naar specifieke onderdelen van de toets gekeken. Tevens wordt vastgesteld of het beginniveau van invloed is op de uitkomsten. De toets is opgenomen in de bijlage.

4.6 Attitude-onderzoek

Om een beeld te krijgen van hoe de betrokkenen het werken met de digitale lesmodule ervaren hebben, is het van belang dit te evalueren met behulp van attitude-onderzoek. Het attitude-onderzoek zal aan het einde van de lessenreeks plaatsvinden, alle leerlingen geven hun bevindingen in een vragenlijst weer. Zo kunnen de meningen en ervaringen gemeten worden.

De vragenlijst wordt ingevuld door alle leerlingen die de digitale lesmodule gevolgd hebben. In de vragenlijst komt een aantal stellingen aan bod. Op een 5-punts Likertschaal kunnen de leerlingen aangeven in hoeverre zij het eens zijn met de stellingen. De stellingen zijn allen positief gesteld. Om een zo eerlijk mogelijk antwoord te verkrijgen, is de inhoud van stellingen soms ook omgekeerd bevraagd (Baxter en Babbie, 2004 p. 177-180). Alle componenten die in e-learning een rol spelen, zoals in hoofdstuk twee en drie besproken, worden in de vragenlijst bevraagd. Enkele voorbeelden van stellingen zijn de volgende: ‘ik vond de filmpjes en animaties nuttig omdat ik daardoor lesstof beter begreep’, ‘ik vond het maken van opdrachten handig via de computer’ en ‘ik leer liever uit een boek voor een toets’. In totaal zijn er 25 stellingen. In de bijlage is meer informatie over de vragenlijst opgenomen. Verderop in dit hoofdstuk worden enkele onderzoeksvragen geformuleerd. Dit attitude-onderzoek wordt gebruikt om de antwoorden op deze attitude-onderzoeksvragen te attitude-onderzoeken.

4.7 Observationeel deel van het onderzoek

(36)

tegenover het leren op de ‘traditionele’ manier, uit het tekstboek dus? Om deze aspecten in kaart te brengen zijn kwalitatieve data nodig. Deze data worden verzameld door in de klas te gaan zitten en te observeren.

Bij het observeren neemt de onderzoeker achter in de klas plaats tijdens de lesuren waarop de deelnemende klassen aardrijkskundeles hebben. De lessen worden tevens op video opgenomen. Om een zo goed mogelijk beeld van de lessenserie en het verloop ervan te krijgen, wordt van elke klas één les aan het begin van de lessenserie en één les aan het einde van de lessenserie geobserveerd. Na de digitale lessenserie wordt nog een ‘normale’ aardrijkskundeles geobserveerd, om een goed beeld te krijgen van hoe de klas die voor dit onderzoek de digitale module volgt, normaalgesproken werkt. Er zijn in totaal dus 5 lessen geobserveerd. De zaken waarop gelet wordt tijdens het observeren is in te delen in de volgende globale categorieën:

• Inrichting klas en les. Wordt er veel klassikaal gedaan of juist zelfstandig, wordt er veel samengewerkt en zo ja in wat voor groepjes, is de rol van de docent leidend of coachend, et cetera.

• Leerlingen. Zijn leerlingen geconcentreerd, zijn ze enthousiast, vragen ze veel hulp of zoeken ze juist veel zelf uit, hoe gaan ze om met het huiswerk, als ze praten, waar gaat het dan over, et cetera.

• Overige zaken in de klas. Hoe is de werksfeer, is er veel lawaai, hebben leerlingen altijd hun huiswerk af, et cetera.

Het is bij het observeren van belang te registreren wat zichtbaar is en het inkleuren van wat zichtbaar is door de observant te voorkomen. In notities moet er dus onderscheid zijn in wat zichtbare feiten zijn en in wat opmerkingen en inkleuringen van de observant zijn (Ten Have, 1977 p. 53-60). Op basis van de observatienotities is het mogelijk een beeld te schetsen hoe er om wordt gegaan met het digitale lesmateriaal. Natuurlijk geeft dit slechts een beeld van hoe deze specifieke docent en deze specifieke klas met het digitale lesmateriaal om gaan, echter betreft het een doorsnee klas met een doorsnee docent. Dit is een reden waarom aangenomen kan worden dat de bevindingen een algemeen beeld geven. Het is binnen het kader van dit onderzoek niet mogelijk meerdere klassen te observeren, om een meer valide beeld te schetsen is dit wel aan te raden.

(37)

wordt. Voor de klas die les krijgt via de digitale module is het bovendien zeer duidelijk dat de situatie anders dan anders is. Bij het beoordelen van de onderzoeksresultaten is het van belang rekening te houden met deze invloeden.

4.8 Interviews

Tot slot vinden er enkele interviews plaats, één uitgebreid interview met de docent en enkele korte interviews met een aantal leerlingen. Hierin kunnen opvallende zaken bevraagd worden en kan er buiten de strakke cijfers meer nuance aangebracht worden en nadruk gelegd worden. De interviews zijn opgezet als diepte-interview; het gesprek kan daarmee verschillende richtingen in slaan, maar een aantal vaststaande onderwerpen biedt een kader. De onderwerpen die in het interview met de docent aan de orde komen, zijn onder andere: het algemene beeld, verschil in aanpak en voorbereiding ten opzichte van het normale lesgegeven, sfeer in de klas, werkhouding leerlingen, verwachtingen van resultaten, wat werkte fijn, wat werkte minder fijn en de inhoud van de digitale module. De uitwerking van deze interviews vormt kwalitatieve data.

4.9 Onderzoeksvragen

De effectstudie, zoals eerder in dit hoofdstuk aan bod gekomen, biedt inzicht in de resultaten die de leerlingen boeken. De resultaten van de twee klassen worden naast elkaar gelegd. Ook worden de resultaten van beide klassen vergeleken met de resultaten uit de pretest. De onderzoeksvraag die met behulp van deze data onderzocht wordt, luidt als volgt:

1. Boeken leerlingen betere resultaten wanneer zij les krijgen via een digitale module of wanneer zij les krijgen met behulp van tekst- en werkboek?

Er zal zowel gekeken worden naar de resultaten op de gehele toets als naar de resultaten op de verschillende onderdelen van de toets.

Er zijn geen overduidelijke aanwijzingen dat ofwel les via een digitale module ofwel les via boeken voor betere resultaten zorgen. De theorie op dit vlak is niet eenduidig. Om deze reden is er geen hypothese geformuleerd, maar wordt er een onderzoekvraag gesteld.

Referenties

GERELATEERDE DOCUMENTEN

De financiële gevolgen uit de 2e tussenrapportage te verwerken in de programmabegroting 2020 en meerjarig in de programmabegroting 2021;.. De budgettair neutrale

We willen je namelijk vragen om samen met één van je ouders en met je beste vriend(in) deel te nemen aan een onderzoek van de Universiteit Utrecht.. Het onderzoek gaat over

Het onderzoek gaat over de persoonlijke ontwikkeling van jongeren wanneer zij van de basisschool naar de middelbare school gaan..

Ook daarvan hebben wij gezegd: wij zouden het wel graag willen, maar wij moeten de minister in deze steunen, omdat wij zo duidelijk tegen de minister van Financiën hebben gezegd: u

1 De Centrale Raad van beroep stak een stokje voor deze ‘innovatieve’ praktijk, omdat de daarvoor vereiste wettelijke basis ontbreekt.. 2 De Raad trekt daarbij een vergelijking met

Door iwoo te integreren in passend onderwijs, wordt de verantwoordelijkheid voor de besteding van iwoo- middelen feitelijk gedecentraliseerd naar de samenwerkingsverbanden.. Het zou

Het Instituut van Internal Auditors ( iia ) heeft zich dan ook uitdrukkelijk gekeerd tegen deze combinatie van controlerend accountant en (bedrijfskundig) internal

De Provincie voerde echter vooral de goed gepubliceerde opgravingen in, gebaseerd op duidelijke bronnen, terwijl de oudere en minder goed gedocu- menteerde opgravingen, gegevens