Evaluatie en bijstelling van de instructie
3.2 1 E ANALYSE A NATOMIE RAT
3.6 D ISCUSSIE EN CONCLUSIE
Alle data en analyses zijn gebaseerd op scores op de meerkeuzetoets. Uit de betrouwbaarheidsanalyse blijkt dat de betrouwbaarheid in alle drie testen net onder of boven de ondergrens ligt van 0,7. De meest voor de hand liggende conclusie is dan ook dat de toets voor verbetering vatbaar is. Het is opvallend dat de alpha in de eerste retentietoets toeneemt om daarna weer af te nemen. Hier is geen toepasselijke verklaring voor. Behalve het te meten construct zijn er dus storende factoren die van invloed zijn en is een itemanalyse vereist waarbij items worden toegevoegd en ‘slechte’ items verwijderd. In het volgende hoofdstuk wordt dieper ingegaan op het te meten construct, de inrichting van de toets en de analyse van de papierentoets. Voor wat betreft de bruikbaarheid van de toets in het hier gepresenteerde experiment zijn de experimentele resultaten wel bruikbaar omdat het gaat om het vergelijken van instructies en niet om de constructie van de toets en diens effectiviteit. Aangenomen wordt dat fouten in de toets systematische meetfouten zijn die evenredig gelden voor beide instructies. De vergelijking tussen beide instructies is daarmee nog geldig.
De resultaten van de onderzoeksgroep die deelnam aan het experiment daalden fors vanaf de eerste afname tot en met de derde afname, evenals de groepsgrootte. Hiervoor zijn twee mogelijke verklaringen: (1) de studenten wisten niet van de testafnames en konden zich als zodanig niet hierop voorbereiden alsook zich niet opgeven voor deelname. (2) Doordat het onderwijs geen strikte aanwezigheidsplicht kent kon niet vooraf worden bepaald hoeveel studenten op de gekozen momenten aanwezig zouden zijn. Wel is getracht in te schatten op welk moment de meeste studenten aanwezig zouden zijn.
Uit de resultaten blijkt een klein maar significant verschil tussen de condities met taakgerichte opdrachten en de controle conditie. Dit betekent dat hypothese 1
dissectie+tekenen+benoemen was dit resultaat te verwachten daar uit het onderzoek van Lansing (1981) ook bleek dat tekenen positief bijdraagt aan het leerproces in vergelijking tot enkel observeren en uit het onderzoek van Dean en Kulhavy (1981) bleek dat benoemen ook positief bijdraagt aan het leerproces. Door de combinatie van deze twee taken lijkt het overbodig om een object meerdere malen te moeten tekenen voor een positief leereffect zoals in de literatuur werd gesuggereerd door Lansing (1984). Ook voor de conditie dissectie+ benoemen+feedback waren de onderzoeksresultaten te verwachten omdat benoemen een positief effect heeft (Dean & Kulhavy,1981) evenals feedback (Wang, Haertel & Walberg, 1990, 1993; Gagné, 1985; Reigeluth, 1994; Merrill, 1983) in een groepsbespreking (Smit et al, 2009). Voor dit experiment kan geconcludeerd worden dat instructies met taakgerichte opdrachten positief bijdragen aan het visueel leerproces zoals dat in dit onderzoek is beschreven. Echter, uit de retententietoetsen blijkt dat dit verschil verdwenen is in een periode van drie weken. Hoe groot de invloed van de verschillende taakgerichte opdrachten en groepsfeedback afzonderlijk zijn is niet duidelijk omdat de opdrachten alleen in combinatie met elkaar zijn uitgevoerd.
Aangezien de experimentele condities X1 en X2 weinig verschillen tonen, kan geconcludeerd worden dat er in dit onderzoek geen verschil is gevonden tussen de twee instructievormen met opdrachten. Doordat dit verschil er niet is mag hypothese 2 worden geaccepteerd die stelt dat de aangepaste instructievorm minstens even effectief is als de bestaande instructievorm. De resultaten van de retentietoetsen geven aan dat de beklijving van kennis in een periode van drie weken voor beide condities even snel afneemt. In termen van Molenda (2009) zijn beide instructies even effectief.
Vervolgens bleek de aangepaste instructievorm in vergelijking tot de bestaande instructievorm op drie punten efficiënter, naar definitie van Molenda (2009). Allereerst is tekenen een arbeidsintensief proces dat de nodige tijd vereist waardoor de studenten continue onder tijdsdruk werkten om de tekenopdrachten te voldoen. De groep met de aangepaste instructie stond niet onder een vergelijkbare tijdsdruk en had voldoende tijd om met elkaar over de stof te discussiëren. Aan het eind van de dag waren studenten uit de aangepaste instructie gezamenlijk een uur eerder klaar dan was gepland terwijl een aantal studenten uit de bestaande instructie een vertraging hadden. Het resterende uur uit de aangepaste instructie zou in een later stadium kunnen worden benut voor
een daarop aansluitende toets. Doordat ze ook al feedback hadden gekregen over hun leerprestaties tijdens de discussie mag worden geconcludeerd dat de aangepaste instructie ook op dit aspect een efficiëntieslag heeft gemaakt. Vervolgens is de aangepaste instructie op een derde aspect efficiënter: te weten de reductie van de arbeidsintensieve evaluatie van de leerresultaten door het geautomatiseerd nakijken van een toets (140 stuks, een per student) in plaats van het nakijken van tekeningen (1400 stuks, 1 set van 10 per student). De correctieduur voor het geautomatiseerd nakijken van de toetsformulieren was een dagdeel. De ontwikkeling van de toets is een eenmalige investering. De correctieduur van een set tekeningen is ca 30 minuten wat voor 140 studenten resulteert in een totale correctieduur van 70 uren.
De onderzoeksresultaten geven weer dat het verantwoord wordt geacht om in het verdere verloop van het onderzoek de aangepaste instructievorm (dissectie, benoemen, groepsfeedback) toe te passen. Op grond van de resultaten in het onderzoek mag worden aangenomen dat de kwaliteit van de aangepaste instructievorm voldoende gelijkwaardig is aan de oorspronkelijke instructievorm om de oorspronkelijke instructievorm te vervangen. In combinatie met de tijdswinst, de al voorziene feedback aan de student en de aansluiting op de te ontwikkelen CBT toets is het gerechtvaardigd om de aangepaste instructie in het onderwijs toe te passen. Daarmee is een goede basis gecreëerd om het onderzoek te vervolgen en dieper in te gaan op het te leren construct en de inrichting van de toets als testbed voor verdere experimenten ter beantwoording van de in de hoofdstukken 1 en 2 beschreven meer specifieke onderzoeksvragen.