Diep leren in het hoger onderwijs
Toetsing, leeruitkomsten, intenties en het handelen van docenten bij een universitaire
bacheloropleiding.
November 2013
Universiteit van Amsterdam
Master Onderwijskunde
Drs. Sandy Blankenzee-de Boer
sandy.blankenzee@gmail.com
Stud.nr. 10254293
Inhoudsopgave
Abstract ... 5
1 Inleiding ... 6
2 Theoretisch kader ... 8
2.1 Oppervlakkige en diepe leeraanpakken ... 8
2.2 Constructive alignment ... 12
3 Probleemstelling ... 18
4 Methoden ... 20
4.1 Design ... 20
4.2 Onderzoeksgroep ... 20
4.3 Procedure dataverzameling en instrumenten ... 20
4.4 Data-analyse ... 22
4.5 Beperkingen van het onderzoek ... 28
5 Resultaten... 30
5.1 Casus A ... 30
5.2 Casus B ... 39
5.3 Casus C ... 48
5.4 Casus D ... 58
5.5 Cross case analyse ... 67
6 Conclusie en discussie ... 69 6.1 Conclusie ... 69 6.2 Discussie ... 74 6.3 Aanbevelingen ... 75 7 Literatuur ... 79 8 Bijlagen ... 81
Bijlage A: SOLO actiewerkwoordenoverzicht ... 82
Bijlage B: Interviewleidraad ... 83
Bijlage C: Samenvattend overzicht casus A ... 85
Bijlage D: Samenvattend overzicht casus B ... 86
Bijlage E: Samenvattend overzicht casus C ... 87
Bijlage F: Samenvattend overzicht casus D ... 88
Bijlage G Consistency circle ... 89
Abstract
The quality of higher education can be improved by making sure the intended learning outcomes, assessment and teaching and learning activities are constructively aligned. In research literature it is stated that in higher education students should be stimulated to use a deep learning approach. This case study research investigates whether four bachelor courses at a Dutch university stimulate students to use a deep learning approach. In this study Biggs’ SOLO-taxonomy has been used to analyse the intended learning objectives, assessment questions and the teachers intentions. Through semi-structured interviews the teachers’ behavior was also studied on aspects that are beneficial for choosing a deep learning approach. Through a cross case analysis the findings in the case studies were compared. A consistency circle, that was designed for this study, was used to summarize the findings. The results of the research show that in these specific cases intended learning outcomes, assessment, teachers intentions and teachers actions are not constructively aligned and not consistent in stimulating a deep learning approach. However, the results show that the teachers’ intentions are sufficiently consistent with the assessment in stimulating a deep learning approach. This is an important finding, since assessment is a significant factor in directing students learning. The results also show that the learning outcomes are not aligned to the assessment, intentions and actions of the teacher. A possible explanation is that teachers were not instructed in writing learning outcomes and were in some cases not involved in writing the learning outcomes. Although teachers were not instructed, the research shows that nevertheless there is progression in the SOLO-level during the program. This study is limited in the scope of empirical coverage and further effort should be made to find out whether these findings in this study are applicable to other settings.
1 Inleiding
Sinds 2000 staat het universitair onderwijs onder druk en is er toenemende zorg om de kwaliteit van het hoger onderwijs. Zo staat de laatste jaren de toetskwaliteit in het hoger onderwijs in grote maatschappelijke belangstelling, mede naar aanleiding van een aantal incidenten, waarbij de kwaliteit van HBO-diploma’s ter discussie stond. Dit heeft ertoe geleid dat de Nederlandse wetgeving is aangepast, zodat voortaan een onafhankelijke examencommissie moet vaststellen of een student voldoet aan de voorwaarden van de onderwijs- en examenregeling. Bovendien is de toetsing als apart onderdeel in de accreditatie opgenomen. Daarnaast moeten universiteiten steeds meer rekenschap afleggen voor resultaten en onderwijskwaliteit, terwijl zij steeds meer afhankelijk zijn van vergoedingen die zij per student ontvangen.
Een andere uitdaging voor het hoger onderwijs is de massificatie van het hoger onderwijs (Altbach, Reisberg & Rumbley, 2009; Biggs & Tang, 2011). Door een aanzienlijke toename van het aantal studenten sinds 2000 is er een grotere diversiteit in de studentenpopulatie ontstaan. Hierdoor worden universiteiten en docenten gedwongen opnieuw hun onderwijs onder de loep te nemen en te bezien op welke wijze de kwaliteit van het onderwijs kan worden gewaarborgd en verbeterd. Universiteiten zoeken een antwoord op de vraag hoe zij in hun onderwijs kunnen omgaan met deze verschillen tussen studenten. Mede hierdoor vindt er een paradigmaverschuiving plaats waarbij universiteiten zich ontwikkelen van instellingen gericht op het overbrengen van kennis tot meer student-gecentreerde instellingen. Deze ontwikkeling wordt versterkt door wetenschappelijk onderzoek naar het leren van studenten.
Uit dit onderzoek naar het leren van studenten blijkt dat de wijze waarop studenten leren voor een belangrijk deel bepaald wordt door externe factoren en dus beïnvloedbaar is door de opleiding (o.a. Struyven, Dochy & Janssens, 2005). De wijze waarop studenten omgaan met de leerstof is niet alleen afhankelijk van persoonsgebonden factoren, maar hangt voor een belangrijk deel af van omgevingsfactoren. Zo blijkt uit onderzoek dat de wijze van toetsing een grote rol speelt bij de keuze voor een bepaalde leeraanpak (Biggs, 2012; Havnes, 2004; Rust, 2013; Scouller, 1998; Tian, 2007). Dat maakt het uiterst relevant om te kiezen voor toetsing, die de gewenste leeraanpak bij studenten stimuleert. In de onderzoeksliteratuur worden twee leeraanpakken onderscheiden: een deep
learning aanpak (diep leren aanpak) en een surface learning aanpak (oppervlakkig leren aanpak)
(Biggs, 2012; Biggs & Tang, 2011; Boud & Falchikov, 2007). Bij een diep leren aanpak leggen studenten verbanden tussen verschillende aspecten, hypothesen en overtuigingen om zo de leerinhoud te begrijpen en er betekenis aan te geven.
Hoewel het voor de hand ligt dat in het universitair onderwijs de nadruk ligt op het bevorderen van een diep leren aanpak door studenten, blijkt uit de onderzoeksliteratuur dat dit in de praktijk vaak niet gebeurt (o.a. Smith & Colby, 2007). Uit onderzoek blijkt dat studenten steeds vaker een oppervlakkige leeraanpak gebruiken en dat de wijze van toetsing een belangrijke rol speelt bij deze keuze. Dat zou kunnen betekenen dat de wijze waarop het onderwijs is vorm gegeven vooral een oppervlakkige leeraanpak bevordert. De vraag is of dit in de praktijk daadwerkelijk zo is.
Daarnaast blijkt uit onderzoek dat er bij goed onderwijs sprake is van maximale consistentie binnen het systeem, waarbij leeruitkomsten, leeractiviteiten en toetsing op een lijn staan. Dit wordt
‘constructive alignment’ genoemd. Belangrijk is dat de toetsing meet wat er beoogd wordt in de
geformuleerde leeruitkomsten. Ook de leeractiviteiten moeten daarbij aansluiten. Ook hierbij is het de vraag of deze theoretische inzichten in de praktijk voldoende navolging vinden. Ondanks dat dit in veel onderzoeksliteratuur als uitgangspunt genoemd wordt, is er nog nauwelijks onderzocht in welke mate dit in de praktijk gebeurt. Dit onderzoek doet daar een aanzet toe.
De docent speelt een cruciale rol bij het stimuleren van een diep leren aanpak bij studenten, door het maken van bepaalde keuzen met betrekking tot de leeruitkomsten, onderwijsvormen en toetsing. In dit onderzoek is daarom ook gekeken naar de intenties en het handelen van de docent.
Dit onderzoek vond plaats bij een bacheloropleiding op een grootstedelijke universiteit. Bij vier vakken is onderzocht in hoeverre de beoogde leeruitkomsten en de toetsing vragen om een diep leren aanpak bij studenten. Daarnaast is onderzocht in hoeverre de intenties die de docenten hebben op dat gebied en het handelen van de docent hiermee in overeenstemming zijn.
2 Theoretisch kader
2.1 Oppervlakkige en diepe leeraanpakken
2.1.1 Onderzoek naar leeraanpakken
“Effective teaching requires that we eliminate those aspects of our teaching that encourage surface approaches to learning; and that we set the stage properly so that students will more readily use deep approaches to learning”. (Biggs & Tang, 2011: 34)
Er wordt al decennia onderzoek gedaan naar leerstrategieën van studenten. Marton en Säljö deden in de jaren ’70 onderzoek naar de leeraanpakken van studenten in Zweden. Studenten kregen een stuk tekst om te lezen en hen werd verteld dat er na afloop vragen gesteld zouden worden over de tekst. Marton en Säljo onderscheidden twee verschillende aanpakken bij studenten. Een groep studenten richtte zich op feiten en details in de tekst. Deze studenten ‘scanden’ de tekst op een oppervlakkige wijze en gebruikten een oppervlakkige strategie, door Marton en Säljö een ‘surface
learning approach’ genoemd. Deze studenten misten de essentie van het stuk. De andere groep
richtte zich op het grote geheel: het begrijpen van de betekenis van de tekst en de boodschap van de auteur. Ze gingen dieper in op de tekst. Marton en Säljö noemden dit een ‘deep learning approach’ . Een diep leren aanpak ontstaat door de behoefte om een taak goed en betekenisvol uit te voeren en is gericht op begrip en het toekennen van betekenis aan de leerinhoud (Biggs & Tang, 2011: 26). Hierbij richt de student zich op verbanden tussen verschillende aspecten, het formuleren van hypothesen of overtuigingen met betrekking tot de structuur van het probleem of concept (Smith, 2007: 206). Er is sprake van een intrinsieke interesse in de taak (Prosser & Trigwell, 2001).
Een oppervlakkige aanpak daarentegen ontstaat uit de behoefte om de taak met een minimale inspanning uit te voeren, net voldoende om aan de minimale eisen te voldoen. Hierbij worden basale cognitieve vaardigheden gebruikt, terwijl eigenlijk hogere cognitieve activiteiten gebruikt zouden moeten worden om de taak goed uit te kunnen voeren (Biggs & Tang, 2011: 24). Er is bij een oppervlakkige aanpak sprake van een minimale betrokkenheid bij de taak, met veelal een focus op memoriseren of het toepassen van procedures, waarbij geen sprake is van reflectie. Het gaat er vooral om de taak te volbrengen (Smith, 2007: 205-206). Bij het gebruik van een oppervlakkige aanpak richten studenten zich op ‘signs of learning’: dit zijn de woorden die gebruikt worden, geïsoleerde feiten, onderwerpen worden geïsoleerd van elkaar beschouwd. Hierdoor wordt de betekenis en structuur van wat gedoceerd wordt over het hoofd gezien (Biggs & Tang, 2011; Prosser & Trigwell, 2001).
Marton en Säljö lieten in hun onderzoek zien dat studenten die een diep leren aanpak gebruikten vaker tot kwalitatief hogere leeruitkomsten kwamen: bij studenten die de relaties zien tussen verschillende elementen in de tekst en zich ervan bewust zijn hoe dit begrip kan worden toegepast in nieuwe en abstracte situaties, is er sprake van een meer diepgaand begrip van de materie dan bij studenten die deze relaties niet zien (Prosser & Trigwell, 2001: 4).
In navolging van Marton en Saljö is er meer onderzoek gedaan naar leeraanpakken van studenten. Zo blijkt uit onderzoek van onder andere Ramsden (1992) dat de wijze waarop studenten hun leeromgeving ervaren een rol speelt bij het kiezen voor een bepaalde aanpak. Hierbij spelen vooral de toetsmethode en de ervaren werklast een belangrijke rol in de keuze voor een bepaalde leeraanpak: ”[…] students who perceive the nature of the assessment as encouraging memorization
and recall, and who perceive the workload demands of a subject as high, are more likely to adopt a surface approach.” (Prosser & Trigwell, 2001: 4)
In Australië deed Biggs veel onderzoek naar leeraanpakken van studenten. Hij ontwikkelde samen met Collis in de jaren ’80 een taxonomie van geobserveerde leeruitkomsten, die sindsdien in verschillende landen gebruikt wordt om leeruitkomsten in kaart te brengen.
2.1.2 Verschillende niveaus van leeruitkomsten
Leeruitkomsten kunnen worden ingedeeld in verschillende niveaus. Volgens Braband en Dahl (2009) is het, wanneer het gaat om het begrijpen van een leerinhoud, noodzakelijk om specifiek te
benoemen wat er met ‘begrijpen’ wordt bedoeld: ‘begrijpen’ kan betekenen dat men bepaalde regels moet kunnen toepassen, bijvoorbeeld het toepassen van bepaalde regels in de wiskunde. Maar bij ‘begrijpen’ kan het ook gaan om inzicht en redenatie. Om leeruitkomsten op verschillende niveaus te kunnen classificeren is er een aantal taxonomieën ontwikkeld. De bekendste daarvan is de taxonomie van Bloom. Deze dateert uit 1956 en is in 2001 gereviseerd. De taxonomie van Bloom is ontwikkeld om doelstellingen te classificeren en wordt wereldwijd veel gebruikt. Ondanks dat de taxonomie veel gebruikt wordt is er ook kritiek. De belangrijkste kritiek is dat de taxonomie van Bloom uitgaat van een hiërarchie tussen verschillende niveaus, waarbij de hiërarchie niet gebaseerd is op wetenschappelijk onderzoek (Hattie & Brown, 2004).
Een andere taxonomie die gebruikt wordt is de Structure of the Observed Learning Outcomes (SOLO) taxonomie van Biggs en Collis (2011; 2012). Zij deden in navolging van andere wetenschappers onderzoek naar leeruitkomsten in verschillende academische vakgebieden. Op basis daarvan kwamen zij tot een raamwerk waarbij vijf stadia van toenemende structurele complexiteit worden
onderscheiden. Met dit raamwerk kunnen op systematische wijze verschillende niveaus in leerprestaties worden beschreven. Het kan gebruikt worden om beoogde leeruitkomsten te definiëren en als instrument voor het evalueren van deze leeruitkomsten (Biggs & Tang, 2011: 87). Leeruitkomsten worden geclassificeerd in termen van hun structurele kwaliteit. Het is sindsdien veel gebruikt in onderzoeken naar leerstrategieën en leeruitkomsten (o.a. Braband et al., 2004; Lucander, Bondemark, Brown & Knutsson, 2010; Smith, 2007). De vijf stadia in het raamwerk vormen een continuüm. Ieder niveau vormt het fundament voor het niveau er na.
Figuur 1. Structure of the Observed Learning Outcome (SOLO) taxonomie (Biggs, 2012; Biggs & Tang, 2012)
Het eerste niveau wordt ‘prestructural’ genoemd. Hier is feitelijk geen sprake van leren. De student heeft hier gemist waar het in de leertaak om ging. Er is sprake van losse kenniselementen, zonder samenhang.
In het tweede niveau, dat ‘unistructural’ wordt genoemd, is sprake van het leren van één groot idee of procedure. Er worden hier wel wat verbanden gelegd tussen verschillende elementen, maar de betekenis ervan is niet duidelijk.
In het derde niveau wordt dit idee uitgebreid met meer ideeën of procedures. Hier worden meer verbanden gelegd, maar de meta-verbindingen worden nog niet gelegd. Dit is het ‘multistructural’ niveau. In het ‘unistructural’ en ‘multistructural’ niveau is er sprake van oppervlakkig leren. Er is nog geen sprake van het leggen van verbanden; de kennis is oppervlakkig en bij de overgang van niveau 2
naar 3 gaat het om een kwantitatieve toename van kennis. Het verschil tussen niveau 2 en 3 is dan ook kwantitatief van aard.
In het vierde niveau, het ‘relational’ niveau, wordt er van studenten verwacht dat zij niet alleen over feitenkennis en informatie beschikken, maar ook dat zij de kennis en informatie kunnen structureren en toepassen in bekende situaties en problemen. De student is hier in staat om de betekenis van de verschillende onderdelen te zien in hun relatie tot het geheel.
In het vijfde niveau ‘extended abstract’ zouden studenten kennis moeten kunnen uitbreiden naar onbekende problemen en domeinen. Het vierde en vijfde niveau vormen gezamenlijk wat Biggs en Tang ‘the qualitative phase’ noemen. Hier is sprake van diep leren. Er is een kwalitatief verschil tussen niveau 4 en 5: in niveau 5 vindt een conceptuele herstructurering van de componenten plaats, waarbij de componenten geïntegreerd worden met elkaar.
De taxonomie van Biggs en Collis is, anders dan bijvoorbeeld de taxonomie van Bloom, gebaseerd op wetenschappelijke onderzoek naar leerstrategieën van studenten en is zeer geschikt om de kwaliteit van leren en doceren te onderzoeken (Hattie & Brown, 2004; Smith & Colby, 2007). De taxonomie kan gebruikt worden om vragen en opdrachten te categoriseren en maakt een duidelijk onderscheid tussen diep leren en oppervlakkig leren. Omdat dat laatste voor dit onderzoek heel relevant is, is deze taxonomie gebruikt in dit onderzoek.
2.1.3 Bevorderen van een diep leren aanpak in het hoger onderwijs
“The way students approach their learning is related to the quality of their learning outcome. Students who adopt a surface approach to learning are unlikely to achieve the quality of understanding in their subject that would be expected from a university student.” (Prosser & Trigwell, 2001: 4)
Kwalitatief hoge leeruitkomsten worden geassocieerd met leeraanpakken die gericht zijn op diep leren (Biggs, 2011; Prosser & Trigwell, 2001, Smith & Colby, 2007).
In het universitair onderwijs zou vooral een diep leren aanpak gestimuleerd moeten worden, omdat dat het meest aansluit bij de einddoelen van het hoger onderwijs (Prosser & Trigwell, 2001; Tian, 2007). Ook Biggs, Kember en Leung (2001) wijzen op het belang van een diep leren benadering door de student, om de doelen van hoger onderwijs te bereiken. Onderzoek van Phan (2011) laat zien dat er sprake is van een positief effect van een diep leren aanpak op academische prestaties. Daarnaast is er sprake van samenhang met het vermogen tot kritisch denken (Phan, 2011). In de praktijk blijkt
echter dat studenten vaak vooral een oppervlakkige aanpak gebruiken (Biggs, 2001; Biggs & Tang, 2011; Prosser & Trigwell, 2001; Smith & Colby, 2007; Tian, 2007).
Om ervoor te zorgen dat diep leren wordt gestimuleerd in het hoger onderwijs moeten de beoogde leeruitkomsten, leeractiviteiten en toetsing diep leren bevorderen.
2.2 Constructive alignment
Een belangrijke voorwaarde voor een effectieve leeromgeving is dat er sprake is van consistentie tussen de beoogde leeruitkomsten, de leeractiviteiten en de toetsing. Dit wordt “constructive
alignment” genoemd (Biggs, 1996; Biggs & Tang, 2011; Biggs, 2012). Dit is een model “where the objectives define what we should be teaching; how we should be teaching it; and how we could know how well students have learned it.”(Biggs, 2012: 45).
Figuur 2. Constructive alignment (Biggs, 2012; Biggs & Tang, 2011)
Het idee van ‘constructive alignment’ is ontstaan uit een constructivistische manier van kijken naar onderwijs: ”‘constructive’ comes from the constructivist theory that learners use their own activity to
construct their knowledge as interpreted through their own existing schemata” (Biggs & Tang, 2011:
97). Het aspect ‘alignment’ “refers to establishing a teaching environment where the teaching
activities support and lead to the achievement of the desired learning outcomes as evidences by students’ engagement with the assessment tasks” (Larkin & Richardson, 2013: 194). Uit onderzoek
van Larkin en Richardson (2013) blijkt dat invoeren van constructive alignment in het hoger onderwijs kan leiden tot een verbetering van de studenttevredenheid en de behaalde cijfers. Zij onderzochten bij een 4-jarige undergraduate opleiding in Australië hoe constructive alignment principes kunnen worden toegepast en laten zien dat studentenevaluaties en cijfers van de studenten verbeterden na het implementeren ervan.
Assessment tasks Teaching & learning activities Learning outcomes 12
2.2.1 Beoogde leeruitkomsten
Bij het design van constructive alignment onderwijs moet er voor gezorgd worden dat de beoogde leeruitkomsten (ook vaak leerdoelen genoemd), onderwijsactiviteiten en toetsing consistent zijn aan elkaar, zodat er sprake is van een maximale consistentie in het systeem. Het is daarbij vooral belangrijk wat de student doet en niet wat de docent doet.
De beoogde leeruitkomsten staan hierbij centraal. Deze beoogde leeruitkomsten “specify the activity
that students should engage if they are to achieve the intended outcome as well as the content the activity refers to.” (Biggs & Tang, 2011: 97). Een van de belangrijkste criteria voor een beoogde
leeruitkomst is dat de student weet, wanneer deze de leeruitkomst leest, wat hij moet doen en hoe goed hij het moet doen om de leeruitkomst te bereiken. Hierbij ligt de nadruk op wat studenten moeten leren en kunnen. De beoogde leeruitkomsten moeten derhalve niet alleen specificeren wat er geleerd moet worden (de leerinhoud), maar ook hoe het geleerd moet worden (Biggs & Tang, 2011: 97-98). Een veel gebruikte manier om deze activiteit te formuleren is het gebruik van werkwoorden. In zowel de taxonomie van Bloom als die van Biggs en Collis worden actiewerkwoorden gebruikt om de activiteit te formuleren. Het werkwoord heeft hierbij twee functies: het geeft aan wat de student moet kunnen met het onderwerp en op welk niveau hij dat moet kunnen. Om te zorgen dat leeruitkomsten, onderwijsactiviteiten en toetsing consistent zijn aan elkaar moet de activiteit die in de beoogde leeruitkomst is geformuleerd ook aanwezig zijn in de onderwijsactiviteit en de toetsing (Biggs & tang, 2011: 98).
2.2.2 Teaching and learning activities
Naast het op juiste wijze formuleren van de leeruitkomsten is er bij constructive alignment sprake van consistentie van deze leeruitkomsten met de leeractiviteiten (door Biggs ‘teaching and learning
activities’ genoemd). Hierbij speelt de docent een centrale rol. Taak van de docent is om een
leeromgeving te creëren die de student ertoe aanzet om de leeractiviteiten uit te voeren en om de prestaties van studenten te toetsen aan de beoogde leeruitkomsten.
Over de rol van docenten in het onderwijs is veel onderzoek gedaan. Hier beperken we ons tot de invloed die de docent heeft in zijn onderwijsactiviteiten op het bevorderen van een diep leren aanpak bij studenten. Biggs en Tang (2011) noemen een aantal kenmerken van het handelen van de docent, die van invloed zijn op het bevorderen van een diep leren aanpak bij studenten.
• Lesgeven op een wijze die expliciet de structuur van het onderwerp weergeeft.
• Stimuleren van interactie met de studenten, bijvoorbeeld door het stellen van vragen, het voorleggen van problemen die door de studenten opgelost moeten worden.
• Voortbouwen op wat de studenten al weten.
• Studenten confronteren met hun misconcepties en deze wijzigen.
• De toetsing moet gericht zijn op de structuur en niet op losstaande feiten.
• Lesgeven en toetsen op een manier die een positieve leeratmosfeer bevordert, zodat studenten fouten kunnen maken en ervan kunnen leren.
• Gericht zijn op de diepte van de kennis in plaats van een brede dekking van het onderwerp. • Doceer- en toetsmethoden gebruiken die de beoogde leeruitkomsten ondersteunen.
Deze kenmerken staan niet op zichzelf. Ook een aantal aspecten die te maken hebben met de student speelt een rol. Zo zijn er ook studentkenmerken die een diep leren aanpak bevorderen: betrokkenheid bij de taak, voldoende achtergrondkennis en een goed gestructureerde kennisbasis, de mogelijkheid om zich op een hoog conceptueel niveau te kunnen concentreren en een voorkeur voor conceptueel werken in plaats van werken met op zichzelf staande details.
2.2.3 Toetsing
Een derde element bij constructive alignment is de toetsing. Toetsing en feedback zijn cruciaal als ondersteuning bij leren en zijn onder andere een middel om vast te stellen of de doelstellingen zijn gehaald (Bransford et al., 2000). De toetsing moet aansluiten op de beoogde leeruitkomsten en de onderwijsactiviteiten.
Discussie over toetsing werd lange tijd vooral gedomineerd door een focus op certificering, waarbij er nauwelijks aandacht was voor de invloed van toetsing op het leerproces (Boud & Falchikov, 2007). Uit onderzoek naar leerstrategieën onder studenten blijkt echter dat de wijze van toetsing voor een belangrijk deel bepaalt hoe studenten omgaan met de leerstof (Biggs, 2012; Havnes, 2004; Rust, 2013; Scouller, 1998; Tian, 2007). Zo is de leeraanpak van studenten die een reproductietoets krijgen anders dan wanneer studenten een essay moeten schrijven (Tian, 2007).
“Student learning research has repeatedly demonstrated the impact of assessment on students’ approaches to learning (see Gibbs, 1992a ; Gibbs, 1992b ; Biggs, 1989 ; ...Ramsden, 1992). Ask them to understand the physics and chemistry of muscle contraction, but test them on the names of the muscles, and they will “learn” the names but not be able to explain how contraction happens. Ask students to understand narrative perspective in the novel but test them on the author’s background and they will know a lot about the author and little about narrative perspective .” (Nightingale & O’Neil, 1994, geciteerd in Nigtingale e.a. 1996: 10).
Een geschikte toetsmethode zou studenten die de gewenste leerstrategie gebruikt hebben moeten belonen ten opzichte van studenten die een ongewenste leeraanpak gebruikt hebben, om op die manier het gebruik van de gewenste leerstrategie te bevorderen. De toetsing moet dus op een zodanige wijze worden ontworpen dat deze daadwerkelijk diep leren stimuleert en aansluit bij de beoogde leeruitkomsten en onderwijsactiviteiten.
Uit een aantal onderzoeken naar toetsvormen komt naar voren dat essayopdrachten diep leren stimuleren in tegenstelling tot multiple choice toetsen, die vooral leiden tot oppervlakkig leren (Scouller, 1998; Struyver, 2005; Tian, 2007). In ander onderzoek blijkt echter dat ook multiple choice toetsen kunnen worden gebruikt om diep leren te stimuleren, mits deze gebruikt worden als startpunt voor leren en niet als eindtoets (Draper, 2009). Veel onderzoeken naar toetsmethoden zijn echter kleinschalig, zodat de conclusies vaak betrekking hebben op specifieke situaties.
Een projectteam van de Universiteit van New South Wales uit Australië deed in opdracht van het Committee for Advancement of University Teaching in de periode 1994-1996 onderzoek naar toetsmethoden in het universitair onderwijs. Eén van de doelen van het project was ” to persuade
them [university teachers] to adopt assessment strategies which both encourage the student learning outcomes they desire and allow teachers to evaluate the success of their teaching in terms of those outcomes.” (Nightingale et al., 1996: 1) . Bij het onderzoek waren 500 academici betrokken die werkzaam waren op universiteiten in Australië en Nieuw-Zeeland. Een aantal daarvan leverden een bijdrage aan de publicatie. De anderen vormden een feedbackgroep. Het project leverde een overzicht op van toetsmethoden die aansluiten bij de doelen in het universitair onderwijs.
In tabel 1 is hiervan een samenvatting opgenomen. Het gaat hier om best practices, zoveel mogelijk ondersteund door wetenschappelijke inzichten. In dit onderzoek werden allereerst clusters gedefinieerd van leeruitkomsten voor studenten in het universitair onderwijs. Deze clusters werden als volgt gedefinieerd: “
1) thinking critically and making judgements 2) solving problems and developing plans
3) performing procedures and demonstrating techniques 4) managing and developing oneself
5) accessing and managing information
6) demonstrating knowledge and understanding 7) designing, creating, performing
8) communicating”
Deze leeruitkomsten vormen volgens de betrokken academici de basis van wat er getoetst zou moeten worden in het universitair onderwijs. Uit het overzicht blijkt dat niet alle geformuleerde leeruitkomsten een diep leren aanpak stimuleren. De leeruitkomsten “thinking critically and making
judgments” en “problem solving and developing plans” sluiten aan bij de kwalitatieve fase van de
SOLO taxonomie en zijn gericht op een diep leren aanpak. De activiteiten die horen bij de leeruitkomsten ‘performing procedures and demonstrating techniques’ bevorderen slechts
gedeeltelijk een diep leren aanpak. Toch zijn ook dit legitieme leeruitkomsten in het universitair onderwijs, mits het daar niet bij blijft. Het overzicht van Nightingale geeft een interessant overzicht van mogelijke toetsmethoden die passen bij deze leeruitkomsten.
Tabel 1 Geschikte toetsmethoden voor beoogde leeruitkomsten (Dunn, 2002; Nightingale et al., 1996)
Categorie leeruitkomst Geschikte toetsmethode
Thinking critically and making judgments
(developing arguments, reflecting, evaluating, assessing, judging)
Essay; report; journal; letter of advice; present a case; prepare a committee briefing paper; book review; write newspaper article; comment on an article’s theoretical perspective.
Problem solving en developing plans
(identifying problems, posing problems, defining problems, analyzing data, reviewing, designing experiments, planning, applying information)
Problem scenario; group work; work-based problem; prepare a committee of enquiry report; draft a research bid to a realistic brief; analyse a case; conference paper.
Performing procedures and demonstrating techniques
(computation, taking readings, using equipment, following laboratory procedures, following protocols, carrying out instructions)
Demonstration; role play; make a video; produce a poster; lab report; prepare an illustrated manual on using the equipment; observation of professional practice.
Managing and developing oneself
(working co-operatively, working independently, learning independently, being self-directed, managing time, managing tasks, organising)
Journal; portfolio; learning contract; Group work.
Accessing and managing information
(researching, investigating, interpreting, organising information, reviewing and paraphrasing information, collecting data, searching and managing information sources, observing and interpreting)
Annotated bibliography, project; dissertation; applied task; applied problem.
Demonstrating knowledge and understanding
(recalling, describing, reporting, recounting, recognizing, identifying, relating & interrelating)
Written/oral examination; essay; report; comment on accuracy of a set of records; devise an ancyclopaedia entry; produce an A-Z of…; write an answer to a client ‘s question; short answer questions: true/false/Multiple Choice Questions
Designing, creating, performing
(imaging, visualising, designing, producing, creating, innovating, performing)
Portfolio; performance; presentation; ‘hypothetical’; projects.
Communicating
(one and two-way communication, communication within a Group, verbal, written and non-verbal communication, arguing, describing, advocating, interviewing, negotiating, presenting, using specific written forms)
Written presentation (essay, report, reflective paper…); oral presentation; Group work; discussion/debate/role play; participate in a “court of enquiry”; presentation to camera; observation of professional practice.
Dunn (2002) noemt naast het belang van interne consistentie tussen leeruitkomsten, methode en toetsing ook het belang van een afgesproken toetsstrategie voor het hele programma en een variatie in het toetsaanbod binnen een programma.
De uitgangspunten van constructive alignment zijn niet nieuw. Goede docenten passen het al jaren toe: “Constructively aligned teaching systematizes what good teachers have always done stating
upfront and making transparent what they intend their students to learn, using teaching that helps the students attain those outcomes, and assessing students in terms of how well they attained the outcomes, while remaining open to learning outcomes that emerge organically during the critical exchange between students and instructors” (Altbach et al.; 2009: 120).
3 Probleemstelling
Uit de bestudeerde wetenschappelijke literatuur komen twee belangrijke voorwaarden voor goed hoger onderwijs worden naar voren. Allereerst moet er sprake zijn van consistentie tussen de beoogde leeruitkomsten, onderwijsactiviteiten en toetsing. Ten tweede moet het onderwijs vooral het gebruik van een diep leren aanpak door studenten stimuleren en het gebruik van een oppervlakkige aanpak ontmoedigen, omdat dat het beste aansluit bij de einddoelen van het hoger onderwijs.
Hoewel er veel onderzoek is gedaan naar leeruitkomsten en toetsing, is er nog weinig inzicht in de mate waarin en de wijze waarop universiteiten in de praktijk gestalte geven aan deze wetenschappelijke inzichten. Dit onderzoek doet hier een aanzet toe. Door middel van een studie naar vier cases die met elkaar worden vergeleken, wordt getracht inzicht te krijgen in de praktijk van vier bachelorvakken op een faculteit van een Nederlandse, grootstedelijke universiteit. In dit onderzoek is de SOLO-taxonomie voor het eerst gebruikt om het niveau van leeruitkomsten, toetsopdrachten en intenties van docenten met elkaar te vergelijken.
De probleemstelling is als volgt geformuleerd:
In hoeverre bevorderen de beoogde leeruitkomsten, de toetsing en de intenties en het handelen van de docent een diep leren aanpak bij studenten? In hoeverre zijn deze consistent aan elkaar in het bevorderen van een diep leren aanpak bij studenten? Hoe kunnen eventuele discrepanties tussen beoogde leeruitkomsten, toetsing, intenties en handelen van de docent verklaard worden? Van elke casus zijn de volgende deelvragen beantwoord:
1. In hoeverre bevorderen de geformuleerde, beoogde leeruitkomsten een diep leren aanpak? 2. In hoeverre bevorderen de toetsopdrachten een diep leren aanpak?
3. In hoeverre is de intentie van de docent gericht op het bevorderen van een diep leren aanpak ?
4. In hoeverre bevordert het handelen van de docent een diep leren aanpak?
5. In hoeverre zijn de beoogde leeruitkomsten, de toetsing, de intenties van de docent en het handelen van de docent consistent aan elkaar en gericht op het bevorderen van een diep leren aanpak?
6. Hoe kunnen eventuele discrepanties worden verklaard?
In verband met de omvang van het onderzoek worden de feitelijke onderwijsactiviteiten niet onderzocht.
Het onderzoek heeft plaatsgevonden bij een bacheloropleiding van een grootstedelijke, Nederlandse universiteit. Er is gekozen voor deze opleiding, omdat binnen deze opleiding veel aandacht is voor het verbeteren van de onderwijskwaliteit en er interesse bestond in onderzoek naar leeruitkomsten en toetsing. Er zijn vier vakken onderzocht die werden gegeven in het studiejaar 2012-2013. Dit onderzoek sluit aan bij bestaand onderzoek naar leeraanpakken door studenten en onderzoek op het gebied van constructive alignment. Het laat zien in hoeverre in enkele specifieke praktijken met behulp van de SOLO-taxonomie een diep leren aanpak wordt bevorderd.
4 Methoden
4.1 Design
Dit onderzoek is een beschrijvend onderzoek waarbij kwalitatieve data zijn verzameld.
Om de onderzoeksvragen te beantwoorden is er een beschrijvend onderzoek uitgevoerd door middel van vier embedded
case studies. Het gaat om instrumentele case studies: de case studies zijn
gebruikt om de wijze te illustreren waarop op deze faculteit een diep leren aanpak wordt bevorderd bij studenten. Het onderzoek was erop gericht om een diepgaand inzicht te verwerven in de wijze waarop de leeruitkomsten, toetsing, de intenties en het handelen van de van de docent om een diep leren aanpak vragen en in hoeverre deze factoren consistent zijn aan elkaar. Er vond een documentenanalyse plaats en er zijn semi-gestructureerde interviews met open vragen afgenomen. Door middel van een cross case analyse zijn de resultaten van de case studies met elkaar vergeleken.4.2 Onderzoeksgroep
De onderwijsinstelling waar deze case studies uitgevoerd zijn, is een Nederlandse, universitaire bacheloropleiding. Om de onderzoeksvragen te beantwoorden zijn vier vakken onderzocht, die gegeven werden in studiejaar 2012-2013. Deze vakken zijn ad random geselecteerd. De geselecteerde vakken zijn de volgende:
1. Vak A: een verplicht vak in de propedeuse, in het tweede semester
2. Vak B: een verplicht vak in het tweede bachelorjaar, in het tweede semester 3. Vak C: een verplicht vak in het derde bachelorjaar, in het tweede semester 4. Vak D: een keuzevak in het derde bachelorjaar, in het eerste semester
4.3 Procedure dataverzameling en instrumenten
Na goedkeuring van de onderwijsdirecteur zijn er ad random vijf vakken geselecteerd uit de bachelor. Hiertoe zijn alle 33 vakken op kaartjes geschreven en zijn er ongezien vijf kaartjes getrokken. Van deze vijf vakken zijn de geformuleerde leeruitkomsten opgezocht in de online studiegids, de tentamens opgevraagd van studiejaar 2012-2013 en zijn de docenten benaderd voor een interview. De hoofddocenten van de geselecteerde vakken waren allen bereid mee te werken. De interviews zijn opgenomen. Alle docenten combineerden onderzoekstaken met het verzorgen van onderwijs. Met een docent lukte het niet om binnen de onderzoeksplanning een
Toetsen opvragen
Leeruitkomsten uit studiegidstekst filteren
Leeruitkomsten verzamelen uit online studiegids Interviews afnemen
Gecodeerde tekstfragmenten analyseren op genoemde kenmerken van
docenthandelen Leeruitkomsten classificeren
Vergelijken geclassificeerde leeruitkomsten uit studiegids met geclassificeerde tekstfragmenten (intenties van de docent), op patronen, overeenkomsten en verschillen.
Toetsopdrachten classificeren
Gecodeerde tekstfragmenten classificeren
Vergelijken geclassificeerde toetsopdrachten met geclassificeerde tekstfragmenten (intenties van de docent), op patronen, overeenkomsten en verschillen.
Combineren en vergelijken van analyses van leeruitkomsten, toetsing, intenties en docenthandelen met elkaar per vak, op patronen, overeenkomsten en verschillen.
Cross case analyse: vergelijken van analyses van de cases, op patronen, overeenkomsten en verschillen. Docenthandelen Toetsing Leeruitkomsten Intenties Interviews uitschrijven Interviews coderen tabel tabel tabel tabel tabel tabel
Samenvattende tabel per vak tabel matrix-tabel transcripties Samenvattende overzichtstabel geluids-opnames Consistency circle Figuur 3. Procedure data-analyse
afspraak te maken. Het betrof een vak uit het tweede jaar. Dit vak is om die reden niet in het onderzoek opgenomen. Met een docent is het interview in het Engels gehouden. Om de betrouwbaarheid te verhogen van de data zijn alle gegevens van de respondenten en vakken geanonimiseerd. Documentenanalyse en interviews vonden plaats in de periode februari – augustus 2013.
4.4 Data-analyse
Voor de data-analyse is gebruikt gemaakt van het raamwerk van Huberman en Miles (Huberman & Miles, 1994). Huberman en Miles onderscheiden drie componenten bij het analyseren van kwalitatieve data: data reduction, data display en conclusion drawing/verification. In figuur 3 is de procedure van de data-analyse schematisch weergegeven.
Er heeft een documentenanalyse plaatsgevonden en de data uit de interviews zijn geanalyseerd. 4.4.1 Documentenanalyse
Door middel van een documentenanalyse is een antwoord gezocht op de deelvragen ‘In hoeverre bevorderen de geformuleerde, beoogde leeruitkomsten een diep leren aanpak?’ en ‘In hoeverre bevorderen de toetsopdrachten een diep leren aanpak?’ Hierbij is gebruikt gemaakt van de SOLO-taxonomie van Biggs en Collis.
Om de deelvraag In hoeverre bevorderen de geformuleerde, beoogde leeruitkomsten een diep leren aanpak? te beantwoorden zijn de geformuleerde beoogde leeruitkomsten uit de online studiegids verzameld en per vak weergegeven in een samenvattend overzicht. De tekst uit de studiegids is opgesplitst in afzonderlijke leeruitkomsten, zodat per vak een overzicht ontstond van de afzonderlijke leeruitkomsten die beoogd werden in het vak. Met behulp van het SOLO-actiewerkwoordenoverzicht dat in bijlage A is opgenomen, zijn de leeruitkomsten geclassificeerd en in een tabel samengevat. Het SOLO-actiewerkwoordenoverzicht is gebaseerd op een overzicht dat is opgesteld door Biggs en Collis (2011) en gecombineerd met een overzicht van geclassificeerde actiewerkwoorden dat is samengesteld door Braband en Dahl (2009). Er zijn in totaal 15 geformuleerde, beoogde leeruitkomsten geanalyseerd. Een aantal voorbeelden van geanalyseerde, geformuleerde, beoogde leeruitkomsten is in tabel 2 weergegeven.
Tabel 2 Voorbeelden van geanalyseerde, geformuleerde, beoogde leeruitkomsten Geformuleerde leeruitkomsten Indeling
SOLO-niveau
Argumentatie The course gives an introduction into the
most important [subject] theories and models that helps us to understand individual differences and social processes at work
- Niet classificeerbaar; onduidelijk wat de student precies moet kunnen.
To critically assess different theorethical
perspectives in the area of [subject] 5 Het werkwoord ‘assess’ is geclassificeerd in SOLO-niveau 5. To combine different theoretical insights
in analyzing [specific] dilemmas 4 Het werkwoord ‘analyse’ is geclassificeerd in SOLO-niveau 4.
Om de onderzoeksvraag In hoeverre bevorderen de toetsopdrachten een diep leren aanpak? zijn alle toetsopdrachten van de tussentoetsen en eindtoetsen van studiejaar 2012-2013 verzameld. De herkansingstoetsen zijn buiten beschouwing gelaten. Alle toetsopdrachten zijn geanalyseerd met behulp van het SOLO-actiewerkwoordenoverzicht, dat is opgenomen in bijlage A. Indien dit niet gebruikt kon worden, omdat er geen actiewerkwoord in de toetsopdracht stond, is gekeken naar de inhoud van de opdracht. Hierbij is nauwkeurig nagegaan bij welk SOLO-niveau de opdracht aansloot. Er is hierbij gebruik gemaakt van de omschrijving van de verschillende SOLO-niveau, zoals deze zijn besproken in paragraaf 2.1.2. In tabel 3 is dit overzicht nogmaals opgenomen.
Tabel 3 Overzicht SOLO-niveaus (Biggs & Tang, 2011) SOLO-niveau Omschrijving SOLO-niveau 1:
prestructural Hier is feitelijk geen sprake van leren. Er is sprake van losse kenniselementen, zonder samenhang. SOLO-niveau 2:
unistructural Hier is sprake van het leren van één groot idee of procedure. Er worden hier wel wat verbanden gelegd tussen verschillende elementen, maar de betekenis ervan is niet duidelijk.
SOLO-niveau 3:
multistructural Hier wordt niveau 2 uitgebreid met meer ideeën of procedures. Hier worden meer verbanden gelegd, maar de meta-verbindingen worden nog niet gelegd. In het ‘unistructural’ en ‘multistructural’ niveau is er sprake van oppervlakkig leren. Er is nog geen sprake van het leggen van verbanden; de kennis is oppervlakkig en bij de overgang van niveau 2 naar 3 gaat het om een kwantitatieve toename van kennis. Het verschil tussen niveau 2 en 3 is dan ook kwantitatief van aard.
SOLO-niveau 4:
relational level Hier wordt van studenten verwacht dat zij niet alleen over feitenkennis en informatie beschikken, maar ook dat zij de kennis en informatie kunnen structureren en toepassen in bekende situaties en problemen. De student is hier in staat om de betekenis van de verschillende onderdelen te zien in hun relatie tot het geheel.
SOLO-niveau 5:
extended abstract Hier zouden studenten kennis moeten kunnen uitbreiden naar onbekende problemen en domeinen. Het vierde en vijfde niveau vormen gezamenlijk wat Biggs en Tang ‘the
qualitative phase’ noemen. Hier is sprake van diep leren. Er is een kwalitatief
verschil tussen niveau 4 en 5: in niveau 5 vindt een conceptuele herstructurering van de componenten plaats, waarbij de componenten geïntegreerd worden met elkaar.
Bij alle toetsen is gekeken hoeveel de afzonderlijke toetsopdrachten mee wogen in het eindcijfer. Er zijn 159 toetsopdrachten geanalyseerd. Hiervan is een selectie van 55 toetsopdrachten door een tweede onderwijskundige geanalyseerd om bias als gevolg van interpretatie zoveel mogelijk te voorkomen. Deze 55 toetsopdrachten waren verdeeld over de vier vakken. De interbeoordelaarsratio bedraagt 0.98. In tabel 4 is een aantal voorbeelden van geanalyseerde toetsopdrachten weergegeven.
Tabel 4 Voorbeelden van geanalyseerde toetsopdrachten
Toetsopdracht Soort toets Indeling
SOLO-niveau
Argumentatie Which research design is able to test for
causality? Multiple choicetentamen 2 Het gaat hier om het kunnen reproduceren welke onderzoeksdesign een bepaald verschijnsel toetst. Reproduceren kan worden geclassificeerd in SOLO-niveau 2 […] In line with Miles et al. (1978), please
describe how “Defenders” and “Prospectors” solve each of these problems. To which configuration of Mintzberg (1979, 1983) do these two strategic types mostly correspond? Please explain your answer.
Open vragen 3
4 In de eerste deelvraag wordt gevraagd iets te beschrijven (‘describe’ =SOLO-niveau 3. In de tweede deelvraag moet de relatie worden gelegd tussen 2 auteurs, waarbij het antwoord moet worden uitgelegd (‘explain’ = SOLO-niveau 4)
[Beschrijving van een korte casus, gevolgd door de vraag:] Based on O.s three principles, please evaluate whether company A has fell for the green marketing myopia.
Open vragen 5 Hier wordt gevraagd om met behulp van principes die studenten moeten kennen uit de behandelde literatuur, de informatie uit de casus te evalueren. Evaluate = SOLO-niveau 5.
4.4.2 Analyse van de interviews
Om antwoord te krijgen op de vraag “In hoeverre is de intentie van de docent gericht op het bevorderen van een diep leren aanpak?” en de vraag “In hoeverre bevordert het handelen van de docent een diep leren aanpak?” zijn semi-gestructureerde interviews gehouden met de vier hoofddocenten van de vier vakken.
Er is gebruik gemaakt van semi-gestructureerde interviews, waarbij open vragen zijn gesteld aan de docenten. De interviews vonden plaats in de kamer van de betreffende docent. Er is gebruik gemaakt van open vragen om de antwoorden zo min mogelijk te sturen en de docenten vooral te laten vertellen wat zij belangrijk vinden. De interviewvragen waren rondom drie hoofdonderwerpen gestructureerd: (a) de leeruitkomsten, (b) de toetsing en (c) onderwijsvormen. Met betrekking tot de leeruitkomsten en toetsing is gevraagd naar de inhoud ervan, naar de reden waarom gekozen is voor deze leeruitkomsten en toetsing en of de docent tevreden is. Met betrekking tot de onderwijsvormen zijn vragen gesteld over hoe de docent vorm geeft aan zijn onderwijs, welke factoren de docent belangrijk vindt in de onderwijsactiviteiten. Deze vragen waren gericht op het in
kaart brengen van kenmerken die een diep leren aanpak bij studenten stimuleren. De interviewleidraad is opgenomen in bijlage B.
De interviews zijn opgenomen, uitgeschreven en vervolgens gecodeerd. De onderdelen uit de interviewleidraad vormden de basis voor codering. In tabel 5 is het gebruikte coderingsschema opgenomen.
Tabel 5 Interviewcodering
Interviewcodering
onderwerp code
A. Leeruitkomsten 1) Inhoud leeruitkomsten 2) Reden keuze 3) Rol bij colleges 4) Tevreden B. Toetsing 1) Soort toetsen
2) Soort vragen 3) Reden keuze 4) Wat meten
5) Tevreden over toetsing
6) Tevreden over verhouding beoogde leeruitkomsten-onderwijsactiviteiten-toetsing
7) Afstemming leeruitkomsten-leeractiviteiten-toetsing C. Onderwijsvormen 1) Soort onderwijsactiviteiten
2) Doel onderwijsactiviteiten 3) Structuur
4) Interactie
5) Voortbouwen op voorkennis 6) Confronteren met misconcepties 7) Toetsing gericht op structuur 8) Positieve leeratmosfeer
9) Gericht op diepe kennis of brede dekking
10) Afstemming onderwijsactiviteiten en toetsmethoden op leeruitkomsten
11) verwachtingen 12) Activeren van studenten
In een matrixtabel zijn de gegevens van de vier interviews gestructureerd en gecombineerd met de afzonderlijke codes. Per code zijn tekstfragmenten uit de interviews weergegeven. Tabel 6 laat een deel van deze tabel zien.
Tabel 6 Voorbeeld gebruikte coderingsmatrix
Codes Docent A Docent B Docent C Docent D
A.1 Citaten docent A Citaten docent B Citaten docent C Citaten docent D
A.2 Citaten docent A … … …
A.3 Citaten docent A … … …
A.4 Citaten docent A … … …
B.1 Citaten docent A … … …
… … … … …
Met behulp van deze tabel is een aantal onderzoeksvragen beantwoord. Om de onderzoeksvraag ‘In hoeverre is de intentie van de docent gericht op het bevorderen van een diep leren aanpak?’ te beantwoorden, is gebruik gemaakt van tekstfragmenten met de codes A2, A4, B3, B4, B5. Vervolgens is bepaald bij welk SOLO-niveau de intenties van de docent aansluiten. Daarbij is vooral gekeken naar het gebruikte werkwoord van de docent en de omschrijving van de docent. Een voorbeeld:
Op de vraag wat wil de docent precies meten met de toets? (code B4) doet een van de docenten de uitspraak “met een
presentatie dwing je mensen natuurlijk om meer ingewikkelde materie goed samen te vatten en begrijpelijk te maken voor anderen.“ Deze uitspraak is geclassificeerd in SOLO-niveau 4, omdat het kunnen samenvatten van ingewikkelde materie
aansluit dat niveau: het actiewerkwoord ‘summarize précis’ is geclassificeerd in SOLO-niveau 4. Daarbij is ook gekeken naar de context van het tekstfragment: het gaat er hier om dat studenten een presentatie geven over een paper die ze hebben geschreven, waarbij ze onder andere verbanden moesten leggen en argumenteren. Omdat studenten in de presentatieopdracht informatie en kennis moeten structureren, is classificatie in SOLO-niveau passend.
Op deze manier zijn de tekstfragmenten die betrekking hebben op een van de onderzoeksvragen geclassificeerd. Vervolgens zijn deze classificaties per vak in een tabel samengevat. In deze tabel is aangegeven of de docent een intentie heeft uitgesproken op een bepaald SOLO-niveau en of hij dit eenmaal heeft gedaan of meer dan eenmaal. Hiermee is in kaart gebracht op welk SOLO-niveau de intenties van de docent geclassificeerd kunnen worden.
Om de onderzoeksvraag ‘In hoeverre bevordert het handelen van de docent een diep leren aanpak?’ te beantwoorden is gebruik gemaakt van de gecodeerde tekstfragmenten. Hierbij was het overzicht van Biggs & Tang van kenmerken van het handelen van de docent dat diep leren bevordert als leidraad genomen. Dit overzicht is in tabel 7 nogmaals weergegeven.
Tabel 7 Overzicht van diep leren bevorderende kenmerken van het handelen van de docent (Biggs & Tang, 2011)
Lesgeven op een wijze die expliciet de structuur van het onderwerp weergeeft.
Stimuleren van interactie met de studenten, bijvoorbeeld door het stellen van vragen, het voorleggen van problemen die door de studenten opgelost moeten worden.
Voortbouwen op wat de studenten al weten.
Studenten confronteren met hun misconcepties en deze te wijzigen. De toetsing moet gericht zijn op de structuur en niet op losstaande feiten.
Lesgeven en toetsen op een manier die een positieve leeratmosfeer bevordert, zodat studenten fouten kunnen maken en ervan kunnen leren.
Gericht zijn op de diepte van de kennis in plaats van een brede dekking van het onderwerp. Doceer- en toetsmethoden gebruiken die de beoogde leeruitkomsten ondersteunen.
Met behulp van de gecodeerde tekstfragmenten uit de coderingsmatrix is gekeken of deze kenmerken door de docent genoemd zijn. In een tabel is aangegeven welke kenmerken er tijdens het interview ter sprake zijn gekomen en het aantal kenmerken.
Om de onderzoeksvraag ‘In hoeverre zijn de beoogde leeruitkomsten, de toetsing, de intenties van de docent en het handelen van de docent consistent aan elkaar en gericht op het bevorderen van een diep leren aanpak?’ zijn alle de samenvattende tabellen van de eerder genoemde onderzoeksvragen gecombineerd in een overzicht. Deze overzichten zijn in bijlage C opgenomen. De afzonderlijke gegevens zijn met elkaar vergeleken op patronen, consistentie, verschillen en overeenkomsten. Op basis van deze patronen is er voor ieder vak een conclusie op de hoofdvraag geformuleerd.
4.4.3 Cross case analyse
Tenslotte is er een cross case analyse uitgevoerd. De vier cases zijn met elkaar vergeleken op
patronen, overeenkomsten en verschillen. Hiervoor zijn de onderzoeksresultaten van de case studies gebruikt die gepresenteerd zijn in samenvattende overzichten. Deze zijn in bijlage C tot en met F bijgevoegd. Daarnaast zijn de onderzoeksresultaten van de case studies samengevoegd in een figuur, die de ‘consistency circle’ genoemd is (zie figuur 4). Dit is een grafische weergave van de samengevatte onderzoeksresultaten van de afzonderlijke cases en is ontworpen om de verschillen en overeenkomsten tussen de case studies inzichtelijk te maken. De samenvattende overzichten en de ‘consistency circle’ zijn gebruikt om de onderzoeksresultaten van de cases te onderzoeken op patronen, overeenkomsten en verschillen.
Figuur 4. Consistency circle
25 50% 75% 75% 50% 25% 4 3 2 6 4 2
Percentage diep leren bevorderende leeruitkomsten
Intenties van de docent (weergegeven in SOLO-niveau)
Aantal genoemde diep leren bevorderend kenmerken van docenthandelen
Percentage diep leren bevorderende toetsopdrachten
De ‘consistency circle’ bestaat uit vier componenten: het percentage diep leren bevorderende leeruitkomsten, het aantal genoemde kenmerken van docenthandelen die een diep leren aanpak bevorderen, het percentage diep leren bevorderende toetsopdrachten en de intenties van de docent (weergegeven in SOLO-niveau). Iedere component heeft een eigen maateenheid. Voor alle vier componenten geldt dat hoe dichter het punt op de as in het midden van de cirkel ligt, hoe meer sprake er is van het bevorderen van een diep leren aanpak. In de cross case analyse zijn de
onderzoeksresultaten van de vier case studies in deze cirkel weergegeven, waardoor een grafische overzicht ontstaat van de verschillen en overeenkomsten tussen de case studies.
Bij het verklaren van discrepanties is gebruik gemaakt van uitspraken van de docenten die gedaan werden tijdens de interviews en is er waar mogelijk een link gelegd met de literatuur.
Na het beantwoorden van de onderzoeksvragen zijn ter controle de transcripties van de interviews met de docenten nogmaals gelezen om te verifiëren of de conclusies in lijn zijn met de lading van de interviews en de boodschap van de docent.
4.5 Beperkingen van het onderzoek
Met de onderzoeksresultaten uit deze case studies kunnen geen uitspraken worden gedaan over ‘de praktijk’. Daarvoor is de omvang van het onderzoek te gering en de cases te specifiek. Daarentegen is er geen reden om aan te nemen dat deze specifieke praktijkcases en deze faculteit afwijken van andere vakken bij andere faculteiten van andere universiteiten.
Aan de docenten is vooraf gaand aan het interview verteld dat het onderzoek betrekking had op leeruitkomsten, toetsing en intenties van de docent. De docenten waren ervan op de hoogte dat het onderzoeksverslag in de vorm van deze scriptie door de opleidingsdirecteur, studenten en anderen gelezen zou worden. Hoewel tijdens de interviews de indruk werd gewekt dat er eerlijk werd geantwoord, is het mogelijk dat docenten voorzichtig zijn geweest in het geven van hun antwoorden, ondanks de belofte van anonimiteit.
Er is voor gekozen in dit onderzoek om door middel van interviews inzicht te krijgen in het handelen van de docent. Dat is een beperking van dit onderzoek, omdat het onzeker is of docenten ook daadwerkelijk doen wat ze zeggen en zeggen wat ze doen.
De data met betrekking tot de intenties en het handelen van de docenten zijn verkregen door middel van interviews. Bij het coderen en interpreteren van interviews bestaat de mogelijkheid dat de
interpretatie afwijkt van wat de geïnterviewde heeft bedoeld. Hoewel de interviews met grote zorgvuldigheid zijn geanalyseerd, kan er sprake zijn van interpretatiefouten.
De wijze waarop dit onderzoek is uitgevoerd is, is nieuw. Zo is er niet eerder onderzoek gedaan waarbij de SOLO-taxonomie is gebruikt om zowel de leeruitkomsten, als de toetsing en intenties van docenten te classificeren. Dat betekent dat het onderzoeksmodel niet eerder is getest en gevalideerd. Ondanks dat alle stappen in het onderzoek met grote nauwkeurigheid zijn uitgevoerd, kan dit de onderzoeksresultaten beïnvloed hebben.
Bij de cross case analyse is gebruikt gemaakt van een ‘consistency circle’: een schematische weergave van de case studies, waarbij verschillende meeteenheden in een figuur zijn samengevoegd. Deze weergave is ontworpen voor dit onderzoek en slechts bedoeld om een grafisch overzicht te geven.
5 Resultaten
5.1 Casus A
Casus A is een verplicht vak in de laatste fase van de propedeuse. De studielast bedraagt 168 uur (6 ECTS). De onderwijsvorm bestaat uit 2 uur hoorcolleges en 2 werkcolleges van 2 uur per week. De geïnterviewde docent was verantwoordelijk voor het geven van de hoorcolleges.
5.1.1 Bevorderen van een diep leren aanpak in de beoogde leeruitkomsten
Om antwoord te krijgen op de vraag in hoeverre de beoogde leeruitkomsten een diep leren aanpak bij studenten bevorderen bij dit vak, zijn de beoogde leeruitkomsten in de online studiegids onderzocht en is aan de docent een aantal vragen gesteld over de beoogde leeruitkomsten.
Geformuleerde leeruitkomsten
In de online studiegids zijn zes leeruitkomsten geformuleerd (Online Studiegids, 2013). Deze leeruitkomsten zijn geclassificeerd met behulp van de SOLO taxonomie om te kunnen bepalen welke leeruitkomsten een diep leren aanpak bevorderen (zie tabel 8). Drie leeruitkomsten kunnen worden geclassificeerd in één van de SOLO-niveaus. De andere drie leeruitkomsten kunnen niet worden geclassificeerd, omdat deze uitgaan van wat de docent doet en niet wat de student moet kunnen. Het gaat hierbij om formuleringen zoals “de beginselen bijbrengen van [onderwerp X]” en “het behandelen van [onderwerp Y]”.
Van de drie geclassificeerde leeruitkomsten kan er één worden geclassificeerd in niveau 4. Deze leeruitkomst bevordert een diep leren aanpak. Het gaat hier om het uitvoeren van onderzoek naar een bepaald model. De andere twee geclassificeerde leeruitkomsten betreffen het verwerken van gegevens (SOLO-niveau 3) en het verslag doen (SOLO-niveau 3).
Intenties van de docent
Om te onderzoeken of de mening en intentie van de docent overeenstemmen met de in de studiegids geformuleerde leeruitkomsten is tijdens het interview aan de docent gevraagd waarom de docent voor deze leeruitkomsten gekozen heeft en of de docent tevreden is over de leeruitkomsten. De geïnterviewde docent was betrokken bij het ontwikkelen van dit vak en daarmee ook bij het formuleren van de leeruitkomsten. Naast overwegingen die vooral te maken hebben met de vakinhoudelijke kant, streeft deze docent vooral naar begrip van de leerstof bij de studenten, waarbij ze de leerstof moeten kunnen toepassen. Hij noemt het werkwoord “begrijpen” een aantal keer op de vraag naar wat in zijn ogen de leeruitkomsten zijn van het vak dat hij geeft. Daarnaast verwoordt hij het als volgt: “[…] het gaat er wel om dat ze bepaalde […] begrippen begrijpen, weten wat ze 30
betekenen en ermee kunnen werken.” Het werkwoord ‘begrijpen’ geeft onvoldoende aan over welk
SOLO-niveau de docent het heeft. De docent specificeert ‘begrijpen’ als ‘ermee kunnen werken’, het kunnen toepassen van de leerstof. Dit sluit aan bij SOLO-niveau 4. Deze leeruitkomst die de docent voor ogen heeft, stimuleert dus een diep eren aanpak bij studenten.
Van de 6 leeruitkomsten die in de digitale studiegids genoemd worden, noemt de docent er vier in het interview. De overige twee worden niet specifiek genoemd, maar de docent geeft wel een globale omschrijving, waar deze twee leeruitkomsten onder zouden kunnen vallen. Deze omschrijving was echter te globaal om te kunnen classificeren.
Tabel 8 SOLO-niveaus van de beschreven en genoemde leeruitkomsten Leeruitkomsten SOLO-niveau genoemd door de
docent A.1 0 x A.2 4 x A.3 0 - A.4 0 - A.5 3 x A.6 3 x
5.1.2 Bevorderen van een diep leren aanpak in de toetsing
De toetsmethode en toetsvragen
De toetsing van dit vak bestaat uit een werkstuk (dat 35% van het eindcijfer bepaalt) en een eindtentamen (dat voor 65% van het eindcijfer bepaalt). Het tentamen is een gesloten-boek-meerkeuzetentamen met 40 meerkeuzevragen.
Het werkstuk is een groepsopdracht: er wordt in tweetallen gewerkt. In het werkstuk moeten de studenten de kennis die is opgedaan in de colleges over een bepaald (statistisch) model toepassen in een onderzoek. Er wordt ook een beroep gedaan op opgedane kennis in vakken die de studenten eerder hebben gedaan. De studenten schrijven een onderzoeksverslag volgens de richtlijnen van wetenschappelijk onderzoek. Hierbij worden de studenten stap voor stap begeleid tijdens de colleges. Deze opdracht sluit aan bij SOLO-niveau 4: de studenten leggen verbanden tussen theorie en praktijk, moeten zelf hypotheses en onderzoeksvragen opstellen, moeten statistische gegevens interpreteren en met elkaar in verband brengen. En tenslotte moesten de studenten conclusies bedenken over de resultaten die zijn gevonden.
Het schriftelijke meerkeuzetentamen bestond uit 40 vragen met de keuze uit 4 antwoorden. Van de 40 meerkeuzevragen zijn er 20 geclassificeerd op niveau 2, 13 op niveau 3 en 7 op SOLO-niveau 4. Dat betekent dat er van de 40 vragen 33 vragen sprake is van het bevorderen van een
oppervlakkige leeraanpak, waarvan 20 vragen (50% van het totale aantal tentamenvragen) gericht op reproduceren van kennis, feiten of wetmatigheden. Bij 7 vragen (17,5% van het aantal tentamenvragen) werd er van de student verwacht dat er kwalitatieve verbanden gelegd werden.
Tabel 9 Geclassificeerde tentamenvragen vak A (n=40)
Classificatie: SOLO-niveau n % SOLO 2 20 50.0% SOLO 3 13 32.5% SOLO 4 7 17.5% SOLO 5 0 0% Totaal 40 100%
Wanneer we naar de totale toetsing kijken en rekening houden met de mate waarin een opdracht mee weegt in de eindbeoordeling van het vak, dan ontstaat het overzicht dat in tabel 10 is opgenomen. Het werkstuk weegt voor 35% mee en is geclassificeerd in SOLO-niveau 4. De toetsvragen wegen voor 1,625% mee (65%: 40 vragen).
Tabel 10 Geclassificeerde gewogen toetsopdrachten
SOLO-niveau Toetsopdrachten (n=41) SOLO 2 32.50% SOLO 3 21.13% SOLO 4 46.37% SOLO 5 0% Niet geclassificeerd - Totaal 100%
Doordat het werkstuk is geclassificeerd in SOLO-niveau 4 en het relatief zwaar mee weegt in de eindbeoordeling is bijna de helft van de eindbeoordeling afhankelijk van toetsopdrachten die een diep leren aanpak bij studenten bevorderen.
Intenties van de docent
In het interview is aan de docent gevraagd wat de docent wil meten met de toets, waarom de docent kiest voor deze toets en of de docent tevreden is over de wijze van toetsing. Deze docent wil met het tentamen meten of de studenten de leerstof begrijpen en inzicht hebben en geeft aan hiervoor kennisvragen en inzichtvragen te stellen: “je kunt vragen maken die ook op inzicht toetsen. Natuurlijk
zitten er wel een paar kennisvragen in, maar goed, maar ook een aantal eenvoudige rekenopgaven. Het is een mix van een aantal dingen natuurlijk. En of ze een conclusie uit een artikel, dat ze het echt belangrijke eruit kunnen vissen en niet allerlei dingen die er misschien wel half instaan, maar niet de essentie raken. Dat gebeurt er ook in. Dus ja, het is redelijk inzicht, met een aantal vragen van
reproductie wel, dat hoort er ook zeker in het 1e jaar nog wel in te zitten.“ Reproductievragen passen in SOLO-niveau 2 (werkwoord ‘reproduce’) . Het kunnen analyseren van een artikel, zoals het trekken van conclusies naar aanleiding van een artikel (‘conclude’) en het kunnen zien van de essentie en belangrijkste elementen uit een artikel (‘substantiate’) sluit aan bij SOLO-niveau 4.
De docent vindt dat een multiple choicetentamen eigenlijk niet geschikt is voor wat hij wil bereiken:
“ik realiseer me onmiddellijk dat multiple choice eigenlijk niet de goede methode is. Ik zou liever open vragen willen hebben, want dan kun je het ook half goed hebben en nu is het fout en dat is gewoon ontzettend lastig voor ze, omdat ze soms best wel meer weten.” Met het werkstuk worden
vaardigheden getoetst (“of ze kunnen schrijven”) en “begrip van, of ze kunnen hanteren wat ze
hebben geleerd”. Het kunnen toepassen van de leerstof sluit aan bij SOLO-niveau 4 (‘apply’).
De docent is ontevreden over de wijze van toetsen in dit vak. Uit het oogpunt van efficiëntie en tijdgebrek is de keuze van een meerkeuzetentamen gemaakt, hoewel de docent het liever anders zou zien: “Ik ben groot tegenstander van meerkeuzevragen. Ik wil eigenlijk altijd open vragen stellen,
maar nu ging het niet anders.” Ook over de toetsing in de andere propedeusevakken is hij niet
tevreden: “Mijn persoonlijke mening is […] dat de toetsing volledig verkeerd is. […] eigenlijk alle
vakken in het eerste jaar, of bijna alle vakken, laat ik niet overdrijven. Dat is allemaal reproductie.” Hij
stelt dat studenten in de propedeuse vooral oude tentamens leren om zich voor te bereiden op de tentamens: “we moeten ze duidelijk maken wat er van ze verwacht wordt. En dat betekent dat ze met
die houding eigenlijk niet weg mogen komen. Maar dat is wel wat er gebeurt, want ze halen 90% van de vakken op die manier. En hoe halen ze dat? Oude tentamens uit hun hoofd leren. Je moet ze leren dat er nagedacht moet worden. Dus je zult ook in het eerste jaar ze al bijvoorbeeld moeten zeggen – ik noem een willekeurig percentage – bijvoorbeeld zoiets van 20% van de vragen in het eerste jaar zouden echt nadenkvragen moeten zijn. Die zou je niet in het boek moeten kunnen vinden. Daar moet je over nadenken. In het tweede jaar zullen het er 40% moeten zijn en in het derde jaar misschien wel 70%. En in de master is het natuurlijk gewoon 100%. Ja, daar moet je naar toe. Dwing studenten, dus je moet echt begrijpen voordat je een 10 kunt halen. Nu is het zo, dat als jij je trucje goed kent, kan toepassen, dan haal je ook een 10. Dat is geen universitair onderwijs.”
De geclassificeerde intenties van de docent zijn opgenomen in tabel 11. Hieruit blijkt dat de intenties van de docent vooral gericht zijn op SOLO-niveau 4.
Tabel 11 Geclassificeerde intenties van de docent SOLO-niveau Intenties docent SOLO 2 + SOLO 3 + SOLO 4 ++ SOLO 5 - Niet geclassificeerd - + ++
Niet genoemd door docent Een keer genoemd door docent Meer dan een keer genoemd door docent
5.1.3 Diep leren bevorderend handelen van de docent
In het interview met de docent is een aantal vragen gesteld die betrekking hebben op het handelen van de docent, waarbij gekeken is of docenten bepaalde kenmerken noemden tijdens het interview. Deze kenmerken zijn oergenomen uit Biggs en Tang (2011) en zouden een diep leren aanpak bij studenten bevorderen. In tabel 12 is het overzicht van deze kenmerken weergegeven en is aangegeven welke ervan tijdens het interview ter sprake werden gebracht door de docent.
Tabel 12 Kenmerken van het handelen van de docent die door docent genoemd zijn
Kenmerken van docenthandelen die een diep leren aanpak bevorderen Genoemd door docent
Lesgeven op een wijze die expliciet de structuur van het onderwerp weergeeft.
Stimuleren van interactie met de studenten, bijvoorbeeld door het stellen van vragen, het
voorleggen van problemen die door de studenten opgelost moeten worden. +
Voortbouwen op wat de studenten al weten. +
Studenten confronteren met hun misconcepties en deze uitroeien. De toetsing moet gericht zijn op de structuur en niet op losstaande feiten.
Lesgeven en toetsen op een manier die een positieve leeratmosfeer bevordert, zodat studenten fouten kunnen maken en ervan kunnen leren.
Gericht zijn op de diepte van de kennis in plaats van een brede dekking van het onderwerp. + Doceer- en toetsmethoden gebruiken die de beoogde leeruitkomsten ondersteunen. +
Bron: J. Biggs & C. Tang (2011)
In het interview noemde de docent vier factoren, die volgens Biggs en Tang (2011) een diep leren aanpak kunnen bevorderen: (1) stimuleren van interactie met de studenten, (2) voortbouwen op wat
