Abstracts staan in alfabetische volgorde van de eerste indiener/auteur
Individueel paper
Leren en beoordelen van competenties in het hoger onderwijs: Analyseren, reflecteren en beoordelen met behulp van digitale video
Admiraal, Wilfried, Universiteit van Amsterdam Janssen, Judith, Universiteit van Amsterdam Pijls, Monique, Universiteit van Amsterdam Gielis, Anne-Martine, Universiteit van Amsterdam
Mede ingegeven door de concrete eisen die het beroepsveld aan afgestudeerden stelt, staan competenties in het hoger onderwijs in een toenemende belangstelling. Competenties vormen een richtsnoer voor studenten en docenten: studenten moeten in de gelegenheid worden gesteld om zicht te krijgen op en aan te tonen welke competenties zij bezitten en hoe zij deze kunnen leren; docenten moeten in staat zijn deze competenties goed te kunnen beoordelen en hun begeleiding hierop af te stemmen. In het hoger onderwijs wordt binnen competentiegerichte opleidingen dikwijls gebruik gemaakt van dossiers voor het ontwikkelen en/of aantonen van competenties en kennis. Digitaal videomateriaal geeft de mogelijkheid de praktijksituatie in het dossier op te nemen. Hierdoor kunnen niet alleen relevante competenties van studenten in het dossier worden opgenomen, maar ook de context waarin die competenties zijn toegepast. Tevens kan dit materiaal weer input zijn voor andere competenties die studenten moeten ontwikkelen, zoals reflectie en kritisch denken.
Digitale video en videodossiers
Voor het ontwikkelen, maar ook het aantonen van competenties wordt in het hoger onderwijs dikwijls gebruik gemaakt van dossiers of studentportfolio’s. In toenemende mate worden deze dossiers digitaal, hetgeen vanwege de plaats- en tijdonafhankelijkheid de begeleiding en beoordeling door zowel docenten op de opleiding als coaches op werkplek ten goede komt. Het materiaal in een portfolio is dikwijls talig van aard waardoor er eerder beschrijvingen van gebeurtenissen (‘verhalen over’) dan de gebeurtenis zelf voorkomen. Sommige studenten (in het bijzonder taalzwakke studenten en allochtone studenten) vinden het moeilijk om hun competenties adequaat in taal te vatten. Tevens ontbreken dikwijls beelden van de praktijksituatie waarin relevante competenties worden getoond; de competenties in de praktijksituatie worden gerapporteerd, in de vorm van zelfrapportage en/of van een verslag door een begeleider of collega-student of –docent.
Videomateriaal kan worden gebruikt voor leren van de analyse van goede voorbeelden (vergelijk de social-learning-theorie; Bandura, 1977). Tevens is beeldmateriaal van het eigen handelen door de rijkheid van context en het geheel van competenties een goede uitlokker van reflectie en het geven van feedback. Ook deze zijn terugkerende instructieprincipes in zowel klassieke leertheorieën (Briggs, Gagné, & Wagner, 1992) als meer recente opvattingen over leren (Barak, 2006). Ten slotte lijkt digitaal videomateriaal, in vergelijking met tekstmateriaal, een beter (lees meer valide) beeld te geven van de competenties van studenten. Hiermee ondersteunt het docenten in hun beoordeling van de competenties en studenten in het vormen van het bewijsmateriaal voor deze beoordeling.
Het digitale videodossier of -portfolio biedt een verzamelplaats voor informatie over competenties van studenten, in hun onderlinge samenhang en met hun (praktijk)context. Hierbij kan een onderscheid gemaakt worden in een ontwikkelportfolio, een beoordelingsportfolio, een demonstratieportfolio (Deinum, 2005). Het ontwikkelportfolio is voor studenten een middel om de eigen professionele ontwikkeling zichtbaar te maken en hierop te reflecteren. Dit portfolio dient vooral een leerdoel. Het beoordelingsportfolio is bedoeld om de competenties van studenten en/of de ontwikkeling hierin te beoordelen. Hier ligt veelal van tevoren vast welke elementen in het portfolio moeten worden opgenomen en aan welke eisen die moeten voldoen. In het demonstratieportfolio kan
een selectie worden opgenomen uit een van de andere portfolio’s waarmee studenten zichzelf te presenteren.
In het onderhavige project DiviDossier zijn onderwijsexperimenten opgezet, geïmplementeerd en geëvalueerd op het gebied van het leren en het beoordelen met behulp digitale videodossiers. In deze experimenten betreft het zowel het analyseren, reflecteren en beoordelen van geïsoleerde competenties (zoals gesprekstechnieken en, spreekvaardigheid in een vreemde taal) als het reflecteren op en beoordelen van de ontwikkeling van een complex van competenties in dossiers of portfolio’s (zoals onderwijsbekwaamheid in het voorgezet onderwijs). De probleemstelling van het project kan worden geformuleerd als:
Op welke wijze kunnen digitale videodossiers in competentiegerichte opleidingen worden vormgegeven met het oog op een efficiënte en effectieve begeleiding en beoordeling van studenten?
Methode
Er is gebruik gemaakt van de applicatie DiViDU 1.5, een technologie die is ontworpen in projecten van de Digitale Universiteit. DiViDU bestaat uit een webgebaseerde video repository waarin studenten en docenten op een gemakkelijke manier hun eigen, in de beroepspraktijk opgenomen, videofragmenten van kritische praktijksituaties inleveren, beschrijven en coderen met metadata. Daaraan gekoppeld zijn er drie didactische componenten:
• Analyse (student analyseert praktijksituaties op video, die ook theoretische concepten, zoals samenwerkend leren, illustreren;
• Reflectie (student reflecteert met behulp van video op het eigen handelen in een praktijksituatie en ontvangt hierop feedback van peers en begeleiders), en
• Assessment (trainee toont eigen handelen en eigen ontwikkeling aan).
In totaal hebben 768 studenten van 14 opleidingen in 23 onderwijsexperimenten deelgenomen aan het onderzoek. Dit heeft geresulteerd in 768 dossiers in de analysemodule (122), de reflectiemodule (583) en beoordelingsmodule (63). Hiervan hebben 540 dossier betrekking op het analyseren, reflecteren en beoordelen van geïsoleerde competenties, en zijn 218 dossiers te karakteriseren als ontwikkelings- en beoordelingsportfolio’s. Er zijn gegevens verzameld door docenten en studenten te interviewen, en de producten in de dossiers te verzameld. Deze gegevens zijn vervolgens geanalyseerd met behulp van kwalitatieve inhoudsanalyses.
Resultaten
Over het algemeen waren de docenten en studenten tevreden over het gebruik van digitale videodossiers. Het hielp bijvoorbeeld docenten een beter beeld te geven van (de ontwikkeling in) competenties van studenten waardoor zij beter in staat waren hun begeleiding op deze ontwikkeling te stemmen. In de paper zal nader worden ingegaan op de resultaten van 5 onderwijsexperimenten waarin achtereenvolgens is onderzocht de analyse van voorbeeldpatiëntgesprekken, reflectie op gesprekstechnieken, beoordeling van presentatievaardigheden, reflectie op de ontwikkeling in onderwijscompetenties en beoordeling van onderwijscompetenties.
Referenties
Bandura, A. (1977). Principles of behavior modification. New York: Holt, Rinehart & Winston. Barak, M. (2006). Instructional principles for fostering learning with ICT: Teachers’ perspectives as
learners and instructors. Education and Information Technologies, 11, 121-138.
Deinum, J. F. (2005). Digitaal portfolio. Digitale Didactiek, E-Journal voor het onderwijs,
9(september 2005).
Gagné, R. M., Briggs, J. J., & Wager, W. W. (1992). Principles of instructional design (4th. ed.). Orlando, FL: Harcourt Brace Jovanovich.
Individueel paper
Vraaggestuurd leren: wat, waarom en hoe.
Andel, van, Jeroen, Vrije Universiteit
De afgelopen tien jaar is er veel veranderd in het hoger beroeps onderwijs (HBO). Er hebben zich in korte tijd verschillende innovaties voorgedaan. Hoewel er vanzelfsprekend (accent)verschillen tussen hogescholen zijn, is er een duidelijk trend waarneembaar. Voor vrijwel alle hogescholen geldt dat het bieden van keuze aan studenten, het zogenaamde vraaggestuurde leren, een fundamenteel onderdeel van hun ‘vernieuwde onderwijs’ vormt.
Vraaggestuurd leren is een relatief nieuw concept in het (hoger) onderwijs en de onderwijswetenschappen. Overeenstemming in definities van vraaggestuurd leren is dat het wordt gezien als het aanbieden van verschillende methoden, middelen en mogelijkheden die studenten met verschillende behoeften en verschillende talenten in staat stellen zelfstandig hun eigen onderwijs vorm te geven en te volgen (Van Hout-Wolters, Simons, & Volet, 2000; De Vries, 2007).
Waar het vraaggestuurd leren betreft kan worden gesteld dat er, binnen de onderwijswetenschappen, niet of nauwelijks empirisch gefundeerde theorie voor handen is wat betreft de werking en effecten ervan. Dit onderzoek richt zich dan ook op het vullen van deze theoretische leegte. De probleemstelling van het onderzoek is:
Hoe en waarom kiezen studenten binnen een vraaggestuurde onderwijsomgeving, welke factoren zijn van invloed op dit proces en welke leereffecten worden gegenereerd door het proces van vraaggestuurd leren.
Om te komen tot een beantwoording van deze probleemstelling zal een casestudy worden verricht naar vraaggestuurd leren binnen hogeschool Windesheim te Zwolle. Hogeschool Windesheim is een christelijke hogeschool die onderwijs verzorgt voor ruim 17.000 studenten die verspreid zijn over tien schools. Sinds 2004 is Windesheim begonnen met een onderwijsinnovatie onder de naam Windesheim Organisatie en Ontwikkelplan dat tot doel heeft Windesheim om te vormen tot een vraaggestuurde organisatie.
Vraaggestuurd leren
Het vraaggestuurd leren lijkt zijn wortels te hebben in de zogenaamde human relations movement. Deze stroming kende haar hoogtepunt in de periode 1930 – 1950 (Handel, 2003). De ideeën van de human relations movement spitsen zich met name toe op het betrekken van arbeiders bij het productieproces (Homans, 2003). Ze gaan uit van de veronderstelling dat wanneer werknemers worden betrokken bij de organisatie en invulling van het productieproces, dit leidt tot een betere motivatie bij werknemers en tot een toename van de productie (Homans, 2003). Dit inzicht, heeft door de jaren heen zijn weerslag gekregen binnen verschillende andere wetenschappelijke disciplines. Ook binnen de onderwijskunde heeft het concept vraagsturing zijn weg gevonden. De gedachte hierbij is dat “…talent en competentieontwikkeling het best gedijen als een student mag kiezen en invloed kan uitoefenen op de inrichting van de beoogde leerweg” (Kessels & Ehlen, 2006, p. 39). De opkomst van het vraaggestuurde leren lijkt voor een groot deel samen te hangen met de veranderde visie op onderwijs, het zogenaamde ‘nieuwe leren’ (SER, 2002). Bij het ‘nieuwe leren’ staat het individu centraal en wordt ingezet op een leven lang leren.
Onderzoeksopzet
Katz en Assor stellen: “Inconsistent findings concerning the benefits and drawbacks of providing choice suggest that choice is a multifaceted phenomenon” (Katz & Assor, 2007 p.430). Gezien het gebrek aan empirisch gefundeerde theorie en vanwege het feit dat keuzevrijheid een multidisciplinair subject is zal het proces van vraaggestuurd leren op multidisciplinaire wijze worden benaderd. Op basis van zowel economische, onderwijskundige, organisatiesociologische en psychologische literatuur zijn hypothesen opgesteld over de mogelijke werking en effecten van vraaggestuurd leren. Op basis van deze hypothesen is een survey opgesteld welk zal worden gebruikt om uit te vinden waarom studenten een bepaalde keuze maken, welke effect het maken van deze keus heeft gehad en welke rol o.a. leeftijd, ervaring, etniciteit, geslacht, significante anderen, begeleiders, peers, soort opleiding en institutionele en bureaucratische factoren spelen bij het keuzeproces van studenten. Het
uitgangspunt daarbij is om twee cohorten studenten van zoveel mogelijk schools te volgen vanaf het tweede studiejaar. Er is gekozen voor studenten vanaf het tweede studiejaar omdat deze voor het eerste in de gelegenheid komen om een keuze te maken. Daarbij zal eveneens worden onderzocht in hoeverre studenten in staat zijn bewust en zelfstandig te kiezen binnen het systeem van vraaggestuurd leren. Gezien de hiërarchische gelaagdheid van de verschillende variabelen en het longitudinale karakter van het onderzoek zullen de uitkomsten van de survey worden geanalyseerd met behulp van multilevel-analyse.
Om te kunnen achterhalen wat studenten kiezen binnen het systeem van vraaggestuurd leren zal een kwantitatieve analyse worden gedaan op basis van de gegevens van studenten zoals deze zijn opgenomen in het registratiesysteem van Windesheim: Educator. Op deze manier kan worden achterhaald hoeveel en welke studenten er voor kiezen zich te verbreden of te verdiepen.
Uitkomsten
De voorlopige uitkomsten van het onderzoek zijn afkomstig van het vooronderzoek dat bestond uit een diepte-interviews met vijf studenten en vijf hogeschool hoofddocenten, een kwantitatieve verkenning van de onderwijskeuzes van studenten van drie verschillende schools en de resultaten van focus group interviews met studenten van alle tien schools.
Uit de interviews en de verkenning van het keuzegedrag van studenten valt op te maken dat met name jongere studenten moeite lijken te hebben met het leren in een vraaggestuurde onderwijsomgeving. Ook blijkt dat studenten die een specifieke vooropleiding hebben gevolg beter lijken te weten wat hun onderwijskundige behoeften zijn. Als laatste kan worden vastgesteld dat studenten van zogenaamde minder afgebakende beroepen (e.g. manager) er eerder voor kiezen zich te verbreden dan zogenaamd afgebakende beroepen (e.g. verpleger). Ten tijde van de ORD zullen ook de resultaten van de focus group interviews kunnen worden belicht.
Individueel paper
Wat zijn de meest bepalende studentkenmerken om studieresultaat in het eerste studiejaar van het HBO te voorspellen?
Bragt, van, Cyrille, Fontys Hogescholen Bakx, Anouk, Fontys Hogescholen
Bergen, Theo, Technische Universiteit Eindhoven Croon, A., Universiteit van Tilburg
Inleiding en theoretisch kader
De huidige kenniseconomie vraagt meer en hoger opgeleide inwoners. Een grotere toestroom van hoger opgeleiden naar de arbeidsmarkt is daarvoor een vereiste. Van belang is dat studenten hun diploma behalen in plaats van hun studie voortijdig te beëindigen. We hebben in dit onderzoek gezocht naar bepalende studentkenmerken (vooropleiding, persoonlijkheidskenmerken, geslacht, persoonlijke oriëntaties op leren en instructie en studie aanpak) om studieresultaat (studiepunten en studievoortgang) te voorspellen.
HBO studenten beginnen hun studie met een verschillende achtergrond: MBO-ers zijn opgeleid voor relatief helder gedefinieerde beroepen of taken waarbij de nadruk ligt op het toepassen van vaardigheden en kennis (Slaats, Lodewijks, & Van der Sanden, 1999). MBO-ers hebben meerdere beroepssituaties meegemaakt en hebben vaak al participerend geleerd in authentieke contexten. VO-studenten zijn gewend aan het leren van grotere hoeveelheden ‘gecodificeerde’ kennis en zijn geoefend in het zich eigen maken van grotere gehelen van (domein)informatie.
Van de vijf Persoonlijkheidskenmerken (extraversie, meegaandheid, zorgvuldigheid, emotionele stabiliteit, en autonomie) is bekend dat zij in meer of mindere mate invloed hebben op de manier waarop studenten studeren, met name in competentiegerichte leeromgevingen (Busato, Prins, Elshout, & Hamaker, 2000). Persoonlijkheid is relatief stabiel en zorgt voor ‘voorspelbaar gedrag’ in bepaalde (leer)situaties. Een consistente relatie tussen zorgvuldigheid en studieresultaat is bijvoorbeeld aangetoond (Bidjerano & Dai, 2007).
Duff, Boyle, Dunleavy & Ferguson (2004) hebben laten zien dat leeftijd, geslacht persoonlijkheid en vooropleiding betekenisvolle determinanten zijn van individuele oriëntatie op leren.
Eerder onderzoek liet drie samenhangende factoren zien (constructieve zelfregulatie, reproductieve externe regulatie en ambivalente en ontbrekende regulatie) die onder de noemer ‘oriëntatie ten aanzien van leren en instructie’ zijn beschreven en twee factoren (een betekenisvolle, geïntegreerde en een oppervlakkige) die zijn omschreven als ‘studie aanpak’ (zie voor details Van Bragt, Bakx, Van der Sanden & Croon, 2007). Eén van de gebruikelijkste redenen om uitval of slechte prestaties in het eerste jaar van de studie te verklaren is volgens Goldfinch & Hughes (2007) een gebrek aan studie- en zelf management vaardigheden.
De volgende onderzoeksvragen stonden in deze studie centraal: 1. Welke studentkenmerken voorspellen studieresultaat?
2. Zijn er verschillen ten aanzien van vooropleiding en zo ja welke verschillen? 3. Zijn er verschillen ten aanzien van geslacht en zo ja welke verschillen?
4. Bestaat er een interactie-effect tussen vooropleiding en geslacht ten aanzien van de persoonlijke kenmerken en studieresultaat?
Methode
Als onderdeel van het opleidingsprogramma 2003/2004 zijn twee vragenlijsten afgenomen bij 2,528 eerstejaars voltijd HBO-studenten van 19 verschillende Fontys-opleidingen. De twee vragenlijsten waren: (1) de Inventaris Leerstijlen (Vermunt, 1992), en (2) de Five-Factor Personality Inventory (Hendriks, Hofstee, & De Raad, 1999). Studenten kregen geen feedback. Na één studiejaar zijn het behaalde aantal studiepunten alsook de status opgevraagd.
72% van de totale groep studenten had een VO-vooropleiding. Van alle vrouwelijke studenten was 73% afkomstig van het VO, van alle mannen was dat 71%.Van de hele populatie was 48% vrouw, wat vergelijkbaar is met de Nederlandse studentpopulatie (48.39%).
Om antwoord te geven op de onderzoeksvragen zijn verschillende logistische regressieanalyses uitgevoerd (onder meer voor mannen en voor vrouwen apart) met als dichotome afhankelijke variabele studieresultaat. Om trends op te sporen zijn hieraan voorafgaand kruistabellen gemaakt.
Resultaten
Analyses laten zien dat studenten met lage scores op ambivalente en ontbrekende regulatie meer studiepunten behalen. Mannen met lage scores op deze variabele hebben meer kans om door te gaan met hun studie. Voorts hebben we verschillen gevonden ten aanzien van geslacht op verschillende persoonlijke kenmerken die een betekenisvolle rol spelen als voorspeller van studieresultaat. Mannen met een hoge score op zorgvuldigheid hebben meer kans om meer studiepunten te behalen en door te gaan met hun studie. Extraverte vrouwelijke studenten behalen meer studiepunten en mannelijke studenten met een hoge score op de betekenisvolle integratieve aanpak hebben meer kans om door te gaan. Vrouwen afkomstig van het VO hebben meer kans op meer studiepunten én om door te gaan dan andere studenten. Oppervlakkige aanpak bleek in deze studie afwezig te zijn als een voorspeller van studieresultaat.
Discussie en conclusies
Met onze onderzoeksresultaten leveren we een bijdrage aan kennis betreffende relaties tussen en voorspellende waarde van persoonlijke studentkenmerken ten aanzien van studieresultaat. Uitgangspunt is studenten te helpen succesvol te zijn in het Hoger Onderwijs. Voor opleidingen is het van belang studenten die mogelijk risico lopen tijdig te signaleren op basis van bepalende studentkenmerken; intake assessments kunnen hierbij helpen. Een beter inzicht van de student in het ‘zelf’ aangaande de eigen persoonlijkheid, de persoonlijke oriëntatie op leren en instructie alsook studieaanpak, ingebed in een doorlopende studieloopbaanbegeleiding, waarbinnen gewerkt wordt naar persoonlijke groei en ontwikkeling zou kunnen leiden tot een grotere betrokkenheid van de zelfverantwoordelijke student, welke niet alleen op korte maar zeker ook op lange termijn (levenslang leren) gewenst is.
Referenties
Bidjerano, T., & Dai, D.Y. (2007). The relationship between the big-five model of personality and self-regulated learning strategies. Learning and Individual Differences, 17(1), 96-81.
Busato, V. V., Prins, F. J., Elshout, J. J., & Hamaker, C. (2000). Intellectual ability, learning style, personality, achievement motivation and academic success of psychology students in higher education. Personality and Individual Differences, 29, 1057-1068.
Duff, A., Boyle, E., Dunleavy, K., & Ferguson, J. (2004). The relationship between personality, approach to learning and academic performance. Personality and Individual Differences, 36, 1907-1920.
Goldfinch, J. & Hughes, M. (2007). Skills, learning styles and success of first-year undergraduates.
Active Learning in Higher Education, 8(3), 259-273.
Hendriks, A. A. J., Hofstee, W. K. B., & De Raad, B. (1999). The Five-Factor Personality Inventory (FFPI), Personality and Individual Differences, 27, 307-325.
Slaats, A., Lodewijks, H. G. L. C., & Van der Sanden, J. M. M. (1999). Learning styles in secondary education: Disciplinary differences. Learning and Instruction, 9(5), 475-492.
Van Bragt, C.A.C., Bakx, A.W.E.A., Van der Sanden, J.M.M. & Croon, M.A. (2007). Students’ approaches to learning when entering higher education: differences between students with senior general secondary and senior secondary educational backgrounds. Learning and
Individual Differences,17(1), 83-96.
Vermunt, J. D. H. M. (1992). Leerstijlen en sturen van leerprocessen in het hoger onderwijs. Naar
procesgerichte instructie in zelfstandig denken., Katholieke Universiteit Tilburg, Tilburg.
Individueel paper
Onderwijskwaliteit aan de Rijksuniversiteit Groningen: Een validatie van de Course Experience Questionnaire
Bruinsma, M., Rijksuniversiteit Groningen Jansen, E.P.W.A., Rijksuniversiteit Groningen
Introductie
In de afgelopen jaren is het meten van effectiviteit van hoger onderwijs een belangrijk aandachtspunt geweest. Met name de vraag naar valide en betrouwbare instrumenten en vergelijkbare data over onderwijskwaliteit is aanleiding geweest voor veel onderzoek. De Course Experience Questionnaire (CEQ; Ramsden, 1991) is ontwikkeld als een indicator voor onderwijseffectiviteit in hoger onderwijsinstituten. Binnen de Rijksuniversiteit Groningen wordt reeds geruime tijd onderzoek gedaan naar effectiviteit van hoger onderwijs. In 2007 is, als onderdeel van een bredere vragenlijst in het kader van kwaliteitszorg, de “short version” van de CEQ (Ainley & Long, 1994) gebruikt om oordelen van studenten in beeld te brengen. In deze paper gaan we in op de betrouwbaarheid en validiteit van de CEQ in een Nederlandse context.
Achtergrond
De CEQ is gebaseerd op een theorie over onderwijs en leren in een universitaire context, waarbij de oordelen van studenten over het curriculum, over instructie en beoordeling, belangrijke determinanten zijn voor aan de ene kant hun studieaanpak en aan de andere de kwaliteit van de leeromgeving (Wilson, Lizzio & Ramsden, 1997). De vragenlijst is ontwikkeld om verschillen in oordelen tussen studenten in verschillende settings en programma’s in kaart te brengen. Het gaat hierbij om onderwerpen waar studenten direct mee in aanraking komen en er daarom dus ook valide oordelen over kunnen geven. Deze vragenlijst werd in 1991 ontwikkeld. In eerste instantie bestond deze vragenlijst uit 30 items en ging het in op aspecten zoals “good teaching”, “clear goals”, “appropriate workload”, “approapriate assessment” en “emphasis on independence”. De korte vorm van de CEQ (Ainley & Long, 1994) bestaat uit 25 items met de volgende vijf schalen: good teaching (over onder andere docenten en studiebegeleiding), clear goals and standards (duidelijke normen en verwachtingen), appropriate assessment (beoordeling), approriate workload (werklast) en generic
skills (generieke vaardigheden). Daarnaast is nog een item over de algehele tevredenheid met de