1
Afbeelding: En de zoeker was bezig met een eindeloze zoektocht. De nacht (serietitel) Een oude man staand naast een grote schaal waaruit damp komt. Prent uit een serie van zes, gemaakt voor een album. Prentmaker: Odilon Redon (vermeld op object). Datering: 1886. Bron: Rijksmuseum
Kennisproductiviteit, merkbaar, meetbaar, maakbaar.
Oorspronkelijk masterthesis onderzoek PM15 CNA
31-5-2018
PROFESSIONEEL MEESTERSCHAP - CNA A.A. (André) Swart | Oldenzaal
Inhoudsopgave
1.0 Leeswijzer ... 3
2.0 Context ... 3
2.1 Wat is het contextprobleem? ... 4
3.0 Probleemverkenning ... 6
3.1 Centrale thema.. ... 6
3.2 Waar bestaat nog een lacune? ... 6
3.3 Dit onderzoek ... 7
3.4 Onderzoeksdoel ... 7
4.0 van praktijkprobleem aan de hand van onderwijsconcepten en literatuur ... 8
4.1 Werkplekleren (Billet, Streumer, Nelen et.al.) ... 8
4.2 Corporate curriculum (Kessels, Lakerveld, Stam) ... 9
4.3 Transfer (Robinson & Robinson, Simons, Snoek, Lakerveld) ... 10
4.4 Evaluatie (Kirkpatrick, Phillips, Brinkerhoff & Gill) ... 11
4.5 Taxonomie (Bloom, Schulman, Romiszowski) ... 12
4.6 Aandachtspunten voor ROC4NL vanuit het perspectief van de literatuur ... 13
5.0 Analyse van praktijkprobleem aan de hand van data uit eigen praktijk ... 14
5.1 Data verzameling ... 14
5.2 Uitwerking van data / interpretatie ... 16
6.0 Verkenning van mogelijke oplossingen... 17
7.0 Onderzoek en interventie ... 21
7.1 Hoe zit mijn probleem nu in elkaar ... 21
7.2 Wat betekent dit voor mijn interventie. ... 22
7.3 De beoogde effecten, hoe ziet dat eruit, wat valt er aan te meten ... 24
7.4 CIMO logica ... 25
7.4 Hypothese ... 26
7.5 Auteurs’ perspectieven... 26
8.0 Interventie, onderzoek en evaluatie ... 27
8.1 Interventie ... 27 8.2 Onderzoeksvragen ... 28 8.2 Evaluatie en benchmark ... 29 8.3 Tijdplanning ... 31 9.0 Bijlagen ... 32 10.0 ReferentiesReferences ... 32 11.0 Bronnen ... 34
1.0 Leeswijzer
Kennisproductiviteit, merkbaar, meetbaar, maakbaar is de masterthesis onderzoeksopdracht van het Centrum voor Nascholing Amsterdam. (UVA, HVA en Kohnstamminstituut). Het ontwerp is een meetinstrument om kennisproductiviteit in de praktijk inzichtelijk te maken. Dit onderzoek is een kwalitatief onderzoek naar bruikbaarheid van dit meetinstrument. Deze publicatie is een bewerkte, gecombineerde, versie van de vier afzonderlijke onderzoekpapers. Het onderzoek is afgerond in het voorjaar van 2018.
Het ontwerponderzoek bestaat uit twee delen. In het eerste deel worden studenten door een praktijkopleider en een docent beoordeeld over de mate van hun kennis-productieve inzet in de praktijk. Dit
kennisproductiviteit oordeel zegt iets over de inzet van de opgedane kennis van de student. De student laat zien dat hij/zij de kennis daadwerkelijk toepast in de praktijk. In het tweede deel van dit onderzoek wordt het meetinstrument beoordeeld door verschillende praktijkopleiders en meerdere docenten In dit deel wordt de kennisproductiviteit taxonomie en het bijbehorend meetinstrument geëvalueerd als mogelijk bruikbare toepassing in de beroepspraktijkvorming.
2.0 Context
In 2014 hebben vier bestuurscolleges van samenwerkende ROC’s 1 een idee opgepakt om een herontwerp te maken van de opleiding verkoopspecialist. Dit idee resulteerde in twee bestuurlijke opdrachten, ten eerste “ontwerp een innovatieve opleiding” en ten tweede “zet zo breed mogelijk educatieve technologische middelen in”. De bestuurders hebben een stuurgroep en een ontwikkelgroep in het leven geroepen. In deze stuurgroep en ontwikkelgroep hebben deelnemers zitting met verschillende (onderwijs)expertise. Er is getracht vanuit ieder ROC een evenredig aantal afgevaardigden zitting te laten nemen in de groepen. Indertijd was de auteur deelnemer in de ontwikkelgroep met als specifieke rol “onderwijsmanager”.
Het project richtte zich op de MBO vakopleiding “verkoopspecialist” als beroepsbegeleidende leerweg, BBL (crebo 25155). Voor het ROC van Twente had het college van Commercie en Ondernemen een belangrijk aantal studenten die deze leerroute volgden (schooljaar 2015-2016: circa 100 studenten). Het project heette ROC4NL (www.roc4.nl).
Voor de bestuurscolleges van de vier ROC’s lag de vraag voor in welke mate het beroep van verkoopspecialist verandert onder invloed van de veranderingen in de detailhandelsbranche. De overweging daarbij vanuit een macroperspectief gezien was dat er in de media veel aandacht was voor de detailhandel. In de media werd veelvuldig melding gemaakt van faillissementen van winkelketens en leegstand van winkelstraten.
Daartegenover stonden publicaties over de detailhandel met groeicijfers van online consumentenbestedingen en succesvolle superstores op bedrijventerreinen.
Vanuit een mesoperspectief was er de druk om “modern” onderwijs te bieden in het kader van de landelijke invoering van de nieuwe kwalificatiedossiers (Bussemaker, 2014). De wens om aan te sluiten bij de
belevingswereld van de student van toen vertaalde zich in de opdracht van de samenwerkende ROC’ s om educatieve technologie in de klas toe te passen.
Op microniveau, het student- en opleidingsperspectief, was de vraag relevant welke ingrediënten er nodig waren om een innovatieve opleiding te maken. Zou het volstaan om in te zetten op maximaal gebruik van educatieve technologie in het onderwijs of zou er meer nodig zijn? Om dit inzichtelijk te krijgen werd op 26 november 2014 een landelijke conferentie gehouden met genodigden uit detailhandel en onderwijs.
Bovenstaande vragen zijn onderwerp van gesprek geweest voor filiaalmanagers, praktijkopleiders, docenten, IT specialisten, studenten en alumni. De belangrijkste signalen en aandachtspunten die de ontwikkelgroep uit de mini-conferentie destilleerde zijn achtereenvolgens:
- Effectiviteit van opleiden - Aansluiting theorie en praktijk - Begeleiding van student - Educatieve technologie
In de ontwikkelgroep van ROC4NL zijn deze thema’s uitgediept en is het idee ontstaan om deze thema’s te combineren met de oorspronkelijke bestuurlijke opdracht om te komen tot een innovatieve onderwijsroute.
2.1 Wat is het contextprobleem?
Eén wederkerende klacht van zowel studenten, alumni als vertegenwoordigers uit het bedrijfsleven is de beleving dat opleidingsonderdelen niet aansluiten bij de werkelijkheid in de praktijk. Studenten verwoorden het als volgt: “wat ik op school leer, daar heb ik hier op het werk niks aan!”. Docenten zien aan de uitwerkingen van praktijkopdrachten dat de voorgestelde situaties in schoolopdrachten niet in de werkpraktijk voorkomen. De praktijkopleiders merken op dat noodzakelijke branchekennis ontbreekt in het opleidingscurriculum. De ROC4NL ontwikkelgroep heeft dit probleem onderkend en geïdentificeerd als de afstand in een driehoek tussen het vastgestelde KD2, opleidingsmaterialen van onderwijsuitgevers en de werkelijkheid in de praktijk. De oplossing die hier voor de hand ligt, is om van de generieke opleiding een maatwerkopleiding te maken. Een maatwerkopleiding voor de individuele student is organisatorisch een enorme uitdaging. Enerzijds om allemaal individuele opleidingen te ontwerpen en anderzijds om deze uit te voeren. Daarbij moesten al die unieke maatwerktrajecten ook voldoen aan het vastgestelde KD. Vooropgesteld dat dit ontwerpen en uitvoeren allemaal lukt dan zit er nog voor mij de ultieme uitdaging in het meten en beoordelen van de studenten tijdens het opleidingstraject.
Bij een uniek maatwerk opleidingstraject past een generiek formatief meetsystematiek slecht. Dit omdat het zeer voorstelbaar is dat een generieke meting weinig valide is bij een unieke opleiding. Als eerste mogelijke oplossing zou de introductie van unieke formatieve metingen een idee zijn. Echter dit vereist dat naast de unieke opleiding er ook voor iedere student afzonderlijk oefentoetsen en overhoringen vastgesteld en
uitgevoerd moet worden. Naast het vele extra werk welke dit geeft is er het reële gevaar dat de
betrouwbaarheid in geding komt. Bovendien is er de complicerende factor dat er verschillen zijn in tempo en onderwerpen van studenten en dat daardoor de voortgang van de studie onoverzichtelijk wordt. De uitdaging zit hem dus in het vinden van een nieuw beoordelingsinstrument of systeem. Dit nieuwe meet- en
beoordelingssysteem moet betrouwbaar en valide zijn en een uitkomst geven die bij vergelijken van studenten onderling een plausibele weergave geeft. Daarbij zou de uitkomst een goede indicator moeten zijn voorde slagingskans bij de examens.
Het probleem van een sterk willekeurige interpretatie bij het meten en beoordelen van studentenprestaties in de beroepspraktijkvorming krijgt met dit onderzoeksontwerp een mogelijke oplossing. Met het nieuw te ontwikkelen instrument worden assessoren en examinatoren een leidraad geboden die eenduidige interpretatie van de vorderingen van studenten mogelijk maakt.
(NB. De summatieve toetsing, het examen, blijft in het ROC4NL opleidingsmodel voor alle studenten dezelfde omdat de opleiding een CREBO opleiding is en alle kandidaten aan dezelfde standaard moeten voldoen.)
3.0 Probleemverkenning
Voor de probleemverkenning voor dit onderzoek maak ik gebruik van de CARS logica. Dit is een methode ontwikkeld door Swales (1990) en toegelicht voor concrete toepassing voor ontwerpgericht onderzoek door Aken en Andriessen (2011) waarmee zo helder mogelijk de onderzoeksopzet wordt neergezet.
3.1 Centrale thema..
..is het meten en beoordelen van (leer)prestaties in de beroepspraktijkvorming.
Van belang is te weten wat de beroepsprestaties zijn van een student en om die vervolgens te koppelen aan wat die student heeft geleerd. Dit is van belang in de eerste plaats voor de student zelf. Immers na een stevige (studie)inspanning zou een beloning moeten volgen. Tevens is het voor een student van belang om de
studieactiviteit bij te sturen naar aanleiding van een tussentijdse meeting, een tussentijds meetmoment fungeert dan als leermoment. Tenslotte is het voor docenten, praktijkopleiders en teamanagers van belang te weten hoe effectief het aangeboden onderwijsprogramma is.
In het onderwijs zijn toetsingen onder te verdelen in twee categorieën: summatieve toetsen en formatieve toetsen. De summatieve toetsing wordt gebruikt om de leerprestaties van een student te beoordelen, de formatieve toets wordt ingezet om de voortgang en het leren van een student te bevorderen.
Waarom summatief en formatief toetsen? De reden voor summatieve toetsing is om een eindoordeel te kunnen geven over de studieprestaties om vervolgens bijvoorbeeld een diploma toe te kennen. De formatieve toetsing is volgens Schilkamp et al. (Schildkamp et al., 2014) toetsen om adequaat leerprogressie en
misconcepties van studenten in kaart kunnen brengen en dus noodzakelijk om het beoogde doel te
verwezenlijken namelijk het leren van studenten. Het centrale thema van dit ontwerponderzoek richt zich dus op het formatieve toetsen.
3.2 Waar bestaat nog een lacune?
In het MBO onderwijs is een belangrijk deel van een BBL opleiding de beroepspraktijkvorming. Dit werkplekleren beslaat circa 75 % van de effectieve opleidingstijd en duurt nominaal 1,5 tot 2 jaar. Het
formatief meten en beoordelen bestaat hierbij uit het inventariseren van alle prestatie-indicatoren benoemd in het KD bij de aanvang en gedurende de BPV3 periode. De meetmethode is generiek van karakter en wordt vrijwel bij alle opleidingen in het MBO gebruikt. In het MBO domein commercie en ondernemen is deze methode uitgewerkt door ESS4. Als referentie aan deze methodiek is deze hierna aan te duiden als ESS meting of ESS meetmethode.
3 BPV: Beroepspraktijkvorming 4 ESS: examenservices Handel en Mode
De ESS meetmethode kent een aantal belangrijke nadelen. Zo is er de lijst met gebruikte prestatie-indicatoren, een opsomming van aspecten waarin de praktijkopleider de eigen prestatie-indicatoren niet altijd herkent. Ook houdt de methode helaas geen rekening met de specifieke context waardoor vragen verkeerd worden
geïnterpreteerd. Tenslotte geeft de uitkomst van deze inventarisatie een cijfermatig oordeel waarbij volgens docenten nogal eens een vertekend beeld ontstaat in vergelijking met prestaties van collega studenten. Deze meetmethode is dus een instrument waarbij de tevredenheid bij stakeholders een wisselend beeld geeft.
3.3 Dit onderzoek
Dit onderzoek heeft de vorm van een experiment en is de introductie van een nieuwe meet-en
beoordelingssystematiek. Hierbij wordt onderzocht of het enerzijds past bij de nieuwe manier van opleiden en anderzijds of het genoemde nadelen van de ESS meting omzeild.
Het formatief toetsen wordt door middel van dit ontwerponderzoek verrijkt met een ontwerp van een nieuw meetinstrument. Het doel daarbij is dat dit instrument:
- inzicht biedt in studievoortgang,
- vergelijking tussen studenten mogelijk maakt, - ontwikkeling stimuleert,
- goed hanteerbaar is,
- een goede indicatie is voor toekomstig performance op school en op het werk, - Herkenbare en acceptabele resultaten geeft voor het onderwijs en het bedrijfsleven.
3.4 Onderzoeksdoel
Dit onderzoek heeft als doel tot een verbetering te komen van formatief toetsen van de
beroepspraktijkvorming in het MBO. Om dit te bewerkstelligen wordt een veldexperiment uitgevoerd waarbij met een nieuwe instrument beroepsprestaties worden gemeten bij studenten in een MBO opleiding. De verwachting is dat door context-gebonden te meten de student zich bewust wordt van de taakeisen en die het beroep stelt. Door de relatie te leggen van de beroepsprestatie met de opgedane kennis is het inzicht dat de student krijgt direct gekoppeld aan de theoretische bagage die is aangeboden.
Onderzocht gaat worden of het nieuwe instrument als formatieve toetsing bijdraagt tot: A: Betekenis: wat is geleerd, is het geleerde een voorspelling van toekomstige prestaties? B: Effect: wat moet nog geleerd worden of brengt het geleerde een andere aanpak in het werk? C: Gebruik: is de nieuwe methode goed hanteerbaar voor de gebruikers?
D: Bevindingen: Is de meting herkenbaar en relevant voor alle stakeholders? Het ontwerponderzoek bestaat uit twee delen:
Deel 1. De interventie toegepast in de beroepspraktijk
De interventie zal als nieuwe meetmethode bij wijze van experiment ingezet worden in een reële
opleidingssituatie. Het ontwerp van dit nieuwe instrument is gebaseerd op de kennisproductiviteitstaxonomie. Dit maakt het mogelijk m een koppeling te leggen tussen de prestaties in het beroep en de kennis van de student. Het onderzoek deel 1 vind plaats bij een bedrijfsopleiding met het karakter van een individuele maatwerkopleiding. De meting heeft het karakter van een competentie meting.
Deel 2. De bruikbaarheidstoets
Onderzocht gaat worden in hoeverre dit nieuwe meetinstrument het leren in de praktijk adequaat in beeld kan brengen. Daarnaast zal dit onderzoek een uitspraak kunnen doen of het meten van werkplekleren met behulp van een kennisproductiviteit taxonomie een verbetering biedt ten opzichte van de conventionele
methodiek(en). Het onderzoek deel 2 wordt uitgevoerd op het ROC van Twente en heeft het karakter van een expert groep onderzoek.
4.0 van praktijkprobleem aan de hand van onderwijsconcepten en literatuur
Initieel literatuuronderzoekVoor een eerste verkenning van de literatuur staan voor mij enkele vragen centraal. Welke leertheorieën lijken voor dit onderzoek relevant? Zijn er bestaande, beproefde evaluatie methodieken of effectmetingen van opleiden? Aan welke voorwaarden moet een effectmeting voldoen? Voor de leertheorieën en -concepten kijk ik in dit deel van het onderzoek naar werkplekleren, transfer, corporate curriculum, evaluatie en taxonomie.
4.1 Werkplekleren(Billet, Streumer, Nelen et.al.)
Billett (2001) heeft een model ontwikkeld waarmee leerresultaten en werkresultaten los van elkaar te onderscheiden zijn waarbij het één niet automatisch leidt tot het ander. Dat wil zeggen dat werken niet automatisch leidt tot leren. Dit heeft te maken met de inspanningen van het individu en de mogelijkheden die de context biedt. Het inzicht dat het werk en het leren weliswaar met elkaar verbonden is maar dat het wel twee verschillende zaken betreft is de moeite waard om mee te nemen in een meetsystematiek voor ROC4NL. Namelijk wanneer twee studenten hetzelfde werk uitvoeren zullen ze dus niet hetzelfde leren. Het is voor een generiek niveau als startend beroepsbeoefenaar van belang om een minimum niveau te halen om bijvoorbeeld een diploma te kunne toekennen. Omdat het model van Billet enerzijds onvoldoende aangrijpingspunten biedt voor interventies en anderzijds moeilijk te operationaliseren is, laten we het model voor wat het is. Het inzicht dat Billet ons meegeeft is wel degelijk van groot belang omdat we individuele verschillen in het performance van werken en leren in kaart proberen te brengen.
Werkplekleren heeft volgens de definitie van Streumer (2010) een vijftal kenmerken. Deze benadrukken allen een ander aspect van werkplekleren. Van belang is de context waarbinnen het leren plaatsvind, dat leren op verschillende niveaus plaatsheeft, dat de mate van zelfsturing een rol speelt , dat leren in verschillende vormen voorkomt en dat de nadruk ligt op ontwikkeling en het vermogen om te leren. Als opbrengst van werkplekleren beschrijft Streumer dat werkplekleren unieke effecten heeft (Streumer, 2010. p36-37) die in een
onderwijssetting niet of nauwelijks te realiseren zijn. Deze effecten zijn te reduceren tot twee aspecten, te weten knowing how en knowing that. Competenties en handelingsrepertoire als inhoud voor knowing how, en kennis die nodig is om bekwaam gedrag te kunnen etaleren is als inhoud voor knowing that. Het onderscheid tussen iets kunnen en iets ook daadwerkelijk doen speelt als rode draad in de vraagstelling bij het project ROC4NL. De GAP tussen theorie en praktijk is naar mijn eigen inzicht niet zo groot, de kunst is alleen wel om de studenten dat ook bij te brengen. Bewust omgaan met iets kunnen en iets doen zal mogelijk in de te
Volgens de review studie van Nelen, Poortman, Nieuwenhuis, & Kirschner (2010) zijn investeringen in opleidingen voor de beroepsbevolking van groot belang voor het concurrentievermogen. Investering in opleidingen leidt tot “human capital”. Het rapport maakt onderscheidt in rendement voor werknemers en de werkgever. Zoals figuur 1 laat zien is de opbrengst voor medewerkers aanzienlijk in verscheidenheid aan aspecten. Het is in het kader van het project ROC4NL interessant te meten hoe groot die effecten zijn. Wellicht kunnen aspecten uit figuur 1 worden meegenomen in de te ontwikkelen meetsystematiek.
Figuur 1: opleidingsrendementen van werkplekleren
Noot: het rapport van Nelen maakt onderscheid in werkplekleren met de termen initieel en post-initieel leren. Het verschil hiertussen is dat met Initieel leren bedoeld wordt het werkplekleren met als doel het vak te leren. Met post-initieel leren wordt bedoeld de nascholingen en trainingen van beroepsbeoefenaren in het kader van een leven lang leren. Dit laatste aspect wordt hier buiten beschouwing gelaten omdat dit onderzoek zich toespits op een BBL opleiding en dit in de terminologie van Nelen dus initieel leren betreft.
Omdat ROC4NL de opdracht heeft een erkende (CREBO) opleiding te bieden is het perspectief om slechts te kijken naar resultaten in het werk te beperkt. Vervolgens is de vraag wat we willen dan meten? Kijken vanuit het begrip transfer geeft dit de mogelijkheid om zowel aan de kant van het opleiden als aan de kant van het werk te gaan onderzoeken wat het prestatieniveau van de student is.
4.2 Corporate curriculum (Kessels, Lakerveld, Stam)
Een leerplan voor organisaties, dat is de eenvoudige definitie van het corporate curriculum volgens Joseph Kessels (1998). Het toevoegen van kennis aan producten en diensten om daardoor meerwaarde te creëren staat centraal in deze gedachtegang. Het idee dat niet alleen het topmanagement of een enkele expert deze kennis kan toevoegen maar juist iedereen binnen de organisatie is het leidende idee van kennisproductiviteit. Het vitale belang wordt door Kessels door de jaren heen vanuit verschillende bronnen benadrukt.
Voor ROC4NL is deze zienswijze van groot belang omdat we juist oog willen hebben voor onderdelen uit het corporate curriculum. Door de specifieke leeraspecten op te nemen in het opleidingscurriculum zal de student veel minder de ervaring hebben dat het aangeleerde niet relevant is voor de praktijk. Het opleidingscurriculum komt zo dichter bij de beroepspraktijk te staan.
Wat betekenen deze woorden nu in de detailhandelspraktijk? Is er verschil in het corporate curriculum van bijvoorbeeld de Jumbo en de Aldi? Ter illustratie volgt een vergelijking in de detailhandelsbranche.
De Jumbo kent de zeven zekerheden voor klanten, één daarvan is service met een glimlach. Bij deze zekerheid horen maar liefst vier gedragsregels die medewerkers van Jumbo moeten hanteren om hieraan in de praktijk uitvoering te geven. Die medewerkers doen dat niet vanzelf, ze moeten er op gewezen worden dat deze regel bestaat. Tevens moet de medewerker instructie krijgen hoe een dergelijk service in de praktijk er uit ziet. Bij de Aldi daarentegen heersen andere mores. Een Aldi medewerker is een allround medewerker, dit blijkt
bijvoorbeeld uit het feit dat je zowel kassa- als winkelwerkzaamheden uitvoert. De Aldi kent geen gedragsregels voor specifieke situaties voor klantencontact. Beide voorbeelden zijn illustratief over hoe specifiek het verschil kan zijn van werkzaamheden in één en hetzelfde beroep. Moeten de Aldi medewerker en de Jumbo medewerker hetzelfde leren? Het verschil in wat de medewerkers moeten leren zit hem in het leerplan van de organisatie.
4.3 Transfer(Robinson & Robinson, Simons, Snoek, Lakerveld)
Het gedachtengoed van Robinson en Robinson (1989), Ruijters & Simons, 2012) beschrijft dat er een belangrijk verschil is tussen trainen als activiteit en trainen met een doel. Het denken over trainen en opleiden heeft in deze optiek lange tijd een focus gekend waarbij de training of opleiding als doel is gezien en daarmee aan eigen voorwaarden moet voldoen. Het omdenken dat Robinson en Robinson hebben teweeggebracht is dat zij uitgaan van trainen met focus op veranderen of resultaat. Het leren wordt hierbij consequent in de context van werken beschouwd, deze optiek is voor ROC4NL een relevante insteek. Het leren met een doel wordt door middel van een stappenplan omgezet in een curriculum ontwerp. Als conclusie c.q. aandachtspunt voor het curriculum ontwerp komen de auteurs tot de drie belangrijke elementen: focus op de verandering (of het resultaat) welke bereikt moet worden. Betrek het management, meet en evalueer. Voor dit onderzoek is het jammer dat er geen concreet handvat gegeven wordt in de literatuur welke evaluatiemethode kan worden gebruikt. Voor het curriculumontwerp in het project ROC4NL is aan de voorwaarde van Robinson en Robinson voldaan. Tevens wordt aan de suggestie om te meten en evalueren gelijktijdig met opleiden tegemoet
gekomen in het ROC4NL project.
Transfer is belangrijk, zo belangrijk zelfs, dat volgens Simons’ inaugurele rede (1990) transfer het kernproces is van het leren. Marco Snoek staat stil in zijn artikel (2013) over de opleiding Professioneel Meesterschap bij het begrip transfer waarin hij de relatie legt tussen de kennis-, en vaardigheidsopbouw bij het individu en de effecten daarvan op de werkplek. Snoek stelt dat van een effectieve transfer kan worden gesproken wanneer deelnemers van de leergang het geleerde daadwerkelijk in de praktijk brengen. Voor dit onderzoek zijn deze uitgangspunten relevant omdat in het geval van ROC4NL al een opleiding bestaat voor verkoopspecialist en de opdracht is om deze te innoveren. Vanuit de landelijke conferentie weten we dat de relatie tussen het leren en de werkplek voor de stakeholders als belangrijk uitgangspunt wordt gezien en daarmee kan het voor het ROC4NL project een doel zijn om een zo groot mogelijke transfer tot stand te brengen. De vraag blijft: hoe meet je dat dan?
Van Lakerveld (2005) spreekt van een transferprobleem en benoemt het transfergericht opleiden als gedeeltelijke oplossing van het transferprobleem. Van Lakerveld pleit voor een andere kijk op transfer
problematiek namelijk die van de kennisproductiviteit. Deze kijk op transfer gaat er van uit dat leren een onderdeel is van het werk en dat werken en leren versmelten tot een integrale activiteit, waardoor het geleerde als vanzelfsprekend zal worden toegepast in de praktijk. Voor ROC4NL is dit een belangrijk
gezichtspunt omdat hiermee opleidingsresultaat van werkplekleren en een individueel element krijgt. Voor een individuele beoordeling is het van belang dat er een mogelijkheid is om de resultaten in het werk toe te
schrijven aan de inspanningen van een individu.
In het domein bedrijfsopleidingen bestaat een meting aan transfer van Veldhuis en Theunissen (2009). Deze onderzoekers komen tot een verrassend aspect dat grote invloed heeft op de transfer namelijk de aandacht van de leidinggevende voor de training. Dit wordt bevestigd door Stam in zijn onderzoek (2007) naar
versterking van kennisproductiviteit en de participatie van (top)management (Stam, 2007, p190-191) waarin hij stelt dat een actieve bijdrage van het management een wezenlijke bijdrage aan kennisproductiviteitsprocessen geeft.
4.4 Evaluatie(Kirkpatrick, Phillips, Brinkerhoff & Gill)
Een veelvuldig genoemd model voor het meten van trainingseffecten is het evaluatiemodel van Kirkpatrick (1967). Dit model kent vier niveaus van meten van opleidingsresultaten. De meting biedt inzicht in de
tevredenheid van stakeholders, leerresultaten, effecten op de werkplek en resultaten in termen van kwaliteit van output van het werk. Het gebruik van het evaluatiemodel van Kirkpatrick is in de literatuur voornamelijk terug te vinden bij bedrijfsopleidingen en trainingen.
Figuur 2: evaluatie model voor trainingen van Kirkpatrick
Het evaluatiemodel van Phillips (2016) is gebaseerd op het denkwerk van Kirkpatrick waarbij de uitbreiding met name zit in het financieel maken van de inspanningen en opbrengsten van een opleidingsinterventie. Een schematische weergave van het model van Phillips is weergegeven in onderstaande figuur.
Kritiek (Ruijters & Simons, 2012) op de modellen van Phillips en Kirkpatrick luidt voornamelijk dat de modellen wel spreken van hiërarchie maar dat er in de praktijk geen hiërarchische betekenis is van de niveaus. Met andere woorden: er is geen voorwaardelijkheid van het goed vervullen van de lagere niveaus om goede resultaten te bereiken op hogere niveaus. Van Driel (Ruijters & Simons, 2012) bespreekt hierover dat de modellen meer taxonomieën zijn dan leereffect modellen. Het ontbreken van een individueel aspect in de evaluatiemodellen van Kirkpatrick en Phillips geeft dat de inzichten beperkt waarde hebben voor het ROC4NL project.
Een andere kijk het meten van opleidingsinspanning wordt gegeven door de methode van impact mapping van Brinkerhoff (Brinkerhoff, 2006; Kazbour, McGee, Mooney, Masica, & Brinkerhoff, 2013). Dit model geeft de effecten en afhankelijkheden van de leren op de werkplek gerelateerd aan de output van het werk.
Figuur 4: impact map van Brinkerhoff
De methode gaat uit van trainen in een bedrijfsopleiding waarbij de resultaten van het werk als performance indicator wordt meegenomen als trainingsresultaat. Wat bruikbaar is voor het ROC4NL project is het feit dat er een werkplekanalyse aan bod komt hetgeen betekent dat er een individueel aspect in het evalueren van leren en werken versleuteld zit.
4.5 Taxonomie(Bloom, Schulman, Romiszowski)
De taxonomie van Bloom is ontwikkeld vanuit de noodzaak te beschikken over een zorgvuldig classificatie systeem met onderwijsdoelen. Het gebruik van een taxonomie biedt houvast bij het bepalen van
onderwijsdoelen in een curriculum en bij het vaststellen te realiseren effecten (Bloom, 1971). De taxonomie van Bloom wordt gezien als een fundamenteel onderdeel van de opleiding tot onderwijskundige (Ruijters & Simons, 2012). Voor het ROC4NL project zijn beide elementen van belang omdat enerzijds de opleiding als maatwerk wordt geherdefinieerd plus er is een wens om de prestaties van een student inzichtelijk te maken. Een andere opvatting over een taxonomie is die van Schulman. Hij meent dat het leerproces van de lerende meer iets zegt over de behaalde resultaten dan beschrijvingen van de leerstof als inhoud en
kennisbeschrijvingen (Ruijters & Simons, 2012). De taxonomie van Schulman gebruikt constructivistische termen om de performance van het individu in kaart te brengen. Voor het ROC4NL project een overweging om ook op deze manier naar opleidingsresultaten te kijken.
Een variant op de taxonomie van Bloom, is de taxonomie van Romiszowski (1981). Belangrijk van deze taxonomie is enerzijds dat het uitgangspunt voor deze taxonomie ook het curriculumontwerp is, anderzijds maakt de taxonomie een onderscheid in kennis en vaardigheden. Onder kennis verstaat Romiszowski
een persoon uitvoert om een bepaald doel te bereiken'. Vaardigheden ontwikkelen zich door ervaring en oefening. Je kunt dus in meer of mindere mate over een bepaalde vaardigheid beschikken. Omdat het ROC4NL project zich buigt over een opleiding op niveau 3 waarbij kennis en vaardigheden ook separaat worden
benoemd in het KD lijkt deze benadering van opleiden en meten van opleidingseffecten van belang.
4.6 Aandachtspunten voor ROC4NLvanuit het perspectief van de literatuur
Vanuit de literatuurstudie komen volgende aandachtspunten naar voren die relevant genoeg lijken om mee te nemen in experiment:
1 Kijk op leren én werken om een compleet beeld te krijgen van de prestaties van studenten. Dit in tegenstelling tot alleen kijken naar het werk om de prestaties te beoordelen. (werkplekleren)
2 Neem bedrijfsspecifieke leerdoelstellingen op in het opleidingscurriculum om het gat tussen theorie en praktijk te overbruggen en de relevantie van de leerdoelen zo groot mogelijk te maken. (corporate curriculum) 3 Heb aandacht voor hoe het geleerde wordt toegepast in de praktijk om zo te zien of de juiste kennis wordt aangeleerd of dat de juiste vaardigheden aansluiten bij de aangeboden kennis. (transfer)
4 Maak een werkplekanalyse om zo de resultaatgerichtheid van het opleiden en leren in kaart te brengen. (evaluatie)
5 Het beschouwen van de opleiding in combinatie met het normeren van gewenste resultaten zal een handvat kunnen zijn om een directe relatie te leggen tussen een voortgangsmeting en de opleiding. (taxonomie)
5.0 Analyse van praktijkprobleem aan de hand van data uit eigen praktijk
Ter verificatie van de problematiek rondom het meten en beoordelen in de beroepspraktijkvorming is een empirisch vooronderzoek relevant. Veronderstellingen die er zijn zullen middels een empirisch vooronderzoek getoetst worden. Dit vooronderzoek richt zich op het eerder benoemde spanningsveld de driehoek tussen het vastgestelde KD, de opleidingsmaterialen en de werkelijkheid in de praktijk.
De vragen die voorliggen zijn:
1 Zijn er zichtbare verschillen in onderwerpen in theorie en in de beroepspraktijk?
1a Als er sprake is van verschillende onderwerpen en/of methoden, zou het theoretisch curriculum of het praktisch curriculum moeten worden aangepast?
2 Kan er sprake zijn van transferproblematiek?
2a Is het mogelijk om een knelpunt in de transfer te benoemen?
3 Beheersen alle deelnemers aan het beroepspraktijkvormingsproces hun taken? 3a Welke knelpunten ervaren de stakeholders5 bij de beroepspraktijkvorming? .
De vraagstelling is heel bewust open en ongericht waardoor er vanuit het empirisch vooronderzoek ook andere resultaten kunnen komen die niet aansluiten bij de veronderstellingen. Dat dit kan gebeuren is evident en ook noodzakelijk omdat het uiteindelijke onderzoek dan specifieker en effectiever kan worden opgezet.
5.1 Data verzameling
Het verzamelen van data ten behoeve van het empirisch onderzoek is een stappenplan met drie stappen. Ten eerste maak ik gebruik van de data van de landelijke conferentie van ROC4NL op 28 november 2014. Ten tweede is een bron van data de enquêteresultaten van de BTG handelsdag van 31 maart 2016. Tenslotte maak ik gebruik van het interviewen van een focusgroep, najaar 2016. Deze chronologische opbouw van
dataverzameling geeft voortschrijdend inzicht ten behoeve van dit onderzoek over de mogelijke knelpunten die problemen geven ten aanzien van opleiden in de beroepspraktijkvorming .
Om de data te interpreteren is het noodzakelijk om het juiste perspectief te kennen. De perspectieven die worden geboden van de stakeholders zijn die van studenten, praktijkopleiders, docenten en managers. De data verkregen van de landelijke ROC4NL conferentie komt van al deze genoemde stakeholders. De data bronnen van de BTG handelsdag zijn docenten, praktijkopleiders en managers. Data verkregen uit de interviews in de focusgroep is die van docenten en managers.
Opzet dataverzameling op de landelijke conferentie.
De conferentie was opgezet met primair het doel om te inventariseren welke aspecten aan de opleiding van verkoopspecialist aan vernieuwing toe waren. In een serie van workshops zijn de stakeholders verdeeld over verschillende ruimtes en aan de hand van vragen is volgens het acht-velden-model van Kessels (1996)
informatie verzameld. Op deze manier is een externe analyse uitgevoerd van de opleiding op de vier niveaus die dit model kent: doel/probleem; werksituatie; vaardigheden en leersituatie. De opbrengst hiervan heeft het ROC4NL project input gegeven en grondslagen voor het maken van keuzes.
Opzet van dataverzameling tijdens de BTG Handelsdag.
De BTG handelsdag is een jaarlijks evenement georganiseerd door de bedrijfstakgroep handel. ROC4NL heeft ruimte gekregen gedurende twee workshoprondes om het opleidingsconcept toe te lichten. Van die
gelegenheid is gebruik gemaakt door in combinatie met voorlichting ook data te verzamelen. Deze datacollectie is gedaan met behulp van Kahoot, een educatieve App die als interactief element in de presentatie de feiten en meningen in kaart bracht over opleiden en meten en beoordelen. De opbrengst hiervan was dat ROC4NL een bevestiging kreeg van de gemaakte keuzes. Voor dit onderzoek was de meerwaarde dat preciezer de opleidingsinspanning en opleidingseffecten in kaart zouden moeten komen. Opzet van dataverzameling door middel van diepte interview(s).
Als vervolg op de externe analyse eind 2014 en de Kahoot enquête begin 2016 was het noodzaak om de finesses op te sporen naar de mismatch in opleiden, meten en beoordelen in de huidige systematiek. De keuze voor een mondeling interview lijkt met dit doel in gedachten een logische keuze. Onderwerpen van het interview zijn bijvoorbeeld het (on)gemak van formatief toetsen, het bepalen van de studievoortgang, de betrouwbaarheid van het beoordelen en het vaststellen van geschiktheid voor deelname aan examens. Doel is om zoveel mogelijk informatie uit respondenten te ontlokken. De opbrengst hiervan is een duiding van
problematieken welke allen afzonderlijk eigen principes en mechanismen kennen en waarvoor in het kader van dit onderzoek keuzes gemaakt konden worden voor het vaststellen van het onderzoeksdoel.
5.2 Uitwerking van data / interpretatie
De data-analyse ie gedaan met behulp van het coderen van trefwoorden en deze te scoren naar frequentie. Na deze frequentiemeting is een selectie gemaakt van de meest voorkomende trefwoorden en deze zijn nader bekeken. Ne selectie van trefwoorden met de hoogste frequentie volgde een interpretatie-onderzoek naar de context in elk onderdeel waar het trefwoord is voorgekomen. Deze meer subjectieve aanpak is nodig om bij ieder trefwoord de positieve, negatieve en genuanceerde bedoelingen in metadatering te kunnen weergeven.
ROC4NL conferentie (26-11-2014) n = 23
Trefwoord Frequentie Interpretatie van context
Theorie <> praktijk 14 theorie en praktijk kennen grote verschillen, de opleiding sluit niet altijd aan bij de beroepspraktijk Sociale vaardigheden 9 Aandacht nodig in de opleiding voor sociale
vaardigheden bij studenten
Klantvriendelijkheid 4 Aandacht voor in de opleiding voor klantvriendelijk optreden van de student in de praktijk
BTG Handelsdag (31-3-2016) n = 86
Trefwoord Frequentie Interpretatie van context
Veranderend beroep 61 Het beroep van verkoopspecialist in de detailhandel gaat de komende vijf jaar (aanzienlijk) veranderen Nul en tussenmeting 41 Het oordeel vanuit de nul en tussenmeting in de BPV
zegt iets over de prestaties van de student
Lesstof 36 De huidige studiemethoden (detailhandel) sluiten niet
goed aan bij de beroepspraktijk.
Zelfdiscipline 36 De student van vandaag het deels de discipline om zelfstandig te studeren.
Digitale vaardigheden 36 De (gemiddelde) ROC docent heeft niet voldoende digitale vaardigheden om Educatieve Technologie effectief in te zetten.
Diepte interviews (sept. 2016) n = 3
Trefwoord Frequentie Interpretatie van context
Meetprobleem 6 Het formatief meten en beoordelen in de
beroepspraktijkvorming kent verschillende meetproblemen. Timing is niet altijd accuraat,
aandacht van de praktijkopleider is niet voldoende, de terminologie wordt niet herkent, beoordelaars beheersen de methode niet.
Interpretatie 4 In de beoordeling van de werkprocessen zitten grote interpretatieverschillen. Wat voor de een beoordelaar
goed is kan voor de ander onvoldoende zijn. Eén en ander kent te veel afhankelijkheden van personen, context en kwaliteitseisen van de organisatie. Verschillend belang 3 Er kan gedurende de opleiding van de student een
belangen verschil optreden tussen de
praktijkbegeleider en het ROC. Dit kan zowel ten voordele als ten nadele van de student uitvallen. De student heeft het belang juist in de formatieve meting om te kunnen leren, daar wordt nogal eens aan voorbijgegaan.
Door de lange looptijd van het project is het mogelijk om ook de dataverzameling over langere periode te nemen. Dit heeft als voordeel dat er voortschrijdend inzicht ontstaat. Er is tijd geweest om de verkregen gegevens te interpreteren, bediscussiëren en focus aan te brengen richting het vervolg.
Het voortschrijdend inzicht verkregen op deze manier brengt dit onderzoek van het willen overbruggen van het gat tussen theorie en praktijk, via het verbeteren van transfer naar het verbeteren van meten en beoordelen in de beroepspraktijkvorming. De herkenbaarheid van de problematiek is groot en de variatie in redenen en oorzaken eveneens. De oorspronkelijke veronderstelling was dat er een transferprobleem zou zijn die middels een opleidingsinterventie in de theorie of in de praktijk opgelost zou kunnen worden. Het vooronderzoek laat zien dat er een belangrijk knelpunt zit in het meten en beoordelen in de beroepspraktijkvorming.
6.0 Verkenning van mogelijke oplossingen
Aanvullende literatuur, suggesties voor zoektocht.Voor de op het individu toegesneden meet- en beoordeling systematiek geeft Bates (2004) als suggestie het model van Kraiger, Ford en Salas (1993). Dit model geeft de uitkomst van leren in drie componenten, een cognitieve- een skills- en een affectieve component. In de meetsystematiek van Kraiger et. al. zijn meerdere vormen van testen en meten noodzakelijk om al deze drie componenten goed in beeld te krijgen. Helaas is het instrument welke Kraiger gebruikt niet vindbaar en/of niet publiekelijk beschikbaar. Wat goed is om mee te nemen is de uitwerking van cognitie, skills en affectieve componenten geoperationaliseerd zijn, wellicht komen die ingrediënten nog van pas.
Een ander vertrekpunt voor de zoektocht naar geschikte meetinstrumenten is wellicht het onderzoek van Ledoux (2013) Echter de toegelichte meetinstrumenten hebben een beperkte relevantie ten aanzien van dit onderzoek. Het onderzoek van Ledoux et al., gaat uit van het meten van sociale competenties, metacognitie en advanced skills voor toepassing in PO en VO voor kandidaten tot 18 jaar. Dit onderzoek richt zich specifiek op (beroeps)competenties in het MBO voor kandidaten vanaf 16/17 jaar. Het onderzoek van Ledoux geeft wel zeer interessante suggesties voor instrumentaria en laat daarbij zien wat de bruikbaarheid, betrouwbaarheid en validiteit is.
Om heel specifiek aan de vraag voor individuele beoordeling te voldoen kennen we in Nederland een meetmethode voor het waarderen van competenties in het werk het EVC6 assessment. Deze meetmethode beschreven door Joosten ten Brinke (2008) geeft een nauwkeurig beeld van de competenties van kandidaten als professional. Dit lijkt op het eerste gezicht een prima vertrekpunt. Er zijn echter enkele hele praktische bezwaren namelijk tijd en geld. Een EVC traject kost veel tijd voor kandidaten en begeleiders en is daardoor ook kostbaar om in te zetten. Waar een EVC assessment helaas ook niets over zegt is progressie geboekt door opleiding of training. Om voortgang te meten middels EVC zou er dus meermaals een EVC assessment
uitgevoerd moeten worden gedurende de opleiding. Met de eerder genoemde nadelen is het direct toepassen van EVC geen optie. Wel zijn wellicht de uitgangspunten bruikbaar, zeker binnen het ROC4NL project omdat EVC zich bewezen heeft als competentie meetmethode in het MBO.
Tenslotte is het perspectief van beheersing van het werkproces als oplossingsrichting een mogelijke aanvulling. Omdat het bedrijfseconomisch perspectief verplaatst van kapitaal en arbeid naar informatiestromen en kenniswerkers (Drucker, 1988), zal als gevolg van het beschouwen van iedere individuele medewerker als kenniswerker (Weggeman & Boekhoff, 1995) opleveren dat het succes van een onderneming een samenhang heeft met de performance van het individu op de werkvloer. De kijk op individuele prestaties op de werkvloer waarbij de medewerker de kenniswerker is wordt door Joseph Kessels aangeduid met de term
kennisproductiviteit. Letterlijk schrijft Kessels:
Met de erkenning dat ondernemingen in een kenniseconomie opereren heeft de kennisproductiviteit een strategische betekenis gekregen. Centraal staat het vermogen om door de toepassing van kennis waarde toe te voegen aan producten en diensten. De ontwikkeling van kerncompetenties is daarbij de cruciale opgave. Hiertoe zal een onderneming kennis moeten verwerven, creëren, verspreiden en toepassen ten behoeve van zowel stapsgewijze verbetering als radicale vernieuwing. (Kessels, 1996, p11)
Praktisch gezien kan een onderneming geen kennis hebben, dat hebben de mensen in de onderneming. Door de kenniswerkers te kijken als factor waarvan kennisinzet recht evenredig is met de performance van de onderneming, dan is daarmee de ontwikkeling van de kerncompetentie de succesfactor geworden. Slaan we dat terug op het individu dan kan dat vertaald worden als de kennisinzet op de beroepstaak.
Waarom is het kennisproductiviteit een mogelijke oplossing voor het probleem?
Hiervoor verwijs ik graag naar het artikel van Rondeel en Wagenaar (2001). In dit artikel staat op pagina 2: Kessels introduceerde halverwege de jaren negentig het begrip kennisproductiviteit. Hij ziet dit als het vermogen om relevante informatie op te sporen, deze te verwerken, hiermee nieuwe kennis te genereren, en toe te passen op de verbetering of vernieuwing van werkprocessen, producten en diensten. In de ogen van Kessels is kennis een persoonlijke bekwaamheid; een vermogen waarin weten en toepassen zijn geïntegreerd. Kennis is verankerd in mensen. Zodra we kennis van hen proberen los te maken, raken we de essentie kwijt.
Na bestudering van het begrip kennisproductiviteit komt bovenstaande als een soort samenvatting. Hierin is te lezen dat het primair gaat over werkprocessen en het individu. Tevens kent kennisproductiviteit een aantal
stappen: opsporen, verwerken, toepassen, verbeteren / vernieuwen. Wanneer we Kessels’ opvatting volgen en kennis als bekwaamheid aan personen toeschrijven, dan heeft kennisproductiviteit dus een belangrijke
persoonlijke component. De uitdaging is om kennisproductiviteit aan te tonen bij een individuele
werkprestatie. Door de ontwerpregels van een nieuw instrument aan kennisproductiviteit op te hangen is dit wellicht mogelijk.
Het empirisch vooronderzoek met de zoektocht naar aanvullende literatuur geeft enkele praktische aspecten ten aanzien van meten, interpretatie en belang. Van belang is dat de opzet van een nieuwe meetmethode eenvoudig en eenduidig waardoor beheersing van het instrument gewaarborgd is. Ook is de wens om een oplossing te bieden voor mogelijk meervoudige interpretatie. Tenslotte de combinatie van de werkplek performance met het leerdoel kan er voor zorgen dat leren en werken een eenduidig doel wordt. Even een terugblik op de empirische onderzoeksvragen
1 Zijn er zichtbare verschillen in onderwerpen in theorie en in de beroepspraktijk?
1a Als er sprake is van verschillende onderwerpen en/of methoden, zou het theoretisch curriculum of het praktisch curriculum moeten worden aangepast?
Het blijkt uit vooronderzoek inderdaad dat er verschillen zitten in onderwerpen en methoden tussen de theorie en praktijk. Een oplossing hiervoor wordt gevonden door het theoretisch curriculum aan te passen. Het
standaard curriculum zal worden vervangen door maatwerk. Dit aspect zal verder buiten dit onderzoek vallen. Wel zal het te hanteren perspectief kennisproductiviteit voortkomend uit het corporate curriculum onderdeel zijn voor het verdere onderzoek.
2 Kan er sprake zijn van transferproblematiek?
2a Is het mogelijk om een knelpunt in de transfer te benoemen?
Uit het vooronderzoek blijkt niet een eenduidig antwoord op bovenstaande vragen. Dat er een gat is tussen theorie en praktijk is wel gebleken. Dat er dus een transfer probleem zal zijn is nu nog niet duidelijk. Ook een knelpunt in transfer is niet zichtbaar geworden. Waar met het nieuw te ontwikkelen meetinstrument rekening mee moet houden is dat jargon en duiding van begrippen in theorie en praktijk overeen moeten komen om zo de transfer zo effectief mogelijk te laten zijn.
3 Beheersen alle deelnemers aan het beroepspraktijkvormingsproces hun taken? 3a Welke knelpunten ervaren de stakeholders7 bij de beroepspraktijkvorming?
Uit het empirisch vooronderzoek blijkt zowel dat er soms wordt getwijfeld aan de deskundigheid van ROC docenten als het gaat om praktische kennis van het vak. Ook is te zien dat er getwijfeld wordt aan het
(waarde)oordeel van praktijkopleiders bij gebruik van theoretische kennis en aangereikte beoordelingsinstrumenten.
Insteek van het onderzoek is het ontwerpen van een eenvoudig nieuw meetinstrument voor het meten en beoordelen van de performance van studenten in de beroepspraktijkvorming. Door dit nieuwe
meetinstrument te baseren op kennisproductiviteit is het perspectief op leren en werken in één oogopslag vervat (Lakerveld, 2005).
7.0 Onderzoek en interventie
7.1 Hoe zit mijn probleem nu in elkaarBij een nieuwe aanpak van opleiden, wat we in het project ROC4NL gaan doen, hoort een nieuwe aanpak van meten en beoordelen. Een belangrijk deel van het opleidingscurriculum wordt maatwerk, daarmee wordt inhoud gegeven voor context specifieke competenties. De hele opleiding wordt op specifieke didactische grondslagen opgebouwd te weten, werkplekleren (76%), samenwerkend leren (12%) en online leren (12%), de percentages8 representeren de verdeling in tijd. Een belangrijk deel van de theoretische vorming wordt gestopt in het werkplekleren. Daardoor neemt de complexiteit en het belang toe van betrouwbaar en valide formatief meten.
Het werkplekleren neemt een prominente plaats in tijdens een BBL opleiding in Nederland. Maar liefst 650 uur brengt een student per jaar door op de werkvloer als onderdeel van de opleiding. Hiertegenover staan 200 uur begeleide onderwijstijd bij een ROC / AOC. Gezien deze verhouding lijkt het voor de hand liggend om het leren de beroepspraktijk te stimuleren en verbeteren, gewoon omdat hier de meeste tijd voor is. Helaas is er ook een economische werkelijkheid en die bepaalt vaak dat de student juist wordt ingezet om de capaciteit op de werkvloer op orde te krijgen waarmee productiviteit een groter belang krijgt dan het leren in de praktijk. Het zijn ogenschijnlijk twee tegengestelde doelen, het leren en het productievolume leveren. Om deze doelen op één lijn te krijgen is adoptie van het kennisproductiviteitperspectief van Van Lakerveld (2005) wellicht een idee. Als ik vanuit kennisproductiviteitsperspectief ga kijken naar leren en werken is het wellicht mogelijk de schijnbare tegenstelling in de doelen anders te zien.
Robinson en Robinson die van mening zijn dat transfer optimaal wordt als geleerd wordt met een doel. Wanneer het doel is het beheersen van de beroepsactiviteit, dan is een logische stap om de meting op te zetten met het beheersingsniveau van die beroepsactiviteit als doel. Juist ook omdat er vele uren op werkvloer worden doorgebracht is het van belang om het leren daar te expliciteren. De stap die genomen kan worden is om de context te duiden in combinatie met de performance criteria (=gewenste output) van de werkplek. Een model om dit vorm te geven is The new Danish guideline (Mouritsen et al., 2003). In deze richtlijn wordt een model gegeven waarbij de stap van beroepsactiviteiten via kennis kroniek naar een indicator wordt gegeven. Dit model is gebruikt in het ROC4NL project in combinatie met een variant van de critical incident methode (Zemke & Kramlinger, 1991) om het maatwerk curriculum van de BPV te beschrijven.
Figuur 5, Opzet van intellectueel kapitaal rapportage format, The new Danish guideline. Samenvatting van mechanismen en theoretisch werkzame principes ten aanzien van het opleiden CC > OC : kenmerkende onderdelen van corporate curriculum worden onderdeel van het
opleidingscurriculum. Effect zal zijn dat het theoretische deel van de opleiding aan relevantie wint. Het waargenomen gat tussen theorie en praktijk zal deels overbrugd worden de transfer neemt daardoor toe. Praktisch gezien betekent dit dat er in de BPV op de werkplek “theorie” aan de student aangeboden gaat worden. De student wordt daardoor gedwongen om tijdens het uitvoeren van beroepsactiviteiten ook kennis te nemen van de relevante theorie en theoretische achtergronden. Voorwaarden daarvoor zijn dat de
onderdelen uit het CC wel “passen” binnen het OC. De praktijkopleider de juiste relevante CC onderdelen weet te duiden. Opleidingsmaterialen en opleiders beschikbaar zijn voor de CC onderdelen.
OC > PC : De opleidingsonderdelen worden aanvullend gespecificeerd met te behalen resultaten op de
werkplek door middel van performance criteria. Het effect zal zijn dat door de directe relatie van leren, werk en output de leerprocessen synchroniseren met de werkprocessen. In de praktijk zullen deze performance criteria zo veel mogelijk bestaande criteria zijn welke de praktijkopleider dagelijks gebruikt. Logische gevolg van deze opzet is dat de docent dezelfde doelen krijgt als de praktijkopleider. Voorwaarde is dat de docent en de praktijkopleider elkaars “taal“ begrijpen en dat de performance criteria zo goed mogelijk SMART te formuleren zijn.
Verklaring van de gebruikte letters en lettercombinaties CC : Corporate Curriculum
OC : Opleidingscurriculum PC : Performance criteria
7.2 Wat betekent dit voor mijn interventie.
In het project ROC4NL is gekozen voor unieke maatwerktrajecten voor de studenten, waarbij dit maatwerk gericht is op het werkplekleren is het aan de orde om na te denken over het meten en beoordelen van de voortgang van het werkplekleren. Omdat er in op de werkvloer veel aandacht is voor competenties van medewerkers is het logisch om ook te kijken naar competentie gericht opleiden. Een brug tussen competent opleiden en competent in het werk is verkregen van het 6 aspecten competentie model (Bauer, Alaerts, Van Dessel, & Wouters, 2011).
Figuur 6: de samenhang van 6 competentie aspecten
De conventionele competentie definitie is hier uitgebreid met een drietal aspecten te weten: context, kwaliteit en handelingen. Naast de oorspronkelijke drie componenten kennis, vaardigheid en attitude is de samenhang te zien in bovenstaand figuur. De zes competentie aspecten zijn te operationaliseren met een groot aantal kenmerken. Zie de bijlage KPI operationaliseren voor mogelijke meetbare aspecten. Vanzelfsprekend is het in dit stadium van het onderzoek nog niet te zeggen of alle aspecten zullen worden meegenomen of dat wellicht nog aspecten zullen worden weggelaten of worden toegevoegd.
Praktisch gezien betekent de introductie van dit model dat er aanvullende beschrijvingen komen. Als eerste komen deze beschrijvingen uit de werkpraktijk naast het opleidingscurriculum. Waar nu gesproken wordt over een student die een bepaalde handeling beheerst worden kwaliteit- en contextkenmerken toegevoegd. Hiermee wordt dan beschreven welke complexiteit aan de werkzaamheden ten grondslag ligt en met welke performance de werkzaamheden uitgevoerd dienen te worden.
Omdat er taakgericht opgeleid wordt is aan de orde om ook het leren van een taak in beeld te brengen. Grondleggers hiervoor zijn Dreyfus en Dreyfus met het 5 stappen model (2005) van taakadoptie.
Figuur 7, taakadoptie model van Dreyfus & Dreyfus (2005)
Een combinatie van taakadoptie en competentiegericht opleiden is ontwikkeld door Prof. Olle ten Cate (2014). Ten Cate combineert competentie gericht opleiden met entrusted professional activities (EPA =vertrouwde beroepsactiviteiten). Dat kan een verbindende schakel zijn van het corporate curriculum, via het
opleidingscurriculum, de werkprocessen en competenties naar het formatieve meten en beoordelen van de student.
Samenvatting van mechanismen en theoretisch werkzame principes ten aanzien van het formatief meten C > C+ : Aanvullend aan de competenties te meten als kennis, vaardigheid en gedrag worden de aspecten context, kwaliteit en handelingen in kaart gebracht. Het effect zal zijn dat de student uitgedaagd wordt om in een specifieke werkcontext ook daadwerkelijk zijn kunnen te demonstreren, naar de kwaliteitsmaatstaven van de beroepspraktijk. Voorwaarde is dat het meetinstrument hanteerbaar blijft en dat de aanvullende aspecten te operationaliseren zijn.
2 > 5 : De boordelingsschaal gaat van twee naar vijf punt schaal. Effect hiervan zal zijn dat er een betere nuance komt van de status quo van de voortgang. Voorwaarde is dat de gebruikers de 5 punt schaal criteria goed doorgronden.
O > R : De beoordelingsschaal gaat van on-gerelateerde aanduiding naar relationele duiding. Onvoldoende en Voldoende worden vervangen door een rubric met duidelijk begrippenkader. Het effect zal zijn dat de
beoordeling nauwkeuriger en herkenbaarder wordt. Voorwaarde is dat praktijkopleiders de rubrics doorgronden.
Verklaring van de gebruikte letters en lettercombinaties C : competenties (kennis, vaardigeden en attitude)
C+ : Competenties aangevuld met Context, handelingen en kwaliteit O : Ongeduid oordeel (cijfer of letter)
R : Rubric
7.3 De beoogde effecten,hoe ziet dat eruit, wat valt er aan te meten
Figuur 8: voorbeeld van mogelijke competentiebeoordeling, een driepunt schaalverdeling
Bovenstaand figuur is natuurlijk één met een knipoog maar is zeker illustratief voor de manier waarop vandaag de dag competenties worden beoordeeld. De conventionele ESS meetmethode geeft een eenvoudige
uitkomst: wel of niet behaald. Echter de beroepspraktijk kent meerdere nuanceringen op diverse aspecten. Het meten van de competentie zal op een innovatieve manier worden aangevlogen waarbij de twee of drie
puntschaalverdeling aan herziening toe is.
Voor nu is het de keuze om binnen het ROC4NL project de meetsystematiek te introduceren op basis van kennisproductiviteitprincipes. Eerder is al de opleiding van ROC4NL vormgegeven met ingrediënten uit het corporate curriculum. Omdat het ontwerp van het meetinstrument sterk samenhangt met het ontwerp van de opleiding ligt dit samengaan voor de hand. Ook is dit logisch omdat de betrokken praktijkopleiders en docenten reeds gezamenlijk aan de nieuwe opleiding hebben gewerkt. De introductie van de nieuwe meetsystematiek kan als voortzetting van die samenwerking worden geïntroduceerd. De manier van inzet zal weinig verschillen met de nul- en voortgangsmeetsystematiek zoals men die gewend is om uit te voeren. Een oordeel over de randvoorwaarden voor effectief gebruik kan de praktijkopleider het beste geven.
Tenslotte is het een mogelijk idee om de gewenste output van de beroepsactiviteit als indicator mee te nemen in de meting. Dit naar de theorie van Schulman die zegt dat behaalde resultaten meer zeggen dan
beschrijvingen van leerstof en kennisbeschrijvingen. Deze theorie wordt ondersteund door de impact mapping systematiek van Brinckerhof die in zijn methode ook resultaten in het werk als indicator van leerresultaat neemt.
7.4 CIMO logica
De CIMO logica kan worden gebruikt voor het beschrijven van de onderzoeksopzet (Aken & Andriessen, 2011). Deze logica heeft de volgende vorm: voor dit probleem-in-Context is het nuttig om deze Interventie toe te passen, die door deze Mechanismen de volgende Uitkomsten (Outcomes) zal genereren.
De context bestaat uit studenten in een BBL handelsopleiding worden in hun studievoortgang gevolgd op basis van praktijk assessments die zijn gebaseerd op kennisproductiviteit. De opbrengst daarvan is dat dit zal leiden tot leerarticulatie ten behoeve van de student.
Tabel 1, overzicht voor de weergave van de redeneerketens
Interventie Mechanisme Opbrengst
Inzet van een nieuw formatief
meetinstrument in de BPV
1 Gebruik van
kennisproductiviteit taxonomie
Student en POL hebben eenduidig inzicht in studievorderingen en de volgende stap in het leerproces. (feedback = wat is gedaan / geleerd) 2 Instrument beschrijft naast
competenties ook context en performance criteria.
Interpretatie van meetresultaten is herleidbaar naar prestaties in het werk.
(feed-forward = duiding van wat nog geleerd moet worden)
3 Gebruik van herkenbare terminologie en
werkprocessen.
Gebruikers passen het
meetinstrument consequent toe . (= is het meetinstrument valide) 4 Een leerdoel is de output in het
werk en wordt meegenomen in de beoordeling.
Mogelijke tegengestelde belangen worden door het combineren van resultaten een gezamenlijk belang. (= is het meetinstrument
betrouwbaar) Leidt tot articulatie van de leervraag. (=effect van de interventie= Outcome)
Voordat een opleiding gaat starten zal voorafgaand met praktijkkopleiders afgestemd worden wat de inhoud van het curriculum dient te worden. Dit afstemmen van corporate curriculum en opleidingscurriculum blijft verder buiten dit onderzoek. Echter, tijdens deze afstemming zullen de performance criteria, kwaliteitseisen en context beschreven worden. Deze gegevens zullen terugkeren als elementen in het meetinstrument.
Met inachtneming van theoretische principes geeft dat de volgende ontwerpregels: 1. Maak gebruik van beroepsactiviteiten
2. Laat leren en ontwikkelen samengaan met meten en beoordelen. 3. Combineer de beroepsactiviteit met performance criteria
Het empirische vooronderzoek geeft aanvullende ontwerpregels. Dit zijn meer praktische aspecten ten aanzien van meten, interpretatie en belang. Het te ontwikkelen instrument zal praktische criteria moeten proberen te respecteren:
A. Neem in het ontwerp kennisproductiviteit als perspectief
B. Meet en beoordeel op basis van context en kwaliteitseisen van de werkplek
C. Bied een oplossing voor mogelijk meervoudige interpretatie, jargon in theorie en praktijk moet hetzelfde zijn.
D. Combineer leerdoel en werkplekoutput waardoor leren en werken een eenduidig doel wordt.
7.4 Hypothese
Op basis van voorgaande principes en ontwerpregels ontstaat de volgende hypothese:
Een doordacht ontwerp van een op kennisproductiviteit gebaseerde meetmethode met als meetresultaat feedback en feed-forward data, helpt om de leervraag van de student te articuleren.
Belangrijke effecten die hierbij te verwachten zijn:
1 De uitkomst geeft een valide waardering voor de student in vergelijking met anderen / voorgangers 2 De uitkomst geeft aanleiding tot een concrete dialoog over het werk en de prestaties in het werk.
3 Gebruik van het instrument synchroniseert de belangen van de student, de praktijkopleider en de docent.
7.5 Auteurs’ perspectieven
De rol die de auteur inneemt in dit proces is die van onderzoeker, ontwerper en veranderaar. De zes dilemma’s (Aken & Andriessen, 2011; Stam, 2007) ten aanzien van de uitvoering van dit ontwerpgerichte onderzoek worden in paper 3 nader uitgewerkt. Hieronder volgt een korte toelichting van de dilemma’s.
Dilemma 1: Objectieve houding ten aanzien van het ontwerp, overtuigd zijn van de ontwikkelde oplossing. Dilemma 2: Relatie tot de onderzoekscasus, afstandelijk als onderzoeker<>betrokken als veranderaar. Dilemma 3: Tijd voor onderzoek in de kennisstroom versus tijd voor implementatie in de praktijkstroom. Dilemma 4: voordeel voor onderzoek / onderzoeker versus voordeel voor casus probleemeigenaar. Dilemma 5: kennisstroom is rationeel en solitair proces versus praktijkstroom, politiek proces en groepsdynamiek.
Dilemma 6: tegenstelling tussen participeren en observeren.
Rol als ontwerper. De auteur is initiatiefnemer bij het zoeken naar een formatief meetinstrument gebaseerd op kennisproductiviteit in het project ROC4NL. In het startjaar van het project is een rolverdeling voor de
tot een meting van de leeropbrengst en die opbrengst uit te drukken in enerzijds kennis, anderzijds productiviteit. Ondersteuning bij deze rol wordt gegeven door collega’s in het project van de ROC van Amsterdam en Noorderpoort. Daarnaast is er de verbinding met het instituut Plato (universiteit van Leiden) waarbij we met dit projectonderdeel mogen rekenen op de input van de heer Dr. Jaap van Lakerveld. Rol als veranderaar. In het ROC4NL project is het de ambitie om niet op te leiden volgens een curriculum met als basis een kwalificatiedossier maar volgens een corporate curriculum. Ten grondslag hieraan ligt de opdracht vanuit de bestuurders om meer maatwerk te bieden. De meest verfijnde vorm van maatwerk in een leertraject is een individuele route toegespitst op de eigen werkplek. Met dit uitgangspunt in gedachten is het aan de orde om bij een specifiek maatwerk in de opleiding ook een specifieke voortgangsmeting te doen om daarmee de opleidingseffecten goed in beeld te kunnen brengen. Ondersteuning bij deze rol komt van de
projectdeelnemers vanuit de vier ROC’ s.
Rol als onderzoeker. Doordat ontwerp en verandering hand in hand gaan heb ik bewust gekozen om het onderzoeksdeel voor een belangrijk deel uit het project te halen en onderdeel te laten worden van een mastertraject bij CNA. Tevens hebben wij als ROC van Twente het gemak van een lectoraat binnen handbereik te hebben. Ondersteuning vanuit dit lectoraat “onderwijs-arrangementen” krijg ik in de vorm van adviezen van de heer Dr. Paulo Moekotte.
8.0 Interventie, onderzoek en evaluatie
8.1 Interventie
Het ontwerp en toepaasinf van het nieuwe meetinstrument met vervolgens het onderzoek naar de effecten zullen hand in hand gaan. In eerste instantie was het plan om de interventie in de pilot van het project ROC4NL uit te voeren. Door stagnatie in dit project is het noodzakelijk gebleken een alternatief hiervoor te zoeken. Dit is gevonden in de vorm van het inzetten van de meting bij de uitvoering van keuzedelen. Keuzedelen zijn verplichte onderdelen in de huidige cohorten van alle MBO opleidingen. En keuzedelen mogen in de huidige cohorten geheel bedrijfsspecifiek worden aangeboden en daarmee voldoen ze in de basis aan het
onderzoekvoorwaarde. Het criterium die ook voor ROC4NL van toepassing was namelijk dat het corporate curriculum leidend is voor hetgeen geleerd gaat worden in de praktijk.
In de BPV zal op een drietal momenten een formatieve meting plaatsvinden van de student door de
praktijkopleider. Dit is het aanvangsmoment, een moment halverwege de opleiding en een afsluitingsmoment. Deze drie momenten worden ook wel de nulmeting, de voortgangsmeting en de eindmeting genoemd. In de basis is dit de huidige meetsystematiek van ESS. Anders dan de ESS meting is de KP meting niet gebonden aan een proeve van bekwaamheid omdat er geen sprake is van een examenmoment. Het KP meten is formatief meten en berust op de waarnemingen van de praktijkopleider en outputindicatoren van de werkplek.
Voor ieder meetmoment geldt dat het KP instrument volledig ingevuld zal moeten worden en dat er na iedere meting feedback en feed-forward data gegenereerd worden. Dit in tegenstelling tot de ESS metingen die alleen feedback data genereren.
8.2 Onderzoeksvragen
De centrale onderzoeksvraag is:
Geeft een kennisproductiviteitmeting ingezet in de beroepspraktijkvorming een valide beeld van de
performance van een student? En helpen de feedback en feed-forward opbrengsten, om de leervraag van de student te articuleren.
Onderzoek deelvragen zijn:
1. Kunnen de direct betrokkenen bij de KP meting (betrokkenen= praktijkopleider en student) zelfstandig leervragen of de leerroute articuleren?
2. Geeft de uitkomst van de meting aan de praktijkopleider voldoende data om concrete feedback te geven aan student?
3. Geeft de uitkomst van de meting aan de praktijkopleider voldoende data om concrete food-forward te geven aan de student?
4. Geeft de uitkomst van de meting een valide waardering voor de student? 5. Is de KP methode en een betrouwbare meting?
6. Geeft de uitkomst van de meting aanleiding tot concrete dialoog over het werk en de prestaties in het werk?
7. Hebben de student, praktijkopleider en docent een gelijk beeld over de leerdoelen naar aanleiding van de meetresultaten?
Beoogde effecten in het onderzoek worden onderzocht met volgende instrumenten:
Verondersteld effect Onderzoeksmethode Onderzoeksdoelgroep
Student en POL hebben eenduidig inzicht in studievorderingen en de volgende stap in het leerproces. (feedback = wat is gedaan / geleerd)
Experiment met nieuwe methode met vervolgens: Vragenlijst / interview
Praktijkopleiders en studenten
Interpretatie van meetresultaten is herleidbaar naar prestaties in het werk. (feed-forward = duiding van wat nog geleerd moet worden)
Experiment met nieuwe methode met vervolgens: Vragenlijst / interview
Praktijkopleiders
Gebruikers passen het meetinstrument consequent toe .
(= is het meetinstrument valide)
Focusgroep onderzoek Praktijkopleiders en docenten
Mogelijke tegengestelde belangen worden door het combineren van resultaten een gezamenlijk belang. (= is het meetinstrument betrouwbaar)
De vier hoofdaspecten (zie p7) zullen worden als volgt geoperationaliseerd: Tabel 2, onderzoek operationalisatie
Feedback
Betekenis 1. Voortgang van studie 2. Status quo als professional
3. Benchmark ten opzichte van andere studenten
4. Voorspelling voor toekomstige performance (werk en school)
Schaal: goed beeld <> geen beeld Schaal: goede duiding <> slechte duiding Schaal : goede benchmark <> geen benchmark
Schaal : goede indicatie <> slechte indicatie Feed-forward
Effect 1. Simuleert ontwikkeling? 2. Leren en/of reflectie? 3. Aanleiding tot dialoog? 4. Verandering van aanpak?
Schaal : goede stim. <> geen stim. Schaal : wel <> niet
Schaal : veel dialoog <> geen dialoog Schaal: grote verandering <> geen verandering
Beheersing meetinstrument Gebruik 1. frequentie van meten,
2. gemak van registreren, 3. tijd voor uitvoering,
4. interpretatie van vragen en gegevens.
Getal : tussen 1…x
Schaal : makkelijk<> moeilijk
Schaal: weinig <> veel en/of tijdsduur Schaal: eenduidig <> multi interpretabel Evaluatie van meetmethode
Bevindingen 1. Objectief <> subjectief 2. Gebruiksgemak 3. Relevantie 4. Kernachtig 5. Herkenbaar
6. Welk heb je bij het invullen van deze beoordeling:
Schaal : objectief <> subjectief Schaal : groot gemak <> veel moeite Schaal : niet relevant < > zeer relevant Schaal : niet kernachtig <> zeer kernachtig Schaal : niet herkenbaar <> zeer herkenbaar Performance in het werk: 1-10
Leren: 1 -10
Voorwaarde voor diploma /examendeelname: 1 - 10
8.2 Evaluatie en benchmark
Wanneer het nieuwe meetinstrument ingezet kan worden bij keuzedelen dan heeft de praktijkopleider de opdracht om in één studie te werken met twee meetinstrumenten. Voor het basisdeel en het profieldeel zal de praktijkopleider met de standaard ESS meetmethode werken. Voor het keuzedeel zal de praktijkopleider met het nieuwe KP instrument werken. Het ligt dan ook voor de hand om als benchmarkt de ESS meetmethode te gebruiken om te evalueren of de nieuwe KP meetsystematiek daadwerkelijk de beoogde voordelen biedt. Om de benchmark uit te voeren kan als evaluatie een tweede vragenlijst worden opgesteld. De vragen zullen ook betrekking hebben op de te onderzoeken aspecten: gebruik, effecten, betekenis en bevindingen.
Ter illustratie nog even kort de vorm van de ESS meetmethode. De ESS kent als metingen een nul-, voortgang- en eindmeting waarbij per performance criterium slechts twee oordelen mogelijke zijn O of V (ontwikkelpunt
of voldoende). Een cijfermatige oordeel van deze metingen worden na het tellen als totaal aantal V score’s via een omzettingstabel tot een cijfer tussen 0-10 tot uiting gebracht.
De KP meetmethode kan ook ingezet worden als nul -, voortgang - en eindmeting waarbij per werkproces als oordeel een level wordt gegeven op een schaal met rubric . Via een gewogen gemiddelde berekening van het oordeel van alle werkprocessen kan een score omzetting gemaakt worden waarna een cijfer volgt tussen 0-10. Dit onderdeel van het onderzoek zal een retroperspectief onderzoek zijn waarbij dit benchmark onderzoek er als volgt uit kan zien:
Geef een cijfer (0-5) waarbij: 0 Slecht / weinig / geen
1 Matig 2 Redelijk 3 Goed 4 Heel goed 5 Uitstekend Tabel 3, scoretabel
Conceptidee vragenlijst ter evaluatie van het gebruik van het kennisproductiviteit meetinstrument Geef een waardering voor ESS KP Toelichting / verklaring
Betekenis Onderdeel A Onderdeel B Onderdeel C Effect Onderdeel A Onderdeel B Onderdeel C Gebruik Onderdeel A Onderdeel B Onderdeel C Bevindingen Onderdeel A Onderdeel B Onderdeel C
