1
Op zoek naar optimale
evaluatiemethoden voor
managementtrainingen van bedrijf X
Rijksuniversiteit Groningen
Master Human resource Management
2 SAMENVATTING
Momenteel bestaat er veel discussie over de zin van trainingsevaluaties en op welke wijze deze het beste kunnen plaatsvinden. Dit onderzoek biedt inzicht in de meest optimale manier van evalueren van managementtrainingen bij het training- en adviesbureau bedrijf X. Hierbij wordt gestreefd naar een optimale situatie voor bedrijf X, zijn trainers en de deelnemers.
Voor een goede trainingsevaluatie dienen de doelen van de organisatie die bedrijf X inhuurt, doelen van bedrijf X zelf en die van de training in ogenschouw genomen te worden. Gezien de belangen van deze verschillende partijen is de beslissingsgerichte benadering het meest passend: hierbij kunnen alle onderdelen van een training onderwerp van evaluatie zijn.
Uit interviews met manager en trainers en vragenlijsten aan oud-deelnemers is gebleken dat de reacties van deelnemers en een meting van het geleerde noodzakelijke onderdelen van een trainingsevaluatie zijn. Afhankelijk van de wensen van de klant kan ook het gedrag (toepassing van het geleerde in de praktijk) worden geëvalueerd. De evaluatie kan het beste uitgevoerd worden door een elektronische monitor die de ontwikkeling op verschillende competenties meet gedurende een langere periode (Persoonlijke Ontwikkelingsmonitor). Voor Persoonlijke Effectiviteittrainingen is een gesprek dat gericht is op de toekomst een betere manier om het leren en gedrag te evalueren. De reactie dient een week na de training gemeten te worden en het leer- en gedragseffect drie tot zes maanden na de training.
Geconcludeerd kan worden dat een elektronische evaluatie waarbij alle onderdelen van de training onderwerp van evaluatie zijn, de meest optimale manier van evalueren is voor bedrijf X.
3 INHOUDSOPGAVE Titelpagina 1 Samenvatting 2 Inhoudsopgave 3 1. INTRODUCTIE 6 1. Beschrijving organisatie 6
2. Trainingsevaluatie binnen bedrijf X 6
3. Aanleiding onderzoek 7
4. Probleemstelling 8
5. Onderzoeksvragen 8
2. THEORETISCH KADER 9
1. Inleiding 9
2. Waarom niet evalueren? 9
3. Waarom wel evalueren? 10
4. Begripsbepaling 11
5. Evaluatiedoel en evaluatiebenaderingen 12
6. Vormen van evaluatie 13
7. Evaluatieproces van training 14
8. Trainingsuitkomsten 15
9. Evaluatiemethoden 16
10. Evaluatiemethoden bij bedrijf X en literatuur 17
11. Tot slot 18
3. METHODEN 19
1. Aard van onderzoek 19
2. Onderzoeksmethoden 19
3. Interviews 20
4. Vragenlijsten 20
4.1 Deel 1: Evaluatie prestaties trainingsbureau 21 4.2 Deel 2: Evalueren van uw persoonlijke leerresultaten 22 4.3 Deel 3 en 4: Gevolgde training en Algemene vragen 22
4.4 Dataverwerking 22
4. RESULTATEN INTERVIEWS 23
4
2. Respondenten MO 23
3. Mening over trainingsevaluatie 24
3.1 Huidige manier van evalueren binnen bedrijf X 24
3.2 Evaluatie In Company trainingen 24
3.3 Evaluatieformulieren 25
3.4 Functies van het rapport volgens manager en producthouder 25
3.5 Mening over trainingsevaluatie 25
3.6 Mening over evaluatiebeleid bedrijf X 26
3.7 Conclusie 26
4. Evaluatiedoelen 26
4.1 Opstellen trainingsdoelen 27
4.2 Terugkomen op trainingsdoelen 27
4.3 Conclusie 28
5. Onderwerp van evaluatie 28
5.1 Voorwaarden effectmeting 28 5.2 Kritiek op resultaatmetingen 28 5.3 Pilot 29 5.4 Conclusie 29 6. Evaluatie-instrumenten 30 6.1 Evaluatieformulier 30 6.2 Persoonlijke Ontwikkelingsmonitor 31 6.3 Opdrachtgever en evalueren 31 6.4 Deelnemer en evalueren 32 6.5 Conclusie 32 7. Respondenten MO 32
8. Mening over trainingsevaluatie 33
8.1 Mening evalueren 33
8.2 Mening over evaluatiebeleid bedrijf X 34 9. Trainingsdoelen en het longitudinaal ontwikkelingstraject 34
10. Onderwerp van evaluatie 34
11. Evaluatie-instrumenten 35
11.1 Mening evaluatieformulier 35
11.2 Certificaten 35
5
5. RESULTATEN VRAGENLIJST 36
1. Inleiding 36
2. Kenmerken respondenten 36
3. Kenmerken gevolgde training 37
4. Voorkeuren evaluatie prestaties trainingsbureau 38
5. Voorkeuren evaluatie eigen prestaties 40
6. DISCUSSIE 42
1. Inleiding 42
2. Mening over trainingsevaluatie 42
3. Trainingsdoelen 43
4. Onderwerp van evaluatie 45
5. Evaluatie-instrumenten 47
6 Tijdstip van evaluatie 48
7. De toekomst 49
REFERENTIES 51
BIJLAGEN 53
6 INTRODUCTIE
1. Beschrijving Organisatie
bedrijf X (Gemeenschappelijk Instituut voor Toegepaste Psychologie) is een training- en adviesbureau. Het hoofddoel van bedrijf X is het beoordelen en ontwikkelen van mens en organisatie. Eind 2004 telde bedrijf X ongeveer 350 medewerkers over 17 vestigingsplaatsen. bedrijf X strekt zich uit over heel Europa. Uit het top 100-onderzoek van het tijdschrift Management Team1 blijkt dat bedrijf X het beste HR-adviesbureau van Nederland is. bedrijf X heeft vier aandachtsgebieden. 'Bemensen' houdt zich bezig met het plaatsen van de juiste persoon op de juiste plaats. 'Ontwikkelen' houdt zich bezig met opleidingen, coaching en leertrajecten. 'Beoordelen' geeft inzicht in de kracht van medewerkers binnen de organisatie, onder andere door assessments. 'Organiseren' houdt zich onder andere bezig met competentiemanagement, organisatieontwikkeling en performancemanagement. De researchafdeling ondersteunt door middel van goed uitgedachte HR-adviesinstrumenten.
Deze afstudeeropdracht is uitgevoerd bij bedrijf X Opleidingen dat onderdeel uitmaakt van het aandachtsgebied 'Ontwikkelen'. bedrijf X Opleidingen is onderverdeeld in twee typen trainingen: Management- (MO) en Medezeggenschapstrainingen (MZ). De afstudeeropdracht heeft plaatsgevonden binnen MO. MO-trainingen zijn gericht op Management-ontwikkeling (M), Persoonlijke Effectiviteit (PE) en Commerciële Communicatie (C). Daarnaast verzorgt de FIT-company trainingen op het gebied van Competentiemanagement. Trainingen kunnen op een organisatie toegespitst zijn, deze maatwerktrainingen worden In Company-trainingen genoemd, of op individuele deelnemers. Deze laatste trainingen hebben een vooraf bepaalde opzet en worden door het open karakter aangeduid als Open Inschrijvingen trainingen. Dit onderzoek richt zich op beide vormen.
2. Trainingsevaluatie binnen bedrijf X
bedrijf X gebruikt twee manieren voor de evaluatie van trainingen. De eerste manier van evaluatie is het evaluatieformulier (zie bijlage 1) dat direct na de training ter plekke handmatig door de deelnemers ingevuld dient te worden. Hierbij worden vragen gesteld zoals: was de training naar uw verwachting, wat vond u van de accommodatie, wat vond u van de trainer, etc. De tweede manier van evalueren gebeurt door middel van de persoonlijke ontwikkelingsmonitor (verder afgekort als POM). Deelnemers moeten voor aanvang van de
1
7 training zichzelf digitaal scoren op bepaalde competenties. Naast hun eigen score kan de deelnemer twee andere beoordelaars uitkiezen om deze score voor hem2 in te vullen. Vóór de training krijgt de trainer de scores van de deelnemers te zien. Na afloop van de training wordt de deelnemer gevraagd naar een aantal algemene bevindingen met betrekking tot de training (mening over accommodatie, trainer, training, etc). Enige tijd na de training wordt hij opnieuw gevraagd om zichzelf te scoren op de competenties die voorafgaand aan de training ook gescoord zijn. De twee medebeoordelaars worden gevraagd om hetzelfde te doen. Op deze manier vindt er een nulmeting plaats voorafgaand aan de training en kan het effect van de training op de beheersing van bepaalde competenties na de training bepaald worden. De deelnemer krijgt meer inzicht in de persoonlijke ontwikkeling en bedrijf X kan aan de hand van de scores suggesties doen voor verdere ontwikkelpunten van de deelnemer.
3. Aanleiding onderzoek
De evaluatie van trainingen wordt binnen bedrijf X als belangrijk ervaren. Trainers, managers en researchers hebben hier hun eigen redenen voor. Volgens Sackett & Mullen (1993) kunnen tenminste vier redenen onderscheiden worden om trainingen te evalueren. Evaluatie kan helpen bij het nemen van beslissingen over het verdere gebruik van een trainingsprogramma of techniek. Daarnaast kan zij gebruikt worden om te besluiten over individuele deelnemers. Ook leidt evaluatie tot een toenemend wetenschappelijk inzicht met betrekking tot het trainingsproces. Ten slotte worden politieke en public relations doeleinden aangedragen.
Binnen bedrijf X Opleidingen is er discussie ontstaan over de evaluatie van trainingen omdat er geen uniforme manier van evalueren is. De evaluatie van trainingen kan op een aantal niveaus plaatsvinden. Kirkpatrick (1983) onderscheidt vier niveaus, namelijk reactie, leren, gedrag en resultaten. Op het reactieniveau evalueert men om de perceptie van de deelnemer op het trainingsprogramma te leren kennen. Het tweede niveau evalueert of de deelnemers de inhoud van het trainingsprogramma hebben leren kennen. Het gedragsniveau evalueert het gebruik van de aangeleerde vaardigheden binnen het werk en het vierde niveau evalueert de impact van de training op de organisatie. De twee manieren van evalueren binnen bedrijf X meten op verschillende niveaus. Het evaluatieformulier meet alleen de reactie en het leren terwijl de persoonlijke ontwikkelingsmonitor ook het derde niveau (gedrag) evalueert.
2
8 4. Probleemstelling
Begin 2006 is er discussie ontstaan over de effectiviteit van de huidige methoden van trainingsevaluatie. Evaluatie kan verschillende doelen dienen en op verschillende niveaus plaatsvinden. Het is op dit moment niet duidelijk wat de meest effectieve manier van evalueren van trainingen is voor bedrijf X, zijn trainers en de deelnemers. Analyse van de situatie tegen de achtergrond van de literatuur moet leiden tot een voor alle partijen optimale trainingsevaluatie.
5. Onderzoeksvragen
Naar aanleiding van de bovenstaande probleemstelling zijn de volgende hoofd- en deelvragen gedefinieerd:
Hoofdvraag:
Welke kenmerken van een goede trainingsevaluatie worden aangedragen vanuit de literatuur en hoe kunnen deze geconcretiseerd worden om, in aansluiting op de wensen van bedrijf X, trainers en deelnemers, te komen tot een optimale trainingsevaluatie?
Deelvragen:
1. Wat is de heersende mening over trainingsevaluatie onder de trainers?
2. Welke organisatiedoelen moeten behaald worden bij het evalueren van trainingen en welke evaluatiebenadering kan daarbij het beste gehanteerd worden?
a. Welke evaluatiedoel hebben organisaties die bedrijf X inhuren als trainingsbureau? b. Welk doel heeft bedrijf X met de evaluatie van trainingen?
c. Welk doel heeft de evaluatie van de training?
3. Wat moet er geëvalueerd worden?
9 THEORETISCH KADER
1. Inleiding
Het opleiden en ontwikkelen van medewerkers wordt steeds belangrijker gevonden door organisaties. Het percentage bedrijven dat meer dan 3% van de loonsom uitgeeft aan opleiden en ontwikkelen nam in 2005 toe naar 50% ten opzichte van 39,3% in 2004. Ook het deel van het budget dat wordt besteed aan trainingen is toegenomen (Schoemaker, 2006). Opleiden en ontwikkelen zijn niet meer weg te denken uit een professionele organisatie; tegelijkertijd ontstaat een toenemende behoefte aan inzicht in de effecten ervan, zowel bij organisaties als bij trainingsbureaus. Het is lang niet altijd duidelijk welke meerwaarde de training heeft en hoe deelnemers de training daadwerkelijk ervaren hebben. Evaluatie is een middel om kritisch te kijken naar het trainingsproces. Een definitie van evaluatie is: “De systematische verzameling van beschrijvende en oordelende informatie die nodig is om effectieve trainingsbeslissingen te maken die gerelateerd zijn aan de selectie, gebruik, waarde en toepassing van verschillende trainingsactiviteiten” (Goldstein, 2002).
In dit theoretische kader worden eerst bezwaren genoemd die organisaties kunnen hebben tegen trainingsevaluaties. Vervolgens worden er redenen aangedragen waarom evaluatie juist wel zinvol is. Deze positieve en negatieve aspecten zouden kunnen bestaan onder de trainers binnen bedrijf X en kunnen daarom relevant zijn voor de eerste deelvraag. Het begrip evaluatie wordt nader uitgewerkt en de doelen van een trainingsevaluatie komen aan bod. Deze doelen zijn relevant voor de tweede deelvraag. De volgende paragraaf behandelt een aantal vormen van evalueren. Deze vormen worden gebruikt voor de beantwoording van de derde deelvraag: “Wat moet er geëvalueerd worden?” Hierna wordt het evaluatieproces in stappen uitgelegd, waarna één stap uit het proces, namelijk het identificeren van doelen, nader wordt uitgewerkt. De laatste paragraaf behandelt de evaluatiemethoden die onderscheiden kunnen worden bij het vaststellen van werkgedrag. Hierbij worden de twee manieren die binnen bedrijf X toegepast worden, verder uitgelicht. Deze methoden zijn relevant voor de derde deelvraag.
2. Waarom niet evalueren?
10 De eerste misvatting is dat organisaties vinden dat er weinig te evalueren valt omdat zij trainingen gebruiken als een beloning voor goed gedrag of zien als een verplichting voor elke medewerker. Er wordt niet verwacht dat er iets met de training bereikt wordt, dus er is weinig om te evalueren. Als tegenargument kan aangedragen worden dat verplichte trainingen ook doelen hebben die bereikt moeten worden. Evaluatie is slechts het meten van welke doelen behaald zijn. De tweede misvatting is dat niemand geïnteresseerd schijnt te zijn in de evaluatie van trainingen. Evaluaties zijn duur en tijdrovend waardoor weinig mensen vragen om een formele evaluatie. Toch worden beslissingen gemaakt op basis van oordelen over de training. Wanneer er geen formele evaluatie van de training is, gaat men af op subjectieve verhalen over de training, die dan als basis voor een beslissing dienen. Als laatste misvatting kan aangedragen worden dat evaluatie een bedreiging kan zijn voor de trainer. Bij een slechte beoordeling van de training kunnen er moeilijke vragen gesteld worden. Echter kan evaluatie ook gezien worden als een hulpmiddel om de training te verbeteren zodat er geen bedreiging is voor verlies van werk.
In het handboek van trainingsevaluatie (Philips, 1997) worden er nog meer knelpunten genoemd bij het evalueren van trainingen. Het zou moeilijk zijn om de resultaten te meten van de trainingsinspanningen, onduidelijk welke informatie er verzameld moet worden en metingen zouden alleen nuttig zijn in de financiële- en productiesectoren. Vaak wordt er niet om evaluatie gevraagd en er zijn te veel variabelen van invloed op de gedragsverandering zodat het niet nodig is om de impact van de training te evalueren. Ook kan evaluatie leiden tot kritiek en men is niet bereid om de eigen positie te verantwoorden omdat deze al verdiend is. Als laatste reden wordt aangedragen dat evaluatie veel geld kost.
3. Waarom wel evalueren?
11 tot een toenemend wetenschappelijk inzicht met betrekking tot het trainingsproces. Ten vijfde worden politieke en public relations doeleinden aangedragen door middel van het verzamelen van marketingdata (deelnemers vragen of zij de training zouden aanbevelen aan anderen, waarom zij deelnamen aan het programma en naar hun mate van tevredenheid met het programma). Tenslotte heeft het evalueren van trainingen financiële redenen. Door middel van evaluatie kan vastgesteld worden wat de financiële voordelen en kosten van het programma zijn, de kosten en voordelen van training kunnen vergeleken worden met andersoortige investeringen (non-training zoals workdesign of betere werknemersselectie) en de kosten en voordelen van verschillende trainingsprogramma’s kunnen worden vergeleken om het beste programma te kiezen.
4. Begripsbepaling
Alvorens verder te gaan met de behandeling van de theorie over evaluatie, is het verstandig om vast te stellen wat in dit onderzoek onder het begrip evaluatie verstaan wordt. In de inleiding is de definitie van trainingsevaluatie van Goldstein (2002) al genoemd. Evaluatie is dus gericht op het uitspreken van een waardeoordeel over een object en op mogelijke verbeteringen van het object (Nieveen & Van den Berg, 2001). Kirkpatrick (1987) geeft als definitie voor het begrip evaluatie de vaststelling van de effectiviteit van de training. Deze brede definitie heeft hij gespecificeerd door 4 stappen van evaluatie te formuleren: reactie, leren, gedrag en resultaten. Op het reactieniveau evalueert men om de perceptie van de deelnemer op het trainingsprogramma te leren kennen. Het tweede niveau evalueert of de deelnemers de inhoud van het trainingsprogramma hebben leren kennen. Het gedragsniveau evalueert het gebruik van de aangeleerde vaardigheden binnen het werk en het vierde niveau resultaten evalueert de impact van de training op de organisatie. De instrumenten voor dataverzameling zijn per niveau verschillend (zie figuur 2).
Het werk van Kirkpatrick wordt gezien als basiswerk in de evaluatieliteratuur. Toch is er ook kritiek op het model van Kirkpatirck (Noe, 2005). Ten eerste heeft onderzoek niet uitgewezen dat elk niveau veroorzaakt wordt door het voorgaande niveau in het raamwerk en dat de niveaus van evaluatie verschillen in belangrijkheid. Ten tweede houdt deze aanpak geen rekening met het doel van de evaluatie. Ten derde suggereert deze benadering dat de resultaten kunnen en zouden moeten worden verkregen op een ordelijke manier.
12 de redenen waarom evaluatie zinvol is, aangetoond dat evaluatie erg belangrijk is voor het trainingsbureau, de organisatie en de deelnemer. In deze paragraaf is het begrip evalueren gedefinieerd en zijn de vier niveaus van Kirkpatrick uiteengezet. Nu de basis gelegd is, wordt in de volgende paragraaf gekeken welke evaluatiedoelen er in de literatuur onderscheiden worden. Ook wordt gekeken naar de verschillende evaluatiebenaderingen die een beeld geven van de doelen van de evaluatie. Deze doelen en bijbehorende benaderingen zijn van belang voor de beantwoording van de tweede deelvraag.
5. Evaluatiedoel en evaluatiebenaderingen
Het doel van evaluatie ligt in de ondersteuning van de organisatie om haar doelen te behalen (Calder 1994). Easterby-Smith (1987) onderscheiden hieraan drie meer specifieke doelen: bewijzen, verbeteren en leren. Het eerste doel is om te bewijzen dat iets alleen gebeurt als resultaat van de training en dat deze verbonden mag worden aan oordelen over de waarde van de activiteit. Het doel verbeteren houdt in dat er een nadruk gelegd wordt op de zekerheid dat zowel de huidige en toekomstige programma's en activiteiten beter worden dan dat ze op dit moment zijn. Het derde doel leren erkent dat evaluatie niet gescheiden kan worden van het proces waarop het zich concentreert, en daarom dat dit kleine probleem wellicht verholpen kan worden door evaluatie te zien als een integraal deel van het leren en ontwikkelingsproces zelf.
Er kunnen drie evaluatiebenaderingen onderscheiden worden. Deze benaderingen geven een beeld van de diverse doelen die met een evaluatie gerealiseerd kunnen worden. Om vast te stellen welke benadering het beste past bij bedrijf X, wordt onderzocht welke doelen de organisatie, trainingsbureau en de training hebben voor de evaluatie. Dit gebeurt bij de beantwoording van de tweede deelvraag.
13 productevaluatie. Bij procesevaluatie wordt een waardeoordeel gegeven over de weg waarlangs een resultaat tot stand gekomen is. Dit is een waardeoordeel over het leerproces. Bij productevaluatie wordt een waardeoordeel gegeven over het resultaat of het eindproduct van een proces. Bij een training zijn de leerresultaten het product van het leerproces.
De tweede benadering is de klantgerichte benadering van Stake (1973). In deze benadering staan diegenen centraal die met de evaluatieresultaten aan de slag gaan. Stake is van mening dat de mensen die de verbeteringen naar aanleiding van een evaluatie uitvoeren van meet af aan betrokken moeten zijn bij de opzet van de evaluatie. Hun vragen vormen het uitgangspunt van de evaluatie.
De derde benadering is de consumentgerichte benadering van Sciven (1991). Deze is erop gericht om als evaluator in de huid te kruipen van de consument. De opzet van de evaluatie dient dan ook de wezenlijke behoeften van consumenten als uitgangspunt te hebben. De belangrijkste taak van de evaluator is gebruikers objectief en onafhankelijk te informeren over de kwaliteit van de producten en diensten.
6. Vormen van evaluatie
De tweede deelvraag gaat in op de vraag wat er geëvalueerd moet worden. Naast de vier niveaus van Kirkpatrick, kunnen er verschillende vormen van evaluatie onderscheiden worden. Sciven (1967) maakt onderscheid tussen twee vormen van trainingsevaluatie: formatieve en summatieve evaluatie. Formatieve evaluatie is gericht op het verbeteren van het trainingsproces. Deze vorm van evalueren stelt vast of het trainingsprogramma goed georganiseerd is en goed verloopt. Daarnaast wordt vastgesteld of de deelnemers leren en of ze tevreden zijn met het programma. Hiervoor wordt voornamelijk kwalitatieve data gebruikt zoals meningen, overtuigingen en gevoelens over het programma. Deze gegevens worden verzameld door middel van vragenlijsten of interviews met potentiële deelnemers of managers die de training kopen (Noe, 2005). Formatieve evaluatie vindt plaats tijdens de ontwikkeling of verbetering van een programma of product en wordt uitgevoerd voor de ontwikkelaars van de training. Ze heeft als doel om de training te verbeteren (Sciven, 1991). Bij formatieve evaluatie kan gebruik worden gemaakt van een pilot proces. Hierin wordt de training getest door deelnemers van de doelgroep of anderen die aan de training willen deelnemen. Na de pilot kan besloten worden of de training als zodanig gegeven kan worden of dat aanpassingen nodig zijn. Vaak wordt de pilot op Niveau 1 en 2 geëvalueerd (Basarab, 1992).
14 evaluatie ook de financiële voordelen (Return On Investment). Summatieve evaluatie heeft als doel een oordeel te vormen of een conclusie te trekken over de absolute of relatieve voordelen van de focus van de evaluatie (Noe, 2005). Summatieve evaluatie wordt na de voltooiing van het programma uitgevoerd voor extern publiek of voor de beslissingsmaker (Sciven, 1991).
Naast de formatieve en summatieve evaluatie kan ook een onderscheid tussen het eerder besproken proces- en productevaluatie gemaakt worden (Carleer, 1992).
7. Evaluatieproces van training
Het onderstaande evaluatieproces (figuur 1; Noe, 2005) kan gebruikt worden voor het maken van een nieuwe evaluatie of om het huidige evaluatieproces te optimaliseren. Het evaluatieproces van de training begint met het vaststellen van de trainingsbehoeften. Deze need assessement helpt te identificeren welke kennis, vaardigheden, gedrag of andere geleerde bekwaamheden vereist zijn. De volgende stap is specifieke, meetbare trainingsdoelen identificeren. Deze trainingsdoelen zijn op vier verschillende manieren te onderscheiden en worden in de volgende paragraaf besproken. Een analyse van de werkomgeving om de trainingsoverdracht vast te stellen is nodig om te bepalen hoe de trainingsinhoud in het werk gebruikt gaat worden. Het opstellen van resultaatmetingen is nodig om vast te stellen in welke mate het leren en de overdracht heeft plaatsgevonden. Wanneer de resultaten geïdentificeerd zijn, kan de evaluatiestrategie vastgesteld worden.
FIGUUR 1 Fasen van evaluatie Opstellen van behoefte analyse
↓
Ontwikkelen van meetbare trainingsuitkomsten en de overdracht van de training analyseren ↓
Ontwikkelen van resultaat metingen ↓
Kiezen van een evaluatiestrategie ↓
Plannen en uitvoeren van de evaluatie ↓
Utilisatie
15 lerende organisatie. Er kunnen drie soorten utilisatie onderscheiden worden: geen utilisatie, passieve utilisatie en actieve utilisatie. Geen utilisatie vindt plaats als de organisatie geen rekening houdt met de bevindingen van de evaluatie. Grote beslissingen worden genomen zonder daarbij de resultaten van een nauwkeurig opgezette evaluatie af te wachten. Bij passieve utilisatie worden de evaluatiebevindingen formeel ontvangen en besproken in de organisatie zonder daarop enige actie te ondernemen om iets te veranderen direct als resultaat van de evaluatiestudie. Het evaluatierapport wordt ter kennisgeving aangenomen met als uitgangspunt een basis te kunnen vormen voor eventuele toekomstige veranderingen. Actieve utilisatie betekent dat er activiteiten plaatsvinden als direct resultaat van de evaluatie-uitkomsten. Wanneer bijvoorbeeld blijkt dat na evaluatie van een training een bepaald onderdeel te moeilijk bevonden wordt, is de aanpassing van dit onderdeel actieve utilisatie.
8. Trainingsuitkomsten
16
FIGUUR 2
Overzicht van trainingsuitkomsten en de bijbehorende evaluatieniveaus en meetinstrumenten
Trainingsuitkomst Evaluatieniveau Instrument voor dataverzameling
Affectief Niveau 1: Reactie Vragenlijsten
Groepsinterview Cognitief
Vaardigheden
Niveau 2: Leren Test voorafgaand aan de training
Test na de training Performance test Rollenspel
Laboratorium setting Simulaties
Vaardigheden Niveau 3: Gedrag Vragenlijst
Actie plan Werk logboek Observaties Rekenschap bestanden Interview Focusgroep
Resultaat Niveau 4: Resultaten Rekenschap bestanden
Trainingskosten model
9. Evaluatiemethoden
17 10. Evaluatiemethoden bij bedrijf X en literatuur
Deze paragraaf behandelt de literatuur over evaluatiemethoden die bij bedrijf X gebruikt worden en de voor- en nadelen hiervan. Deze informatie is nodig om de vierde deelvraag te beantwoorden: wat is de meest passende evaluatiemethode voor bedrijf X?
Het evaluatieformulier valt onder de categorie zelfbeoordeling. Het evaluatieformulier meet op het eerste niveau van Kirkpatrick: de reactie van de deelnemer op de training wordt gemeten. In het handboek voor Training and Development (Craig, 1997) wordt gezegd dat een tweede evaluatiemethode deze manier van evalueren zou moeten aanvullen omdat tevredenheid van de deelnemers niets zegt over het leren (veranderde attitudes of aangeleerde kennis en vaardigheden). De auteur biedt de suggestie om een getrainde observator ook zijn mening over de training te laten geven om de reacties van de deelnemers aan te vullen. Het eerste voordeel is dat het evaluatieformulier een goede mogelijkheid geeft om van alle deelnemers gegevens te verzamelen. Daarnaast kunnen veel gegevens in een relatief korte tijd verzameld worden en ook kunnen de gegevens anoniem verwerkt worden. Tenslotte is het een redelijk goedkope methode om gegevens te verzamelen. Daarentegen is het moeilijk om jezelf objectief te beoordelen. Ook hebben deelnemers soms onvoldoende tijd, vaardigheden en motivatie om zichzelf te evalueren en het is op tijd retourneren van ingevulde formulieren een probleem (Dirkse-Hulscher, 2002).
18 De ontwikkelingsmonitor maakt gebruik van de 360 graden feedback methode. Hierbij ontvangt de medewerker feedback over het werkgedrag van een aantal mensen uit de werkomgeving zoals de leidinggevende, collega's, medewerkers en klanten en geeft de medewerker zijn eigen mening over het functioneren. Jellema concludeert in haar onderzoek dat 360 graden feedback noch een betrouwbare noch een valide methode is om opleidingen te evalueren (Jellema, 2004). Meningen van mensen in de werkomgeving zijn niet betrouwbaar en valide genoeg voor het nemen van belangrijke beslissingen. In een eerder onderzoek heeft Jellema (2002) de vraag of 360 graden feedback een geschikte methode is voor opleidingsevaluatie, voorgelegd aan een aantal experts. Over het algemeen vinden zij 360 graden een goede manier van evalueren. Er is een groep die 360 graden feedback erg belangrijk acht maar vindt dat werkgedrag moeilijk betrouwbaar en valide te meten is. Anderen vinden 360 graden feedback als instrument minder belangrijk en verwachten veel moeilijkheden bij het praktisch realiseren van het evaluatieontwerp.
Vanuit de literatuur wordt vaak gesteld dat de nameting drie tot zes maanden na de training moet plaatsvinden (Robinson & Robinson, 1989).
11. Tot slot
Figuur 3 is een samenvatting van de genoemde literatuur uit het theoretische kader.
FIGUUR 3
Schematische weergave van literatuur uit theoretisch kader
Waarom niet evalueren? •Weinig om te evalueren •Weinig interesse •Bedreiging
Waarom wel evalueren? • Nemen van beslissingen •Bijdragen aan het leren •Beslissingen over individu
•Toenemen van wetenschappelijk inzicht •Politieke, pr- en financiële redenen
Vormen van evaluatie -Formatief -Summatief -Proces -Product Evaluatieproces -Need assessment -Doelen identificeren: Cognitief, vaardigheden, affectief en resultaat -Analyse werkomgeving -Resultaat metingen -Vaststellen evaluatiestrategie -Utilisatiefase: Geen, actief of passief
Methoden -Observatie
-Zelfbeoordeling -Objectieve methode
Methoden bij bedrijf X -Evaluatieformulier
-Persoonlijke ontwikkelings-monitor
Definitie evaluatie:
Vaststelling van effectiviteit training
•Reactie, leren, gedrag en resultaten
Doel evaluatie:
Ondersteuning organisatie om doelen te behalen •Bewijzen
19 METHODEN
1. Aard van onderzoek
Het onderzoek is exploratief van aard: er is vooraf geen theorie en/of hypothesen over de beste manier van evalueren. Het onderzoek is juist gericht op de ontwikkeling van een theorie en/of scherpe formulering van hypothesen over evaluatie van trainingen (Baarda en de Goede, 2001).
2. Onderzoeksmethoden
Om antwoord te krijgen op de gestelde hoofdvraag zijn in dit onderzoek twee methoden van dataverzameling toegepast: het interview en de vragenlijst. De interview-techniek is gebruikt om informatie te verkrijgen van trainers, manager en research over evaluatie van trainingen binnen bedrijf X. Omdat deze informatie veel niet-meetbare subjectieve gegevens bevat en open vragen veel informatie opleveren, is het gebruik van interviews hier op zijn plaats. De vragenlijst is gebruikt om data te verzamelen van voormalige deelnemers aan trainingen van bedrijf X. Een vragenlijst is een bruikbaar instrument wanneer het gaat om de motieven, ervaringen, waarden en normen, voorkeuren, opinies en andere subjectieve fenomenen (Segers, 1999).
20 zowel de trainers als de deelnemers is gevraagd wat zij het meest wenselijke evaluatie-instrument vinden. In de interviews is vooral ingegaan op de huidige gebruikte methodes. In de vragenlijst zijn vragen gesteld over het meest passende tijdstip van evaluatie. Dit is het onderwerp van de vijfde deelvraag.
3. Interviews
Zeven interviews zijn face-to-face afgenomen; dit wil zeggen dat de interviewer en de geïnterviewde lijfelijk aanwezig zijn bij het interview. Eén interview is telefonisch afgenomen. Bij het interview met de medewerker van de researchafdeling is gebruikt gemaakt van een ongestructureerde vragenlijst. De interviewer heeft bij deze vorm van het interviewschema zelf de ruimte om de woorden te kiezen en hij heeft de ruimte om de volgorde van vragen te bepalen zolang alle onderwerpen maar aan bod komen (Emans, 1990). Na de beginvraag wordt doorgaans gebruik gemaakt van de doorvraagtechniek. Volgens Maso (1998) heeft het ongestructureerde interview als voordeel dat men vrijuit over werkelijke gedragingen, ervaringen en opvattingen kan spreken. Het doel van het interview met de researchafdeling was te toetsen in hoeverre het theoretische kader voldoende in lijn is met de huidige literatuur op het gebied van evaluatie. Daarnaast werd gevraagd naar tips voor het vervolg van het onderzoek.
Bij de andere interviews (zie bijlage 2 en 3) is gebruik gemaakt van semi-gestructureerde vragenlijst. Hierin staat een geformuleerde beginvraag vast, maar in aansluiting daarop moet de interviewer naar eigen inzicht aanvullende vragen stellen of aanwijzingen geven, om de geïnterviewde te helpen en te stimuleren bij zijn antwoordpogingen (Emans, 1990). De interviews met de trainers van MO en MZ en met de manager van opleidingen van bedrijf X zijn op deze wijze afgenomen.
De resultaten van de interviews zijn na te lezen in het hoofdstuk Resultaten Interviews. De antwoorden van de respondenten zijn per onderwerp gesorteerd. Per onderwerp wordt aangegeven wat de mening van de respondenten is. Opmerkelijke overeenkomsten of verschillen zijn expliciet benoemd. Bijzondere citaten zijn letterlijk overgenomen om de lezer een goed beeld te geven van de heersende mening.
4. Vragenlijsten
21 werkgever werken als op het moment dat zij de training volgden. In totaal hebben 76 respondenten de vragenlijst ingevuld teruggestuurd. Dit is een responspercentage van 28,3%. De vragenlijsten, die bestonden uit drie delen, zijn anoniem geretourneerd. Per deel is een motivatie gegeven waarom de betreffende vragen gesteld zijn en welke informatie ermee verkregen werd.
4.1 Deel 1: Evaluatie prestaties trainingsbureau
22 4.2 Deel 2: Evalueren van uw persoonlijke leerresultaten
De eerste vraag verheldert in hoeverre er behoefte is aan informatie over de eigen leerprestaties. De tweede en derde vraag toetsen in hoeverre respondenten behoefte hebben aan een test die vaststelt of zij de benodigde kennis en vaardigheden in een training opgedaan hebben. Een dergelijke test is in verschillende interviews genoemd en er wordt gekeken hoe de respondenten hier tegenover staan. Deze vragen sluiten aan bij de derde deelvraag: Wat moet er geëvalueerd worden? De andere vragen uit dit deel gaan over evaluatiemethoden (deelvraag 4). Zo is de vierde vraag gebaseerd op een gedachte die al langere tijd bij de trainers van MZ speelt. Zij willen de opgedane kennis en vaardigheden aantoonbaar maken door een certificaat te verstrekken dat gebruikt kan worden in de verdere loopbaan. Door deze vraag te stellen wordt gekeken hoe de deelnemers van MO-trainingen hier tegenover staan. Vraag vijf, zes en zeven zijn gebaseerd op de principes van de POM. Bij de POM worden vooraf, achteraf en geruime tijd na de training de competenties van de deelnemers gemeten. Via de genoemde vragen wordt onderzocht hoe deelnemers tegenover het idee van de POM staan. Vraag acht dient om vast te stellen of het persoonlijke ontwikkelingsplan een manier is om het geleerde langer vast te houden. Vraag negen is hierboven reeds besproken (deel 1).
4.3 Deel 3 en 4: Gevolgde training en Algemene vragen
Er is gevraagd naar de training die de respondent bij bedrijf X gevolgd heeft en in hoeverre deze training gericht is op het overdragen van kennis, aanleren van vaardigheden en het beïnvloeden van waarden. Hierdoor kan gekeken worden of de accentverschillen van de training invloed hebben op de voorkeur van evaluatie. Bij de derde vraag wordt gevraagd naar de gronden waarop de respondenten meegedaan hebben aan de training. Deze gronden kunnen verband houden met de gewenste manier van evalueren.
Deze algemene vragen worden gesteld om een indruk te krijgen van de respondenten en te toetsen of hun achtergrond invloed heeft op hun mening over evaluatie.
4.4 Dataverwerking
23 RESULTATEN INTERVIEWS
1. Inleiding
Dit hoofdstuk beschrijft de resultaten van de interviews met zeven trainers en met de manager van MO. Er zijn vijf trainers geïnterviewd bij MO waarbij uit elk team één trainer is geïnterviewd, behalve bij PE waar naast het face-to-face interview ook een tweede verkort telefonisch interview heeft plaatsgevonden. Er zijn twee trainers bij MZ geïnterviewd. Deze waren voornamelijk bedoeld om een breder beeld van evaluatie te krijgen. Omdat de trainingen van MO en MZ erg verschillen worden de resultaten apart besproken. Eerst wordt een algemene beschrijving van de geïnterviewden van MO gegeven. Vervolgens komen de resultaten van de interviews per deelvraag aan bod.
2. Respondenten MO
In tabel 1 zijn de kenmerken van de respondenten samengevat. Alle trainers hadden ruime ervaring in het trainingsvak binnen bedrijf X, behalve één trainer. Op het moment van interviewen was hij twee maanden in dienst bij bedrijf X. Bij zijn vorige werkgever had hij ruime trainingservaring opgedaan. Van de vijf respondenten waren er vier man en één vrouw.
TABEL 1
Achtergrondinformatie respondenten per team* Persoonlijke Effectiviteit en Procestrainingen (PE)
Rol Training Type
Trainer, coach, teamleider, productmanager
Coachingsvaardigheden: coachend leidinggeven en persoonlijke effectiviteit. Stressmanagement en Gespreksvaardigheden
Zowel gericht op vaardigheden als op kennis; gaat hand in hand Managementontwikkeling (MO)
Rol Training Type
Trainer
Leiderschapstrainingen: communicatie, persoonlijke effectiviteit en leidinggeven Vaardigheidstrainingen en bewustwording Commerciële communicatietrainingen (CC) Rol Training Type Trainer
Communicatie en commerciële trainingen: communicatiestijlen, feedback geven, effectief beïnvloeden, gespreksvaardigheden en managementpraktijk training.
Accent op aanleren van vaardigheden maar kennisoverdracht hoort daar bij. Fit Company
Rol Training Type
Trainer en projectmanager
Competentiemanagement trainingen: gesprekstechnieken en interviewvaardigheden Vaardigheidstrainingen gericht op de STAR-methodiek (situatie, tijd, actie, resultaat) * Rol: De rol die vervuld wordt door de respondent in het team van trainers.
Training: De trainingen die de respondenten geven. Dit kunnen zowel In Company trainingen als Open Inschrijvingen trainingen zijn.
24 3. Mening over trainingsevaluatie
De trainers zijn gevraagd naar hun mening over de trainingsevaluatie en het evaluatiebeleid van bedrijf X. Deze vragen zijn gesteld om antwoord te krijgen op de eerste deelvraag: wat is de heersende mening over trainingsevaluatie onder trainers? Voordat deze meningen worden weergegeven, wordt eerst besproken hoe er volgens trainers geëvalueerd wordt binnen bedrijf X. In een extra paragraaf wordt nader ingegaan op de evaluatie van In Company trajecten. Daarna wordt puntsgewijs besproken wat er na afloop van een training met de evaluatieformulieren gebeurt en welke functie deze hebben.
3.1 Huidige manier van evalueren binnen bedrijf X
• Alle trainers evalueren dmv evaluatieformulier aan het einde van de training Soms aanpassing van vragen bij maatwerktrainingen voor betere aansluiting. • Sommige trainers evalueren dmv gesprek bij begin tweede trainingsblok
Bij langere trainingen zit een aantal weken tussen de trainingsblokken.
Deelnemers kunnen het geleerde tussentijds toepassen in hun eigen werksituatie. Na bespreking van ervaringen formuleren van nieuwe leerdoelen.
De trainer probeert de input van de deelnemer zoveel mogelijk te objectiveren. • Sommige trainers evalueren dmv plenair gesprek aan einde van training
Deelnemers beslissen zelf of zij iets terug willen geven aan de groep. Weinig kans tot beïnvloeden omdat het evaluatieformulier al is ingevuld. Fit Company vraagt expliciet naar toepassing van geleerde in het werk. • Bij PE invullen van een trainersevaluatie door de trainers
Open vragenformulier over mening organisatie, training, inhoud, etc. Secretariaat verwerkt evaluatie en wordt besproken met productmanager • Fit Company streeft naar extra terugkommoment met deelnemers
Voordelen: delen van toepassingservaringen, extra oefenmoment, meer trainingsrendement, stok achter de deur om geleerde toe te passen.
Nadelen: kostbaar.
3.2 Evaluatie In Company trainingen
25 Bespreken van door deelnemers genoemde onderwerpen die nuttig zijn voor
opdrachtgever (invoeren van een niet-werkend systeem, wrok, etc). • Grote tevredenheid van opdrachtgever met evaluatieresultaten rapport
Rapport is meestal positief van aard waardoor opdrachtgevers bevestiging krijgen
3.3 Evaluatieformulieren
• Trainers lezen formulieren door alvorens ze op te sturen naar secretariaat • Secretariaat voert gegevens in en bundelt ze per groep tot een rapport • Trainer, producthouder en manager ontvangen dit rapport
• Trainers lezen vaak dit rapport door
• Rapporten worden niet besproken in teamoverleg
• Trainers verwachten bij negatieve beoordeling actie van manager • Nut en functie van rapport voor veel trainers onduidelijk
3.4 Functies van het rapport volgens manager en producthouder • Controleren kwaliteit van (freelance-) trainers en acteurs • Aanleiding voor nader onderzoek functioneren trainer of acteur • Aanleiding aanpassen van training/onderdeel/trainer
• Rapport verwerkt in eindrapportage voor opdrachtgever bij In Company trainingen
3.5 Mening over trainingsevaluatie
Iedere respondent is van mening dat evalueren noodzakelijk is. Ten eerste is het zonder evaluatie moeilijk om te leren van wat je gedaan hebt. Deelnemers geven uit zichzelf niet snel feedback en daarom is een evaluatiemoment essentieel. Ten tweede is evalueren belangrijk omdat het aangeeft of de trainingsinspanningen iets teweeg gebracht hebben bij de deelnemer en vervolgens in de organisatie. Ten derde kan evaluatie gebruikt worden als middel om nieuwe opdrachten binnen te halen. Als laatste geeft een respondent aan dat evaluatie een goede manier is om een project af te sluiten.
26 3.6 Mening over evaluatiebeleid bedrijf X
Alle respondenten (op één persoon na) zeggen dat het evalueren binnen bedrijf X meer aandacht mag krijgen. Evalueren wordt onder andere 'het ondergeschoven kindje' en 'het kind van de rekening' genoemd. Als reden wordt gegeven dat bedrijf X een pragmatisch bedrijf is. Zolang bedrijf X buiten schot blijft met de manier waarop nu geëvalueerd wordt, zijn andere zaken belangrijker en interessanter. Ook wordt drukte aangegeven als reden waarom bijvoorbeeld eindgesprekken met de klant niet of telefonisch gevoerd worden. Veel trainers zeggen dat bedrijf X het aan haar stand verplicht is om meer aandacht te besteden aan evalueren van trainingen. De klant moet bedrijf X zien als een serieuze partner die meedenkt over de opbrengsten en resultaten van de training voor een organisatie. Een andere respondent geeft aan dat er 'nog heel wat te halen valt' wanneer evalueren meer aandacht krijgt.
"Je wilt als bureau niet gezien worden als de leverancier van een broodje training."
3.7 Conclusie
De evaluatie van trainingen gebeurt binnen bedrijf X meestal op dezelfde manier: het afnemen van een evaluatieformulier en het voeren van een (eind)gesprek. Het evaluatieresultaten rapport is met name nuttig voor de manager en de producthouder. De trainers ervaring dit rapport als weinig zinvol voor hen. Opdrachtgevers zijn volgens de trainers doorgaans tevreden met dit rapport. Trainers zijn van mening dat evalueren van trainingen noodzakelijk is. Je kunt door evaluatie leren van wat je gedaan hebt, het geeft aan of trainingsinspanningen iets teweeg gebracht hebben, het is een middel om nieuwe opdrachten binnen te halen en een goede projectafsluiting. Trainers zeggen dat een trainingsevaluatie niet in staat is om de leerdoelen vast te stellen en dat bedrijf X meer aandacht mag besteden aan de evaluatie van trainingen.
4. Evaluatiedoelen
27 slechts aannames. In de vragenlijst aan oud-deelnemers van trainingen is uitgebreid onderzoek gedaan naar de manier waarop deelnemers het liefste zouden willen evalueren.
4.1 Opstellen trainingsdoelen
• Bij Open Inschrijvingen trainingen stelt trainingsontwerper doelen op Bij trainingsinschrijving, ook inschrijving op bijbehorende doelen
• Bij In Company trainingen stellen trainer en opdrachtgever in overleg doelen op Soms gebruik van ondersteunend materiaal o.a. beleidsnota's, probleemanalyses en
(motivatie-)onderzoek
Formuleren van leerdoelen vanuit analyse situatie
Beschrijving van doelen in offerte met programmavoorstel • Bij start training stellen deelnemers persoonlijke trainingsdoelen op
Soms aanpassing leerdoelen van training op basis van leerdoelen deelnemers. De trainer streeft naar overeenstemming tussen gecontracteerde einddoelen en
einddoelen deelnemers.
"Ik kan heel veel contracteren met de opdrachtgever, maar ik moet werken met de deelnemers die ik heb. Daar kan nog wel eens wat ruis tussen zitten.”
4.2 Terugkomen op trainingsdoelen
Tijdens de training wordt regelmatig teruggekomen op de leerdoelen. Dit kan in een onderdeel van de training zijn of in een tussentijdse evaluatie waar de leerdoelen besproken worden. De trainer heeft de mogelijkheid om de training aan te passen wanneer blijkt dat de leerdoelen niet behaald worden of al behaald zijn. Aan het einde van de training wordt door middel van een vraag in het evaluatieformulier teruggekomen op de gestelde doelen. Daarin moet de deelnemer op een schaal van 1 tot 7 aangeven in hoeverre hij zijn gestelde leerdoelen behaald heeft. Verder worden de leerdoelen niet meer besproken in een eindgesprek. Eén trainer geeft als verklaring dat het leerproces bij de eigen verantwoordelijkheid van de deelnemer hoort. Een ander geeft aan dat het weinig zin heeft om achteraf te vragen naar de leerdoelen omdat er op dat moment geen mogelijkheden meer zijn voor verbetering.
28 4.3 Conclusie
De doelen van de training worden door de ontwerper van de training opgesteld. Bij In Company trajecten worden de doelen in overleg met de opdrachtgever opgesteld. Aan het begin van de training stellen deelnemers hun persoonlijke leerdoelen op. In de training wordt regelmatig teruggekomen op deze leerdoelen. Deze leerdoelen komen echter niet meer aan de orde bij de eindevaluatie.
5. Onderwerp van evaluatie
In de derde deelvraag komt aan de orde wat er geëvalueerd dient te worden. Om antwoord te krijgen op deze deelvraag, is de mening van trainers erg belangrijk. Allen geven aan dat ze meer inzicht willen in de effecten van de training. Ze willen een indruk van hun inspanningen krijgen en weten of het zinvol is wat ze doen. Momenteel baseren zij dit op hun eigen intuïtie en de reacties die zij van de deelnemers krijgen. De voorwaarden die de trainers aan deze effectmeting stellen, worden allereerst besproken. Niet elke trainer ziet het meten van effecten louter positief. In de volgende paragraaf worden enkele kritische kanttekeningen geplaatst bij het meten van effecten. Daarna wordt nader ingegaan op een onderdeel van formatieve evaluatie (zie theoretisch kader): de pilot. Besproken wordt welke plek deze vorm van evalueren binnen bedrijf X heeft.
5.1 Voorwaarden effectmeting
• Meten moet recht doen aan de manier van werken
Bij PE komen gevoelige thema´s aan bod: Subtiele meting is op zijn plaats. • Instrument moet een bron van ontwikkeling zijn
Bijvoorbeeld: gestructureerd contact tussen deelnemers of met leidinggevende • Evaluatiegegevens eenvoudig door secretariaat te verwerken
Momenteel moeten geschreven formulieren overgetypt worden.
• Extra meetmoment geruime tijd na de training om inzicht te krijgen in leereffecten Meting bij elke training kan overvloed aan informatie geven.
5.2 Kritiek op resultaatmetingen
29 resultaat ontoereikend blijkt te zijn, kan dit voor de deelnemer, de opdrachtgever en het trainingsbureau negatieve gevolgen hebben. Het trainingsbureau delft dan vaak het onderspit omdat het een externe partij is.
5.3 Pilot
Bij omvangrijke In Company projecten wordt regelmatig een pilot gehouden. Dit gebeurt vaak mede op verzoek van de opdrachtgever. Voor kleinere maatwerkprojecten wordt dit niet gedaan. Hiervoor wordt als reden gegeven dat het programma vaak al uitgekristaliseerd is of de training is eenmalig waardoor er geen mogelijkheid is om de training te testen. Wanneer er een standaard programma aangeboden wordt aan de opdrachtgever, wordt er vaak geen pilot gehouden omdat men erop vertrouwt dat de training goed in elkaar zit. Deelnemers en trainers geven feedback op de pilot. Soms neemt de opdrachtgever zelf deel aan de training en kan vanuit zijn ervaring feedback geven. Na aanleiding van de feedback kan besloten worden om een onderdeel in de training aan te passen.
Bij Open Inschrijvingen trainingen wordt gezegd dat er geen vaste procedure is om de eerste keer dat een training gegeven wordt te testen in een pilot. Eén trainer geeft aan dat er wel extra aandacht besteedt wordt aan de nabespreking. Een andere trainer geeft aan geen pilot gehouden te hebben bij het geven van een nieuwe Open Inschrijvingen training. Wanneer er wel een pilot gehouden wordt, bespreken de trainers de feedback na. Dit kan aanleiding geven om bepaalde aanpassingen in de training te maken. Eén trainer geeft aan dat er wel specifiek naar bepaalde onderdelen gevraagd moeten worden, anders komt er weinig bruikbare en gerichte feedback van de deelnemers. Eén trainer geeft aan dat het wenselijk is om Open Inschrijvingen trainingen te testen in een pilot. Dit bevordert een standaard format van een training, zodat deze makkelijker overgedragen kan worden aan een andere trainer.
5.4 Conclusie
Alle trainers vinden dat resultaatmetingen van de trainingseffecten gewenst zijn. De voorwaarden die zij hier aan verbinden hebben te maken met de wijze waarop deze meting plaatsvindt. Een meting van de leerresultaten geruime tijd na de training wordt aangeraden. De trainers geven ook aan dat effectmetingen nadelige gevolgen kan hebben voor het trainingsbureau wanneer blijkt dat het resultaat ontoereikend is.
30 besproken met de opdrachtgever en wordt afhankelijk van de grootte en bekendheid van de trainingen besloten of er een pilot gehouden wordt. Bij Open Inschrijvingen lijken er geen vaste regels te zijn voor het houden van een pilot.
6 Evaluatie-instrumenten
De vierde deelvraag onderzoekt welk evaluatie-instrument het beste past bij de situatie van bedrijf X. De trainers zijn gevraagd naar hun mening over de bestaande evaluatie-instrumenten. Mede op basis van hun mening kan besloten worden of de huidige instrumenten voldoen of dat er gekeken dient te worden naar alternatieven. Allereerst worden de voordelen en nadelen van het evaluatieformulier die door de respondenten genoemd zijn, besproken. Hierna gebeurt hetzelfde voor de Persoonlijke ontwikkelingsmonitor. Tenslotte wordt de mening van trainers besproken over de meest passende manier van evalueren voor de opdrachtgever en de deelnemers.
6.1 Evaluatieformulier Voordelen:
• Hoge response rate • Praktisch en snel
• Levert veel informatie op
• Voldoende vrije ruimte om reacties neer te schrijven
• Levert positieve reacties op waardoor formulier als prettig wordt ervaren door trainer Nadelen:
• Te weinig anoniem (er wordt naar de naam gevraagd)
• Geen ruimte voor toelichting bij afwijkende gesloten antwoorden • De schaal: een vijfpuntsschaal is wenselijker
• Betekenis van cijfer zegt weinig
• Moment van invullen (deelnemers ervaren na training een "euforiegevoel") • Meet geen lange termijn effecten
31 6.2 Persoonlijke ontwikkelingsmonitor
Voordelen:
• Meetmoment (deelnemer kan afstand doen van trainingsmoment) • Neemt leerklimaat in ogenschouw
• Voor- en nametingen waardoor werkgedrag en ontwikkeling gemeten worden • Aantoonbaarheid van ontwikkeling naar opdrachtgever
Nadelen:
• Scores moeilijk te interpreteren
• Soms geeft de POM in waarden geen ontwikkeling aan terwijl er wel ontwikkeling is • Deelnemers hebben moeite met lezen van rapport
• Leerdoelen worden op hoger niveau geformuleerd dan competenties van POM • Techniek en gebruikersvriendelijkheid laat te wensen over
• Deelnemers moeten kennis hebben van internet
• Aantal competenties waarop deelnemer gescoord wordt is te weinig (3) • Competentietaal van POM kan verschillen met die van de organisatie • Deelnemer onbekend met mogelijkheden POM
• Meting blijft subjectief om er uitspraken over een deelnemer mee te doen
Trainers geven aan dat goede helpdeskondersteuning en meer uitleg over de functies van de POM zal bijdragen aan optimale inzet van de POM.
"Er zaten meer hickups in de technologische toepassing dan dat ik echt de meerwaarde van het instrument en de methode die er in zit kon ervaren. "
6.3 Opdrachtgever en evalueren
32 organisatie gevoerd worden. Ook wil de klant graag weten of de accommodatie goed was, of de trainer naar wens was, etc. Een andere respondent denkt dat het voor een klant belangrijk is om in contact komen met het opleidingsinstituut of met de trainer en daarnaast ook deelnemers uitnodigt om hun ervaringen te delen. Ten slotte wordt gezegd dat de evaluatie met het kaliber "high profile, low impact" het meest gewenst is.
6.4 Deelnemer en evalueren
De mening van de trainer over de manier van evalueren waar de deelnemer het meeste voordeel van heeft, hangt af van de soort training die hij geeft. Een trainer geeft aan dat de voorkeur van de deelnemer uitgaat naar een korte vragenlijst die snel in te vullen is. De trainer vindt echter niet dat de deelnemer hier ook het meeste baat bij heeft. Hij wil zelf graag dat de deelnemer diepgaand reflecteert op het geleerde. Een andere trainer geeft aan dat de deelnemer het meeste heeft aan de POM. Hij wordt enkele maanden na de training opnieuw geconfronteerd met de competenties waarin hij wilde groeien. Dit kan erg leerzaam zijn. Een andere trainer heeft een duidelijk beeld bij wat hij het meest effectief vindt voor de deelnemers van de training persoonlijke effectiviteit: een evaluatie die naar de toekomst verwijst. Deze evaluatie moet de deelnemer helpen realiseren waar hij vandaan komt, waar hij nu staat en waar hij naartoe wil. In dit gesprek kan gekeken worden wat er nog nodig is om zijn leerdoelen verder te ontwikkelen. Deze manier van evalueren geeft de mogelijkheid om gelijktijdig actie te ondernemen. Deze mogelijkheid biedt een formulier niet.
6.5 Conclusie
De grootste voordelen van het evaluatieformulier zijn: snelheid, handigheid en hoge response rate. Het nadeel is dat de meting erg beperkt blijft. Over de POM kan gezegd worden dat de methode als erg positief wordt ervaren maar dat het instrument op zich veel te wensen over laat. De meningen van trainers zijn verdeeld over de beste manier van evalueren voor de opdrachtgever en voor de deelnemer. Een evaluatie die op de toekomst gericht is wordt voor beide partijen aanbevolen. Daarnaast noemt een aantal trainers de POM als beste instrument voor beide partijen.
7. Respondenten MZ
33 geprobeerd om de uitspraken per onderwerp van de deelvragen te behandelen. Er worden geen conclusies getrokken uit de antwoorden van de respondenten omdat dit onderzoek is uitgevoerd in opdracht van MO-trainingen.
De trainers geven zowel Open Inschrijvingen trainingen als In Company-trainingen. Het merendeel van de trainingen bestaat uit maatwerktrainingen. Vaak traint de Ondernemingsraad (OR) gedurende haar zittingsperiode (drie jaar) bij eenzelfde bureau of trainer. Hierdoor hebben trainers langdurig contact met hun klanten. Een aantal trainingen zijn gericht op kennisoverdracht, andere zijn gericht op het aanleren van vaardigheden. De laatste jaren is competentiemanagement voor de OR in het leven geroepen. Hierdoor is het focus van de trainingen steeds meer komen te liggen op het aanleren van vaardigheden.
8. Mening over trainingsevaluatie
Allereerst wordt besproken hoe MZ momenteel haar trainingen evalueert en vervolgens hoe de trainers hier over denken. Tenslotte wordt de mening over het evaluatiebeleid van bedrijf X weergegeven. Deze antwoorden passen bij de eerste deelvraag: Wat is de heersende mening over trainingsevaluatie onder de trainers?
• Bij MZ wordt hetzelfde evaluatieformulier gebruikt als bij MO
Omdat deelnemers meerdere malen per jaar worden getraind wordt het niet na elke training uitgedeeld
• Rapport van formulieren gemaakt en door manager nagekeken • Opmerkelijke punten besproken in functioneringsgesprek met trainer • Tussen- en eindgesprek essentieel
Voortijdig problemen signaleren en mogelijkheid tot aanpassing training • Begingesprek bij volgende training erg belangrijk evaluatiemoment
• Evaluatie door landelijk Mizor-onderzoek door het GBIO3
8.1 Mening evalueren
• Belangrijk om terug te kijken op de training • Te veel vragen over trainer zelf
• Deelnemers hebben weinig aan de evaluatie • Evaluatie is momenteel erg intuïtief
3
34 Wenselijk: kijken naar leerprestaties dmv gestructureerde meetmomenten
• Eigen evaluatie-onderzoek ipv Mizor onderzoek
8.2 Mening over evaluatiebeleid bedrijf X
De ene trainer is van mening dat er voldoende aandacht aan evalueren besteed wordt, terwijl de andere trainer juist vindt dat hiervoor te weinig aandacht is. De ontwikkeling die de OR meemaakt wordt te weinig aangetoond.
"We kunnen het onszelf ook wel aanwrijven dat we te weinig laten zien dat OR een toegevoegde waarde heeft, terwijl we wel heel veel geld ontvangen voor de trainingen."
9. Trainingsdoelen en het longitudinaal ontwikkelingstraject
Binnen MZ worden per besproken thema doelen opgesteld. In de inleiding van de training worden deze besproken. Deze doelen worden in samenspraak met de groep opgesteld in een voorgesprek voorafgaand aan de training.
Binnen MZ-trainingen is de ontwikkeling van een longitudinaal ontwikkelingstraject voor OR-leden gaande. In dit traject staan de doelen die van te voren opgesteld zijn centraal. Het doel van dit traject is de ontwikkeling van de OR-leden op de verschillende competenties tijdens hun zittingsperiode aantoonbaar te maken. Het voordeel hiervan is dat zij de opgedane kennis en vaardigheden in hun verdere loopbaan kunnen gebruiken. Vooraf wordt een plan gemaakt waarin doelen opgesteld worden voor het totale team en voor alle individuele leden. Deze doelen zijn vaststaand: het geeft weer wat de trainers denken dat de OR na drie jaar geleerd zou moeten hebben. Sommige doelen kunnen ook voor een jaar opgesteld worden. De ontwikkeling van de OR leden wordt niet alleen door de training bepaald. Ook andere interventies zoals coaching kunnen plaatsvinden. De manier waarop de ontwikkeling gemeten wordt, is in ontwikkeling. Gedacht wordt aan een self-assessment. Het assessment is ook een manier om aan de achterban aantoonbaar te maken dat de kandidaat zich ontwikkeld heeft in de zittingsperiode. De trainer verwacht dat elk OR lid een ontwikkeling doormaakt waardoor negatieve resultaten van het assessment uitgesloten zijn.
10. Onderwerp van evaluatie
35 11. Evaluatie-instrumenten
Binnen MZ wordt het evaluatieformulier gebruikt. Hieronder wordt de mening van MZ-trainers over dit instrument weergegeven. Verder wordt ingegaan op een trend die binnen MZ gaande is: de noodzaak om certificaten in te voeren. Dit zou een instrument kunnen zijn om trainingen te evalueren omdat het geleerde aantoonbaar wordt maakt.
11.1 Mening evaluatieformulier • Weinig diepgaand
• Uitdelen van formulier is ritueel geworden • Snelle manier van informatie verzamelen • Geeft beeld van nieuwe groepen
• Antwoorden bij open vragen stimuleert trainer om training aan te passen
11.2 Certificaten
36 RESULTATEN VRAGENLIJST
1. Inleiding
De gegevens van 76 respondenten van de vragenlijst worden in dit hoofdstuk beschreven. Als eerste worden de kenmerken van de respondenten beschreven (zie figuur 3, pijl 1). Daarna worden de kenmerken van de gevolgde training (pijl 2) en de voorkeuren voor evaluatie van de respondenten (pijl 3) beschreven. Tegelijkertijd wordt gekeken of de kenmerken van de deelnemers verband houden met deze voorkeur (pijl 4) en of deze verbanden significant zijn. Ook wordt gekeken naar significante verbanden tussen de kenmerken van de training en de voorkeur van evaluatie (pijl 5).
FIGUUR 3
Schematische weergave van verbanden analyse vragenlijst
2. Kenmerken respondenten
Tweederde van de respondenten was man, eenderde was vrouw. De meeste respondenten waren tussen de 30 en 50 jaar. Het merendeel had wetenschappelijk onderwijs of HBO als hoogst genoten opleiding. Iets minder dan de helft van de respondenten was 2 tot 5 jaar werkzaam in hun huidige functie. Ongeveer de andere helft was minder dan twee jaar, of 6 tot 10 jaar in hun huidige functie werkzaam. De rest werkte meer dan 10 jaar in zijn huidige functie (zie figuur 4). Het merendeel van de respondenten werkte in een organisatie met 250-1000 werknemers. Een kwart werkte in een organisatie met 50-250 werknemers en
Kenmerken deelnemer - geslacht
- leeftijd
- opleidingsniveau - duur huidige functie - grootte organisatie - sector Kenmerken training - naam - cluster - inhoud - gronden deelname Voorkeuren - informatie trainingsbureau - tijdstip - oprechtheid - lengte
- wijze van informatie teruggeven - tijd trainingsbureau - leerresultaten - kennistest - vaardighedentest - certificaat - meting vooraf - meting na afloop - meting geruime tijd na - persoonlijk ontwikkelplan - tijd eigen prestaties
5
3
4 1
37 nog eens een kwart werkte in een organisatie met meer dan 1000 werknemers. Slechts 6,6% werkte in een organisatie met minder dan 50 werknemers (zie figuur 5). De respondenten waren voornamelijk werkzaam in de sectoren algemene diensten, industrie, financiën en adviesdiensten.
FIGUUR 4 FIGUUR 5
Duur van het arbeidsverband in de huidige functie Grootte van de organisatie
3. Kenmerken gevolgde training
De respondenten hebben 22 verschillende trainingen gevolgd. De top 5 wordt in de onderstaande tabel (tabel 2) weergegeven.
TABEL 2
Top vijf van meest gevolgde trainingen
Naam training N % Cluster training
Communicatiestijlen 17 23,3 Commerciële communicatie Adviesvaardigheden voor de
interne adviseurs
11 15,1 Commerciële communicatie
Beginnend manager 6 8,2 Managementontwikkeling
Assertief en sensitief optreden 5 6,8 Persoonlijke ontwikkeling en effectiviteit Persoonlijke effectiviteit 4 5,5 Persoonlijke ontwikkeling en effectiviteit Overige trainingen 33 41,1
De trainingen zijn ingedeeld in vier clusters. Meer dan de helft van de respondenten heeft een training gevolgd bij het cluster Commerciële Communicatietrainingen. Een kwart van de respondenten heeft een training bij Managementontwikkeling gevolgd, 15% bij
minder dan 2 jaar 2-5 jaar 6-10 jaar meer dan 10 jaar Tijd huidige functie
0,0% 10,0% 20,0% 30,0% 40,0% 50,0% P e r c en ta g e s
38 Persoonlijke Effectiviteit en 1% bij de FIT Company. De inhoud van de training kan gericht zijn op kennis, vaardigheden en waarden. Volgens 61,4% bestond hun training met name uit aanleren van vaardigheden, voor 43,3% uit kennis en voor 25,6% uit waarden. De trainingen zijn volgens de respondenten dus het meest gericht op het aanleren van vaardigheden. Het merendeel van de respondenten (64,5%) heeft op eigen initiatief aan de training deelgenomen. Voor ongeveer een kwart van de respondenten geldt dat zij aan de training deelnamen op aanraden van een leidinggevende en voor ongeveer een kwart behoorde de training tot een (management)-ontwikkelingstraject. De respondenten gingen bijna allemaal vrijwillig naar de training.
4. Voorkeuren evaluatie prestaties trainingsbureau
De respondenten willen bij de evaluatie bij voorkeur informatie aan het trainingsbureau teruggeven over de onderwerpen: trainingsinhoud, trainer, behalen leerdoelen en feedback van trainer. De meerderheid van de respondenten geeft als motivatie dat deze informatie de training kan verbeteren of dat zij deze onderwerpen het belangrijkste vinden. Vrouwen geven meer dan mannen de voorkeur aan om informatie over mededeelnemers terug te geven aan het trainingsbureau. Dit verschil is significant (.047). Vrouwen geven ook liever dan mannen informatie over de feedback van de trainer aan het trainingsbureau terug (.031). Deelnemers aan trainingen die voor een groot deel uit vaardigheden bestaan willen graag informatie terug geven over het behalen van hun leerdoelen (.041 ten opzichte van deelnemers aan trainingen met de nadruk op waarden en kennis). Daarnaast bestaat er een significant verband tussen het opleidingsniveau en gewenste informatie die respondenten aan het trainingsbureau willen geven. Hoe hoger het opleidingsniveau, des te vaker willen respondenten informatie geven over de trainer (.005), mededeelnemers (.040) en feedback van trainer (.032). Respondenten die vanuit hun ontwikkelingstraject meedoen aan een training, geven meer de voorkeur aan om informatie over hun mededeelnemers terug te geven aan het trainingsbureau dan respondenten die op andere gronden aan de training meedoen (.014).
39 meerdere momenten ingevuld waarop ze graag willen evalueren. Respondenten die in het kader van hun ontwikkelingstraject deelnemen aan de training, willen minder vaak een week na de training evalueren dan respondenten die op andere gronden deelnemen aan de training. Dit verband is significant (.018).
37,3% zegt eerlijker te evalueren wanneer zij de evaluatie een week na de training in zouden vullen in plaats van in de training zelf. De respondenten denken objectiever te zullen zijn en hebben meer nadenktijd. 54,7% zegt de evaluatie even eerlijk in te vullen. Slechts 8% zegt de evaluatie oneerlijker in te vullen. De reden die hier wordt gegeven is dat de respondenten gegevens vergeten kunnen zijn (zie figuur 6).
45,9% zegt langere antwoorden te geven wanneer er een week na de training geëvalueerd zou worden dan wanneer dit aan het einde van de training gebeurt. De reden hiervoor is dat men meer nadenktijd heeft en dat de emotie er meer vanaf is. Ook heeft men ervaring met toepassen van het geleerde. Wanneer er een week na de training geëvalueerd zou worden, worden de antwoorden minder snel afgeraffeld omdat men na de training graag snel naar huis wil. 33,8% zegt dat de antwoorden na een week even lang zullen zijn. Een aantal respondenten is van mening dat tijd hun mening niet verandert. 20,3% zegt kortere antwoorden te geven (zie figuur 7 ). Hier wordt geen eenduidige reden voor gegeven.
FIGUUR 6 FIGUUR 7
Oprechtheid van de antwoorden Lengte van de antwoorden
een week na de training een week na de training
De meeste respondenten geven er de voorkeur aan om hun evaluatie op een elektronische manier terug te geven aan het trainingsbureau. Daarna volgt de schriftelijke manier en het gesprek met de trainer.
eerlijker gelijk oneerlijker Oprechtheid 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% P e r ce n ta g e
40 De meeste respondenten (59,2%) zijn bereid 15 minuten te besteden aan de evaluatie van de prestaties van het trainingsbureau. 34,2% is zelfs bereid om 30 minuten te besteden aan de evaluatie, maar slechts 4% wil een uur besteden aan de evaluatie (zie figuur 8). Zoals in figuur 9 te zien is, ligt de tijd die de respondenten willen investeren in de evaluaties van de eigen prestaties veel hoger. Bijna de helft van de respondenten (44,7%) is bereid een uur te besteden aan de evaluatie van de eigen prestaties. 17,1% wil zelfs 1,5 uur hieraan besteden. 31,7% is bereid een half uur hiervoor uit te trekken en slechts 5,3% zegt 15 minuten hieraan te willen besteden.
FIGUUR 8 FIGUUR 9
Hoeveelheid tijd voor de evaluatie Hoeveelheid tijd voor de evaluatie
trainingsbureau eigen prestaties
De tijd die respondenten willen besteden aan de evaluatie van hun eigen prestaties correleert met hun opleidingsniveau: r=0.240. Deze correlatie is significant (.037). Hoe hoger het opleidingsniveau, des te meer tijd zijn de respondenten bereid om te investeren in hun eigen prestaties.
5. Voorkeuren evaluatie eigen prestaties
94,7% van de respondenten wil graag informatie krijgen over zijn eigen leerresultaten. Bijna de helft van de respondenten is het eens met de stelling dat een kennistest en een vaardighedentest een goede manier is om te toetsen of de deelnemer de juiste kennis / vaardigheden opgedaan heeft in de training. (resp. 44,7% en 46,1%). 10,5% en 17,1% zijn het hier zelfs zeer mee eens. (21,2% en 21,1% staat hier neutraal tegenover terwijl 18,4% en 7,9% het oneens is met deze stelling en 5,3% en 6,6% zeer mee oneens).
