Controle databestand en missing values analyse

Voordat het databestand voor de analyses gebruikt werd, zijn de ingevoerde scores gecontroleerd op fouten. Fouten die veroorzaakt zijn door typefouten kunnen namelijk een vertekend beeld geven aan de data-analyse. Het controleren op fouten is met behulp van frequentietabellen gedaan.

Ook is er een missing values analyse uitgevoerd, om inzicht te krijgen in de missing values, en bij welke variabelen zij het meest voorkomen. Hieruit bleek dat de meeste missing values voorkomen bij de variabelen waarbij de antwoordcategorie “niet van toepassing” is opgenomen. Dit geldt dus voor de items van de schaal doelen stellen met de leidinggevende, doelen stellen met collega’s en een aantal items van de schaal competentieontwikkeling.

Bij doelen stellen met de leidinggevende liggen de percentages missing values tussen de 4,7% en 8,1%, waarvan vijf respondenten (3,4%) bij alle items van de schaal “niet van toepassing” hebben ingevuld. Dit betekent dat ze geen doelen hebben gesteld met hun leidinggevende.

Met name bij de items van de schaal doelen stellen met collega’s zijn er veel missing values (tussen de 20,8% en de 27,5%). Hierbij viel op dat 28 respondenten (18,9%) bij alle items van de schaal doelen stellen met collega’s “niet van toepassing” hebben ingevuld. Dit betekent dat deze medewerkers geen doelen hebben afgesproken met hun collega’s, wat natuurlijk mogelijk is.

In het gedeelte van de schaal competentieontwikkeling waarbij de antwoordcategorie “niet van toepassing” is opgenomen, liggen de percentages missing values tussen de 3,4% en de 18,8%.

Vooral bij item 12 (18,8%) en item 13 (12,8%) is de categorie “niet van toepassing” vaak ingevuld. Dit betekent dat de betreffende taken, zoals deze in item 12 en 13 beschreven zijn, niet behoren tot de werkzaamheden van de medewerker.

Ook is bij de variabele aantal dienstjaren bij de organisatie het percentage missing values iets hoger (8,1%) als gevolg van een verkeerde vraagstelling. Het item is vrijwel meteen verbeterd, waardoor het aantal missing values beperkt is gebleven.

In de analyses waar gekozen kon worden hoe met de missing values omgegaan moest worden, is gebruik gemaakt van de optie “exclude cases pairwise”. Hiervoor is gekozen omdat er vrij veel missing values in het databestand zitten. Bij een pairwise deletion van missing values wordt er zuiniger

omgegaan met de data, dan bij een listwise deletion.

3.3.2.2 Validiteit

Tijdens het ontwikkelen van de vragenlijst is gepoogd de schalen zoveel mogelijk te baseren op schalen van bestaande gevalideerde vragenlijsten. Ook is door middel van een testversie geprobeerd de validiteit te verhogen. Deze testversie is afgenomen bij twee medewerkers van de doelgroep, en aan de hand van hun opmerkingen is besloten drie items aan te passen. Verder is er nog iets in de lay-out van de vragenlijst aangepast, waardoor de vragenlijst overzichtelijker werd. Omdat de

vragenlijsten maar weinig verschillen van definitieve versie, zijn deze twee vragenlijsten meegenomen in het verdere onderzoek, waarbij de aangepaste items als missing values zijn behandeld.

Om te controleren of de schalen daadwerkelijk valide zijn, is er een factoranalyse toegepast. Met behulp van de Principal Axis Factoring (PAF) is er gezocht naar onderliggende theoretische begrippen die door de oorspronkelijke variabelen gemeten zouden moeten worden. De factoranalyse wordt gebruikt om na te gaan welke items laden op een factor en uit hoeveel factoren een schaal opgebouwd is.

In de volgende alinea’s zullen de schalen besproken worden. De belangrijkste tabellen worden in de tekst weergegeven en de overige tabellen zijn te vinden in bijlage 4.

Coaching door de leidinggevende

Als op alle items van coaching door de leidinggevende één factoranalyse toegepast wordt, dan worden er vier factoren gevonden, zowel volgens het Kaiser-criterium (het aantal eigenwaarden groter dan 1) als de Scree-plot. Deze vier factoren komen redelijk overeen met de verdeling in vier

dimensies. De verklaarde variantie van de vier factoren samen is 53,92%.

De items van de schaal ondersteuning door de leidinggevende laden allemaal op factor 1. De items van de schaal doelen stellen met de leidinggevende laden allemaal op factor 4, alleen de lading van item 25 is voor alle factoren te klein (minder dan 0,4). De items van de schalen feedback van de leidinggevende en het stimuleren van reflectie door de leidinggevende laden op factor 3 en 2. Ze zijn alleen anders verdeeld over de factoren dan in de schalen. Daarom worden er nog afzonderlijke factoranalyses uitgevoerd voor de vier schalen die de dimensies van coaching vormen. Bij de afzonderlijke factoranalyses laden de items die behoren tot één schaal ook steeds op één factor.

Alleen de factorladingen van item 13 en 24 zijn te laag (kleiner dan 0,4).

Omdat item 24 in de factoranalyse van de schaal doelen stellen met collega’s een te kleine lading heeft, wordt item 24 weggelaten uit de analyse. Als op alle items van coaching door de leidinggevende (behalve item 24) één factoranalyse toegepast wordt, dan worden er vier factoren gevonden, zowel volgens het Kaiser-criterium (het aantal eigenwaarden groter dan 1) als de Scree-plot. De verklaarde variantie van deze vier factoren samen is nu iets hoger dan de bij de analyse met item 24, namelijk 54,98%. In tabel 3.2 (op de volgende pagina) worden de met varimax geroteerde factorladingen weergegeven na verwijdering van item 24.

In de tabel wordt voor iedere variabele de hoogste factorlading, mits deze groter dan 0,4 is,

dikgedrukt. Opvallend is dat sommige variabelen ook laden op een tweede factor. Met behulp van een Oblimin rotatie is getracht de variabelen slechts op één factor te laten laden. Dit had echter niet veel nut, omdat een aantal variabelen dan op geen enkele factor meer laadde. Daarom is er voor gekozen toch de varimax rotatie te gebruiken en er wordt dan alleen gekeken naar de hoogste factorlading en een eventuele lagere lading op een andere factor wordt genegeerd.

Tabel 3.2:

Geroteerde Factorladingen (Varimax) van de items van coaching door de leidinggevende.

Factor 1 Factor 2 Factor 3 Factor 4

Coaching door leidinggevende item 1 ,732 ,147 -,006 ,308

Coaching door leidinggevende item 2 ,721 ,118 ,217 ,200

Coaching door leidinggevende item 3 ,855 ,118 ,133 ,184

Coaching door leidinggevende item 4 ,628 ,208 ,236 ,204

Coaching door leidinggevende item 5 ,737 ,246 ,185 ,186

Coaching door leidinggevende item 6 ,478 ,411 ,283 ,269

Coaching door leidinggevende item 7 ,532 ,039 ,249 ,121

Coaching door leidinggevende item 8 ,449 ,144 ,416 ,181

Coaching door leidinggevende item 9 ,301 ,263 ,626 ,205

Coaching door leidinggevende item 10 ,136 ,195 ,786 ,108

Coaching door leidinggevende item 11 ,374 ,315 ,573 ,206

Coaching door leidinggevende item 12 ,364 ,429 ,274 ,184

Coaching door leidinggevende item 13 ,016 ,588 ,108 -,004

Coaching door leidinggevende item 14 ,329 ,470 ,374 ,334

Coaching door leidinggevende item 15 ,427 ,333 ,473 ,367

Coaching door leidinggevende item 16 ,288 ,432 ,378 ,312

Coaching door leidinggevende item 17 ,301 ,578 ,434 ,062

Coaching door leidinggevende item 18 ,133 ,702 ,028 ,159

Coaching door leidinggevende item 19 ,191 ,478 ,209 ,252

Coaching door leidinggevende item 20 ,119 ,531 ,473 ,273

Coaching door leidinggevende item 21 ,145 ,636 ,322 ,286

Coaching door leidinggevende item 22 ,292 ,329 ,054 ,509

Coaching door leidinggevende item 23 ,138 ,239 ,197 ,553

Coaching door leidinggevende item 25 ,304 ,264 ,226 ,412

Coaching door leidinggevende item 26 ,220 ,108 ,202 ,671

Coaching door leidinggevende item 27 ,274 ,051 ,084 ,799

Uit de tabel is af te lezen dat de vier factoren redelijk overeenkomen met de verdeling in vier

dimensies. De items van de schaal ondersteuning door de leidinggevende laden allemaal op factor 1.

De items van de schalen feedback van de leidinggevende en het stimuleren van reflectie door de leidinggevende laden nog steeds op factor 3 en 2. De items van de schaal doelen stellen met de leidinggevende laden allemaal op factor 4. Item 25 had eerst een te kleine lading, maar nu item 24 verwijderd is laadt ook item 25 op deze factor. Bij de afzonderlijke factoranalyses voor de vier schalen laden alle items die behoren tot één schaal ook steeds op één factor. Alleen de factorlading van item 13 is nog te laag (kleiner dan 0,4). Hier wordt na de bespreking van coaching door collega’s nog op teruggekomen.

Tenslotte is er ook nog een factoranalyse uitgevoerd van alle items van coaching door de

leidinggevende (behalve item 24) op één factor. De bijbehorende tabel is opgenomen in bijlage vier.

Hieruit bleek dat de items inderdaad op dezelfde factor laden, alleen de lading van item 13 was onder de 0,4. Hieruit valt af te leiden dat er één onderliggend construct is, namelijk coaching door de leidinggevende.

Coaching door collega’s

Als op alle items van coaching door collega’s één factoranalyse wordt toegepast, dan worden er volgens het Kaiser-criterium (het aantal eigenwaarden groter dan 1) vijf factoren gevonden, maar uit

vervolgd met vier factoren en de factoren komen redelijk overeen met de verdeling in vier dimensies.

De verklaarde variantie van de vier factoren samen is 57,21%.

De items van de schaal ondersteuning door collega’s laden allemaal op factor 1. De items van de schaal doelen stellen met de leidinggevende laden allemaal op factor 4, alleen de lading van item 24 is voor alle factoren te klein (minder dan 0,4). De items van de schalen feedback van de

leidinggevende en het stimuleren van reflectie door de leidinggevende laden op factor 3 en 2. Ze zijn alleen anders verdeeld over de factoren dan in de schalen, maar ook weer anders dan bij coaching door de leidinggevende. Daarom worden er nog afzonderlijke factoranalyses uitgevoerd voor de vier schalen die de dimensies van coaching vormen. Bij de afzonderlijke factoranalyses laden de items die behoren tot één schaal ook steeds op één factor. Alleen bij de schaal doelen stellen met collega’s laadt item 24 op een tweede factor.

Omdat item 24 in de factoranalyse voor zowel coaching door collega’s als geheel, als voor de schaal doelen stellen met collega’s een te kleine lading heeft, wordt item 24 weggelaten uit de analyse.

Als op alle items van coaching door collega’s (behalve item 24) één factoranalyse wordt toegepast, dan worden er volgens zowel het Kaiser-criterium (het aantal eigenwaarden groter dan 1) als de Scree-plot maar vier factoren gevonden in plaats van vijf. De factoranalyse wordt vervolgd met vier factoren en de verklaarde variantie van de vier factoren samen is nu iets hoger dan bij de analyse met item 24, namelijk 59,14%. In de onderstaande tabel worden de met Varimax geroteerde factorladingen weergegeven na verwijdering van item 24.

Tabel 3.3:

Geroteerde factorladingen (Varimax) van de items van coaching door collega’s.

Factor 1 Factor 2 Factor 3 Factor 4

In de tabel wordt voor iedere variabele de hoogste factorlading, mits deze groter dan 0,4 is, dikgedrukt. Ook hier laden twee variabelen op meerdere factoren, maar er wordt gekeken naar de hoogste factorlading en een eventuele lagere lading op een andere factor wordt genegeerd.

De vier factoren komen redelijk overeen met de verdeling in vier dimensies. De items van de schaal ondersteuning door collega’s laden allemaal op factor 2. De overige items van de schaal doelen stellen met de leidinggevende laden allemaal op factor 3. De items van de schalen feedback van de leidinggevende en het stimuleren van reflectie door de leidinggevende laden nog steeds op twee verschillende factoren, namelijk factor 1 en 4. Bij de afzonderlijke factoranalyses voor de vier schalen laden alle items die behoren tot één schaal ook steeds op één factor.

Door het verwijderen van item 24 bij zowel coaching door de leidinggevende als coaching door collega’s komt de verdeling in factoren beter overeen met de verdeling in de vier dimensies. Item 24 is een gespiegeld item en mogelijk is dat voor de respondenten verwarrend geweest, waardoor ze anders geantwoord hebben. Het zou kunnen dat het item daarom minder gemeenschappelijk heeft met de overige items in de schaal.

Bij coaching door de leidinggevende heeft item 13 van de schaal feedback van de leidinggevende een te kleine factorlading (0,358). Maar bij coaching door collega’s vormt item 13 geen probleem. In dit onderzoek worden de schalen van coaching door de leidinggevende en coaching door collega’s gelijk gehouden om vergelijking tussen de twee vormen van coaching mogelijk te maken. Omdat het item inhoudelijk gaat over de negatieve feedback die iemand ontvangt past het item wel goed bij de schaal en is het interessant om het item te behouden. Daarom is er voor gekozen item 13 niet uit de schalen te verwijderen.

De items van de schalen feedback en het stimuleren van reflectie bij zowel de leidinggevende als collega’s laden op twee factoren. Ze zijn anders verdeeld over de factoren dan in de schalen en bij de leidinggevende zijn ze weer anders verdeeld dan bij collega’s. Deze factoren zijn inhoudelijk heel moeilijk te interpreteren, waardoor er in dit onderzoek voor gekozen is om de oorspronkelijke indeling in de schalen feedback en stimuleren van reflectie voorlopig te handhaven. Bij de afzonderlijke factoranalyses laden de items die behoren tot één schaal ook steeds op één factor, dus dit bevestigt dat de items van één schaal veel gemeenschappelijk hebben. In het discussiehoofdstuk zal nog dieper ingegaan worden op dit punt.

Tenslotte is er ook nog een factoranalyse uitgevoerd van alle items van coaching door collega’s (behalve item 24) op één factor. De bijbehorende tabel is opgenomen in bijlage vier. Hieruit bleek dat de items inderdaad op dezelfde factor laden, alleen de lading van item 26 was net onder de 0,4.

Hieruit valt af te leiden dat er één onderliggend construct is, namelijk coaching door collega’s.

Competentieontwikkeling

Als op alle items van competentieontwikkeling één factoranalyse wordt toegepast, dan worden er drie

Scree-plot. De verklaarde variantie van de drie factoren samen is 59,69%. In de tabel 3.4 worden de met Varimax geroteerde factorladingen weergegeven voor alle items van competentieontwikkeling.

In de tabel wordt voor iedere variabele de hoogste factorlading, mits deze groter is dan 0,4, dikgedrukt. Twee variabelen laden op meerdere factoren, maar een Oblimin rotatie kan de interpretatie niet vergemakkelijken. Er wordt daarom gewoon met behulp van de Varimax rotatie gekeken naar de hoogste factorlading en een eventuele lagere lading op een andere factor wordt niet meegenomen.

Tabel 3.4:

Geroteerde factorladingen (Varimax) van de items van competentieontwikkeling.

Factor 1 Factor 2 Factor 3

Competentieontwikkeling item 1 ,200 ,516 ,214

Competentieontwikkeling item 2 ,226 ,612 ,209

Competentieontwikkeling item 3 ,336 ,655 ,155

Competentieontwikkeling item 4 ,266 ,817 ,151

Competentieontwikkeling item 5 ,247 ,829 ,118

Competentieontwikkeling item 6 ,192 ,422 ,452

Competentieontwikkeling item 7 ,658 ,329 ,283

Competentieontwikkeling item 8 ,723 ,365 ,235

Competentieontwikkeling item 9 ,664 ,371 ,333

Competentieontwikkeling item 10 ,692 ,357 ,210

Competentieontwikkeling item 11 ,585 ,334 ,450

Competentieontwikkeling item 12 ,604 ,202 ,342

Competentieontwikkeling item 13 ,590 ,160 ,362

Competentieontwikkeling item 14 ,536 ,298 ,393

Competentieontwikkeling item 15 ,269 ,330 ,659

Competentieontwikkeling item 16 ,262 ,232 ,758

Competentieontwikkeling item 17 ,313 ,153 ,646

Competentieontwikkeling item 18 ,352 ,053 ,742

Uit de tabel is af te lezen dat de drie factoren behoorlijk overeenkomen met de drie onderdelen waaruit de schaal competentieontwikkeling is opgebouwd.

Aangezien competentieontwikkeling gemeten wordt met één schaal, is er ook een factoranalyse uitgevoerd waarbij maar één factor geselecteerd is. In dit geval laden alle items op deze ene factor.

Dus ondanks dat de schaal van competentieontwikkeling opgebouwd is uit drie verschillende

onderdelen, vormen de items tezamen ook één schaal. De bijbehorende tabel is opgenomen in bijlage vier.

3.3.2.3 Betrouwbaarheid

Omdat het belangrijk is dat het meetinstrument betrouwbare resultaten levert, is in dit onderzoek zoveel mogelijk gebruik gemaakt van bestaande vragenlijsten. Maar omdat de conceptualisatie van coaching zelf geconstrueerd is, is het moeilijk om goed passende bestaande schalen te vinden. Ook bij competentieontwikkeling zijn zelf schalen ontwikkeld omdat ze over specifieke competenties gaan.

Toch is bij het ontwikkelen van de schalen getracht de items zo veel mogelijk te baseren op bestaande schalen, wat ten goede zou moeten komen aan de betrouwbaarheid.

Om te controleren of de schalen daadwerkelijk betrouwbaar zijn, is er een betrouwbaarheidsanalyse

schaal, de zogenaamde Cronbach’s Alpha. Verder moeten de item-totaal-correlaties groter zijn dan 0,30. Ook kan met de betrouwbaarheidsanalyse bekeken worden of het weglaten van een item de betrouwbaarheid doet toenemen.

De items die na verwijdering de alpha doen toenemen zijn item 24 (bij zowel coaching door de leidinggevende als collega’s), item 13 (bij zowel coaching door de leidinggevende als collega’s) item 18 (bij coaching door collega’s) en item 6 (bij de schaal competentieontwikkeling). Dit zijn bijna allemaal dezelfde items die in de factoranalyse ook niet op de (juiste) factor laadden. Er is per item bekeken of deze inhoudelijk gezien het beste bij de schaal kan blijven of verwijderd kan worden.

Bij de factoranalyse is item 24 uit de schalen coaching door de leidinggevende, coaching door collega’s en uit de afzonderlijke schalen doelen stellen met de leidinggevende en doelen stellen met collega’s verwijderd. Er is, zoals in de vorige paragraaf is aangegeven, voor gekozen de overige items niet te verwijderen.

Als we kijken naar de item-totaal-correlaties dan zijn deze voor alle items groter dan 0,30, behalve voor item 24. Bij de schaal coaching door de leidinggevende is de item-totaal-correlatie te laag en bij de schalen coaching door collega’s en doelen stellen met collega’s zijn de item-totaal-correlaties zelfs negatief. Dit bevestigt dat item 24 uit de schalen verwijderd moest worden.

De alpha’s voor de oorspronkelijke schalen en voor de schalen na verwijdering van item 24 bij zowel coaching door de leidinggevende als coaching door collega’s, worden weergegeven in tabel 3.5.

Tabel 3.5:

Coaching door leidinggevende 27 26 ,945 ,948

Ondersteuning door leidinggevende 8 8 ,900 ,900

Feedback van leidinggevende 6 6 ,822 ,822

Stimuleren van reflectie door leidinggevende 7 7 ,872 ,872

Doelen stellen met leidinggevende 6 5 ,776 ,804

Coaching door collega’s 27 26 ,932 ,936

Ondersteuning door collega’s 8 8 ,906 ,906

Feedback van collega’s 6 6 ,868 ,868

Stimuleren van reflectie door collega’s 7 7 ,900 ,900

Doelen stellen met collega’s 6 5 ,687 ,789

Competentieontwikkeling 18 18 ,938 ,938

Over het algemeen wordt een schaal met een waarde van groter dan 0,700 gezien als betrouwbaar, dus alle schalen zijn betrouwbaar. Waarden groter dan 0,800 wijzen op een hoge betrouwbaarheid of hoge interne consistentie. Alle schalen op één na (doelen stellen met collega’s) hebben een alpha die groter is dan 0,800, dus de samengestelde items van deze schalen meten nagenoeg hetzelfde concept.

In document Coaching bij het ontwikkelen van competenties (pagina 40-47)