De voorspellende waarde van criteria en meetinstrumenten

Bij de selectie van kandidaten kan gebruik worden gemaakt van verschillende instrumenten, die in meer of mindere mate informatie geven of een kandidaat in de functie goede prestaties zal leveren. Zo kan bijvoorbeeld gebruik worden gemaakt van cognitieve capaciteitentests, van een analyse van het cv van de kandidaat of van interviews. Het nut van het inzetten van dergelijke instrumenten is het verkrijgen van meer zekerheid over het toekomstig functioneren van de kandidaat. Niet elk van de instrumenten heeft een even grote voorspellende waarde. Twee aspecten zijn van belang bij het meten van de voorspellende waarde van verschillende methodes en moeten onder meer volgens Hunter en Hunter (1984) worden onderscheiden: de methode van meting en hetgeen gemeten wordt. De voorspellende waarde van bijvoorbeeld cognitieve capaciteiten is voor het toekomstig functioneren hoog

(Hunter & Hunter, 1984; Schmidt & Hunter, 1998; 2004), maar als een test deze capaciteiten niet voldoende meet, dan zal de validiteit van deze test niet hoog zijn. Vanaf de jaren ’30 was de dominante opvatting over verschillen in validiteit vooral dat deze ontstaan door variaties in functies, oftewel situationeel bepaald (Schmidt & Hunter, 1998). In de jaren ’70 kwam men er echter langzaamaan achter dat deze verschillen vooral voortkwamen uit statistische en meetonvolkomenheden. De nieuwe meta-analyses maakten het mogelijk om over verschillende functies heen uitspraken te doen over de validiteit van de methodes. Vanwege de ontwikkeling van betere kwantitatieve technieken zijn de resultaten van de meta-analyse zeer robuust. In de opvolgende meta-analyses en reviews van de literatuur wordt het gebruikelijk om niet alleen de validiteit te bepalen van één meetinstrument, maar ook van gecombineerd gebruik van instrumenten. In selectie is het immers gebruikelijk meerdere instrumenten naast of na elkaar te gebruiken. In de loop van de jaren is er zeer veel onderzoek gedaan naar de validiteit van verschillende instrumenten. De eerste belangrijke meta-analyse over de voorspellers van werkprestaties is van Hunter en Hunter (1984). De belangrijkste voorspeller voor toekomstig functioneren, zo stellen zij vast, zijn de cognitieve capaciteiten van het individu. Barrick en Mount (1991) leggen vervolgens als eerste de relatie tussen de ‘Big Five’, een classificatie van de vijf dimensies van persoonlijkheid en het functioneren van een persoon in een functie. Deze vijf dimensies vereisen allereerst een korte uitleg. ‘Agreeableness’, in het Nederlands veelal vertaald als verdraagzaamheid of behaaglijkheid behelst aspecten als flexibiliteit, tolerantie, hoffelijkheid, teerhartigheid en vergevingsgezindheid. ‘Extraversion’, extraversie in het Nederlands gaat over de mate waarin een persoon sociaal, spraakzaam, assertief en actief is en de mate waarin iemand zich voegt naar de groep. Emotionele stabiliteit, de derde dimensie, is gericht op de aspecten waarin iemand zich al dan niet angstig, depressief, boos, onzeker of beschaamd voelt. De vierde dimensie is ‘Conscientiousness’, wat wij vertalen met zorgvuldigheid. Deze dimensie richt zich op betrouwbaarheid (voorzichtig, grondig, verantwoordelijk, georganiseerd en planvaardig zijn) en doorzettingsvermogen (doorzetten, resultaatgerichtheid en hardwerkend). Tot slot is de vijfde dimensie gericht op de mate waarin iemand openstaat voor nieuwe ervaringen en wordt gemeten aan de hand van kenmerken als artisticiteit, originaliteit, nieuwsgierigheid en de mate van fantasie (zie ook Goldberg, 1990). Barrick en Mount (1991) concluderen dat zorgvuldigheid een sterke relatie heeft met het toekomstig functioneren. Ashton (1998) komt op basis van onderzoek naar de samenhang tussen integer gedrag en persoonlijkheid tot de conclusie dat het gebruik van ‘narrow traits’, ofwel de individuele aspecten die met de Big Five samengevoegd worden tot elk van de vijf dimensies van de persoonlijkheid, de optimale voorspellingen voor toekomstig functioneren soms ten goede kan komen. Verschillende onderzoekers hebben sindsdien onderzoek gedaan naar de voorspellende waarde van ‘narrow traits’ tegenover de dimensiebenadering. Dudley, Orvis, Lebiecki en Cortina (2006) verwijzen naar Hogan en Roberts (1996), Mount en Barrick (1995), en Ones en

Viswesvaran (1996) en stellen dat de brede benadering een betere voorspeller is voor het overall functioneren. Zorgvuldigheid blijkt van de vijf dimensies de belangrijkste voorspeller voor toekomstig functioneren.

Na de eerste grote analyse van de voorspellende waarde van diverse instrumenten van Hunter en Hunter (1984) volgden verschillende auteurs met nieuwe meta-analyses, waar de statistische en meetonvolkomenheden steeds minder groot waren. Een van de eerste meta-analyses waarbij ook gerapporteerd wordt over gecombineerde methodes is van Ones, Viswesvaran en Schmidt (1993). Ones, Viswesvaran en Schmidt (1993) beschrijven de integriteitstoets als een goede voorspeller voor contraproductief gedrag en als voorspeller voor het algemeen functioneren. De verwachting was dat integriteitstoetsen zeer verschillende constructen meten, waaronder lange termijn commitment aan een functie, verantwoordelijkheidsbesef, geneigdheid tot diefstal, vijandigheid, ethiek, afhankelijkheid en consistentie, maar het blijkt dat de tests stuk voor stuk een vergelijkbaar construct bezien, namelijk de persoonlijkheidsstructuur (Schmidt & Hunter, 1998). De integriteitstoets beziet deze structuur op aspecten voor zorgvuldigheid (Ones, Viswesvaran & Schmidt, 1993), emotionele stabiliteit en behaaglijkheid (Schmidt & Hunter, 1998). Ook blijkt de toets, hoewel ingevuld door de kandidaten zelf, qua voorspellingsvermogen niet vatbaar voor bijvoorbeeld sociale wenselijkheid, faken of een andere wijze van onnauwkeurigheid.

Schmidt en Hunter (1998) beschrijven de stand van zaken na 85 jaar onderzoek naar selectie instrumenten. De beste voorspeller voor toekomstig functioneren is intelligentie. Sterker nog, bij toenemende complexiteit is de voorspellende waarde hoger (zie ook Ones, Viswesvaran & Schmidt, 1993; Schmidt & Hunter, 2004). De ‘work sample test’ (die slechts geschikt is bij eerdere ervaringen in dezelfde functie), de integriteitstoets, de test op zorgvuldigheid en gestructureerde interviews blijken een goede aanvulling op de cognitieve capaciteiten test. De hoogste voorspellende waarde voor toekomstig functioneren die in de literatuur naar voren komt is de combinatie van intelligentietoets, persoonlijkheidstest en interessetest (Martin, 2014) of intelligentietest en integriteitstoets (Ones, Viswesvaran & Schmidt, 1993; Schmidt & Hunter, 2004).

Highhouse (2002) heeft kritiek op de psychometrische traditie, omdat men niet uitgaat van datgeen dat belangrijk is bij de selectie van topmanagers, namelijk de persoonlijke karakteristieken. Topmanagers falen niet vanwege technische, maar vanwege ‘persoonlijke’ fouten. Het alternatief voor selectie dat Highhouse (2002) voorstelt is het individueel assessment. Hij definieert dit als een ‘loosely defined set of procedures, similar to practices developed and performed in clinical and counseling settings, used to make recommendations for higher level hires’ (Highhouse, 2002, p. 363). Het individueel assessment wordt onderscheiden als een ‘art’, of kunst, in tegenstelling tot een wetenschap, omdat het ervan uitgaat dat de kandidaat als

geheel wordt bezien en niet alleen diens vaardigheden of kenmerken. Onderzoek naar voorspellende waarde van deze methodiek is sterk verouderd, maar laat een positief beeld zien. Sparks (1990, in Highhouse, 2002)) en Bentz (1967, in Highhouse, 2002) tonen aan dat de voorspellende waarde vergelijkbaar is met de best mogelijke voorspellers in psychometrisch onderzoek.