Hoe kan een manager een onstuimige omgeving het hoofd bieden? De impact van cognitieve strategieën op de prestatie van organisaties.

Hoe kan een manager een onstuimige omgeving het hoofd bieden? De impact van cognitieve strategieën op de prestatie van organisaties.

Wouter Koet s2383594

Management van de publieke sector

Specialisatie: strategie, advisering en verandermanagement

Faculty of Governance and Global Affairs (FGGA) Universiteit Leiden, Den Haag, Nederland

11-06-2019

Begeleider 1: Dr. P.E.A. van den Bekerom (Universiteit Leiden)

Begeleider 2: Dr. J. van der Voet (Universiteit Leiden)

Epitome

In dit onderzoek is onderzocht in welke mate cognitieve strategieën van schoolleiders het negatieve effect van een onstuimige omgeving op de prestaties van scholen kunnen

modereren. Hiervoor is bij 3400 basisscholen onderzocht wat het effect van een onstuimige omgeving is op hun prestaties. Uitgangspunt voor de mate van onstuimigheid van de omgeving zijn de variabelen die Boyne en Meier (2009) hiervoor beschreven hebben. Voor de prestaties is gekeken naar de verandering in scores tussen twee jaren. Op basis van de data van deze 3400 scholen is er geen negatieve relatie gevonden tussen een onstuimige omgeving en de prestaties van scholen. Oftewel de onstuimige omgeving verklaarde niet de verandering in de prestaties van scholen. Onder de schoolleiders van deze 3400 scholen is tevens een survey uitgezet. Hiervan zijn er 68 volledig ingevuld. Doel van de survey was om te onderzoeken in welke mate schoolleiders bepaalde cognitieve strategieën volgen. Op basis van deze enquêtes is de conclusie dat de onderzochte cognitieve strategieën niet bijdragen om het negatieve effect van een onstuimige omgeving op de prestaties van scholen te modereren. Het onderzoek biedt wel een aantal aanknopingspunten voor verder onderzoek. Het blijft namelijk de vraag hoe managers tot een bepaalde managementactie komen en hoe managers de omgeving monitoren en wat de relatie met beslissen met heuristieken is.

Kernwoorden: onstuimige omgeving, omgevingsmonitoring, management, cognitieve strategieën, prestaties publieke organisaties, heuristieken

Inhoudsopgave

1 Inleiding ... 4

2 Theoretisch kader ... 9

2.1 De organisatie en haar omgeving ... 9

2.2 Prestaties van organisaties in een veranderende omgeving ... 13

2.3 Beslissen met of zonder heuristieken ... 15

2.4 Cognitieve strategieën ... 24 3 Methode ... 31 3.1 Meetinstrumenten ... 32 3.2 Respondenten ... 46 3.3 Technische hulpmiddelen ... 49 3.4 Beschrijvende statistieken ... 50 4 Resultaten ... 51

4.1 Effect onstuimige omgeving op schoolprestaties ... 52

4.2 Effect cognitieve strategieën op prestaties ... 55

5 Discussie ... 57

5.1 Onstuimige omgeving ... 57

5.2 Aantal respondenten ... 61

5.3 Betrouwbaarheid vragenlijsten ... 62

5.4 Goede voorspellers ... 62

5.5 Het juiste monitoren ... 65

5.6 De juiste actie selecteren ... 66

6 Conclusie en vervolgonderzoek... 67 Literatuurlijst ... 69 Appendix A ... 79 Appendix B ... 80 Appendix C ... 81 Appendix D ... 82 Appendix E ... 84

1 Inleiding

Organisaties, zowel publieke als private, bestaan in een externe omgeving waar zij afhankelijk van zijn en invloed op kunnen uitoefenen (Aldrich & Pfeffer, 1976; Pfeffer & Salancik, 2003; Scott, 2003). Dit gebeurt doordat de externe omgeving van invloed is op de resultaten van de organisatie. Enerzijds levert de omgeving hulpmiddelen om de resultaten te kunnen realiseren en anderzijds legt het beperkingen op die de mogelijkheden voor het realiseren van de resultaten beperken (Pfeffer & Salancik, 2003; Scott, 2003).

De externe omgeving van een organisatie is niet een statische entiteit, zij is continue aan verandering onderhevig (Emery & Trist, 1965). Deze verandering en de effecten hiervan zijn niet altijd voorspelbaar (Boyne & Meier, 2009). Binnen de publieke sector zijn er vele voorbeelden waarbij er door een veranderende omgeving geacteerd moet worden om de kwaliteit van de diensten van de overheid te waarborgen. Denk bijvoorbeeld aan de keuzes, veranderingen en nog onvoorziene consequenties die de Brexit stelt aan diverse

overheidsorganisaties. Dit maakt dat het voor managers in de publieke sector een uitdaging is om goed om te gaan met deze veranderende externe omgeving (Boyne & Meier, 2009).

Zowel Boyne en Meier (2009) als Dess en Beard (1984) identificeren de

onvoorspelbaarheid van de omgeving als de grootste bedreiging voor de resultaten van de organisatie. Het goed kunnen managen van de omgeving is van belang aangezien

veranderingen in de omgeving de stabiliteit van de organisatie bedreigen en daarmee een negatief effect kunnen hebben op de prestatie van de organisatie (O’Toole & Meier, 1999). Ook andere onderzoeken hebben aangetoond dat veranderingen in de omgeving negatief van invloed kunnen zijn op de prestaties van de organisatie (Anderson & Tushman, 2001; Boyne & Meier, 2009; Li & Atuahene-Gima, 2001; van den Bekerom, Torenvlied, & Akkerman, 2016).

Eén van de taken van een manager is om te zorgen dat een organisatie de uitdagingen die een veranderende omgeving biedt het hoofd kan bieden (Ansell & Trondal, 2018; Pfeffer & Salancik, 2003). Theoretisch zou dit kunnen door ofwel de omgeving aan te passen of door de organisatie zelf aan te passen (Pfeffer & Salancik, 2003). Bij het aanpassen van de

omgeving valt te denken aan het lobbyen voor aanpassing van beleid en bij het aanpassen van de organisatie aan een reorganisatie. Inmiddels is er ook empirisch aangetoond dat managers inderdaad invloed hebben en hiermee het negatieve effect van externe omgevingsverandering op de organisatie kunnen mitigeren (Boyne & Meier, 2009; Ryu & Johansen, 2017; van den Bekerom et al., 2016; van den Bekerom, Torenvlied, & Akkerman, 2017). Binnen deze studies wordt het negatieve effect gemitigeerd door de interne stabiliteit van de organisatie te waarborgen en te versterken, bijvoorbeeld door netwerkactiviteiten met medewerkers te ontplooien of door coproducties op te zetten.

De onderzoeken van Boyne & Meier (2009), Ryu & Johansen (2017), van den Bekerom et al. (2016) en van den Bekerom et al. (2017) vonden plaats in het domein van het onderwijs. Het voordeel hiervan is dat van zowel de prestaties van scholen als van de

verandering van de omgeving betrouwbare, onafhankelijk en langlopende databases

beschikbaar zijn (Boyne & Meier, 2009). Dit geldt ook voor de Nederlandse situatie waar de data van onder andere de prestaties van scholen via open data beschikbaar is (Rijksoverheid, n.d.-a). Vanwege de beschikbaarheid van deze data, en om de inzichten ten aanzien van de effecten van een veranderende omgeving op de prestaties van scholen uit te breiden, richt dit onderzoek zich ook op het domein van het onderwijs.

In de onderzoeken van Van den Bekerom en collega’s (2016 en 2017), Boyne en Meier (2009) en Ryu en Johansen (2017) wordt namelijk niet meegenomen hoe managers de omgeving monitoren om in te schatten hoe de omgeving zich ontwikkeld en welke

bedreigingen zich voor gaan doen moet de manager een inschatting maken wat er gaat gebeuren op basis van huidige gebeurtenissen. De manager maakt dus een voorspelling van de ontwikkeling van de omgeving om hierop te kunnen acteren door de organisatie of de omgeving aan te passen. Het is voor managers van belang om hier op een goede wijze invulling aan te geven aangezien hier op inspelen een voordeel op kan leveren (Pfeffer & Salancik, 2003).

Volgens Pfeffer en Salancik (2003) is het echter niet mogelijk om alle (mogelijke) veranderingen van de externe omgeving in de gaten te houden door managers omdat hun tijd en capaciteiten beperkt zijn (Pfeffer & Salancik, 2003). Dit houdt dus ook in dat alle

mogelijke scenario’s niet tegen elkaar afgewogen kunnen worden om een optimale keuze te maken.

In situaties waarbij er sprake is van een onvolledige informatiepositie maken mensen gebruik van heuristieken om tot hun keuze te komen (Simon, 1997). Heuristieken zijn methodes die er voor zorgen dat men met minimale mentale belasting tot een afdoende oplossingen komt (Simon, 1990). Dit in tegenstelling tot optimale oplossingen die niet, of tegen een zeer hoge berekeningskracht of zware mentale belasting, te bepalen zijn (Simon, 1990). Waarbij gesteld kan worden dat hoe beter de manager is in het gebruik van

heuristieken om besluiten te nemen hoe beter dit is voor de organisatie omdat de manager hiermee de organisatie beschermt tegen bedreigingen of kansen creëert.

Heuristieken kunnen zowel bewust als onbewust gebruikt worden (Vis, 2019). Dit houdt in dat beter gebruik van heuristieken op twee manieren bereikt kan worden. Enerzijds door beter gebruik te maken van bewuste heuristieken. Anderzijds door minder bevattelijk te zijn voor fouten bij het onbewuste gebruik van heuristieken. Dit onderzoek richt zich op de eerste manier van het beter gebruik maken van heuristieken.

Onbewust gebruik van heuristieken kan er bij het nemen van besluiten over toekomstige gebeurtenissen voor zorgen dat mensen foute inschattingen maken (Tetlock, 2005; Tetlock & Gardner, 2016). Tetlock en Gardner (2016) beschrijven echter dat niet iedereen even bevattelijk is voor deze heuristieken en dat er mensen zijn die bepaalde cognitieve strategieën volgen waardoor ze tot betere voorspellingen komen over hoe de omgeving zal ontwikkelen. Tetlock en Gardner (2016) komen tot een viertal strategieën die maken dat men betere inschatting maakt. Ten eerste hebben zij gevonden dat het actief zoeken en reflecteren op informatie een goede strategie is. Als tweede strategie vinden zij het actief open staan voor informatie. Ten derde vonden zij dat het helpt om gebeurtenissen niet als voorbestemd te beschouwen en als laatste vonden Tetlock en Gardner (2016) dat de strategie om nieuwe informatie goed te wegen helpt. Wat zij echter nog niet meegenomen hebben is of dit effect ook buiten een experimentele onderzoeksomgeving optreedt. Waardoor het niet te zeggen is of gebruik van deze cognitieve strategieën ook in de praktijk ertoe leidt dat managers betere voorspellingen maken en daarmee ook zorg dragen voor een verminderd negatief effect van een onstuimige omgeving op de prestatie van de organisatie. Als dit daadwerkelijk het geval is kan dit helpen bij het ontwikkelen van trainingen voor managers in het onderwijs. Er is afdoende bewijs dat deze cognitieve strategieën namelijk te ontwikkelen zijn (Baron, 2008; Selz, 1935; Tetlock & Gardner, 2016).

De hoofdvraag van dit onderzoek is:

In hoeverre hebben schoolleiders met cognitieve strategieën die leiden tot

verminderde bevattelijkheid voor de negatieve effecten van heuristieken een modererend effect op de negatieve relatie tussen een onstuimige omgeving en de prestaties van scholen?

Hiervoor wordt voor de prestaties van de scholen en de onstuimigheid van de

Onderwijs (DUO). Het onderzoek geeft inzicht in wat in een praktijk goede strategieën voor managers zijn om in een onstuimige omgeving tot goede besluiten te komen. Dit kan scholen helpen door managers hierin te trainen zodat men de juiste besluiten neemt en zo schaars budget optimaal ingezet wordt.

Dit onderzoek richt zich op hoe bepaalde kenmerken van personen zich verhouden tot bestuurskundige principes. Hiermee past het binnen een nieuw opkomend veld van onderzoek binnen het publiek management, dat van de gedragsbestuurskunde (Grimmelikhuijsen, Jilke, Olsen, & Tummers, 2017; Moynihan, 2018). Grimmelikhuijsen et al. (2017) beschrijven dit onderzoeksveld als de studie van de bestuurskunde op basis van theorieën die gevormd zijn in de psychologie en sociale wetenschappen. Het is daarbij een interdisciplinaire analyse

waarbij bestuurskundige principes beschreven worden vanuit het micro-perspectief van het individu (Grimmelikhuijsen et al., 2017).

Moynihan (2018) beschrijft dat het voor deze discipline met name belangrijk is om onderzoek te doen naar waar het individu raakt aan publieke management. Hiervoor geeft hij als voorbeeld onderzoek naar administratieve last waar onderzoek naar op basis van

psychologische concepten vertaalt kunnen worden naar bestuurskundige effecten.

Dit onderzoek past binnen deze nieuwe traditie om bestuurskundige vraagstukken (welk effect heeft een onstuimige omgeving op de prestatie van een organisatie) op te pakken vanuit microperspectief (welke cognitieve strategieën van managers hebben hier invloed op) om zodoende een brug te slaan tussen bestuurskundig en gedragswetenschappelijk

2 Theoretisch kader

2.1 De organisatie en haar omgeving

Een organisatie bestaat in een specifieke omgeving. Dit is meer dan alleen een fysieke omgeving. Het gaat dan onder andere ook over een technologische en culturele omgeving waarbinnen een organisatie opereert (Scott, 2003). De omgeving is te beschouwen als alle zaken die buiten de grenzen van de organisatie bestaan en die potentieel een effect kunnen hebben op (een gedeelte van) de organisatie (Daft, 2010). Aangezien organisaties niet zelfvoorzienend zijn, zijn ze voor hun overleving afhankelijk van hun omgeving (Pfeffer & Salancik, 2003).

Enerzijds omdat organisaties voor het creëren van hun producten of diensten afhankelijk zijn van hulpmiddelen vanuit de omgeving (Aldrich & Pfeffer, 1976; Scott, 2003). Hulpmiddelen zijn middelen of faciliteiten die de mogelijkheid hebben om door de organisatie gecontroleerd te worden en die in staat zijn om direct of indirect een relatie tot stand te brengen tussen de organisatie en de omgeving (Yuchtman & Seashore, 1967). Hieruit valt te concluderen dat het concept hulpmiddelen dus breder is dan fysieke of economische objecten. In de woorden van Yuchtman en Seashore (1967): “nor does it limit the concept of resources to physical or economic objects or states even though a physical base must lie behind any named resource” (p900). Bij hulpmiddelen valt dan te denken aan monetaire middelen, materialen, menselijke activiteiten, kennis en macht (Aldrich, 2008).

Anderzijds worden er door de omgeving grenzen aan de keuzemogelijkheden en het gedrag van organisaties gesteld (Pfeffer & Salancik, 2003; Scott, 2003). Dit beperkt de mogelijkheden en het beslissingsproces van organisaties. Aldrich (2008) beschrijft

beperkingen in de hulpmiddelen die een organisatie kan of moet gebruiken om hun resultaten te behalen. Hierbij valt te denken aan de zeer geringe wettelijke mogelijkheid voor

basisscholen om kinderen te weigeren of zorgverzekeraars die mensen die een verzekering willen niet mogen weigeren (Rijksoverheid, n.d.-b, n.d.-c). Naast een beperking aan de hulpmiddelen kunnen er ook beperkingen worden gesteld aan de ruimte die managers hebben om organisatiestructuren en processen vorm te geven (O’Toole & Meier, 1999). Dit maakt dat de omgeving voor de organisatie zowel beperkende als beschermende maatregelen kan treffen (Bozeman, 1993). Denk bij beperkingen bijvoorbeeld aan regelgeving om zorg te dragen voor consumentenbescherming en bij beschermende maatregelen aan regelgeving voor een goed vestigingsklimaat.

Doordat overheidsinstellingen in zowel hun financiering als hun taakstelling

afhankelijk zijn van andere overheidsinstantie maakt dat het deze organisaties nog meer dan private organisaties afhankelijk zijn van hun omgeving. Deze afhankelijkheid van de

omgeving wordt versterkt doordat politieke spelers, organisaties en actoren uit de

samenleving proberen invloed uit te oefenen op de organisatie door hun richting bij te sturen, bijvoorbeeld door te lobbyen en wetten te maken (Rainey, 2009).

De omgeving waar een organisatie in acteert is continu aan verandering onderhevig (Emery & Trist, 1965). Dit maakt dat zowel de hulpmiddelen als de grenzen die gesteld worden aan verandering onderhevig zijn. Zoals eerder gesteld is de omgeving van een organisatie een complex speelveld dat uit meerdere aspecten bestaat. Dit maakt dat de omgeving ook op deze verschillende aspecten kan veranderen en daarmee invloed kan hebben op de organisatie. Denk hierbij bijvoorbeeld aan een wettelijk ander

financieringsmodel voor een overheidsinstantie (grenzen) of fluctuaties in de parameters die binnen dit model voor financiering zorgen (hulpmiddelen). Het lager onderwijs kent nu bijvoorbeeld een financieringsmodel waarbij de instelling in het huidige jaar gefinancierd wordt op basis van het aantal leerlingen van het voorgaande jaar en hun achtergrond (van den Bekerom et al., 2016). Enerzijds kan dit veranderen doordat de overheid dit hele model

verandert, anderzijds kan elke component binnen het model per jaar veranderen (meer of minder studenten).

Deze verandering en de effecten hiervan zijn niet altijd te voorspellen (Boyne & Meier, 2009). Of zoals Pfeffer en Salancik (2003) het verwoorden: “change can come from anywhere without notice and produce consequences unanticipated by those initiating the changes and those experiencing the consequences” (p. 69). Dit maakt dat het voor managers in de publieke sector een uitdaging is om goed om te gaan met deze veranderende externe omgeving (Boyne & Meier, 2009).

Zowel Boyne en Meier (2009) als Dess en Beard (1984) identificeren de

onvoorspelbaarheid van de omgeving als belangrijkste uitdaging om de externe omgeving goed naar de hand van de organisatie te kunnen zetten. Het goed kunnen managen van de omgeving is van belang aangezien veranderingen in de omgeving de stabiliteit van de organisatie bedreigen en daarmee een negatief effect kunnen hebben op de prestatie van de organisatie (O’Toole & Meier, 1999)

Voor organisaties is het juist van belang dat de externe omgeving stabiel en voorspelbaar is (Scott, 2003). In een dergelijke omgeving kunnen er namelijk routines ontwikkeld worden (Aldrich, 2008). Deze routines zorgen ervoor dat de organisatie beter in staat is om de kwaliteit van de producten of diensten te waarborgen (O’Toole & Meier, 1999). Aangezien de omgeving dus juist continu verandert ligt er een belangrijke taak voor managers om de effecten van de veranderingen op de organisatie te managen zodat deze een zo minimaal mogelijke impact op de organisatie hebben (Ansell & Trondal, 2018; Pfeffer & Salancik, 2003).

Dess en Beard (1984) beschrijven een typologie van de omgeving voor een organisatie. De omgeving heeft ten opzichte van de organisatie een zekere mate van beschikbaarheid van hulpmiddelen (munifence) en complexiteit (complexity).

Beschikbaarheid van hulpmiddelen gaat over hulpmiddelen die de omgeving ter beschikking stelt aan de organisatie (Aldrich, 2008). Ten aanzien van basisscholen valt bij een omgeving met een hoge mate van beschikbaarheid van hulpmiddelen te denken aan een omgeving die veel financiële middelen per leerling ter beschikking stelt voor onderwijs. Een hoge mate van beschikbaarheid van hulpmiddelen van de omgeving leidt tot betere prestaties van de organisatie (Boyne & Meier, 2009).

De complexiteit van de omgeving gaat juist over de mate waarin de populatie waarmee de organisatie omgaat onderling verschilt (Aldrich, 2008). Binnen publieke organisaties zal dit vaak terugkomen als de mate waarin de populatie van afnemers van een bepaalde dienst, service of product (cliënt) een bepaalde mate van gelijkheid vertoond (Boyne & Meier, 2009). Hoe meer heterogeen de samenstelling is, hoe meer divers de behoeftes zijn van de cliënten. Op het domein van basisscholen valt bijvoorbeeld te denken aan het niveau van Nederlands van leerlingen. Hoe meer dit uiteenloopt hoe complexer het wordt om elke leerling op het juiste niveau les te geven.

Aangezien de omgeving continue verandert, verandert ook de mate van

beschikbaarheid van hulpmiddelen en de complexiteit van de omgeving. Deze mate van verandering is de derde component die Dess en Beard (1984) beschrijven. Verandering van de omgeving van de omgeving kan beschreven worden in termen van hoe vaak er een verandering plaatsvindt, hoeveel impact een wijziging heeft en hoe voorspelbaar de verandering is (Boyne & Meier, 2009)

Bij de frequentie van wijzigingen in beschikbaarheid van hulpmiddelen of

complexiteit gaat het er om hoe vaak er veranderingen binnen deze onderdelen zijn (Boyne & Meier, 2009). Bij scholen valt er dan aan te denken dat het aantal leerlingen jaarlijks

fluctueert op basis van instroom en uitstroom.

Bij de impact gaat het om de grootte van de verandering in beschikbaarheid van hulpmiddelen en/of complexiteit voor de organisatie (Boyne & Meier, 2009). Als we naar scholen kijken zou een voorbeeld kunnen zijn hoe groot in percentage het verschil is in leerlingen per jaar van een school.

Volgens Boyne en Meier (2009) zijn deze twee vormen van verandering goed op te vangen door managers (als deze bekend zijn). Volgens hen is het juist de derde component van dynamiek die maakt dat het lastig is om de veranderingen in de omgeving te managen. Dess en Beard (1984) beschrijven deze component als onstuimigheid, waarmee zij de onvoorspelbaarheid van de veranderingen op beschikbaarheid van hulpmiddelen en

complexiteit bedoelen. Door deze onvoorspelbaarheid is het ook lastig om hier in het proces van het leveren van diensten goed op in te spelen door managers (Boyne & Meier, 2009).

2.2 Prestaties van organisaties in een veranderende omgeving

Het effect van onstuimigheid op een organisatie is in meerdere studies onderzocht waarbij deze component vaak naar voren komt als degene die het moeilijkst is om op te anticiperen en een negatief effect heeft op de prestaties van organisaties. (Anderson & Tushman, 2001; Boyne & Meier, 2009; Li & Atuahene-Gima, 2001). Anderson en Tushman (2001) beschrijven het als volgt:

“Our results indicate that while organizations can deal with different levels of economic munificence and complexity, uncertainty is a significantly more lethal characteristic of organizational environments.” (p. 675)

O’Toole en Meier (1999) beschrijven dat dit komt doordat organisaties proberen een niet veranderende structuur te hanteren, dit heeft namelijk prestatievoordelen. Echter dit zorgt ervoor dat hetgeen geproduceerd wordt met name beïnvloed wordt door wat in het verleden geproduceerd werd gecorrigeerd met het effect van een verandering van de omgeving die niet opgelost kan worden door de stabiliteit van het systeem (O’Toole & Meier, 1999). Deze onverwachte schokken zorgen ervoor dat binnen de organisatie de structuren die juist bedoeld waren om stabiel te blijven aan het wankelen worden gebracht. Denk hierbij aan een

aanpassing van de formele hiërarchie binnen de organisatie, de doelen die de organisatie nastreeft, de wijze waarop de organisatie bedacht heeft via regels en procedures om deze doelen te behalen, de productiegoederen die gebruikt worden en het menselijke kapitaal (O’Toole en Meier, geciteerd in van den Bekerom et al, 2016).

Het negatieve effect van een onstuimige omgeving op de prestaties van organisaties is ook aangetoond ten aanzien van scholen. (Boyne & Meier, 2009; Ryu & Johansen, 2017; van den Bekerom et al., 2016). Boyne en Meier (2009) en Ryu en Johansen (2017) hebben dat laten zien voor de Amerikaanse situatie en Van den Bekerom en collega’s (2016) voor het onderwijs in Nederland. Dit leidt tot hypothese 1.

Hypothese 1: Onstuimigheid van de omgeving heeft een negatief effect op de prestatie van scholen.

In verschillende onderzoeken komt naar voren dat managers op verschillende

manieren scholen kunnen wapenen tegen een veranderende omgeving (Boyne & Meier, 2009; Ryu & Johansen, 2017; van den Bekerom et al., 2016).

Boyne en Meier (2009) beschrijven dat managers de negatieve effecten kunnen mitigeren door zorg te dragen voor een stabiele interne structuur in plaats van een interne reorganisatie om de externe onstuimigheid het hoofd te bieden. Van den Bekerom et al,

(2016) heeft daarnaast aangetoond dat managers het negatieve effect van

omgevingsturbulentie op de prestaties van scholen kunnen verminderen door intern gericht (naar beneden of opzij) te netwerken. Een manager kan de impact van schokken uit de omgeving op de productie van de organisatie verminderen door ofwel de effecten van een onstuimige omgeving te bufferen in de organisatie, dan wel door de kansen die een veranderende omgeving biedt aan te grijpen om de organisatie te versterken (O’Toole en Meier, 1999). Hiervoor kan de manager gebruiken van de middelen die deze tot zijn of haar beschikking heeft. Denk hierbij aan de inzet en allocatie van middelen, het managen van het menselijke kapitaal en innovatie (van der Hoek & van den Bekerom, 2018).

Binnen de onderzoeken van Boyne en Meier (2009), Ryu en Johansen (2017) en Van den Bekerom et al. (2016) komt echter niet naar voren of de managementactiviteit opgestart is nadat de turbulentie al in gang gezet is of dat men proactief is gaan handelen in anticipatie op de (mogelijke) toekomstige verandering. Juist door een goede inschatting te maken op wat er in de omgeving kan gaan veranderen dat impact heeft op de organisatie kan de organisatie voordeel halen doordat de onstuimigheid van de verandering hiermee zo klein mogelijk wordt. Boyne en Meier (2009) komen tot de conclusie dat het voor organisaties een goede strategie zou zijn om te investeren in het scannen van de omgeving om vroegtijdige signalen van onstuimigheid te herkennen en zodoende hier goed op te kunnen acteren.

2.3 Beslissen met of zonder heuristieken

Om een inschatting te maken wat er in de omgeving kan veranderen en wat hiervan impact heeft op de organisatie zal een manager de omgeving moeten monitoren en hieruit de relevante informatie destilleren. Deze informatie kan dan vervolgens gebruikt worden om een keuze te maken om zorg te dragen dat de veranderende omgeving minder negatieve effecten heeft op de organisatie.

Vanaf de Verlichting ontstaat het concept dat mensen deze keuzes maken op basis van een rationele logica (Gigerenzer, 2010). Als voorbeeld beschrijft Gigerenzer (2010)

bijvoorbeeld Bernoulli’s verwachtenutstheorie en John Stuart Mill’s utilitarisme. Het is ook terug te vinden in het werk van Pascal als hij zijn vraag stelt of men wel of niet in God moet geloven (Gigerenzer, 2010). Pascal geeft een ‘berekening’ waarom het beter is wel te geloven dan niet te geloven waarbij de uitkomst een gok is op basis van kansen van de mogelijke uitkomsten van wel of niet geloven (Gigerenzer, 2010).

Dit komt terug in de theorie van Laplace (1814/1995). Volgens Laplace (1814/1995) staat wat er gaat gebeuren vast op basis van wat er eerder is gebeurd. Hij stelt een oorzaak gevolg relatie vast die in het extreme inhoudt dat als men alles weet wat er in het heden te weten is, alle toekomstige gebeurtenissen daaruit af te leiden zijn, in zijn woorden (Laplace, 1814/1995):

“We ought then to consider the present state of the universe as the effect of its previous state and as the cause of that which is to follow. An intelligence that, at a given instant, could comprehend all the

forces by which nature is animated and the respective situation of the beings that make it up, if moreover it were vast enough to submit these data

to analysis, would encompass in the same formula the movements of the greatest bodies of the universe and those of the lightest atoms. For such an intelligence nothing would be uncertain, and the future, like the past, would

be open to its eyes.” (p2)

Dit principe van volledige kennis komt terug in de theorie over rationele keuze waarbij mensen handelen alsof ze volledige kennis hebben over alle mogelijke acties, de consequenties die deze hebben en de kans dat deze optreden om op basis hiervan hun keuze maken (Gigerenzer, 2010). Ook de moderne versie van de verwachtenutstheorie van

Bernoulli, de vooruitzichtstheorie (prospect theory) heeft dit uitgangspunt als basis, mensen maken een keuze op basis van het afwegen van uitkomsten en kansen (Kahneman & Tversky, 1979) .

Het vinden van de beste optie door alle alternatieven, consequenties en kansen af te wegen heet maximaliseren (Gigerenzer, 2010). Dit

maximaliseren zou goed kunnen in “kleine werelden” echter in “grotere werelden” (zie tekstblok 1) waar niks zeker is en waar continue veranderingen zijn is dit volgens Savage (1954) niet mogelijk (in Gigerenzer, 2010; Gigerenzer & Gaissmaier, 2011). Naast dat dit komt doordat er veel, veranderende relevante informatie is, komt dit ook doordat er veel informatie is die redundant is,

dit maakt dat alle opties doorrekenen complex en onhandelbaar is (Gigerenzer & Goldstein, 1996).

Deze grote werelden zijn beter te beschrijven volgens de theorie van Lorentz (1972). Hij geeft aan dat toekomstige situaties door vele kleine varianties grote gevolgen kan hebben, in zijn voorbeeld de slag van de vleugels van een vlinder die een tornado veroorzaakt

(Lorenz, 1972). Dit is later de chaos theorie gaan heten en houdt in dat er allerhande kleine variaties zorgen voor grote effecten in de toekomstige situatie (Tetlock & Gardner, 2016). In een dergelijke wereld kan er dus niet op basis van volledige rationaliteit gekomen worden tot een keuze omdat de wereld te complex is. Maar hoe moet een manager dan tot een keuze komen over handelingen die nodig zijn om de effecten van een veranderende omgeving te mitigeren?

Als tegenhanger van volledige rationaliteit waarbij er sprake kan zijn van maximalisatie is er beperkte rationaliteit (Gigerenzer, 2010). Deze term wordt als eerste gebruikt door Herbert Simon om een oplossing te bieden om keuzes te maken in een wereld

Kleine wereld: een situatie waar

een optimale oplossing bepaald kan worden omdat de toekomst vastligt en alle alternatieven en hun consequenties en kansen bekend zijn (Gigerenzer & Gaissmaier, 2011).

Grote wereld: Een situatie waar

de optimale oplossing niet gevonden kan worden door middel van rationele keuze theorieën omdat informatie onbekend is of voorspeld moet worden (Gigerenzer &

Gaissmaier, 2011).

waar sprake is van onvolledige informatie (Gigerenzer, 2010; Gigerenzer & Gaissmaier, 2011). Of in, de woorden van Simon (1989):

“How do human beings reason when the conditions for rationality postulated by the model of neoclassical economics are not met?” (p377)

Het gaat dus om hoe men keuzes maakt als er in de wereld om je heen continue veranderdingen plaatsvinden op een manier waardoor je niet meer rationeel kan nagaan wat er verandert en hoe groot de kans is dat bepaalde gebeurtenissen gaan optreden. Dit roept de vraag op welke informatie op welke wijze gebruikt wordt om dan alsnog tot een besluit te komen over hoe te handelen in deze veranderende omgeving als er sprake is van een beperkte rationaliteit.

Gigerenzer en Gaissmaier (2011) beschrijven dat binnen een omgeving die gekenmerkt wordt door beperkte rationaliteit mensen besluiten nemen op basis van heuristieken. Ook Simon (1997) beschrijft een dergelijke heuristiek waarbij er niet tot een keuze gekomen wordt op basis van maximaliseren maar dat men kiest voor de eerste optie die voldoet aan de behoeftes (satisficing).

Heuristiek is een term die al lang binnen de wetenschap gebruikt wordt en van Griekse origine komt (Gigerenzer & Goldstein, 1996). In het Grieks betekent heuristiek “ten dienste staand om te vinden of te ontdekken” (Gigerenzer & Goldstein, 1996). Het gaat dus om een strategie waarmee men een iets kan vinden of ontdekken. In die zin is dit niet iets specifieks menselijks maar lijkt het bijvoorbeeld op de omschrijving van ‘vuistregels’ die gedragsbiologen gebruiken om het gedrag van dieren te beschrijven bij het maken van ‘keuzes’ voor het zoeken van voedsel, het maken van een nest of voor een partner (Gigerenzer & Goldstein, 1996). Dieren zullen kiezen voor de eerste plek of partner die voldoet aan de minimale gestelde eisen in plaats van alle mogelijke plekken of partners

onderzoeken en afwegen welke het beste is. In die zin voldoen zij op deze wijze van het principe van satisficing (Gigerenzer & Goldstein, 1996).

Meer algemeen is te stellen dat heuristieken methodes zijn waarmee, in plaats van optimale, afdoende oplossingen gevonden worden met minimale mentale belasting of berekeningskracht (Simon, 1990). De mentale belasting kan op verschillende manier verminderd worden (Shah & Oppenheimer, 2008). Shah en Oppenheimer (2008) komen tot een vijftal methodes waarmee de mentale belasting verminderd kan worden.

1. Minder criteria onderzoeken. Hierbij wordt het aantal criteria beperkt. Een

voorbeeld hiervan is de lexicografische heuristiek waarbij het criterium dat het belangrijkst is gehanteerd wordt om de alternatieven te onderzoeken. Waarbij het alternatief dat het best scoort op dit criterium gekozen wordt (Fishburn, 1974; Shah & Oppenheimer, 2008). Denk bijvoorbeeld aan een sollicitatieprocedure waarin de kandidaten maar op één criterium beoordeeld worden.

2. Verminderen van de complexiteit bij het opslaan en ophalen van scores op criteria. Dit kan op twee manieren. De eerste manier is alleen de verhouding tussen de alternatieven op één criterium op te slaan, in plaats van de waardes van het criterium. Bijvoorbeeld kandidaat A scoort beter dan kandidaat B op opleidingsniveau bij een sollicitatieronde waarbij het daadwerkelijke opleidingsniveau niet opgeslagen wordt. De tweede manier werkt andersom en behelst dat het besluit genomen wordt op basis van informatie die het

makkelijkst te herinneren is bijvoorbeeld omdat het makkelijk te berekenen is, of omdat het snel toegankelijk is. (Shah & Oppenheimer, 2008).

3. Versimpelen van de gewichten van criteria. Bij deze methode worden de waarde van criteria niet meegenomen in de afweging welk alternatief beter is. Er wordt hierbij dus wel naar verschillende criteria gekeken maar de waarde van de criteria speelt bij het nemen

van het besluit geen rol. Als voorbeeld valt te denken aan het aannemen van de kandidaat die op de meeste criteria het beste scoort in een sollicitatieprocedure zonder te kijken naar hoe goed men op de criteria scoort (Shah & Oppenheimer, 2008). Andere invullingen van deze methode behelzen de kandidaat aannemen die het beste scoort op het criteria die in de vorige procedure het belangrijkste was, of kandidaten vergelijken op gerandomiseerd gekozen criteria net zo lang tot er op een criteria een verschil tussen beide ontstaat (Shah & Oppenheimer, 2008).

4. Minder informatie per criteria. Bij deze methodiek wordt er wel naar verschillende criteria gekeken en ook naar het gewicht van de criteria, maar er wordt geen overkoepelend beeld gevormd van alle informatie of alternatieven. Satisficing is een voorbeeld van deze heuristiek waarbij er wel naar verschillende criteria gekeken wordt, maar er wordt geen algeheel beeld van alle alternatieve met hun scores op criteria ontwikkeld (Shah &

Oppenheimer, 2008). Bij een sollicitatieprocedure zou deze methodiek inhouden dat men de eerste kandidaat aanneemt die aan de minimale eisen voldoet zonder de verschillende kandidaten tegen elkaar af te wegen.

5. Minder alternatieven overwegen. Bij deze methodiek worden niet alle alternatieven overwogen. Dit kan bijvoorbeeld door een drempelwaarde te hanteren op bepaalde criteria waardoor alternatieven gelijk uitvallen en niet meegenomen worden voor verdere

vergelijking (denk bijvoorbeeld opleidingsniveau als uitvalcriteria in een

sollicitatieprocedure) (Shah & Oppenheimer, 2008). Een andere wijze waarop invulling gegeven kan worden aan deze methode is bij het begin van de afweging een aantal alternatieven niet mee te nemen in de overweging, denk bij een sollicitatieprocedure bijvoorbeeld aan alleen de eerste tien kandidaten meenemen in de overweging (Shah & Oppenheimer, 2008).

Hieruit komt naar voren dat heuristieken dus methodes zijn waarbij informatie

weggelaten wordt om te komen tot een besluit. Dit sluit aan bij de definitie die Gigerenzer en Gaissmaier (2011) hanteren:

“A heuristic is a strategy that ignores part of the information, with the goal of making decisions more quickly, frugally, and/or accurately than more complex methods.” (p454).

Er is veel onderzoek dat aantoont dat het gebruik van heuristieken tot betere besluiten leidt dan wanneer er meer informatie gebruikt zou worden. Bijvoorbeeld voor de bepaling van actieve versus inactieve klanten (Gigerenzer & Gaissmaier, 2011), wie

tenniswedstrijden op Wimbledon wint (Serwe & Frings, 2006), de uitkomst van verkiezingen (Gaissmaier & Marewski, 2011), geografisch profileren (Snook, Zito, Bennell, & Taylor, 2005) of moreel handelen Gigerenzer (2010).

In het voorbeeld van winnaars op Wimbledon blijkt dat als men proefpersonen tenniswedstrijden laat voorspellen op basis van de herkenning van de naam van de

tennisspeler (de speler die herkend wordt wint de wedstrijd) een goede voorspeller is voor de uitkomst is voor de wedstrijd (Serwe & Frings, 2006). Hetzelfde principe werkt ook bij het voorspellen van de uitslagen van verkiezingen (Gaissmaier & Marewski, 2011). In beide gevallen leidt slechts het gebruik maken van de herkenning van de naam van de ene speler/kandidaat boven de andere speler/kandidaat tot een goede voorspelling van wie er daadwerkelijk zou winnen (Gaissmaier & Marewski, 2011; Serwe & Frings, 2006).

Gigerenzer en Gaissmaier (2011) beschrijven het principe dat met minder informatie betere besluiten genomen worden als het minder-is-meer effect. Dit effect houdt in dat er met minder informatie of berekeningskracht tot preciezere besluiten gekomen kan worden dan als er meer informatie of berekeningskracht gebruikt zou worden.

Er is echter ook een onderzoeksrichting die zich richt op hoe heuristieken er toe kunnen leiden dat mensen verkeerde besluiten nemen (Kahneman, 2011). Dit speelt met name als mensen op basis van waarschijnlijkheden besluiten moeten nemen (Tversky & Kahneman, 1974). In de gevallen waar mensen mogelijke gebeurtenissen beschrijven in de vorm van een kans of subjectieve waarschijnlijkheid kunnen heuristieken ertoe leiden dat mensen tot verkeerde inschattingen komen. Tversky en Kahneman (1974) komen tot de conclusie dat dit met name komt doordat mensen geen natuurlijke aangeboren kwaliteit voor statistiek hebben waardoor mensen fouten maken met het inschatten van kansen en

waarschijnlijkheid.

Als de twee richtingen in het gebruik van heuristieken met elkaar vergeleken worden valt op dat de ene richting met name de aandacht richt op hoe onbewust gebruik van

heuristieken leidt tot fouten bij het maken van keuzes terwijl de andere kant zich richt op daar waar als heuristieken bewust gebruikt worden ze kunnen leiden tot betere beslissingen dan wanneer men meer informatie zou gebruiken (Vis, 2019). Zo kan één heuristiek vanuit twee kanten beschouwd worden en zowel leiden tot verkeerde als juiste beslissingen.

Als voorbeeld hiervan een beschrijving van dezelfde heuristiek vanuit het perspectief waarbij de heuristiek tot succes leidt en daar waar dezelfde heuristiek leidt tot verkeerde keuzes. Hiervoor wordt gekeken naar wat Gigerenzer en Gaismaier (2011) de recognition heuristic noemen. Dezelfde heuristiek komt ook voor in het werk van Tversky en Kahneman (1974) voor waarbij deze availability heuristic heet. Hierbij wordt er een bepaalde keuze gemaakt omdat de informatie herkend wordt vanuit het geheugen (Gigerenzer & Gaissmaier, 2011). Enerzijds helpt dit om makkelijker goede keuzes te maken. Een bekend voorbeeld is schaakgrootmeesters die patronen op het bord herkennen waardoor ze snel de juiste zet weten te herkennen en zelfs na lang denken uit komen op de eerste zet die ze herkend hadden (Tetlock & Gardner, 2016). Aan de andere kant maakt dit ook kwetsbaar. Zo beschrijft

Kahneman (2011) dat het makkelijker is om woorden te verzinnen die beginnen met een bepaalde letter dan woorden waar deze letter op de derde plek staat. Door deze herkenning geven we aan dat er meer woorden zijn die beginnen met een K dan dat er woorden zijn die een K als derde letter hebben (in het Engels zijn er meer woorden met de K op de derde positie). Hetzelfde principe gebeurt bijvoorbeeld als men vraagt hoe hoog het percentage gescheiden stellen in Nederland is. Hoe meer voorbeelden snel herinnerd worden hoe hoger men dit percentage zal inschatten (Kahneman, 2011).

Dit concept werkt ook door naar de dagelijkse praktijk waar het negatieve effecten kan hebben. Zo zullen mensen op basis van wat ze herinneren de grootte van een verzameling inschatten (Manis, Shedler, Jonides, & Nelson, 1993). Dit betekent dat hoe groot een groep is die binnen een bepaald criteria valt gekoppeld is aan hoe goed men zich representanten van die groep kan herinneren (Manis et al., 1993). Dit leidt er bijvoorbeeld toe dat mensen enerzijds vinden dat rechters te lage straffen opleggen terwijl, als ze zelf een straf moeten bepalen in een bepaalde casus, ze even hoge of lagere straffen zouden opleggen (Diamond & Stalans, 1989). De verklaring hiervoor is dat men, op basis van de media, voornamelijk hoort over ernstige vergrijpen waarmee men het aandeel zware misdrijven overschat (Diamond & Stalans, 1989).

Dit roept de vraag op of managers in de publieke sfeer nu juist baat of last hebben van heuristieken bij het nemen van besluiten op basis van toekomstige gebeurtenissen die van invloed zijn op de mate van een verandering van complexiteit en hulpmiddelen. Neem als voorbeeld een schoolleider ten tijde van de vluchtelingencrises naar aanleiding van de oorlog in Syrië. Deze zal voorafgaand aan het schooljaar besluiten moeten nemen om zorg te dragen dat de school de prestatie kan blijven leveren. Hiervoor zal de leider afwegingen moeten maken over hoe waarschijnlijk het is dat er op de eigen school leerlingen zullen komen vanuit deze vluchtelingenstroom. Dit is weer afhankelijk van of er een asielzoekerscentrum in de

gemeente komt, wat onder andere weer afhankelijk is van de ontwikkelingen van

vluchtelingenstroom en de gemeente- en landelijke politiek ten aanzien van het verlenen van asiel. Daar komt dan nog bij dat de schoolleider een keuze moet maken over hoe er het best geacteerd kan worden op deze mogelijke gebeurtenis. Is dat ervoor zorgen dat de school maximaal ingericht is op oorlogsvluchtelingen of juist ervoor zorgen dat de school geen leerlingen hoeft op te nemen?

Dit zijn allemaal vragen waar de valkuilen van heuristieken op de loer liggen. Zo heeft Tetlock in 2005 al uitgebreid beschreven dat experts bijzonder slecht scoren als het aankomt op dergelijke voorspellingen, in zijn woorden (Tetlock, 2005): “The average expert was roughly as good as a dart-throwing chimp”. (p. 4)

Het lijkt er dus sterk op dat als we mensen de omgeving laten monitoren en besluiten laten nemen op de mogelijke effecten op de organisatie men hierbij last heeft van de

negatieve effecten van heuristieken (Tetlock, 2005; Tetlock & Gardner, 2016).

2.4 Cognitieve strategieën

Zeker bij veiligheidsdiensten zorgde de slechte voorspellingen ten aanzien van

gebeurtenissen (denk bijvoorbeeld aan de aan- of afwezigheid van massavernietigingswapens in Irak) voor zorgen over de betrouwbaarheid van hun rapporten (Tetlock & Gardner, 2016). Om te kijken of door middel van onderzoek deze voorspellingen beter kunnen worden startte de Amerikaanse overheid in 2006 het Intelligence Advanced Research Projects Activity (IARPA) (Tetlock & Gardner, 2016). Deze organisatie had als missie het financieren van vernieuwend onderzoek om de inlichtingendiensten beter te kunnen laten functioneren ten aanzien van hun voorspellingen (Tetlock & Gardner, 2016).

Om nieuwe kennis op te doen over welke manieren van voorspellen goed werken werd binnen IARPA een toernooi opgezet waarbinnen meerdere universiteiten meededen om

hier onderzoek naar te doen (Tetlock & Gardner, 2016). Tetlock leidde een van die onderzoeksteams die jaar op jaar beter scoorde als de controle groep en als andere onderzoeksteams (Tetlock & Gardner, 2016).

Eén van de opmerkelijkste bevindingen die hij met zijn onderzoeksteam vond was dat mensen verschillen in de mate waarin ze goed kunnen voorspellen (Tetlock & Gardner, 2016). Tetlock en Gardner (2016) beschrijven dat dit al bestond voordat men deze mensen in groepen (op basis van prestaties) ging onderverdelen of ging trainen. Om te corrigeren voor regressie naar het midden heeft Tetlock het project meerdere jaren laten lopen. Ondanks dat er mensen zijn die in jaar 1 extreem goed scoren en in latere jaren minder blijkt dat er veel minder regressie plaatsvindt dan op basis van kans verwacht zou mogen worden (Tetlock & Gardner, 2016). Op basis hiervan trekken Tetlock en Gardner (2016) de conclusie dat ondanks dat er geluk komt kijken bij het maken van goede voorspellingen er zeker ook sprake is van kunde waarmee betere voorspellingen gemaakt kunnen worden.

Eerder is gesteld dat voor het nemen van besluiten de manager van een organisatie de omgeving moet monitoren en op basis van onvolledige informatie beslissingen moet nemen om te anticiperen op veranderingen. Deze omgeving is vaak onstuimig waarbij de

onvoorspelbaarheid van de beschikbaarheid van hulpmiddelen en complexiteit het lastig maakt voor de manager om in te spelen op wat er mogelijk komen gaat (Boyne & Meier, 2009). Tetlock en Gardner (2016) beschrijven mensen die bovengemiddeld goed zijn om op basis van de huidige situatie te komen tot een voorspelling over wat toekomstige

gebeurtenissen zullen zijn. Zij zijn minder bevattelijk voor de negatieve effecten van heuristieken. Tetlock en Gardner (2016) vragen zich in hun boek af wat het maakt dat bepaalde mensen zoveel beter zijn in het maken van voorspellingen. Is het zo dat mensen intelligent, menselijke rekenmachines of nieuwsjunkies moeten zijn? Tetlock en Gardner (2016) komen tot de conclusie dat dit allemaal niet (volledig) het geval is.

Ten aanzien van intelligentie beschrijven Tetlock en Gardner (2016) wel dat binnen hun onderzoeksgroep de gemiddelde intelligentie hoger was dan in de populatie maar dat degene die goed scoorden in het maken van juiste voorspeling met name verschillen in de manier waarop ze omgaan met informatie. Mensen die goed zijn in het maken van

voorspellingen vinden het leuk om informatie te vergaren en deze actief af te wegen (Tetlock & Gardner, 2016). Dit afwegen maakt dat ze informatie die ze tot zich nemen dieper

verwerken en van meer kanten beschouwen (Tetlock & Gardner, 2016). Ze reflecteren dus meer op de informatie voordat ze een besluit nemen en denken in paradigma’s als aan de ene kant maar aan de andere kant (Tetlock & Gardner, 2016).

Hypothese 2: Hoe meer iemand cognitief reflecteert op informatie hoe meer dit het negatieve effect van een onstuimige omgeving op de prestaties van scholen positief modereert.

Voor mensen die goed zijn in het maken van voorspellingen zijn verwachtingen over deze onzekere gebeurtenissen hypotheses die getoetst moeten worden. Dit maakt dat ze actief openstaan voor nieuwe informatie (Tetlock & Gardner, 2016). Actief op zoek gaan naar nieuwe informatie om huidige opvattingen tegen het licht te houden, nieuwe doelen te kunnen stellen of nieuwe mogelijkheden te vinden kan gekarakteriseerd worden als Active open-minded thinking (Baron, 2008). Volgens Baron (2008) helpt dit tegen bepaalde type

vooroordelen bij het maken van beslissingen. Het gaat dan bijvoorbeeld om het vooroordeel dat mensen ten faveure vooringenomen zijn ten aanzien van hun initiële ideeën (Baron, 2008).

Hypothese 3: Hoe opener iemand staat voor nieuwe informatie hoe meer dit het negatieve effect van een onstuimige omgeving op de prestaties van scholen positief modereert.

Tetlock en Gardner (2016) komen tot de conclusie dat een zekere mate van vaardigheid en gevoel voor getallen zeker een meerwaarde heeft bij het maken van goede voorspellingen. Zij (2016) trekken echter ook de conclusie dat dit niet komt omdat men deze kennis gebruikt om wiskundige modellen te ontwikkelen om voorspellingen te maken.

Wat Tetlock en Gardner (2016) wel vinden is dat mensen die goed zijn in het maken van voorspellingen denken in waarschijnlijkheden en hier ook goed mee kunnen omgaan. Dit betekent dat mensen die vaak goede voorspellingen maken niet denken in termen dat zaken voorbestemd waren om te gebeuren of onvermijdelijk waren, maar dat er veel verschillende mogelijkheden zijn die allemaal hun eigen waarschijnlijkheid hebben (Tetlock & Gardner, 2016). Op een dergelijke manier omgaan met informatie betekent dat men tegen feitelijk kan denken oftewel counterfactual denken (Markman & Tetlock, 2000). Dit leidt tot hypothese vier:

Hypothese 4: Hoe meer iemand counterfactual denkt hoe meer dit het negatieve effect van een onstuimige omgeving op de prestaties van scholen positief modereert.

Het laatste concept dat Tetlock en Gardner (2016) beschrijven ten aanzien van

mensen die vaak juiste voorspellingen doen is dat zij vaak hun initiële waarschijnlijkheid van de uitkomst aanpassen. Nieuwe informatie die ze tot zich nemen wegen ze in welke mate dit de kans op een bepaalde uitkomst verandert (Tetlock & Gardner, 2016). Hoe beter iemand is in het maken van voorspellingen hoe vaker en preciezer deze aanpassingen zijn (Tetlock & Gardner, 2016). Oftewel men volgt dat het principe van Bayes goed. Dit principe houdt in dat de kans na een gebeurtenis gelijk is aan de kans voor de gebeurtenis en het effect hierop van de gebeurtenis die heeft plaatsgevonden (Tetlock & Gardner, 2016). Een bekend voorbeeld waarbij mensen dit niet goed doen is het dilution effect (Tetlock & Gardner, 2016). Hierin geven mensen aan een bepaalde situatie een bepaalde waarschijnlijkheid, als men vervolgens

informatie geeft die deze waarschijnlijkheid niet aanpast, veranderen veel mensen toch de waarschijnlijkheid van de gebeurtenis. Ze wegen de nieuwe informatie dus onvoldoende (Tetlock & Gardner, 2016).

Een ander bekend voorbeeld waarbij mensen de kans verkeerd inschatten is bij conjunction fallacy. Conjunction fallacy is de eigenschap dat mensen een gebeurtenis die een extra premisse heeft waarschijnlijker vinden dan dezelfde gebeurtenis zonder de premisse (Fiedler, 1988; Kahneman, 2011; Tversky & Kahneman, 1983). Dit gebeurd met name als de premisse er voor zorgt dat de gebeurtenis waarschijnlijker wordt (Fiedler, 1988; Kahneman, 2011; Tversky & Kahneman, 1983). Hierdoor is er sprake van verkeerd toepassen van Bayessianse logica (Fisk, 1996; Tversky & Kahneman, 1983). Als de kans op de gebeurtenis P(A) is en de kans op de premisse P(B) geldt namelijk dat de samengevoegde (conjunction) kans nooit groter kan zijn dan een van de delen van de samenstelling, P(A&B) ≤ P(A) (Tversky & Kahneman, 1983). Als een voorbeeld de volgende (vertaalde) vraag (Fiedler, 1988; Kahneman, 2011):

Welke gebeurtenis komt vaker voor

A. Een grote overstroming in 2019 in de Verenigde Staten waardoor meer dan 1000 mensen verdrinken? (A)

B. Een aardbeving in 2019 in Californië die een overstroming veroorzaakt waardoor meer dan 1000 mensen verdrinken? (A&B)

Optie B bestaat volledig uit optie A (is dus A&B) en kan onmogelijk vaker

voorkomen dan optie A. Echter mensen geven toch aan dat optie B waarschijnlijker is, zelfs als er slechts twee opties zijn (Fiedler, 1988; Kahneman, 2011). Waarbij het effect groter is als tussen deze twee opties niet gerelateerde gebeurtenissen staan (Fiedler, 1988; Kahneman, 2011).

Dit leidt tot hypothese vijf:

Hypothese 5: Hoe beter iemand is in het waarderen van nieuwe informatie hoe meer dit het negatieve effect van een onstuimige omgeving op de prestaties van scholen positief modereert.

In een conceptueel model zouden de hypothese en de relaties er dan als volgt uit komen te zien:

Dit model wordt in dit onderzoek niet volledig getoetst. De componenten met een asterisk worden niet als variabele meegenomen in het verdere onderzoek. Daarnaast is het conceptuele model een schematische weergave. Naast het modererende effect van de strategieën op de relatie tussen de heuristiek en de actie speelt dit effect ook op de relatie tussen heuristiek en het monitoren van de omgeving.

In het conceptuele model is heuristiek ook als een eenduidig construct weergegeven. Dit construct bestaat zoals eerder besproken echter ook uit een onderverdeling naar systeem

1. Cognitieve reflectie

2. Openstaan nieuwe informatie 3. Counterfactual thinking 4. Waarschijnlijkheid bijstellen

+

Managementactie* Heuristiek*

Onstuimige omgeving

-

-

één en systeem twee heuristieken (Vis, 2019). Voor de leesbaarheid is ervoor gekozen om deze onderverdeling in het conceptuele model niet op te nemen.

3 Methode

Om de hypotheses te testen is er gebruik gemaakt van datasets die opgebouwd zijn uit zes verschillende databronnen. Uit deze datasets zijn resultaten met missende waardes

verwijderd (zie bij respondenten over de aantallen per reden). De eerste dataset bestaat uit de personele bekostiging van scholen per jaar en de grondslagen hoe de bekostiging opgebouwd is. Dit is een dataset die als open data beschikbaar wordt gesteld door de Dienst Uitvoering Onderwijs (DUO) (Dienst Uitvoering Onderwijs, n.d.-g). Dit is de uitvoeringsinstantie die belast is met de uitvoering van het onderwijsbeleid binnen Nederland. Ook vier andere datasets komen voort uit de open data die beschikbaar gesteld wordt door DUO. De tweede dataset is een bestand welke bestaat uit de gegevens over de materiële bekostiging van scholen (Dienst Uitvoering Onderwijs, n.d.-f). De derde dataset is een bestand met de vestigingsgegevens van scholen (Dienst Uitvoering Onderwijs, n.d.-b). Het vierde

databestand is gevuld met data ten aanzien van de aantallen en het gewicht van leerlingen op schoolniveau (Dienst Uitvoering Onderwijs, n.d.-e). Het vijfde databestand waarvan gebruik gemaakt is, welke onderdeel is van de open data van DUO, is het bestand met data met indicaties over de prestaties van scholen (Dienst Uitvoering Onderwijs, n.d.-c).

Het zesde bestand waarvan gebruik gemaakt is, is een vragenlijst die uitgezet is bij directeuren (van vestigingen) van basisscholen. De vragenlijst is uitgezet bij scholen door het hele land door middel van een internetsurvey in april 2019. De survey is alleen uitgezet bij scholen waarvan in de andere datasets geen ontbrekende waardes zijn. In de vragenlijst is onder meer gevraagd naar de mate van cognitieve reflectie van de directeur en controle variabelen.

Deze datasets zijn met elkaar verbonden op basis van het unieke nummer dat aan elke school toegekend wordt door het ministerie van Onderwijs, Cultuur en Wetenschap. Daar

waar er naar vestiging gespecificeerde data beschikbaar was is dit nummer uitgebreid met het vestigingsnummer.

3.1 Meetinstrumenten

3.1.1 Prestatie.

Om de prestatie van scholen te meten is het van belang om een maat te nemen die voor alle scholen gelijk is. Daarom is er gekozen om gebruik te maken van de gemiddelde scores van leerlingen op een gestandaardiseerde eindtest van de basisschool. Scholen zijn verplicht om een betrouwbare en gevalideerde eindtest te gebruiken die voldoet aan de criteria van de Commissie Testaangelegenheden Nederland. Eén van de veelgebruikte testen hiervoor is de Cito test. De Cito test is een test die gebaseerd op verschillende subsets die het niveau van de leerling meet. Deze test werd altijd afgenomen in de tweede helft van het laatste jaar van de basisschool. Inmiddels zijn er echter ook scholen die deze test al in eerdere jaargangen afnemen. Binnen dit onderzoek wordt echter uitsluitend gekeken naar de score op de test in jaargang acht. Dit met name vanwege het niet verplichte karakter in eerdere

jaargangen waardoor een vertekend beeld zou kunnen ontstaan. De Cito test levert op basis van 200 vragen een score op die ligt op een schaal tussen 501 tot 550. In dit onderzoek wordt gekeken naar de gemiddelde score op de Citotoets van de school. Dit is het gemiddelde van de leerlingen die op deze school de test gemaakt hebben (er zijn leerlingen die uitgezonderd zijn om de test te hoeven maken). Indien er minder dan vijf leerlingen in een jaargang de test maken wordt vanwege de privacy het gemiddelde van de school niet gepubliceerd.

Binnen de 3400 scholen die in dit onderzoek meegenomen zijn (zie respondenten voor uitwerking hiervan) is de gemiddelde schoolscore op de cito toets in schooljaar 2016/2017 535,5 punten (spreiding 516,0-547,1). In schooljaar 2017/2018 was het gemiddelde ook 535,5 (spreiding 513,6 – 548,5).

3.1.2 Onstuimige omgeving.

Boyne en Meier (2009) beschrijven in hun artikel een meetmethodiek ten aanzien van de onstuimige omgeving van scholen. Zij bepalen de onstuimigheid door de verandering van de hulpmiddelen en de verandering van de complexiteit tussen twee jaren te nemen als maat voor de onstuimigheid die heeft plaatsgevonden. Deze veranderingen worden vervolgens gesommeerd om te komen tot de mate van een onstuimige omgeving.

Ten aanzien van de hulpmiddelen beschrijven Boyne en Meier (2009) een tweetal variabelen die van toepassing zijn op scholen. Het gaat dan om de hoogte van de beschikbare budgetten (beschikbare hulpmiddelen) en de hoeveelheid leerlingen (grootte van het

werkpakket) (Boyne & Meier, 2009). Ten aanzien van de complexiteit beschrijven Boyne en Meier (2009) dat dit voor scholen met name gevormd wordt door de achtergrond van de leerlingen. Ook binnen het Nederlandse primair onderwijs wordt de achtergrond van de leerling geregistreerd, door middel van gewichten die aan kinderen worden toegekend (Dienst Uitvoering Onderwijs, n.d.-d).

3.1.2.1 Hulpmiddelen - budget.

Ten aanzien van de beschikbare budgetten hebben scholen in het primair onderwijs twee hoofdstromen. Enerzijds het budget voor materiële instandhouding en anderzijds de personele bekostiging. Deze twee vormen van bekostiging bestaan beide uit jaarbedragen maar beslaan een andere periode van een jaar. De materiële bekostiging gaat over een kalenderjaar terwijl de personele bekostiging een periode van een schooljaar beslaat (sept-aug). Binnen dit onderzoek wordt er gekeken naar de effecten van een onstuimige omgeving op de prestaties van scholen op basis van het eindresultaat van een schooljaar. Daarom worden de materiële budgetten herrekent volgens de volgende berekeningsmethode.

Materieel budget schooljaar 2017-2018 = Materiaalbudget 2017 * 4 + materiaalbudget 2018 * 8. De onstuimigheid is dan het absolute procentuele verschil in beschikbaar budget

(materieel +personeel budget) tussen het schooljaar 2016/2017 en schooljaar 2017/2018. Aangezien er voor de onstuimigheid alleen van belang is wat de grootte van de verandering is, en niet of er een positieve of negatieve verandering heeft plaatsgevonden, wordt er gebruik gemaakt van de absolute verandering (Boyne & Meier, 2009).

De gemiddelde budgettaire verandering tussen schooljaar 2016/2017 en 2017/2018 is 6,11%. Hierbinnen was een spreiding van een verschil van 0,0% tot 181,75%.

3.1.2.2 Hulpmiddelen - aantal leerlingen.

Voor de verandering in het aantal leerlingen tussen schooljaar 2016/2017 en 2017/2018 is bekeken wat het absolute procentuele verschil is in de af- of toename van het aantal leerlingen tussen schooljaar 2016/2017 en 2017/2018. Aangezien binnen deze scriptie gekeken wordt naar de verandering en niet naar de richting van de verandering sluit een absolute waarde beter aan. Procentueel is er per school gemiddeld een verschil van 6,18% tussen beide schooljaren (spreiding 0,0% - 547,22%).

3.1.2.3 Outliers Leerlingen en Budget.

Ten aanzien van grote veranderingen in het budget of het aantal leerlingen is het aannemelijk dat er andere zaken speelden dan regulier management. Denk bijvoorbeeld aan het fuseren van scholen waardoor het leerlingenaantal sterk veranderd. Om te bepalen welke scholen hierbinnen vallen is gesteld dat alle scholen die als outlier berekend worden hiermee te maken hebben gehad. Voor het berekenen van de outliers is gebruik gemaakt van de Median Absolute Deviation (MAD) (Leys, Ley, Klein, Bernard, & Licata, 2013; Rousseeuw & Croux, 1993). Bij deze methode wordt in plaats van een aantal standaardafwijkingen vanaf het gemiddelde gekeken naar de absolute afwijking vanaf de mediaan (Leys et al., 2013). Leys en collega’s (2013) geven aan dat dit als voordeel heeft dat het sterke effect van outliers

op het gemiddelde mitigeert. Door dat effect zouden sterke afwijkingen ertoe kunnen leiden dat outliers niet als zodanig geïdentificeerd worden.

Bij deze methodiek wordt uitgegaan van de mediaan (Leys et al., 2013). Voor de verandering van het aantal leerlingen is dat in dit onderzoek -0,9693% en voor de budgettaire verandering is dat 3,837% (in de niet absolute dataset). Vervolgens wordt de absolute waarde genomen van de scores per school verminderd met de mediaan (Leys et al., 2013). De MAD wordt vervolgens bepaald door de mediaan van deze herrekende variabele te bepalen en te vermenigvuldigen met 1,4826 (Leys et al., 2013). De waarde van 1,4826 is een constante die gebruikt wordt als er van een normaal verdeelde dataset uitgegaan wordt (Rousseeuw & Croux, 1993). Voor de verandering van het aantal leerlingen betekent dit een MAD-score van 5,9989 en voor het budget van 5,0345.

Vervolgens moet een keuze gemaakt worden hoeveel MAD-scores vanaf de mediaan en waarde een outlier zijn (Leys et al., 2013). Keuzes hierin lopen van 2,0 (weinig

conservatief), 2,5 (gematigd conservatief) tot 3,0 (sterk conservatief) (Miller, 1991). Binnen dit onderzoek is ervoor gekozen om een sterk conservatieve waarde te nemen van 3,0 zodat alleen scholen waarbij uitzonderlijke zaken voor de verandering in budget of leerlingenaantal zorgen.

Dit betekent dat voor de verandering van het aantal leerlingen de volgende

percentages als outlier gezien worden. Mediaan- 3*MAD < x < M + 3 * MAD. Oftewel alle scores die hoger liggen dan -0,9693 + (3*5,9989) = 17.0274% en lager dan 0,9693 –

(3*5,9989) = -18,9660%.

Voor de budgettaire verandering ziet de berekening er als volgt uit. Mediaan- 3*MAD < x < M + 3 * MAD. Oftewel alle scores die hoger liggen dan 3,8397 + (3*5,0345) =

Als we deze bandbreedte hanteren op de verandering van het leerlingenaantal vallen 126 scholen hierbuiten. Hetzelfde is te doen voor de budgettaire verandering. Hierbij vallen 119 scholen buiten de bandbreedte. Hiervan zijn 77 nog niet geïdentificeerd als outlier op basis van de verandering van het aantal leerlingen. Dit houdt in dat er volgens deze

methodiek 203 outliers in de dataset zitten en er 3197 scholen niet als outlier geïdentificeerd zijn.

3.1.2.4 Complexiteit - niveau leerlingen.

Ten aanzien van de complexiteit beschrijven Boyne en Meier (2009) dat dit voor scholen met name gevormd wordt door de achtergrond van de leerlingen. Ook binnen het Nederlandse primair onderwijs wordt hier rekening mee gehouden door middel van

gewichten die aan kinderen worden toegekend (Dienst Uitvoering Onderwijs, n.d.-d). Waar echter in het geval van de Verenigde Staten met name naar inkomen en raciale achtergrond van de ouders wordt gekeken is in de Nederlandse situatie het opleidingsniveau van de ouders bepalend (Boyne & Meier, 2009; Dienst Uitvoering Onderwijs, n.d.-d). In de Nederlandse situatie leidt dit tot drie categorieën1 (Rijksoverheid, 2006) .

1. Een categorie met gewicht 0,0 waarbij er geen extra gewicht wordt toegekend aan het kind;

2. Een categorie met gewicht 0,30. Waarbij beide ouders niet meer dan maximaal het niveau praktijkonderwijs of voorbereidend beroepsonderwijs van de

basisberoepsgerichte leerweg of de kaderberoepsgerichte leerweg hebben.

3. Een categorie met gewicht 1,20. Waarbij een ouder alleen basisonderwijs heeft en van wie de andere ouder maximaal praktijkonderwijs of voorbereidend

1 _{Per 2018 worden ook gegevens bijgehouden per categorie Nederlands onderwijs aan anderstaligen}

(NOAT) (Dienst Uitvoering Onderwijs, n.d.-a). Echter aangezien er alleen gegevens beschikbaar zijn over 2018 wordt deze categorie niet meegenomen in dit onderzoek

beroepsonderwijs van de basisberoepsgerichte leerweg of de kaderberoepsgerichte leerweg heeft.

Voor dit onderzoek wordt uitgegaan van de twee gewichten ten aanzien van de complexiteit. Voor de schooljaren 2017/2018 en 2016/2017 is gekeken naar het aantal leerlingen dat in één categorie valt als percentage van het totale aantal leerlingen op een vestiging van een basisschool. Dit is opgesplitst naar een percentage leerlingen binnen categorie 0,30 en een percentage leerlingen binnen categorie 1,20. Om vervolgens te bezien wat de verandering per school op jaarbasis is, is het absolute verschil genomen van het percentage leerlingen in categorie 0,30 en 1,20 van schooljaar 2017/2018 en 2016/2017. Op deze wijze wordt het verschil in procentpunt tussen de twee jaren als waarde genomen voor de verandering in complexiteit van het leerlingenbestand. Er is voor een absolute waarde gekozen aangezien in dit onderzoek de verandering centraal staat en niet de richting van de verandering.

Er is gekozen om met een verandering in procentpunt te werken aangezien er veel scholen zijn in de betreffende jaren die geen lesgeven aan leerlingen die binnen één of meerdere categorieën vallen. Door met een procentpunt veranderingen te werken is de verandering per jaar dan wel inzichtelijk te maken.

3.1.3 Cognitieve reflectie.

De mate van cognitieve reflectie kan getest worden door middel van de Cognitive Reflection Test (CRT) (Frederick, 2005) . Deze test is ontwikkeld om te meten in welke mate iemand de vaardigheid en neiging heeft om op een vraag te reflecteren en het geven van het eerste de beste antwoord dat te binnen schiet te kunnen inhiberen (Frederick, 2005).

Frederick (2005) toont aan dat deze test een goede voorspeller is voor de keuzes die mensen maken in keuze theorieën, zoals de prospect theory. De vragenlijst heeft een hoge mate van

correlatie met andere scores ten aanzien van cognitie (Frederick, 2005). Frederick (2005) geeft aan dat logisch is deze eenzelfde basis hebben, maar dat er wel dergelijk onderscheid is tussen zowel de scores als de mate waarin deze score bijvoorbeeld risicogedrag voorspeld. Campitelli en Gerrans (2014) weerleggen kritieken dat het een vragenlijst is die slecht

wiskundige onderlegdheid meet. Uit hun onderzoek komt naar voren dat een goede score met name volgt uit de inhibitie van het geven van een antwoord. De inhibitie kan het best

verklaard worden op basis van rationele denken (Campitelli & Gerrans, 2014). De CRT meet dus daadwerkelijk een specifiek construct dat het best gekwalificeerd kan worden als de mate waarin men reflecteert voordat men een keuze maakt.

Voor dit onderzoek is de oorspronkelijke CRT-vragenlijst bestaande uit drie vragen naar het Nederlands vertaald. Voor de oorspronkelijke vragen zie Appendix A.

1) Een honkbalknuppel en een bal kosten samen €1,10. De bal kost 1 euro meer dan de bal. Hoeveel kost de bal?

2) Vijf machines hebben vijf minuten nodig om vijf apparaatjes te maken. Hoelang hebben honderd machines nodig om 100 apparaatjes te maken?

3) Een gedeelte van een meer is bedekt met waterlelies. Elke dag verdubbelt het oppervlak met waterlelies in grootte. Als het 48 dagen duurt voordat het meer volledig is bedekt met waterlelies, hoe lang duurt het dan voordat de helft van het meer is bedekt?

De score op de CRT is vervolgens berekent door voor elk goed antwoord één punt te geven en de score op de drie vragen te sommeren (levert een score tussen de 0 en 3 op). De cronbach’s alpha is 0,52. Op zich is dit een redelijke score voor een dergelijke vragenlijst. Toen de vragenlijst oorspronkelijk gepubliceerd werd is er geen betrouwbaarheidswaarde bepaald (Frederick, 2005). In een aantal studies die daarna met deze schaal gedaan zijn is deze wel bepaald. Hierin is te vinden dat de cronbach’s alpha rond de 0,57 en 0,74

schommelt (Liberali, Reyna, Furlan, Stein, & Pardo, 2012; Morsanyi, Busdraghi, & Primi, 2014). De score in dit onderzoek zit dus aan de onderkant van de betrouwbaarheid. Dat de vragenlijst in dit onderzoek iets lager scoort kan komen doordat het een vertaling is.

3.1.4 Openstaan voor nieuwe informatie.

Er zijn meerdere onderzoeken die dit construct naar een vragenlijst omgezet hebben. In veel gevallen ontstaat de vragenlijst uit verschillende constructen die samen Active OpenMindedness (AOM) vormen. Sá, Kelley, Ho, en Stanovich (2005) beschrijven bijvoorbeeld hoe ze een 36-item vragenlijst samenstellen uit de vragenlijsten voor

1) Openheid uit de NEO personality inventory; 2) Dogmatisme;

3) Flexibel denken; en 4) Belief identification

Een zelfde soort samenstelling van de vragenlijst is te zien in andere artikelen (Sá, West, & Stanovich, 1999; Stanovich & West, 1997).

Dit maakt het een onhandige vragenlijst om te gebruiken in andere onderzoeken. Enerzijds omdat het een vrij lange vragenlijst is, anderzijds omdat het meerdere concepten meet. Zowel Haran, Ritov, en Mellers (2013) als Price, Ottati, Wilson, en Kim (2015) en Baron (2018) komen tot vragenlijsten voor AOM die een stuk korter zijn zodat deze toe te passen zijn als onderzoeksinstrument bij andere onderzoeken. Alle drie de vragenlijsten komen voor een groot gedeelte met elkaar overeen. Voor dit onderzoek zal gebruik gemaakt worden van de vragenlijst zoals Haran et al (2013) deze gebruiken. Deze vragenlijst wordt namelijk ook gebruikt binnen het onderzoeksproject van Tetlock om te onderzoeken of AOM samenhangt met goed voorspellen (Mellers, Stone, Atanasov, et al., 2015; Mellers, Stone, Murray, et al., 2015).

De vragenlijst van Haran et al (2013) is vertaald uit het Engels voor dit onderzoek (voor de originele vragenlijst zie Appendix B).

1. Overtuigd te kunnen worden door argumenten vanuit een tegenovergestelde visie is een goede karaktereigenschap.

2. Mensen zouden bewijs dat tegen hun eigen overtuiging ingaat in overweging moeten namen.

3. Mensen zouden overtuigingen die ze hebben moeten aanpassen als er nieuwe relevante informatie of bewijs beschikbaar komt.

4. Van mening veranderen is een teken van zwakte.

5. Intuïtie is de beste raadgever bij het nemen van beslissingen.

6. Het is belangrijk om vast te houden aan je overtuigingen ook als er bewijs is dat hier tegenin gaat.

7. Bewijs dat tegen je gevestigde overtuigingen in gaat zou je moeten negeren.

De vragen worden op een zevenpunts Likertschaal beantwoord (helemaal oneens = 1, niet mee eens, niet mee oneens =4 en helemaal eens = 7) waarvan de laatste vier vragen omgekeerd gescoord worden. De score van active openmindedness wordt bepaald door het gemiddelde van de vragen te nemen. De cronbach’s alpha is 0,61. Dit is een redelijke goede score voor een vragenlijst. In het onderzoek van Haran et al. (2013) wordt geen

betrouwbaarheidsindicatie d.m.v. een cronbach’s alpha gegegeven. Mellers et al. (2015) berekenen wel een cronbach’s alpha voor deze schaal, zij vinden een cronbach’s alpha van 0,65. Hiermee scoort de vragenlijst in dit onderzoek bijna hetzelfde.

3.1.5 Counterfactual thinking.

Er zijn nauwelijks vragenlijsten beschikbaar om de predispositie voor counterfactual thinking goed te meten. Veelal wordt teruggegrepen op onderzoeksopzetten waarbij de