Verklaring eigen werk
Auteur: L. van Eerde MSc. Begeleider: dr. S. van Hoek-Gerritsen Datum: 14-12-2018
Studentnummer: 11383062 Amsterdam
Opleiding: EMIA
Universiteit van Amsterdam
INTERNAL AUDIT & DE BEVESTIGINGSBIAS.
Een theoretisch en experimenteel onderzoek naar de invloed van de
bevestigingsbias in het oordeelsvormingsproces
2
Hierbij verklaar ik, Liane van Eerde, dat ik deze scriptie zelf geschreven heb en dat ik de volledige verantwoordelijkheid op me neem voor de inhoud ervan.
Ik bevestig dat de tekst en het werk dat in deze scriptie gepresenteerd wordt origineel is en dat ik geen gebruik heb gemaakt van andere bronnen dan die welke in de tekst en in de referenties worden genoemd.
De Faculteit Economie en Bedrijfskunde is alleen verantwoordelijk voor de begeleiding tot het inleveren van de scriptie, niet voor de inhoud.
3
VOORWOORD
“Zoekt, en gij zult vinden.” (Mattheüs 7, nieuwe testament) Dit zevende vers uit hoofdstuk 7 van Mattheüs is tegenwoordig een bekend spreekwoord. Dit spreekwoord houdt in dat als je maar lang genoeg volhoudt je bereikt wat je wilt bereiken.
Enerzijds een mooie wijsheid en een motiverende slogan, met deze instelling heb ik tevens deze scriptie en de Executive Master Internal Audit (EMIA) aan de UVA afgerond.
Anderzijds, in het oordeelsvormingsproces een ietwat gevaarlijke uitspraak ‘zoekt, en gij zult vinden’.
In de huidige samenleving kennen we een informatie-overload door alle technologische ontwikkelingen die in sneltreinvaart op ons afkomen. Gebruik een willekeurige zoekmachine en typ in
‘kokosolie is gezond’, er zullen talloze websites verschijnen met redenen waarom kokosolie inderdaad gezond is. Echter wanneer je intypt ‘kokosolie is niet gezond’, zal je voldoende informatie vinden om te concluderen dat kokosolie toch niet zo gezond is. Het gevaar is, dat we op elk mogelijke conclusie kunnen uitkomen afhankelijk van wat, waar en wanneer we zoeken.
Getriggerd door verschillende onderzoeken naar de blinde vlekken van het menselijk brein was ik erg benieuwd naar de valkuilen in het denken en vertekende oordeelsvorming bij de internal auditor. En dan met name de bevestigingsbias. Naarmate ik meer onderzoeken tot me nam, kwam ik erachter dat ook ik me schuldig maak aan het op zoek zijn naar bevestiging. Zou ik bevooroordeeld zijn en het niet eens weten?
Met deze vraag ben ik enthousiast deze scriptie begonnen. Ik ben tot mooie inzichten gekomen die ik graag door middel van dit document wil delen.
Tot slot wil ik graag mijn scriptiebegeleider Susanne en mijn vriend Silvio bedanken voor hun steun en hulp gedurende dit traject.
Liane van Eerde, Amsterdam, december 2018
4
SAMENVATTING
In dit verkennende onderzoek wordt de mate waarin internal auditors worden beïnvloed door de bevestigingsbias onderzocht bij het vormen van een oordeel. De bevestigingsbias komt onder andere tot uiting bij het hanteren van een positieve teststrategie, het slechts gebruiken van confirmatie bij het testen van hypothesen, en bij het interpreteren van data op een selectieve wijze. Twee experimenten zijn uitgevoerd om een eerste indicatie te geven van de internal auditor in relatie tot de bevestigingsbias.
Het eerste experiment, gebaseerd op het experiment van Wason (1960), is zo ontworpen om vast te stellen of de internal auditor een positieve teststrategie hanteert bij het testen van hypothesen. Het tweede experiment, gebaseerd op het experiment van Kahan, Peters, Dawson en Slovic (2017), test in hoeverre de bevestigingsbias invloed heeft op de wijze waarop een internal auditor data interpreteert door middel van het presenteren van verschillende vraagstukken.
De resultaten van het eerste experiment geven een indicatie dat de internal auditor een voorkeur heeft voor het hanteren van een positieve teststrategie tegenover het hanteren van falsificatie. De bevestigingsbias komt tot uiting in het eerste experiment door het toepassen van deze positieve teststrategie middels het slechts te confirmeren van gevormde overtuigingen. Aanvullend blijkt uit dit eerste experiment dat internal auditors conclusies trekken op basis van onvoldoende en zwak bewijsmateriaal.
De resultaten van het tweede experiment geven een indicatie dat de bevestigingsbias de wijze waarop data wordt geïnterpreteerd door een internal auditor beïnvloed, wanneer niet eenduidig bewijsmateriaal wordt vertoond. Een oorzaak van deze selectieve data-interpretatie kan liggen bij de bevestigingsbias, door het aannemen van een (onjuiste) denkrichting alvorens het bruikbare bewijsmateriaal te analyseren. De bevestigingsbias zorgt hiermee voor selectieve informatieassimilatie, waarbij bewijsmateriaal dusdanig wordt geïnterpreteerd zodat het aan initiële verwachtingen voldoet.
5
INHOUDSOPGAVE
1 INLEIDING ... 7
1.1 Aanleiding ... 7
1.2 Doel en vraag... 9
1.3 Onderzoeksmethode ... 9
1.4 Opzet scriptie ... 10
2 DE BEVESTIGINGSBIAS BIJ DE INTERNAL AUDITOR ... 11
2.1 Inleiding... 11
2.2 Verantwoordelijkheden en beperkingen van het internal auditvakgebied ... 11
2.2.1 Verantwoordelijkheden van een internal auditor ... 11
2.2.2 Beperkingen van het internal auditvakgebied ... 13
2.3 De bevestigingsbias ... 14
2.3.1 Valkuilen in het denken ... 14
2.3.2 Definitie bevestigingsbias ... 16
2.4 De bevestigingsbias en de internal auditor ... 16
2.4.1 De bevestigingsbias via informatieverwerving en –assimilatie ... 16
2.4.2 De bevestigingsbias in een omgeving van onzekerheid ... 18
2.4.3 Bevestigingsbias onderzocht bij de external auditor ... 19
2.5 De bevestigingsbias tot uiting ... 20
2.5.1 De bevestigingsbias via de positieve teststrategie ... 21
2.5.2 De bevestigingsbias via het gebruik van selectieve data-interpretatie ... 22
2.6 Conclusie hoofdstuk 2 ... 23
3 DE BEVESTIGINGSBIAS BIJ INTERNAL AUDITORS IN DE PRAKTIJK ... 25
3.1 Inleiding... 25
3.2 Doelstelling van het praktijkonderzoek ... 25
3.3 Opzet van het praktijkonderzoek ... 26
3.3.1 Methode van het onderzoek ... 26
3.3.2 Betrouwbaarheid en validiteit van het onderzoek ... 27
3.3.3 Populatie en selectie van proefpersonen ... 28
3.4 Experiment 1: de 2-4-6 taak ... 29
3.4.1 Doel van experiment 1: 2-4-6 taak ... 29
6
3.4.2 Methode van experiment 1: 2-4-6 taak ... 30
3.4.3 Resultaten van experiment 1: 2-4-6 taak ... 31
3.5 Experiment 2: twee complexe vraagstukken ... 36
3.5.1 Doel van experiment 2: twee complexe vraagstukken ... 36
3.5.2 Methode van experiment 2: twee complexe vraagstukken ... 37
3.5.3 Resultaten van experiment 2: twee complexe vraagstukken ... 42
3.6 Conclusie resultaten ... 44
4 DISCUSSIE EN ADVIEZEN... 46
4.1 Inleiding... 46
4.2 Theoretische implicaties ... 46
4.3 Adviezen voor internal auditors afgeleid van dit onderzoek ... 46
4.3.1 Beter bewustzijn ... 47
4.3.2 Objectieve teststrategie ... 48
4.3.3 Onwetende houding ... 49
4.3.4 Diversiteit ... 50
4.4 Samenvatting analyse en resultaten ... 51
5 CONCLUSIE ... 52
5.1 Inleiding... 52
5.2 Conclusies van het onderzoek ... 52
5.3 Beperkingen... 53
5.4 Vervolgonderzoek ... 55
LITERATUURLIJST ... 56
Bijlage 1a Selectie proefpersonen 2-4-6 taak ... 60
Bijlage 1b Instructie 2-4-6 taak... 60
Bijlage 1c Formulier 2-4-6 taak ... 61
Bijlage 2a Selectie proefpersonen twee complexe vraagstukken ... 62
Bijlage 2b Cases 1 t/m 4 twee complexe vraagstukken ... 63
7
1 INLEIDING
1.1 Aanleiding
De internalauditfunctie krijgt steeds meer erkenning vanuit het bedrijfsleven, de overheid, toezichthouders en beleggers. Dit blijkt onder andere uit de prominentere plek die de internalauditfunctie heeft verworven in de nieuwste Corporate Governance Code. Hierin komt de internalauditfunctie naar voren als een belangrijk onderdeel van risicomanagement binnen een organisatie. De functie heeft hierbij de rol om ‘de opzet en de werking van interne risicobeheersings- en controlesystemen te beoordelen’ (Monitoring Commissie Corporate Governance Code, 2016, p. 14).
Om deze rol goed te kunnen vervullen dienen de oordelen van een internal auditor een zo juist mogelijk beeld van de werkelijkheid te reflecteren. De beroepsgroep internal audit dient daarom oog te houden voor eventuele beperkingen van de internal auditor en het internal auditvak, en de mogelijkheid om de functie te verbeteren en door te ontwikkelen.
De kerntaak van een internalauditfunctie, volgens het Instituut van Internal Auditors (hierna: IIA), is het verstrekken van redelijke zekerheid aan het topmanagement. Met andere woorden het met voldoende zekerheid constateren dat auditobjecten op orde zijn door middel van gedegen, objectief en deskundig onderzoek (IIA, 2017, p. 7). Van een internal auditor wordt dan ook verwacht dat hij of zij te allen tijde objectief handelt.
Literatuur over de werking van het menselijk brein en valkuilen in het denken laat ons echter vermoeden dat complete objectiviteit een utopie is (Gilovich, Griffin, & Kahneman, 2002, p. 52; Knapp
& Knapp, 2012, p. 40).
Het IIA beschouwt objectiviteit als een onpartijdige en onbevooroordeelde houding en het vermijden van belangenverstrengelingen (IIA Global, 2017, p. 5). Deze definitie lijkt te suggereren dat complete objectiviteit een bewuste keuze is. Van de internal auditor wordt kritisch nadenken verwacht en hiermee dus het nemen van beslissingen op basis van gedegen onderzoek. Echter uit onderzoek onder rechters, een beroepsgroep waarbij je ook complete objectiviteit verwacht, blijkt dat zij zich vaak niet bewust zijn van aanwijzingen die hen leiden om beslissingen te nemen. Gebleken is dat rechters tot verschillende conclusies komen wanneer zij geconfronteerd worden met dezelfde cases (Kahneman &
Klein, 2009, p. 516).
8
Een van de oorzaken van deze onbewuste beïnvloeding van objectiviteit is ‘de bevestigingsbias’. Dit is een valkuil in het denken. Bovendien wordt de bevestigingsbias ook wel gezien als een van de grondoorzaken van geschillen, onenigheden en misverstanden tussen individuen, groepen en naties (Nickerson, 1998, p. 175). Meer concreet, is het een neiging die kan bijdragen aan het afzwakken van risico’s en de neiging om naar informatie te zoeken die onze bestaande overtuigingen ondersteunt (Murato, Nakamura, & Karwowski, 2015, p. 46). Veel neurowetenschappers zien de bevestigingsbias als een voldoende sterk en doordringende bias die aandacht en onderzoek verdient (Knapp & Knapp, 2012, p. 40).
Ondanks het bestaan van individuele variatie lijkt het erop dat iedereen tot op zekere hoogte wordt beïnvloed door de bevestigingsbias. Factoren zoals algemene intelligentie of de mate waarin iemand een ‘open mind’ heeft, hebben geen significante invloed op deze beïnvloeding (Stanovich & West, 2007, p. 226; Stanovich & West, 2008a, p. 130; Stanovich & West, 2008b, p. 673).
Uit onderzoek blijkt tevens dat individuen zich vaak niet bewust zijn van het beïnvloed worden door de bevestigingsbias (Nickerson, 1998, p. 175; Kahneman & Klein, 2009, p. 518). Een dergelijk gebrek aan bewustzijn is een belangrijke reden waarom de bevestigingsbias in een breed scala van disciplines, van psychologie en het bedrijfsleven tot politiek en onderwijs wordt onderzocht.
Internal auditors lijken dus ook niet onder de bevestigingsbias uit te komen. Met name omdat de bevestigingsbias voorkomt in situaties waarin oordelen moeten worden gevormd onder condities van onzekerheid (Jonas, Schulz-Hardt, Frey, & Thelen, 2001, p. 557). Internal auditors houden zich bezig met het inschatten van risico’s en het vormen van oordelen op basis van vaak onvolledige informatie (ACCA, 2017, p. 8). Het risico bestaat dan ook dat de oordeelsvorming en risico-inschattingen van de internal auditor beïnvloed worden door deze bias. Deze bias tast namelijk mogelijk onbedoeld de onbevooroordeelde houding en hiermee de objectiviteit aan van de internal auditor. Het management neemt beslissingen gebaseerd op, mogelijk door deze bias beïnvloede, risico-inschattingen en oordelen van internal auditors. De bevestigingsbias kan hiermee ingrijpende gevolgen hebben voor zowel het management maar ook voor andere stakeholders van de organisatie. De rol die de bevestigingsbias speelt in het internal auditvak, in het bijzonder bij de oordeelsvorming van een internal auditor, is daarom de focus van dit onderzoek.
9 1.2 Doel en vraag
In dit onderzoek is onderzocht in hoeverre de oordeelsvorming van de internal auditor wordt beïnvloed door de bevestigingsbias.
Het doel van dit onderzoek is het creëren van bewustwording van potentiële vooroordelen en zwakheden van onze hersenen. Daarnaast tracht dit onderzoek een indicatie te geven van de manier waarop de oordeelsvorming van de internal auditor beïnvloed kan worden door de bevestigingsbias.
Het resultaat van dit onderzoek is het aanreiken van praktische adviezen om in de dagelijkse praktijk beïnvloeding door de bevestigingsbias zoveel mogelijk te kunnen beperken.
In de dagelijkse praktijk van het internal auditvak wordt nog weinig aandacht besteed aan de werking van het brein en de valkuilen van het denken. Dit brengt risico’s met zich mee voor de kwaliteit van internal auditors en de output die zij leveren. Dit kan invloed hebben op de kwaliteit van risicobeheersing van de organisatie. In het internal auditvak waar objectiviteit van groot belang is, is dus aandacht vereist voor deze valkuilen in het denken.
De centrale onderzoeksvraag luidt: in hoeverre beïnvloedt de bevestigingsbias de oordeelsvorming van de internal auditor?
Hierbij zijn drie deelvragen geformuleerd:
1. Welke hypothesen kunnen uit de literatuur worden afgeleid met betrekking tot de internal auditor in relatie tot de bevestigingsbias?
2. In hoeverre blijkt uit experimenten dat internal auditors beïnvloed worden door de bevestigingsbias in hun oordeelsvorming?
3. Welke praktische en theoretische adviezen kunnen worden gegeven aan het internal auditvakgebied op basis van de resultaten van dit onderzoek?
1.3 Onderzoeksmethode
Het onderzoek bestond uit ten eerste een literatuurstudie en ten tweede twee experimenten. Het onderzoek is uitgevoerd conform het onderzoeksmodel in figuur 1.
10
FIGUUR 1 ONDERZOEKSMODEL
Een bestudering van vaktechnische en wetenschappelijke literatuur over de bevestigingsbias en het internal auditvakgebied, hebben geleid tot het vormen van een hoofdhypothese en twee deelhypothesen (A). Deze twee deelhypothesen zijn getoetst door middel van praktijkonderzoek, uitgevoerd middels twee experimenten (B). Een analyse van de resultaten van de experimenten (C) heeft tot slot geleid tot een analytische bespreking over de praktische en theoretische betekenis van de bevestigingsbias bij de internal auditor (D).
1.4 Opzet scriptie
In hoofdstuk 2 wordt het literatuuronderzoek beschreven naar de bevestigingsbias in relatie tot het internal auditvakgebied. In dit hoofdstuk worden tevens de hypothesen beschreven.
In hoofdstuk 3 worden de twee experimenten beschreven, uitgevoerd onder twee groepen internal auditors, en de resultaten hiervan.
In hoofdstuk 4 worden praktische adviezen gegeven, tot stand gekomen voor internal auditors, om de bevestigingsbias zoveel mogelijk te beperken. In dit hoofdstuk worden tevens de beperkingen van het onderzoek en suggesties voor verder onderzoek besproken.
Ten slotte geeft hoofdstuk 5 antwoord op de onderzoeksvraag door middel van een conclusie.
11
2 DE BEVESTIGINGSBIAS BIJ DE INTERNAL AUDITOR
2.1 Inleiding
Het doel van dit hoofdstuk is het vormen van hypothesen. Deze zijn gebaseerd op verwachtingen tot stand gekomen door analyse van wetenschappelijke en vaktechnische literatuur. In paragraaf 2.2 wordt het speelveld beschreven waarin een internalauditfunctie opereert. Vervolgens komt de definitie van de bevestigingsbias als valkuil in het denken aan bod in paragraaf 2.3. In paragraaf 2.4 wordt de vatbaarheid voor de bevestigingsbias besproken in relatie tot de internal auditor. In paragraaf 2.5 wordt de manier besproken waarop de bevestigingsbias tot uiting komt. En ten slotte in paragraaf 2.6 wordt de literatuur kort samengevat en de hypothesen herhaald.
2.2 Verantwoordelijkheden en beperkingen van het internal auditvakgebied
Deze paragraaf geeft de verantwoordelijkheden en kenmerken van het internal auditvakgebied weer.
De definitie van internal auditing (2.2.1), audits (2.2.1) en de drie auditbeperkingen (2.2.2) komen aan bod met als doel het speelveld te schetsen waarbinnen een internal auditor werkzaam is.
2.2.1 Verantwoordelijkheden van een internal auditor
Om vast te stellen op welke wijze de internal auditor volgens de literatuur beïnvloed kan worden door de bevestigingsbias, wordt eerst uiteengezet wat de verantwoordelijkheden en het doel van de internalauditfunctie zijn. Om de verantwoordelijkheden vast te stellen wordt de definitie van internal auditing gebruikt, opgesteld door het IIA. De definitie luidt:
“Internal auditing biedt onafhankelijke en objectieve audit- en adviesdiensten, die bedoeld zijn om meerwaarde te leveren en de activiteiten van een organisatie te verbeteren. De internalauditfunctie helpt een organisatie haar doelstellingen te realiseren door op basis van een systematische en gedisciplineerde aanpak de doelmatigheid van de processen van governance, risicomanagement en beheersing te evalueren en te verbeteren (IIA Global, 2018)”.
Van de internalauditfunctie wordt, volgens Van de Kieft (2016), verwacht dat inzicht wordt geboden in de werkelijke stand van zaken van een organisatie. Dit dient te worden gedaan door een reëel en objectief beeld te schetsen over hoe processen feitelijk lopen (Van de Kieft, 2016, p. 24). Hoewel er
12
door stakeholders steeds meer van de internal auditor wordt verwacht op het gebied van strategische en opkomende risico assessments, is de voornaamste taak van de internalauditfunctie, zo stelt het IIA, tot op heden nog steeds het geven van zekerheid. Hoofdactiviteiten hierbij zijn het uitvoeren van audits en het schrijven van auditrapporten (IIA, Bogstra & Renes, 2017, pp. 7-11). Audits worden door het IIA gedefinieerd als:
“Een objectieve beoordeling van bewijsstukken om op basis hiervan een advies of conclusie over een entiteit, activiteit, functie, proces, systeem of overige materie op te stellen (IIA Nederland, 2017, p. 2)”.
In deze definitie komt de objectiviteit van een internal auditor naar voren als een belangrijke eigenschap. Net als in de definitie van internal auditing. Dit wordt nogmaals benadrukt in standaard 1120, waarin individuele objectiviteit als volgt wordt beschreven door het IIA:
“Internal auditors moeten een onpartijdige en onbevooroordeelde houding hebben en elke belangenverstrengeling vermijden (IIA Global, 2017, p. 5)”.
In deze standaard wordt objectiviteit gelinkt aan het begrip onafhankelijkheid, door het hanteren van de begrippen ‘onpartijdig’ en ‘belangenverstrengeling’. Echter in dit onderzoek gaat het niet zo zeer om de ‘bewuste’ objectiviteit, maar des te meer over de ‘onbewuste’ objectiviteit. Onder onbewuste objectiviteit wordt dan verstaan, de objectiviteit waarvoor je niet bewust kiest. Voorbeelden zijn valkuilen in het denken en het maken van onbewuste keuzes. Het doel van objectiviteit is het kunnen schetsen van de werkelijke stand van zaken en het tonen van een en dezelfde spiegel door elke willekeurige internal auditor. In dit onderzoek wordt daarom de volgende definitie van objectiviteit gehanteerd:
“Een observatie of meting die vrij is van de interpretatie door degene die een observatie of meting uitvoert (Van Alphen, 2016, p. 213)”.
Deze definitie onderstreept namelijk een belangrijk aspect: het hebben van een waardevrije houding ten tijde van het uitvoeren van een audit. Dit houdt praktisch in dat uitkomsten reproduceerbaar dienen te zijn. Dit wil zeggen dat elke internal auditor die dezelfde audit uit zou voeren, tot dezelfde conclusie komt (Moed, 2006, p. 40).
13
Adviezen en conclusies van internal auditors dienen dus, zo geeft de literatuur aan, gebaseerd te zijn op een objectieve, waardevrije beoordeling van bewijsstukken. Maar bij het analyseren en verzamelen van bewijsstukken kennen internal auditors drie beperkingen die de mate van objectiviteit binnen een audit onder druk zouden kunnen zetten.
2.2.2 Beperkingen van het internal auditvakgebied
Het internal auditvakgebied kent net als het external auditvakgebied drie beperkingen. De beperkingen van het auditproces, zo stelt de ACCA (Association of Chartered Certified Accountants), hebben invloed op de wijze waarop informatie verzameld en geanalyseerd wordt. En hiermee dus op de wijze waarop oordeelsvorming tot stand komt.
De drie beperkingen in het auditproces zijn volgens de ACCA (2017): (1) het bestaan van informatie- asymmetrie tussen de auditee en de auditor, (2) een beperking in tijd en (3) een beperking in middelen (ACCA, 2017, p. 8). Ad (1): informatie-asymmetrie beschrijft een situatie waarin het bezit en de toegang tot informatie niet evenredig is verdeeld. Geconfronteerd met informatie-asymmetrie, kunnen individuen verschillende verwachtingen hebben over mogelijke uitkomsten en op basis van deze verwachtingen handelen (White & Neale, 1994, p. 304).
Ad (2) en (3): hoewel de internal auditor de aard en de reikwijdte van een auditopdracht bepaalt, kennen zij wel een beperking in tijd en middelen (IIA Nederland, 2017, p. 4). Dit zorgt er eveneens voor dat niet alle kanten van een te onderzoeken object kunnen worden belicht. De internal auditor dient daarom volgens de ACCA (2017) keuzes te maken op welke manier het object het best kan worden getest in de beschikbare tijd en met de beschikbare middelen. Dit veroorzaakt dat de internal auditor een selectie dient te maken van de te verzamelen informatie en de manier waarop deze informatie zal worden geanalyseerd, stelt de ACCA (2017).
Cummings (2010) beweert dat bij het nemen van beslissingen we zelden alle feiten tot onze beschikking hebben. Hij stelt dat zelfs als we dat zouden doen, onze hersenen niet in staat zouden zijn om oneindig mogelijke opties af te wegen (Cummings, 2010, p. 188). De ACCA benadrukt dat dit de reden is waarom internal auditors geen absolute zekerheid kunnen verschaffen (ACCA, 2017, p. 8).
14
Uit de literatuur blijkt dat van een internal auditor wordt verwacht dat hij of zij met een waardevrije houding objectieve oordelen moet kunnen vormen. Ondanks de auditbeperkingen dient een internal auditor een zo juist mogelijk beeld van de werkelijkheid te bieden. Het onbewust nemen van beslissingen op basis van vooroordelen, de bevestigingsbias, dient daarom tot een minimum beperkt te worden.
2.3 De bevestigingsbias
Deze paragraaf beschrijft het begrip de bevestigingsbias als valkuil in het denken. De begrippen heuristieken (2.3.1) en de bevestigingsbias (2.3.2) worden in relatie tot oordeelsvorming besproken.
2.3.1 Valkuilen in het denken
Vanaf het begin van deze eeuw is een grote intellectuele ontwikkeling te herkennen op het gebied van gedragseconomie (Mullainathan & Thaler, 2000). Volgens de Nobelprijswinnaar van de gedragseconomie in 2017, Richard Thaler, is gedragseconomie de combinatie van psychologie en economie die onderzoekt wat er gebeurt in markten waarin individuen menselijke beperkingen en complicaties vertonen (Thaler, 2016, p. 1577). Thaler is ervan overtuigd dat mensen lang niet altijd volledig rationeel zijn. Ook stelt hij dat mensen geneigd zijn om in de valkuilen van het denken te trappen. Op basis van onderzoeken concludeert hij dat mensen hun onderbuikgevoelens laten overheersen bij het maken van een keuze of oordeel, in plaats van te steunen op objectief bewijsmateriaal (Thaler, 2016, p. 1579).
Deze kennis is echter niet nieuw, de oorsprong van deze ontwikkeling ligt namelijk in de werken van de oude Griekse filosofen. Bijna 2500 jaar voor de huidige aandacht voor gedragseconomie, identificeerde Plato al voorspelbaar irrationeel gedrag gestuurd door het menselijk brein (Plato &
Helm, 2003).
Volgens Pligt (2015) is gedragseconomie ontwikkeld door veelvuldig onderzoek van wetenschappers naar het menselijk oordeelsvormingsproces. Het onderzoek van het menselijk oordeel richt zich op de denkprocessen waarmee personen beslissingen maken en oordelen vormen (Pligt, 2015, p. 922). Uit de literatuur blijkt dat mensen in valkuilen in het denken trappen, door hun oordelen te baseren op vooroordelen en het gebruik van ‘heuristieken’.
15
Heuristieken worden door Kahneman (2011) gedefinieerd als:
“Het gebruiken van een eenvoudige procedure om adequate, maar vaak imperfecte antwoorden op lastige vragen te vinden (Kahneman, 2011, p. 105)”.
Volgens Garro (2009) wordt in de informatica een heuristiek gedefinieerd als een algoritmische techniek die ontworpen is om een probleem op te lossen binnen een redelijk tijdsframe. Voorkeur wordt gegeven voor conceptuele eenvoud, wat ten koste gaat van de nauwkeurigheid voor de oplossing of het probleem zelf (Garro, 2009, p. 1018). In het internal auditvakgebied is het belangrijk om een zo accuraat mogelijke weergave te presenteren van de werkelijkheid (IIA Nederland, 2017, p. 22). Het IIA lijkt dan ook in standaard 1220, met betrekking tot beroepsmatige zorgvuldigheid, voorkeur uit te spreken voor juistheid boven efficiëntie (IIA Nederland, 2017, p. 7).
Garro (2009) definieert een heuristiek als een bewuste afweging betreft tussen efficiëntie en accuraatheid. Kahneman stelt echter in zijn onderzoek met Tversky (1974) dat individuen geneigd zijn heuristieken onbewust te gebruiken om het maken van ingewikkelde beslissingen te vergemakkelijken (Tversky & Kahneman, 1974, p. 1124). Ook stellen zij vast dat het gebruik van heuristieken kan leiden tot het maken van systematische denk- en oordeel fouten (Tversky & Kahneman, 1974, p. 1124).
Cummings (2010) beweert dat een heuristiek een strategie is die helpt bij het vormen van oordelen.
Ook noemt hij dat heuristieken een snelle, informele en intuïtieve manier zijn om oordelen tot stand te brengen en dat dit valkuilen in het denken met zich mee kan brengen. Ten slotte benoemt hij dat we zelden alle feiten tot onze beschikking hebben om een volledig rationele beslissing te kunnen maken.
Dit heeft voor het internal auditvakgebied tot gevolg dat internal auditors dan ook geen absolute zekerheid kunnen verschaffen, maar een redelijke mate van zekerheid, zoals de ACCA (2017) stelt.
Uit de literatuur blijkt dat mensen in valkuilen in het denken trappen en hiermee gebruik maken van heuristieken (Thaler, 2016, p. 1579). Mensen baseren hun oordelen op cognitieve vooroordelen met als doel het oordeelsvormingsproces te vergemakkelijken (Tversky & Kahneman, 1974, p. 1124). Deze cognitieve vooroordelen komen onder andere tot stand door ervaringen (Gilovich, Griffin, &
Kahneman, 2002, p. 155) en interesses (Kunda, 1990, p. 481; Greenstein & Immerman, 1992, p. 568).
16 2.3.2 Definitie bevestigingsbias
Uit de literatuur blijkt dat heuristieken in verschillende vormen tot uiting komen. Een veel voorkomende en bestudeerde bias is de bevestigingsbias. De bevestigingsbias impliceert, in de psychologische literatuur, de neiging om bewijsmateriaal te zoeken en te interpreteren om aanvankelijke hypothese te bevestigen in plaats van te weerleggen (Nickerson, 1998, p. 176). Dit houdt in dat individuen de neiging hebben om informatie te bevoordelen die eerder hun aanvankelijke hypothese bevestigt dan weerlegt (McMillan & White, 1993, p. 444). Een experiment, van Allen (2005), onder scholieren illustreert de essentie van dit gedrag waarbij studenten afwijkende gegevens negeren ofwel bepaalde aspecten gewoonweg niet zien vanwege het hebben van een niet corresponderende verwachting (Allen, 2005, p. 80). Ook stellen Koriat, Lichtenstein en Fischhoff (1980) dat individuen de neiging hebben om geen informatie te zoeken en zelfs te vermijden wanneer deze informatie niet overeenkomt met de bestaande hypothesen of overtuigingen (Koriat e.a., 1980, p.
107). Rassin, Eerland en Kuijpers (2010) vergelijken de bevestigingsbias met het hebben van een tunnelvisie: het door een bepaalde lens zoeken en interpreteren van bewijsmateriaal wanneer je al een bepaalde hypothese hebt gevormd (Rassin e.a., 2010, p. 231).
De bevestigingsbias wordt in de literatuur gezien als een valkuil in het denken: een neiging om bevestiging te zoeken om de bestaande cognitieve vooroordelen of overtuigingen in stand te houden.
2.4 De bevestigingsbias en de internal auditor
De bevestigingsbias kan het oordeelsvormingsproces beïnvloeden, zo stelt de literatuur. Deze paragraaf bespreekt de mogelijke relatie tussen de beïnvloeding door de bevestigingsbias en de internal auditor.
Besproken wordt via welke processen de bevestigingsbias een rol kan spelen in een audit (2.4.1) en welke rol onzekerheid speelt in relatie tot de bevestigingsbias (2.4.2). Ten slotte worden onderzoeken in de externe auditpraktijk besproken in relatie tot de external auditor en de beïnvloeding door de bevestigingsbias (2.4.3).
2.4.1 De bevestigingsbias via informatieverwerving en –assimilatie
Internal auditors houden zich voornamelijk bezig met het verzamelen en analyseren van bewijsmateriaal om op basis daarvan een conclusie te kunnen trekken (IIA Nederland, 2017, p. 2). Uit de literatuur komt naar voren dat de bevestigingsbias bij zowel het verzamelen van bewijsmateriaal
17
‘informatieverwerving’ als bij het analyseren van bewijsmateriaal ‘informatieassimilatie’ plaats kan vinden (Nickerson, 1998, p. 175; Allahverdyan & Galstyan, 2014, p. 2).
De bevestigingsbias, zo stelt Nickerson (1998), komt naar voren wanneer informatieverwerving en – assimilatie selectief plaatsvindt (Nickerson, 1998, p. 175). Selectieve informatieverwerving betreft het selectief zoeken naar informatie die overeenkomt met eerdere overtuigingen, verwachtingen en hypothesen. Selectieve informatieassimilatie daarentegen behelst het selectief interpreteren van informatie binnen een bestaand kader (Park e.a., 2013, p. 1052).
Advocaten die bewijslast verzamelen om de verdediging op te bouwen en een bepaalde positie vertegenwoordigen, kiezen bijvoorbeeld bewust voor het selectief verzamelen van bewijsmateriaal (Nickerson, 1998, p. 176). De bevestigingsbias bij de internal auditor, zoals in dit onderzoek wordt bedoeld, betreft het onbewuste proces van het selectief verzamelen en interpreteren van bewijsmateriaal voor het rechtvaardigen van een conclusie.
Selectieve informatieverwerving en selectieve informatieassimilatie, zo stellen Pinkley, Griffith en Northcraft (1995) en Johnston (1996), veroorzaken beide een versterkt vertrouwen in reeds gevormde overtuigingen, verwachtingen en hypothesen. Bovendien leiden zij tot het behoud van het al bepaalde standpunt van de onderzoeker, zelfs als dit standpunt niet gerechtvaardigd is op basis van alle beschikbare informatie (Pinkley e.a., 1995, p. 101; Johnston, 1996, p. 800).
Aan het onterecht rechtvaardigen van een uiteindelijke conclusie, zo blijkt uit de literatuur, kunnen dus twee informatieprocessen ten grondslag liggen, ofwel het bevooroordeeld interpreteren van bewijsmateriaal (selectieve informatieassimilatie) ofwel het bevooroordeeld op zoek gaan naar bewijsmateriaal (selectieve informatieverwerving). De internal auditor kan bij het uitvoeren van zijn werkzaamheden via deze twee informatieprocessen mogelijk worden beïnvloed door de bevestigingsbias. Jonas, Schulz-Hardt, Frey en Thelen (2001) benadrukken dat deze informatieprocessen van bijzonder belang zijn bij niet-routinematige besluitvorming (Jonas e.a., 2001, 557).
18 2.4.2 De bevestigingsbias in een omgeving van onzekerheid
De bevestigingsbias komt voor bij niet-routinematige besluitvorming en in situaties waarin beslissingen moeten worden genomen onder condities van onzekerheid, geeft de literatuur aan. Een beslissing nemen door het veelvuldig herhalen van een kansexperiment is in zulke gevallen niet mogelijk (Jonas e.a, 2001, p. 559).
In het rapport ‘risk in focus’, opgesteld door verschillende Europese instituten van internal auditors (2018), wordt vermeld dat onzekerheid het normale scenario zal worden waarin bedrijven opereren.
Zij verklaren dit door onder andere technologische en politieke ontwikkelingen, waarop een organisatie zelf geen invloed heeft (European Institutes of Internal Auditors, 2018). De internal auditor is werkzaam in deze omgevingen van onzekerheid en dient bovendien conclusies te trekken op basis van asymmetrische en onvolledige informatie (ACCA, 2017, p. 8). Dit zorgt ervoor dat ook de internal auditor te kampen heeft met onzekerheid. Onzekerheid in de oordeelsvorming houdt in, zo stelt de ACCA (2017), dat een individu over onvoldoende kennis beschikt om de absolute werkelijke stand van zaken te bepalen.
Het maken van objectieve en juiste beslissingen kost geld en energie, stellen Kumar en Goyal (2015).
Niet in alle situaties kunnen en willen we het ons veroorloven om deze middelen in te zetten. Veel beslissingen die worden gemaakt, zo stellen zij, zijn dan ook gebaseerd op assumpties en kansen (Kumar & Goyal, 2015, p. 94). De beperkingen van het internal auditvak zorgen er eveneens voor dat internal auditors opereren in een omgeving van onzekerheid.
Daarnaast zijn er slechts enkele gevallen waarbij alle voor- en tegenargumenten voor het maken van een bepaalde beslissing voor handen zijn, stellen Pligt en Vliek (2017). Zij stellen vast dat in de meeste gevallen we deze informatie zelf dienen te verzamelen en te analyseren. Dit brengt het risico op beïnvloeding door de bevestigingsbias met zich mee, door middel van het onbewust toepassen van selectieve informatieverwerving en informatieassimilatie. Tot slot, stellen Pligt en Vliek (2017) dat we zelf een oordeel dienen te geven over de weging van argumenten om tot een bepaalde conclusie te komen. Dit zorgt ervoor dat het vormen van een oordeel onzeker en complex is (Pligt & Vliek, 2017, p. 56).
19
Internal auditors zijn dus werkzaam in een omgeving waarin het element onzekerheid een rol speelt, in deze omgeving dienen zij oordelen te vormen aan de hand van informatieverwerving en informatieassimilatie. De bevestigingsbias komt bij deze informatieprocessen tot uiting en met name waar beslissingen genomen dienen te worden in condities van onzekerheid. Ook de external auditor heeft met deze informatieprocessen te maken in een omgeving van onzekerheid. Om de mogelijke vatbaarheid vast te stellen voor beïnvloeding door de bevestigingsbias bij de internal auditor, heeft daarom bestudering van de bevestigingsbias bij de external auditor plaatsgevonden.
2.4.3 Bevestigingsbias onderzocht bij de external auditor
Uit het literatuuronderzoek is niet naar voren gekomen dat er al onderzoek bestaat naar de bevestigingsbias bij de internal auditor. Er is wel onderzoek verricht onder external auditors. De hoofdtaken van de external auditor en de internal auditor zijn het bieden van een redelijke mate van zekerheid (ACCA, 2017, p. 8; IIA Global, 2018). Bovendien hebben zij te kampen met dezelfde beperkingen (ACCA, 2017, p. 8). Dit is de reden dat de bevestigingsbias die is onderzocht bij external auditors, als relevante input is beschouwd om een verwachting te formuleren over internal auditors en de relatie tot de bevestigingsbias.
Uit de literatuur komt naar voren dat de external auditor beïnvloed wordt door de bevestigingsbias in zowel het verzamelen als interpreteren van informatie en bewijsmateriaal. Onderstaande selectie geeft daar een weergave van.
Uit onderzoek van Pennington, Schafer en Pinsker (2016), onder accountants van een van de vier grootste accountantsorganisaties in de Amerikaanse staat Florida, blijkt dat external auditors met een lagere mate van klantbinding geneigd zijn om sneller bevindingen te rapporteren als het bewijsmateriaal niet eenduidig is. Aanvullend zijn external auditors met een lage mate van klantbinding, die het vermoeden hebben van een bevinding, op zoek naar informatie om deze bevinding te bevestigen (Pennington, Schafer, & Pinsker, 2016, p. 136).
Voornamelijk als auditors een vooroordeel of eigen hypothese ontwikkelen, zo stellen Kaplan en Reckers (1989) en Heiman-Hoffman, Moser en Joseph (1995), zullen ze eerder zoeken naar bevestigend bewijs dat die hypothese ondersteunt (Kaplan & Reckers, 1989, p. 539; Heiman-Hoffman e.a., 1995, p. 763).
20
Aanvullend komt uit onderzoek van Glover, Prawitt en Wilks (2005), onder ervaren external auditors, naar voren dat zij te veel vertrouwen op zwak bewijs uit analytische beoordelingsprocedures wanneer de resultaten het te testen saldo bevestigen (Glover, Prawitt, & Wilks, 2005, p. 197). Deze benadering kan leiden tot voortijdige sluiting van een overtuiging of hypothese, stellen McMillan en White (1993) (McMillan & White, 1993, p. 444).
Samenvattend blijkt uit de onderzoeken van McMillan en White (1993); Heiman-Hoffman e.a. (1995);
Kaplan en Reckers (1998); Glover e.a. (2005) en Pennington e.a. (2016) dat de external auditor op verschillende manieren wordt beïnvloed door de bevestigingsbias. Al deze voorbeelden hebben met elkaar gemeen, dat de external auditor op zoek was naar bevestigende informatie, in plaats van het aanvankelijke oordeel te weerleggen. Ook blijkt dat de bevestigingsbias in deze onderzoeken zowel naar voren kwam bij het zoeken naar, als bij het interpreteren van, bewijsmateriaal.
Gezien de external auditor en de internal auditor een op hoofdlijnen vergelijkbaar vakgebied kennen door overeenkomstige beperkingen van het vakgebied, de gemeenschappelijke hoofdverantwoordelijkheid van het geven van een redelijke mate van zekerheid, de omgeving van onzekerheid en de gelijke informatieprocessen, worden de onderzoeken zoals weergegeven in deze paragraaf als voldoende beschouwd om de volgende hoofdhypothese en alternatieve hoofdhypothese op te stellen:
De verwachting is dat internal auditors, net als external auditors, op verschillende manieren beïnvloed worden door de bevestigingsbias bij het vormen van een oordeel.
2.5 De bevestigingsbias tot uiting
De bevestigingsbias komt op verschillende manieren tot uiting en kan daarmee op verschillende manieren de oordeelsvorming beïnvloeden. In deze paragraaf wordt besproken op welke manier de bevestigingsbias tot uiting komt bij het vormen van een oordeel. Allereerst wordt de positieve
H0: Internal auditors worden beïnvloed door de bevestigingsbias bij het vormen van een oordeel.
H1: Internal auditors worden niet beïnvloed door de bevestigingsbias bij het vormen van een oordeel.
21
teststrategie besproken (2.5.1) vervolgens komt het gebruik van selectieve data-interpretatie in relatie tot de bevestigingsbias aan bod (2.5.2).
2.5.1 De bevestigingsbias via de positieve teststrategie
De bevestigingsbias komt, volgens Klayman en Ha (1987), tot uiting in de strategie die gehanteerd wordt om informatie te verzamelen en te analyseren. Een term die hand in hand gaat met de bevestigingsbias is de positieve teststrategie (Klayman & Ha, 1987, p. 215).
Hoewel wetenschapsfilosofen aanbevelen dat hypothesen getoetst moeten worden door deze te proberen te falsificeren, zijn individuen van nature geneigd om gegevens te zoeken die overeenkomen met hun heersende overtuigingen (Kahneman, 2011, p. 268). Klayman en Ha (1987) stellen vast dat het toepassen van een positieve teststrategie tot problemen kan leiden (Klayman & Ha, 1987, p. 215).
Een positieve teststrategie houdt namelijk in dat slechts wordt gezocht naar bevestigende informatie.
Dit houdt praktisch in dat individuen geneigd zijn om slechts die informatie te zoeken die past bij de bestaande overtuiging en slechts die vragen te stellen, waarop zij een positief antwoord (een ‘ja’) verwachten (Wason, 1960, p. 133). Wason (1960) stelt dat door geen aandacht te geven aan (mogelijke) falsificaties, dit kan leiden tot misleidende uitspraken en het trekken van foutieve conclusies. Het hanteren van een positieve teststrategie, zo stellen Klayman en Ha (1987) veroorzaakt inefficiëntie en onnauwkeurigheid, door het teveel of te weinig gewicht geven aan verschillende informatiebronnen (Klayman & Ha, 1987, p. 217). ||
In het boek Research in psychology: methods and design’ geven Goodwin en Goodwin (2016) een goed voorbeeld van het onbewust hanteren van de positieve teststrategie in het alledaagse leven.
Personen die geloven in buitenzintuiglijke waarneming herinneren zich de voorbeelden van situaties waaarin zij aan hun moeder denken, de telefoon gaat en het inderdaad hun moeder is. Toch negeren zij dat zij veel vaker (a) aan hun moeder dachten en zij niet belde en (b) zij niet aan hun moeder dachten en hun moeder wel belde. Ook herkennen zij niet dat wanneer zij om de twee weken met hun moeder telefonisch contact hebben, na deze twee weken de frequentie waarmee ze aan hun moeder denken toeneemt, waardoor de frequentie van een 'treffer' wordt verhoogd (Goodwin & Goodwin, 2016, p. 6).
22
De bevestigingsbias, zo stelt Nickerson (1998), is dus de neiging om bewijsmateriaal te zoeken en te interpreteren met als doel reeds gevormde overtuigingen te bevestigen in plaats van te weerleggen (Nickerson, 1998, p. 176). Deze neiging, komt volgens Klayman en Ha (1987), tot uiting door middel van het hanteren van de positieve teststrategie, waarbij slechts confirmatie wordt gezocht om al gevormde overtuigingen in stand te kunnen blijven houden (Klayman & Ha, 1987, p. 215). Uit de literatuur blijkt dat individuen van nature geneigd zijn om gegevens te zoeken die overeenkomen met hun heersende overtuigingen (Kahneman, 2011, p. 268). Op basis van dit inzicht, in samenhang met de verwachting dat internal auditors beïnvloed worden door de bevestigingsbias bij het vormen van een oordeel, zijn de volgende deelhypothese en alternatieve deelhypothese opgesteld:
2.5.2 De bevestigingsbias via het gebruik van selectieve data-interpretatie
Naast de positieve teststrategie, komt de bevestigingsbias ook tot uiting bij het interpreteren van data via selectieve informatieassimilatie (Pinkley e.a., 1995, p. 101; Johnston, 1996, p. 800). Uit de literatuur blijkt dat individuen zijn geneigd om data zo te interpreteren dat de data aan de bestaande verwachting van het individu voldoet (Nickerson, 1998, p. 175).
Analyses worden uitgevoerd door auditors om data te kunnen interpreteren. Messier, Glover en Prawitt (2006) stellen dat het doel van het uitvoeren van analyses, het verkrijgen van een redelijke mate van zekerheid is over de te auditen processen (Messier e.a., 2006, p. 158). Uit het panel van de Public Oversight Board over de doeltreffendheid van audits (2000) blijkt dat auditors soms te veel vertrouwen op bewijsmateriaal dat voortkomt uit het uitvoeren van zwakke analyses.
Experimenten, uitgevoerd door Kahneman (2011), tonen aan dat wij als mensen vaak zekerder zijn van zaken dan we op basis van de feiten zouden kunnen zijn, als de analyse resulteert in een
bevestiging van onze bestaande overtuigingen (Kahneman, 2011, p. 157). En ook uit het onderzoek van Glover, Prawitt en Wilks (2005) onder external auditors komt naar voren dat zij onterecht
Deelhypothese 1
H0: Internal auditors hanteren een positieve teststrategie bij het vormen van oordelen.
H1: Internal auditors hanteren geen positieve teststrategie bij het vormen van oordelen.
23
vertrouwen op zwak bewijs uit analytische beoordelingsprocedures, als de resultaten overeenkomen met de te testen hypothese (Glover, Prawitt, & Wilks, 2005, p. 197).
Uit de literatuur blijkt dat individuen geneigd zijn data dusdanig te interpreteren dat het overeenkomt met bestaande overtuigingen (Nickerson, 1998, p. 175). Op basis van dit inzicht, in samenhang met de verwachting dat internal auditors beïnvloed worden door de bevestigingsbias bij het vormen van een oordeel, zijn de volgende deelhypothese en alternatieve deelhypothese opgesteld:
2.6 Conclusie hoofdstuk 2
De hoofdhypothese ‘internal auditors worden beïnvloed door de bevestigingsbias bij het vormen van een oordeel’ is opgesteld aan de hand van wetenschappelijke en vaktechnische literatuur (zie figuur 2).
Uit de literatuur komt namelijk naar voren dat ieder individu de neiging kent onbewust heuristieken te gebruiken in het oordeelsvormingsproces (Stanovich & West, 2007, p. 226; Stanovich & West, 2008a, p. 130; Stanovich & West, 2008b, p. 673). De bevestigingsbias is een vorm van een heuristiek, waarbij mensen bewijsmateriaal zoeken en interpreteren om aanvankelijke overtuigingen te bevestigen in plaats van te weerleggen (Nickerson, 1998, p. 176). Uit de literatuur blijkt tevens dat de bevestigingsbias tot uiting komt bij het verwerven en analyseren van bewijsstukken, wat de hoofdtaken zijn van een internal auditor bij het uitvoeren van een audit (Allahverdyan & Galstyan, 2014, p. 2;
ACCA, 2017, p. 8).
Ook volgt uit de literatuur dat de bevestigingsbias daar voorkomt waar sprake is van onzekerheid en geen eenduidige informatie verkrijgbaar is. De werkzaamheden van een internal auditor vinden vaak plaats in een omgeving van onzekerheid, mede door de drie beperkingen die het internal auditvakgebied kent (ACCA, 2017, p. 8).
Deelhypothese 2
H0: De bevestigingsbias beïnvloedt de manier waarop een internal auditor data interpreteert en tot conclusies komt.
H1: De bevestigingsbias beïnvloedt niet de manier waarop een internal auditor data interpreteert en tot conclusies komt.
24
Tot slot komt uit de onderzoeken van McMillan en White (1993); Heimanm-Hoffman e.a. (1995);
Kaplan en Reckers (1998); Glover e.a. (2005) en Pennington e.a. (2016) naar voren, dat een vergelijkbaar vakgebied ‘het external auditvakgebied’, vatbaar is voor de beïnvloeding door de bevestigingsbias.
Aanvullend blijkt uit de literatuur dat individuen van nature geneigd zijn om gegevens te zoeken die overeenkomen met heersende overtuigingen (Kahneman, 2011, p. 268) ofwel de positieve teststrategie hanteren. En ook dat zij geneigd zijn data dusdanig te interpreteren zodat het overeenkomt met bestaande overtuigingen (Nickerson, 1998, p. 175) ofwel selectieve data-interpretatie toepassen. Op basis van deze inzichten vanuit de literatuur, in samenhang met de verwachting dat internal auditors beïnvloed worden door de bevestigingsbias bij het vormen van een oordeel, zijn twee deelhypothesen opgesteld (zie figuur 2).
FIGUUR 2 HYPOTHESEN
Hoofdhypothese
H0: Internal auditors worden beïnvloed door de bevestigingsbias bij het vormen van een oordeel.
H1: Internal auditors worden niet beïnvloed door de bevestigingsbias bij het vormen van een oordeel.
Deelhypothese 1
H0: Internal auditors hanteren een positieve teststrategie bij het vormen van oordelen.
H1: Internal auditors hanteren geen positieve teststrategie bij het vormen van oordelen.
Deelhypothese 2
H0: De bevestigingsbias beïnvloedt de manier waarop een internal auditor data interpreteert en tot conclusies komt.
H1: De bevestigingsbias beïnvloedt niet de manier waarop een internal auditor data interpreteert en tot conclusies komt.
25
3 DE BEVESTIGINGSBIAS BIJ INTERNAL AUDITORS IN DE PRAKTIJK
3.1 Inleiding
Op basis van het opgestelde theoretisch kader en de gevormde hoofdhypothese en deelhypothesen is een praktijkonderzoek in de vorm van experimenten uitgevoerd. In dit hoofdstuk worden de resultaten van de uitgevoerde experimenten beschreven. Met de experimenten is onderzocht in hoeverre internal auditors worden beïnvloed door de bevestigingsbias in hun oordeelsvorming.
Paragraaf 3.2 geeft het doel van het praktijkonderzoek weer en 3.3 beschrijft de opzet van het praktijkonderzoek. Vervolgens geven paragrafen 3.4 en 3.5 een nadere beschrijving van de methode en resultaten van de twee opgestelde en uitgevoerde experimenten. Het hoofdstuk wordt ten slotte in paragraaf 3.6 afgesloten met een overzicht van de resultaten in relatie tot de opgestelde hypothesen.
3.2 Doelstelling van het praktijkonderzoek
Het doel van het praktijkonderzoek was het onderzoeken van de hoofdhypothese, de bevestigingsbias bij de internal auditor en de deelhypothesen, het tot uiting komen van de bevestigingsbias via de positieve teststrategie en door selectieve data-interpretatie (zie figuur 3). Om de bevestigingsbias bij de internal auditor te onderzoeken, is empirisch onderzoek uitgevoerd door middel van twee
experimenten (experiment 1: de 2-4-6 taak; experiment 2: twee complexe vraagstukken). Dit
verkennende onderzoek is op een beperkte schaal uitgevoerd en is opgezet om een eerste indicatie te krijgen van het wel of niet bestaan van verschijnselen van de bevestigingsbias bij de internal auditor.
FIGUUR 3
PRAKTIJKONDERZOEK: TWEE EXPERIMENTEN
26 3.3 Opzet van het praktijkonderzoek
Deze paragraaf beschrijft de methode van het onderzoek (3.3.1), de betrouwbaarheid en validiteit van de gekozen onderzoeksmethode (3.3.2) en de populatie en selectie van proefpersonen (3.3.3).
3.3.1 Methode van het onderzoek
In de literatuur zijn meerdere onderzoeken gedaan naar in hoeverre mensen beïnvloed worden door biases (onder andere Glover, Prawitt, & Wilks, 2005, p. 197; Kahneman & Klein, 2009, p. 516;
Pennington, Schafer, & Pinsker, 2016, p. 136). In veel van deze onderzoeken wordt gebruikgemaakt van experimenten. In deze experimenten worden proefpersonen gevraagd om puzzels en
vraagstukken op te lossen in een laboratoriumsetting. De experimenten zijn dusdanig opgezet dat de antwoorden die de proefpersonen geven, laten zien in hoeverre mensen worden beïnvloed door de onderzochte biases.
Ook in dit onderzoek is ervoor gekozen om de opgestelde hoofdhypothese en de twee deelhypothesen te testen door middel van experimenten in een gecontroleerde situatie. Het laten oplossen van twee vraagstukken in een laboratoriumsetting. Voor deze onderzoeksmethode is gekozen om een effectmeting te kunnen doen naar het aantonen van een verband tussen internal auditors en de beïnvloeding door de bevestigingsbias.
In het praktijkonderzoek zijn twee experimenten uitgevoerd. Deze zijn gedeeltelijk gebaseerd op experimenten uit bestaand wetenschappelijke literatuur. De twee experimenten die in dit onderzoek zijn uitgevoerd, zijn:
(1) de 2-4-6 taak, gebaseerd op onderzoek van Wason (Wason, 1960, p. 131);
(2) twee complexe vraagstukken, gebaseerd op onderzoek van Kahan, Peter, Dawson en Slovic (Kahan e.a., 2017, p. 5)
Ondanks dat dit onderzoek uitgevoerd is op geringe schaal is ervoor gekozen om een statistische analyse te maken met behulp van de student t-verdeling. Gekozen is voor de student t-verdeling om te analyseren of gemiddelden van elkaar verschilden, tussen juiste en onjuiste oordelen (experiment 1) en de experimentele groepen en de controle groepen (experiment 2). Aanvullend zijn analyses uitgevoerd
27
op telaantal. Alle twintig (experiment 1) en zesenvijftig (experiment 2) beantwoorde vraagstukken die zijn ontvangen van proefpersonen bleken bruikbaar voor het onderzoek.
3.3.2 Betrouwbaarheid en validiteit van het onderzoek
Voor de twee experimenten is gekozen omdat deze experimenten al deels uitgevoerd zijn in de literatuur en zijn gepubliceerd in internationale, aan peer review onderworpen wetenschappelijk tijdschriften (Quarterly Journal of Experimental Psychology en Behavioural Public Policy).
Het eerste experiment, 2-4-6 taak, maakte gebruik van een generieke instructie en een formulier waarop de proefpersonen zijn of haar antwoorden registreerden (zie bijlage 1). Dit experiment werd 1-op-1 met de onderzoeker in afgesloten ruimte uitgevoerd.
Het tweede experiment: twee complexe vraagstukken, bestond uit vier cases waarbij een proefpersoon één case werd toebedeeld en de proefpersoon een gesloten vraag diende te beantwoorden waarbij uit twee opties kon worden gekozen (zie bijlage 2). Dit experiment werd deels via e-mail en deels klassikaal uitgereikt en terugontvangen.
Omdat de experimenten niet momentafhankelijk zijn en beide experimenten op een stabiele continue manier antwoorden genereren, kunnen de experimenten zonder problemen herhaald worden bij meerdere proefpersonen zonder dat de gelijkwaardigheid of interne consistentie wordt geschaad.
Proefpersonen namen aan beide onderzoeken volledig vrijwillig en anoniem deel. Overleg ten tijde van het onderzoek was niet mogelijk, tevens was het niet mogelijk om verduidelijkende vragen te stellen tijdens het onderzoek. De proefpersonen waren niet gebonden aan een tijdslimiet. Tot slot werd de proefpersonen gevraagd niet te praten over het experiment met andere (mogelijke) proefpersonen.
Voor beide vraagstukken heeft eerst een pilotonderzoek plaatsgevonden onder vijf internal auditors.
Het doel van dit pilotonderzoek was om na te gaan of de experimenten werden begrepen door de proefpersonen, de experimenten uitvoerbaar waren en of er onduidelijkheden en onjuistheden in de experimenten voorkwamen. Op basis van dit pilotonderzoek is het tweede experiment, twee complexe vraagstukken, een aantal keer aangepast. Zo zijn een aantal ophelderingen in de tekst van het vraagstuk toegevoegd en is de te beantwoorden vraag aangepast van een open naar een gesloten vraag.
28 3.3.3 Populatie en selectie van proefpersonen
De twee experimenten werden afgenomen bij proefpersonen werkzaam in het internal auditvakgebied.
De geselecteerde proefpersonen waren werkzaam in verschillende bedrijfssectoren zoals banken, de farmaceutische industrie, consultantbureaus en de publieke sector. In dit onderzoek is geen rekening gehouden met werkervaring en leeftijd. Proefpersonen werkzaam in het internal auditvakgebied zouden op de hoogte moeten zijn van de IIA-standaarden met betrekking tot objectiviteit en een onbevooroordeelde houding en zouden het belang van dit kenmerk moeten inzien en moeten kunnen toepassen in hun oordeelsvorming. Bovendien zouden beide vraagstukken, met betrekking tot moeilijkheidsgraad, oplosbaar moeten zijn door proefpersonen werkzaam in het internal auditvakgebied.
Aan het eerste experiment: de 2-4-6 taak, namen twintig proefpersonen deel (zie tabel 1), zie bijlage 1a voor een uitsplitsing van de proefpersonen per sector.
TABEL 1
EXPERIMENT 1 PROEFPERSONEN
Aan het tweede experiment: twee complexe vraagstukken, deden in totaal zesenvijftig proefpersonen mee (zie tabel 2), gelijkwaardig verspreid over vier verschillende cases. 24 proefpersonen verdeeld over twee cases fungeerden als controlegroep. De proefpersonen werden verdeeld op basis van randomisatie over de vier cases. Zie bijlage 2a voor een uitsplitsing van de proefpersonen per sector.
TABEL 2
EXPERIMENT 2 AANTAL PROEFPERSONEN
Wat dit onderzoek onderscheidend maakt van andere onderzoeken naar biases is dat beide experimenten zijn uitgevoerd onder internal auditors en niet onder psychologiestudenten (Wason, 1960) en Amerikaanse burgers (Kahan e.a., 2017).
29 3.4 Experiment 1: de 2-4-6 taak
Deze paragraaf beschrijft het doel (3.4.1), de methode (3.4.2) en de resultaten (3.4.3) van het eerste experiment: de 2-4-6 taak, gebaseerd op het experiment van Wason (1960).
3.4.1 Doel van experiment 1: 2-4-6 taak
Dit experiment had als doel om vast te stellen of internal auditors worden beïnvloed door de bevestigingsbias door middel van het onderzoeken of de internal auditor een positieve teststrategie hanteert bij het vormen van een oordeel. Dit experiment onderzocht namelijk de manier waarop proefpersonen informatie verzamelden (informatieverwerving) en op basis hiervan conclusies trokken.
Tot slot maakte dit experiment het mogelijk om de snelheid en zekerheid te analyseren waarmee internal auditors een oordeel velden. Er werd gebruikgemaakt van een simpele conceptuele taak, die wanneer slechts bevestiging werd gebruikt bij het uitvoeren van de taak tot onjuiste conclusies leidde.
De deelhypothese die getest werd met dit experiment is:
Het hanteren van een positieve teststrategie door internal auditors, deelhypothese 1, werd gemeten door een analyse van de manier waarop een oordeel van 100% zekerheid tot stand komt, door slechts confirmatie of ook door falsificatie. Vanuit de literatuur is de verwachting dat mensen ondanks hun intelligentie, dus ook internal auditors, een voorkeur hebben voor confirmatie of het hanteren van een positieve teststrategie om hypothesen te testen. De verwachting was dan ook, dat internal auditors worden beïnvloed door de bevestigingsbias, en dat dit tot uiting zou komen in het eerste experiment door het geven van een (foutief) oordeel tot stand gekomen door het toepassen van slechts confirmatie of het hanteren van een positieve test-strategie. H0 zou echter worden verworpen als bleek dat de proefpersonen een teststrategie van falsificatie van hun overtuigingen hanteerden om tot een oordeel te komen en proefpersonen hiermee in staat waren een juiste conclusie te trekken.
Deelhypothese 1
H0: Internal auditors hanteren een positieve teststrategie bij het vormen van oordelen.
H1: Internal auditors hanteren geen positieve teststrategie bij het vormen van oordelen.
30 3.4.2 Methode van experiment 1: 2-4-6 taak
Het eerste experiment, de 2-4-6 taak, ging als volgt: een proefpersoon werd 1-op-1 in een afgesloten ruimte gevraagd een eenvoudige regel te achterhalen welke verband hield met de relatie tussen getallen.
De eenvoudige regel die gevonden diende te worden was: drie nummers in oplopende volgorde van grootte ofwel (a<b<c).Aan de proefpersoon werd verteld dat drie nummers (2-4-6) voldeden aan deze eenvoudige regel. Op basis van deze informatie maakte de proefpersoon zijn eerste gedachte kenbaar over wat de regel zou kunnen zijn en met hoeveel procent zekerheid de proefpersoon dacht dat deze regel overeenkwam met de eenvoudige te achterhalen regel. De proefpersoon werd daarna gevraagd om deze regel te testen door middel van het benoemen van opeenvolgende reeksen van drie nummers.
Na elke reeks kreeg de proefpersoon te horen of de benoemde getallenreeks voldeed aan de regel. Op basis van deze informatie, het wel of niet voldoen van de reeks aan de regel, benoemde de proefpersoon opnieuw wat volgens hem/ haar de regel was en met hoeveel procent zekerheid hij/ zij deze regel benoemde. Dit experiment eindigde wanneer de proefpersoon met 100 procent zekerheid dacht te weten wat de regel was. De exacte instructie die de proefpersonen kregen, is opgenomen in bijlage 1b.
Het formulier dat gehanteerd werd voor dit experiment is gepresenteerd in figuur 4 en in zijn geheel opgenomen in bijlage 1c.
FIGUUR 4 FORMULIER 2-4-6 TAAK
Dit experiment is gebaseerd op het onderzoek van Wason (1960), om in dit onderzoek de manier waarop een internal auditor redeneert vast te stellen en eventuele kenmerken van overmoedigheid te herkennen zijn een aantal elementen in dit onderzoek aangepast. In het originele onderzoek van Wason (1960), diende een proefpersoon zijn regel pas bekend te maken als de proefpersoon zeker was van zijn of haar oordeel. Dit wil zeggen dat de proefpersoon niet per genoemde getallenreeks zijn huidige gedachte over de regel kenbaar maakte. Om het redenatieproces van een internal auditor te kunnen volgen, is in dit experiment gevraagd om per getallenreeks zijn of haar huidige gedachte kenbaar te maken. Hiermee kon namelijk worden geanalyseerd op welke manier de internal auditor zijn huidige
# Volgorde Past binnen mijn regel Wat is de regel? Met hoeveel % zekerheid?
1 2-4-6 JA
2 3 4 5
31
gedachte verifieerde, namelijk door middel van confirmatie of falsificatie van zijn of haar huidige regel.
Tevens is per genoemde regel gevraagd met hoeveel procent zekerheid de proefpersoon de regel benoemde. Hiermee kon worden vastgesteld met welke snelheid een internal auditor met 100%
zekerheid een oordeel velde.
3.4.3 Resultaten van experiment 1: 2-4-6 taak
Tabel 3 toont het aantal proefpersonen per poging, waarbij het aantal pogingen werd berekend door het aantal door de proefpersoon benoemde regels bij elkaar op te tellen. Tabel 4 toont het aantal proefpersonen dat stopt na een bepaalde poging. Proefpersonen stoppen nadat ze hebben aangegeven 100% zeker te zijn van de regel die zij hebben genoemd. Het aantal pogingen dat een proefpersoon kon gebruiken in dit experiment is oneindig, hoewel de proefpersonen in de instructie werden verteld dat het de bedoeling is om de regel te vinden door middel van het benoemen van een minimaal aantal reeksen.
Het minste aantal pogingen dat is gebruikt in dit experiment is 2, door drie proefpersonen. Het grootste aantal pogingen dat is gebruikt in dit experiment is 9, door twee proefpersonen. De meeste proefpersonen (tien proefpersonen) hebben 3 pogingen gebruikt. In figuur 3, afgeleid van tabel 4, wordt dit grafisch weergegeven.
TABEL 3
AANTAL PROEFPERSONEN PER POGING (n =20)
TABEL 4
STOPPEN NA VOLLEDIGE ZEKERHEID VAN OORDEEL (n =20)
32
Vanuit tabel 3 en 4 en figuur 5 blijkt dat de snelheid waarmee een proefpersoon beweerde dat hij/ zij 100% zeker was van zijn/ haar oordeel lag dus tussen de 2 en 9 pogingen. Ook blijkt dat de meeste proefpersonen na 3 pogingen 100% zeker waren van hun oordeel, de modus van dit onderzoek was dus 3 pogingen. Het gemiddelde aantal pogingen van alle proefpersonen was 4,3 pogingen en de mediaan, was net als de modus, 3 pogingen (zie tabel 6).
In tabel 5 zien we dat van de in totaal 20 proefpersonen, 4 proefpersonen de juiste regel wisten te achterhalen en 16 proefpersonen een onjuiste regel benoemden.
TABEL 5
AANTAL JUISTE/ONJUISTE OORDELEN (n =20)
Uit analyse op de onjuiste oordelen blijkt dat het gemiddeld aantal pogingen 3,375 pogingen was, de modus 3 pogingen was en de mediaan eveneens 3 pogingen was. Voor de juiste oordelen geldt dat het gemiddeld aantal pogingen 8 pogingen was, de modus 8,5 pogingen was en de mediaan 9 pogingen was (zie tabel 6).
0 0 0
3 0
10
0 1
0 0 1 1
0 0 1 1 2
0 0
5 10 15
Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist Juist Onjuist
Poging 1 Poging 2 Poging 3 Poging 4 Poging 5 Poging 6 Poging 7 Poging 8 Poging 9
Aantal proefpersonen
FIGUUR 5
VOLLEDIGE ZEKERHEID VAN OORDEEL (n=20)
33
TABEL 6
GEMIDDELDE, MODUS, MEDIAAN, T-VERDELING VAN OORDELEN (JUIST/ONJUIST)
Uit de resultaten blijkt dat 16 proefpersonen met 100% zekerheid een onjuiste regel benoemden, met een gemiddeld aantal pogingen van 3,375. Uit de resultaten van dit experiment is af te leiden, dat het wel mogelijk is om de juiste regel te achterhalen, gezien 20% (4/20) van de proefpersonen wel in staat was de juiste regel te benoemen.
Met een 95%-betrouwbaarheidsinterval (berekend met de student t-verdeling) kunnen we vaststellen dat het gemiddeld aantal pogingen dat een internal auditor gebruikt in dit experiment tussen de 3,17 en 5,43 pogingen ligt. Terwijl het gemiddeld aantal pogingen waaruit een juist oordeel voortvloeit, met een 95%-betrouwbaarheidsinterval, tussen de 5,75 en 10,25 pogingen ligt. Aangezien geen overlap bestaat tussen de twee ranges, kunnen we met 95% betrouwbaarheid opmaken dat de internal auditor gemiddeld te weinig pogingen doet om het juiste antwoord te kunnen achterhalen.
De manier waarop de pogingen zijn gebruikt is van invloed op de manier waarop een juist of onjuist oordeel uiteindelijk tot stand komt. In tabel 7 is daarom geanalyseerd op welke manier een oordeel tot stand komt, ofwel door confirmatie, falsificatie of zowel confirmatie als falsificatie. Waarbij confirmatie inhoudt dat de door de proefpersoon genoemde reeks met getallen past binnen de door de proefpersoon laatstgenoemde regel. Falsificatie houdt in dat de door de proefpersoon genoemde reeks met getallen niet past binnen de door de proefpersoon laatstgenoemde reeks met getallen (zie figuur 6).
FIGUUR 6
CONFIRMATIE/FALSIFICATIE
34
In tabel 7 is te zien dat 13 proefpersonen (verdeeld over poging 2, 3, 4 en 6) hun oordeel hebben gevormd door slechts reeksen getallen te benoemen die confirmeren met hun initiële overtuiging van de regel. Meer dan de helft van de proefpersoon hanteert een absolute positieve teststrategie. Voor deze proefpersonen geldt tevens dat zij tijdens het gehele experiment dezelfde regel hebben genoemd. In tabel 8 wordt getoond hoeveel originele regels proefpersonen hebben genoemd ten tijde van dit experiment. In totaal 14 proefpersonen zijn bij hun eerstgenoemde regel gebleven. Dit aantal verschilt met het bovengenoemde aantal van 13 omdat hoewel 1 proefpersoon falsificatie heeft gehanteerd tijdens het experiment, de proefpersoon wel bij de eerstgenoemde regel is gebleven.
TABEL 7
AANTAL CONFIRMATIES/ FALSIFICATIES PER OORDEEL (n =20)
Geen van de proefpersonen die slechts confirmatie heeft gebruikt heeft de te raden regel juist achterhaald. Ook blijkt dat het gebruiken van falsificatie geen garantie geeft op het achterhalen van de juiste regel. Uit tabel 7 blijkt namelijk dat 3 proefpersonen 1 keer falsificatie hebben toegepast en niet de juiste regel hebben benoemd. Daarentegen blijkt dat de proefpersonen die de juiste regel wel hebben geraden, minstens 2 keer falsificatie hebben toegepast.
In tabel 8 is met behulp van de student t-verdeling berekend hoe vaak confirmatie, falsificatie gemiddeld wordt toegepast door een internal auditor in dit experiment (met een betrouwbaarheidsinterval van 95%). Uit de gegevens van falsificatie blijkt dat er geen overlap bestaat tussen de ranges van onjuiste oordelen [-0,03 – 0,40] en juiste oordelen [1,36 – 6,14]. Uit de gegevens komt naar voren, met een betrouwbaarheid van 95%, dat een internal auditor minstens gemiddeld 1,36 keer falsificatie dient toe te passen om een juist oordeel te kunnen vormen en dat het niet toepassen van falsificatie leidt tot een onjuist oordeel. Tevens zien we een slechts beperkte overlap tussen alle
35
oordelen [0,14 – 1,66] en juiste oordelen [1,36 – 6,14]. Dit geeft een indicatie dat de gemiddelde internal auditor niet voldoende falsificatie toepast in zijn of haar teststrategie om tot een juist oordeel te komen in dit experiment. Uit de gegevens van confirmatie blijkt dat overlap bestaat tussen zowel alle oordelen, onjuiste oordelen en juiste oordelen (met betrouwbaarheidsintervallen van 95%). Hieruit kunnen we niet afleiden dat het aantal keer dat confirmatie wordt gehanteerd in de teststrategie van invloed is op het vormen van een juist oordeel.
TABEL 8
GEMIDDELDE, STANDAARD DEVIATIE, T-VERDELING VAN TOEPASSEN VAN FALSIFICATIE/ CONFIRMATIE
Aanvullend blijkt uit tabel 9 dat de vier proefpersonen die de regel juist hebben geraden minstens drie verschillende regels hebben benoemd.
TABEL 9
AANTAL ORIGINELE REGELS BENOEMD PER PROEFPERSOON
(n =20)
In tabel 10 is ten slotte het totaalaantal verschillend benoemde regels door alle proefpersonen weergegeven en het aantal keer dat deze regel is genoemd per uniek proefpersoon. Dit totaalaantal komt overeen met tabel 8 (1 regel * 14 + 2 regels * 2 +3 regels * 3 + 4 regels *1 = 31). Hieruit blijkt dat veel verschillende regels mogelijk waren en dat het dus essentieel was om te falsificeren door de proefpersonen om de regel te kunnen raden.
36
TABEL 10
ORGINELE REGELS BENOEMD (n =20)
Uit bovenstaande resultaten volgt dat de alternatieve hypothese H1 van deelhypothese 1, internal auditors hanteren geen positieve teststrategie bij het vormen van oordelen, verworpen dient te worden.
Uit de resultaten van dit experiment blijkt namelijk dat internal auditors een voorkeur hebben voor confirmatie in hun teststrategie en hiermee een positieve teststrategie hanteren bij het vormen van oordelen.
TABEL 11 DEELHYPOTHESE 1
3.5 Experiment 2: twee complexe vraagstukken
Deze paragraaf beschrijft het doel (3.5.1), de methode (3.5.2) en de resultaten (3.5.3) van het tweede experiment: twee complexe vraagstukken gebaseerd op het experiment van Kahan e.a. (2017).
3.5.1 Doel van experiment 2: twee complexe vraagstukken
Experiment 2 had als doel om vast te stellen in hoeverre de bevestigingsbias invloed heeft op die manier waarop een internal auditor data interpreteert en tot conclusies komt. Dit experiment onderzocht, door
