De invloed van brainstorming op de fraude risicobeoordeling

De invloed van brainstorming op de

fraude risicobeoordeling

Karn Shah

10262156

Eindversie

30-06-2014

Bachelor of Science: Economie en Bedrijfskunde

Studierichting: Accountancy & Control

Universiteit van Amsterdam

Dhr. A.T.A. Koet RA

Inhoudsopgave

Abstract 3

1. Inleiding 4

2. Theoretisch kader 5

2.1 De audit, maatschappelijke rol van de auditor en controleverklaringen 5

2.2 Jaarrekeningenfraude en de fraudedriehoek 7

2.3 Brainstorming en brainstorming technieken 9

2.4 Production blocking, evaluation apprehension en freeriding 11 3. De invloed van brainstorming op de fraude risicobeoordeling 12

3.1 Tina D. Carpenter (2007) 12

3.1.1 Doel van het onderzoek 12

3.1.2 Aanleiding 12

3.1.3 Hypothese en onderzoeksopzet 13

3.1.4 Resultaten 14

3.1.5 Conclusie 15

3.2 Tina D. Carpenter et al. (2011) 15

3.2.1 Doel van het onderzoek 15

3.2.2 Aanleiding 15

3.2.3 Hypothese en onderzoeksopzet 16

3.2.4 Resultaten 18

3.2.5 Conclusie 19

3.3 Lynch et al. (2009) 19

3.3.1 Doel van het onderzoek 19

3.3.2 Aanleiding 20

3.3.3 Hypothese en onderzoeksopzet 20

3.3.4 Resultaten 22

3.3.5 Conclusie 23

3.4 Hunton & Gold (2010) 24

3.4.1 Doel van het onderzoek 24

3.4.2 Aanleiding 24 3.4.3 Hypothese en onderzoeksopzet 24 3.4.4 Resultaten 26 3.4.5 Conclusie 27 4. Discussie 28 5. Conclusie 30 Bibliografie 32 2

Abstract

Naar aanleiding van verschillende fraudeschandalen, is er in deze scriptie onderzoek gedaan naar de invloed van brainstorming op de fraude risicobeoordeling. Er is onderzocht of brainstormsessies de fraude risicobeoordeling verbeteren. Dit is gedaan door middel van een literatuur onderzoek waarin er verschillende onderzoeken worden behandeld. Wat blijkt is dat hoewel het gevonden aantal frauderisico’s afneemt, de kwaliteit van deze frauderisico’s toeneemt. Dit komt vooral door interactie. Deelnemers kunnen gedachtes uitwisselen en elkaars ideeën aanvullen. Het professionele scepticisme neemt ook toe, dit leidt ertoe dat auditors alerter zijn op potentiële frauderisico’s.

1. Inleiding

Uit het rappport Report to the Nations van de Association of Certified Fraud

Examinors(ACFE) blijkt dat een bedrijf gemiddeld 5% van zijn omzet verliest aan fraude. De fraudevorm die de grootste schade toebrengt is de jaarrekeningenfraude (2012, p.4). Volgens Rezaee heeft jaarrekeningenfraude de afgelopen jaren meer dan 500 miljard dollar gekost (2005, p. 277). De meeste schade wordt geleden door investeerders, crediteuren en

medewerkers. Twee bekende voorbeelden van grootschalige jaarrekeningenfraudes zijn die van Enron en WorldCom. Enron was een Amerikaans energiebedrijf dat onder andere

elektriciteit en gas leverde. Enron ging failliet in 2001. WorldCom vroeg in 2002 faillissement aan. Het bleek dat er grootschalige fraude was gepleegd met betrekking tot onder andere winstnemingen en overgewaardeerde activa (Ravisankar, Ravi, Raghava Rao, & Bose, 2011, p. 491).

Voor bedrijven en belanghebbenden is het van belang om in een vroegtijdig stadium jaarrekeningenfraude te ontdekken omdat deze vorm van fraude negatieve gevolgen heeft voor het bedrijf zelf en voor de belanghebbenden. Zo kan de in een jaarrekening opgenomen informatie van doorslaggevend belang zijn voor een investeerder om ervoor te kiezen om te investeren in een specifiek bedrijf. Het is dus noodzakelijk om zo snel mogelijk

jaarrekeningenfraude te ontdekken. Dit is een van de taken van een auditor tijdens een audit volgens de Statements on Accounting Standards (SAS) 99.(American Institute of Certified Public Accoutants, 2002, p. 1719).

De American Institute of Certified Public Accountants (AICPA) stelt in de

voorgenoemde standaard auditors verplicht om tijdens de audit van een bedrijf met het doel om frauderisico’s te determineren een brainstorm uit te voeren (2002, p.1724). Volgens Beasley en Jenkins is het doel van een brainstorm tweeledig. Het eerste doel van een

brainstorm is het beoordelen en inventariseren van mogelijke fraude risico’s. Het tweede doel van zo’n brainstorm is het bevorderen van het professionele scepticisme van de auditor (2003, p.2). Dit houdt in dat de auditors er tijdens een brainstorm aan worden herinnerd om skeptisch te blijven tijdens de audit. Omdat SAS no. 99 een relatief nieuwe regeling is, is er nog niet veel onderzoek naar het resultaat van deze brainstormsessie gedaan. Er is dus nog

onduidelijkheid of audits met brainstormsessies daadwerkelijk een betere risicobeoordeling geven dan audits zonder brainstormsessies. Hier uit ontstaat de vraag: verbeteren

brainstormsessies de fraude risicobeoordeling tijdens een audit?

Om deze vraag te beantwoorden wordt er een literatuuronderzoek gedaan naar jaarrekeningenfraude en verschillende brainstorm technieken. In hoofdstuk 2 wordt nader

ingegaan op de jaarrekeningenfraude en de techniek van de brainstorm. Ook wordt de fraudedriehoek uitgelegd om er achter te komen waarom er fraude wordt gepleegd. Verder wordt er ingegaan op de maatschappelijke rol van de accountant, de audit en de verschillende soorten controleverklaringen. Als laatste wordt uitgelegd wat brainstorming is en welke verschillende technieken er zijn. Vervolgens wordt in hoofdstuk 3 de uitkomsten van het uitgevoerde literatuuronderzoek weergegeven door een uitgebreide weergave van die onderzoeken en de uitkomsten. In hoofdstuk 4 zullen de onderzoeksresultaten worden behandeld zodat de hoofdvraag beantwoord kan worden. Ten slotte zal in hoofdstuk 5 een conclusie gegeven worden.

2. Theoretisch Kader

In dit hoofdstuk wordt er uitgelegd wat een audit is, wat de maatschappelijke rol van een auditor is en welke verschillende controleverklaringen er zijn. Vervolgens wordt er uitgelegd wat jaarrekeningenfraude inhoudt, hoe er fraude wordt gepleegd en waarom er fraude wordt gepleegd. Ten slotte wordt er uitgelegd wat brainstorming is en welke drie vormen van brainstorming er zijn.

2.1 De audit, maatschappelijke rol van de auditor en controleverklaringen

Volgens SAS no. 122 is het doel van een audit om een controleverklaring te geven bij de jaarrekening van een bedrijf, zodat de gebruikers van een jaarrekening een betrouwbaar beeld krijgen van de financiële uitkomsten van een bedrijf (AICPA, 2012, p. 72). De persoon die de audit uitvoert, wordt een auditor genoemd. In het Nederlands wordt de term accountant gebruikt, in het vervolg worden deze termen door elkaar heen gebruikt. (AICPA, 2012, p. 74). Om tot een controleverklaring te komen, moet de auditor met een redelijke mate van

zekerheid kunnen zeggen dat de jaarrekening geen materiële afwijkingen bevat. Om tot die zekerheid te komen moet een accountant bewijs (evidence) vergaren (AICPA, 2012, p. 72). Het bewijs is informatie die gebruikt wordt door de auditor om tot een conclusie te komen en een controleverklaring te geven (AICPA, 2012, p. 74). De accountant moet vaststellen of een jaarrekening voldoet aan een bepaald financieel verslaggeving kader zoals de U.S. Generally Accepteed Accounting Principles (US GAAP) of de International Financial Reporting

Standards (IFRS) (AICPA, 2012, p. 74). De accountant geeft in zijn controleverklaring aan of de jaarrekening is opgesteld in overeenstemming met deze kaders. Materiële afwijkingen kunnen ontstaan als gevolg van een fout of als gevolg van fraude (AICPA, 2012, p. 72). Een

afwijking is materieel wanneer er redelijkerwijs kan worden verwacht dat economische beslissingen van gebruikers van de jaarrekening beïnvloed worden door de afwijking (AICPA, 2012, p. 72).

Om zijn functie te kunnen vervullen moet een accountant deskundig en onafhankelijk zijn en daarom ook aan ethische normen voldoen. De ethische normen waaraan een

accountant moet voldoen staan in de AICPA Code of Professional Conduct waarvan de fundamentele principes zijn: verantwoordelijkheden, het openbaar belang dienend, integriteit, objectiviteit & onafhankelijkheid, zorgvuldigheid (due care) en eisen voor wat betreft de omvang en aard van de diensten (AICPA, 2012, p.82). In Nederland staan de fundamentele beginselen voor de accountant in de Verordening Gedrags- en Beroepsregels Accountants. De principes zijn hier: professionaliteit, integriteit, objectiviteit, vakbekwaamheid &

zorgvuldigheid en vertrouwelijkheid (Nederlandse Beroepsorganisatie Accountancy, 2012). Om goed te kunnen functioneren moet een auditor onafhankelijk zijn van het bedrijf dat gecontroleerd wordt. Voor wat betreft de onafhankelijkheid kan onderscheid worden gemaakt tussen onafhankelijk in wezen en in schijn (AICPA, 2012, p.82). Bij onafhankelijkheid in wezen moet een auditor daadwerkelijk onafhankelijk handelen. Onafhankelijkheid in schijn betreft de schijn die het gedrag van een auditor zou kunnen wekken zoals bijvoorbeeld in het geval dat hij een vriend is van de CEO van een bedrijf, of bijvoorbeeld getrouwd is met de eigenaar van een bedrijf (AICPA, 2012, p. 82).

Volgens Limperg is één van de functies van een auditor het dienen als controlerend en adviserend orgaan van het maatschappelijk verkeer (1932, pp. 140-141). Accountants

voorzien in een behoefte naar de controle van de in financiële verantwoordingen opgenomen informatie jegens de belanghebbenden (Limperg, 1932, p. 143). De auditor werkt hier als vertrouwensman van het maatschappelijk verkeer, omdat de auditor een onafhankelijke beoordeling kan geven (Limperg, 1932, p. 144-146). Het maatschappelijk verkeer vertrouwt erop dat de auditor een doeltreffende maar ook vooral onafhankelijk en deskundige controle uitvoert. Zonder dit vertrouwen is de functie van de auditor nutteloos. Aan de andere kant mag de auditor geen grotere verwachtingen wekken dan door de verrichte arbeid wordt gerechtvaardigd (Limperg, 1932, pp. 149-150).

Als de controle voltooid is, geeft de auditor een controleverklaring. De accountant geeft door middel van die verklaring aan dat de jaarrekening is opgesteld in overeenstemming met de de daartoe geldende criteria zoals de US GAAP of de IFRS (AICPA, 2012, p. 703). Als de auditor concludeert dat de jaarrekening juist is gepresenteerd ten opzichte van de betreffende verslaggevingskader, dan geeft hij een ’unmodified opinion’ ofwel een

goedkeurende controleverklaring (AICPA, 2012, p. 704). In Nederland zijn de

controleverklaringen terug te vinden in de Handleiding Regelgeving Accountancy (HRA) 700 en 705 van de Nederlandse Beroepsorganisatie voor Accountants. Er zijn twee redenen om af te wijken van een unmodified opinion: de auditor concludeert op basis van het audit bewijs dat de jaarrekening materieel afwijkt, of de auditor is niet in staat om genoeg audit bewijs te verzamelen om te concluderen dat de jaarrekening geen materiële afwijkingen bevat (AICPA, 2012, p. 704). Mocht er sprake zijn van één van deze redenen, dan bespreekt de auditor met het management van het bedrijf hoe het probleem kan worden opgelost. Als dat niet het geval is, zal hij geen goedkeurende verklaring kunnen geven. (AICPA, 2012, p. 704). Als er om de eerste reden moet worden afgeweken van de unmodified opinion, dan moet er een ’adverse opinion’ ofwel een afkeurende verklaring worden gegeven. Dit houdt in dat de jaarrekening materieel onjuist is (AICPA, 2012, p.737). Als de auditor niet genoeg audit bewijs heeft weten te verzamelen, dan wordt er een ’disclaimer of opinion’ ofwel een oordeel onthouding gegeven. Dit houdt in dat de auditor niet genoeg informatie heeft kunnen vergaren om te kunnen zeggen of de jaarrekening wel of niet klopt (AICPA, 2012, p. 737). Een voorbeeld hiervan is dat een klant van de auditor geen toestemming geeft om zijn voorraden te

controleren. Er is ook een ’unmodified opinion with explonatory paragraph’. In Nederland is dit een verklaring met beperking (NBA, 2014).

2.2 Jaarrekeningenfraude en de fraudedriehoek

Om de centrale vraag te beantwoorden, is het van belang om de term jaarrekeningenfraude te definiëren. Rezaee doet dit als volgt:

Financial statement fraud is a deliberate attempt by corporations to deceive or mislead users of published financial statements, especially investors and creditors, by preparing and disseminating materially misstated financial statements. (2005, p. 279) Jaarrekeningenfraude is dus het opzettelijk opstellen van een van foutieve jaarrekening met de intentie om de lezers te misleiden. Dit kan onder andere gebeuren door middel van het

opzettelijk vervalsen van de boekhouding, het vervalsen van transacties of een verkeerde toepassing van accounting principes (Knapp & Knapp, 2001, p. 26). Voorbeelden hiervan zijn: fictieve verkopen creëren om de winst te verhogen, het overwaarderen van activa en het vroegtijdig boeken van inkomsten. Rezaee noemt nog een aantal andere voorbeelden van jaarrekeningenfraude, zoals het opzettelijk weglaten van belangrijke informatie die betrekking hebben tot de jaarrekening (2005, p. 279). Een voorbeeld hiervan is het niet rapporteren van openstaande schulden. Zhou & Kapoor zeggen dat jaarrekeningenfraude gedefinieerd kan worden als het opzettelijk vervalsen of weglaten van belangrijke informatie die de keuzes van

de gebruiker beïnvloeden (2011, p. 570). Dit komt overeen met datgene wat Rezaee, Knapp en Knapp zeggen. Hieruit is op te maken dat over wat jaarrekeningfraude inhoudt weinig discussie is.

Het is van belang om een inzicht te krijgen in de redenen waarom er fraude wordt gepleegd omdat het begrijpen hiervan kan bijdragen aan de ontdekking van fraude (Ravisankar et al., 2011, p. 492). De American Institute of Certified Public Accountants (AICPA) heeft in 2002 de SAS No. 99 uitgebracht, hierin wordt onder andere uiteengezet waarom er fraude wordt gepleegd: bij fraude dient aan drie voorwaarden te worden voldaan: druk, gelegenheid en rationalisatie. Dit wordt de fraudedriehoek genoemd. (Hogan, Rezaee, Riley, & Velury, 2008, p. 232). De fraudedriehoek is bedacht door de Amerikaanse socioloog en criminoloog Donald R. Cressey (1953). De eerste voorwaarde, druk, is het motief van de fraudeur. Aan de eerste voorwaarde kan bijvoorbeeld voldaan worden als een bedrijf denkt niet te zullen voldoen aan bepaalde voorspellingen (Hogan et al., 2008, p. 234). Hierbij moet gedacht worden aan te hoog geschatte marktwaardes, omzetresultaten en winsten. De

managers willen hun baan niet verliezen en voelen de druk om te frauderen. Een andere vorm van druk kan zijn dat het bedrijf op het punt staan om failliet te gaan en het management dat niet naar buiten wil brengen. De tweede voorwaarde, gelegenheid, is de situatie waarin de fraudeur zich bevindt om de fraude te kunnen plegen. Hoe gunstiger de situatie, des te eerder de fraudeur zal frauderen(Hogan et al, 2008, p. 235). Bij deze voorwaarde in de

fraudedriehoek moet gedacht worden aan bijvoorbeeld een gebrek aan interne controles of te veel vertrouwen in werknemers (ACFE, 2012, p. 6). De derde voorwaarde, rationalisatie, is de rationalisatie van de fraudeur tegenover zijn daad (AICPA, 2012, p. 1722). Sommige

personen hebben een bepaalde attitude of karakter waarmee zij hun frauduleuze daden rationaliseren. Het kan ook voorkomen dat een persoon onethische normen heeft (AICPA, 2012, p. 1722). Aan deze drie voorwaarden worden altijd voldaan als er fraude plaatsvindt.

2.3 Brainstorming en brainstorming technieken

Om te kunnen beoordelen of brainstormsessies de frauderisicobeoordeling verbeteren, is er een inzicht nodig in wat brainstorming voorafgaand of tijdens een audit precies is en welke soorten technieken er zijn. Volgens de AICPA is brainstorming tijdens een audit:

an exchange of ideas among the audit team members, including the auditor with final responsibility for the audit, about how and where they believe the entity’s financial statements might be susceptible to material misstatement due to fraud, how management could perpetrate and conceal fraudulent financial reporting, and how assets of the entity could be misappropriated. (2002, p. 1724)

Een brainstormsessie houdt dus in dat verschillende audit teamleden hun ideeën uitwisselen over waar zij denken dat er frauduleuze materiële afwijkingen kunnen zijn in de jaarrekening en hoe het management deze jaarrekeningenfraude zou kunnen plegen en verbergen. Volgens Lynch, Murthy & Engle is het doel van een brainstormsessie tijdens of voorafgaand aan een audit het determineren van frauderisico’s. Daarbij is het van belang dat er een open geest is en inhoud wordt gegeven aan professioneel scepticisme door alle audit teamleden (2009, p. 1210). Volgens de SAS 122 is professioneel scepticisme een houding waarbij de auditor alert moet zijn op omstandigheden die mogelijk kunnen wijzen op afwijkingen als gevolg van fraude of fouten. Verder moet de auditor een onderzoekende instelling hebben. Dit houdt in dat de auditor vooral ook nieuwsgierig moet zijn (AICPA, 2012, p. 76). Ook Beasley & Jenkins vertellen hetzelfde over de doelen van een brainstormsessie, namelijk het

determineren van frauderisico’s en het inhoud geven aan professioneel scepticisme (2003, p. 2).

Een brainstormsessie heeft drie fases: een voorbereidingsfase, een interactiefase en een evaluatiefase (Hunton & Gold, 2010, pp. 913-914). In de voorbereidingsfase wordt de

individuele auditors gevraagd om potentiële frauderisico’s op te stellen zonder te overleggen met andere teamleden. Dit wordt ook wel ’nominal brainstorming’ genoemd (Hunton & Gold, 2010, p. 913). Daarna volgt de interactiefase. Zo leggen Hunton & Gold uit dat dit de

werkelijke brainstormsessie is met het gehele team (2010, p. 914). In deze fase zijn er drie brainstorm technieken: de open brainstorming, de round robin brainstorming en electronic brainstorming (Beasley & Jenkins, 2003, pp. 8-9). Deze technieken zullen hierna worden uitgelegd. De laatste fase is de evaluatiefase. In deze fase wordt er een

frauderisicobeoordeling gegeven op basis van de ideeën uit de vorige twee fases. Als gevolg van een brainstormsessie worden om alle gedetermineerde risico’s te tackelen de controle werkzaamheden van de audit daarop afgestemd. (Hunton & Gold, 2010, p. 914).

Er zijn drie veel gebruikte brainstorming technieken: open brainstorming, round robin brainstorming en electronic brainstorming (Beasley & Jenkins, 2003, pp. 8-9). Beasley & Jenkins leggen uit dat open brainstorming een ongestructureerde brainstormsessie is en dat deze weinig regels bevat. Deelnemers van de brainstormsessie mogen zeggen wat er in hun op komt en wisselen zo ideeën uit (2003, p.8). Een open brainstorm berust op vier principes: er is beperkte kritiek op de deelnemers, het bedenken van wilde ideeën wordt toegejuicht, er is vraag naar een groot aantal ideeën en er wordt gezocht naar combinaties en verbeteringen van de gegeven ideeën. Hierdoor is er een hoge interactie tussen deelnemers (Hunton & Gold,

2010, p. 914). Hunton & Gold menen ook dat een open brainstormsessie de creativiteit en de spontaniteit van de deelnemers bevordert (2010, p. 914). Echter, het is volgens Beasley & Jenkins onjuist om aan te nemen dat deze vorm van brainstorming altijd een groot aantal kwalitatief goede ideeën oplevert (2003, p. 8). De oorzaken hiervan zijn voornamelijk: production blocking, evaluation apprehension en free riding. Deze termen worden later uitgelegd.

Round robin brainstorming is een gestructureerde techniek waarbij de deelnemers eerst zelf risico’s bedenken voordat deze gedeeld worden met de groep. De deelnemers delen hun risico’s door ze om en om te presenteren (Beasley & Jenkins, 2003, p. 9). Bij deze vorm van brainstorming deelt elke deelnemer zijn ideeën, ook deelnemers die normaal niet zouden spreken (Hunton & Gold, 2010, p. 916). Omdat elke deelnemer op zijn beurt moet wachten om te spreken, wordt de brainstormsessie niet gedomineerd door één spreker. Om dezelfde reden is er echter tijdens de brainstormsessie sprake van mindere spontaniteit en creativiteit (Beasley & Jenkins, 2003, p. 9). Omdat de deelnemers hun risico’s van tevoren hebben voorbereid en elke deelnemer zijn eigen tijd heeft om te spreken, vindt er weinig ’interactie’ plaats tussen de deelnemers. Echter, dit kan deels opgelost worden door een extra brainstorm ronde te houden nadat iedereen aan de beurt is geweest. Tijdens deze ronde zouden de deelnemers meer in de vorm van een open brainstorm kunnen discussiëren (Beasley & Jenkins, 2003, p. 9).

De derde veelgebruikte brainstormtechniek is electronic brainstorming. Bij deze techniek, waar open brainstorming en software worden gecombineerd, worden de deelnemers geacht om risico’s te bedenken voordat zij via een computer anoniem met elkaar deze risico’s delen (Beasley & Jenkins, 2003, p. 9). Bij electronic brainstorming hoeft men niet te wachten op zijn beurt om te spreken, aangezien iedereen te allen tijden kan registreren wat bij hem opkomt: dat verschijnt op het beeldscherm van de andere deelnemers (Beasley & Jenkins, 2003, p. 9). Beasley & Jenkins geven aan dat electronic brainstorming de vergadertijd verkort en dat er met grotere teams gebrainstormd kan worden. Dit is omdat de deelnemers op een aparte locatie kunnen zijn, zolang zij maar toegang hebben tot de brainstorming software (2003, pp. 9-10). Eén van de nadelen van electronic brainstorming is dat de

teamverband/collegialiteit onder de teamleden minder zal zijn, omdat er minder of geen fysiek contact is met elkaar. Ook kunnen teamleden het gevoel krijgen dat zij niet genoeg

waardering krijgen voor hun ideeën omdat de ideeën anoniem gedeeld worden (Beasley & Jenkins, 2003).

2.4 Production blocking, evaluation apprehension en free riding

Er zitten wel een aantal nadelen aan brainstorming. Dit zijn production blocking, evaluation apprehension en free riding (Diehl & Stroebe, 1987). Production blocking vindt plaats wanneer een teamlid zijn ideeën vergeet of niet uit omdat iemand anders aan het woord is (Hunton & Gold, 2010, p. 915). Volgens Diehl & Stroebe is dit het grootste nadeel van groepen waarin maar één persoon tegelijk kan spreken (1987, p. 498). Een van de oorzaken van production blocking is dat gedwongen luisteren naar andere teamleden afleidt en het eigen denken belemmert (Diehl & Stroebe, 1987, p. 498). Production blocking komt voor bij round robin brainstorming maar vooral bij open brainstorming, omdat bij round robin de ideeën al van te voren zijn bedacht (Hunton & Gold, 2010, p. 915). Volgens Lynch et al. komt production blocking minder of helemaal niet voor bij electronic brainstorming omdat alle deelnemers ideeën tegelijk kunnen invoeren (2009, p. 1212).

Evaluation apprehension houdt in dat teamleden hun ideeën niet durven te uiten omdat zij vrezen voor een negatieve evaluatie van hun teamleden en superieuren (Diehl & Stroebe, 1987, p. 498). Evaluation apprehension komt zowel voor bij open brainstorming als bij round robin brainstorming (Hunton & Gold, 2010, pp. 915-916). Bij electronic brainstorming zijn de ideeën anoniem en vindt er dus ook minder evaluation apprehension plaats (Beasley &

Jenkins, 2003, pp. 9-10).

Free riding houdt in dat teamleden weinig of geen inspanning verrichten en zo mee leunen op de inspanning van de andere teamleden. Free riding kan dus alleen voorkomen in groepen (Diehl & Stroebe, 1987, p. 499). Volgens Diehl & Stroebe hangt de mate van free riding af van de grootte van de groep; hoe groter de groep, hoe meer free riding er plaats zal vinden (1987, p. 499). Free riding komt vooral voor bij open brainstorming omdat men daar niet verplicht is om te spreken (Hunton & Gold, 2010, p. 915). Ook bij electronic

brainstorming vindt er free riding plaats (Beasley & Jenkins, 2003, p. 10). Bij round robin brainstorming is iedereen verplicht om te spreken en vindt er dus geen free riding plaats (Hunton & Gold, 2010).

3. De invloed van brainstorming op de fraude risicobeoordeling

Om de centrale vraag te kunnen beantwoorden, worden in dit hoofdstuk de bestudeerde

literatuuronderzoeken behandeld. Ten eerste worden de onderzoeken waaruit naar voren komt dat brainstorming leidt tot een betere fraude risicobeoordeling behandeld. Vervolgens wordt er ingegaan op een onderzoek waaruit naar voren komt dat brainstorming niet leidt tot een betere fraude risicobeoordeling. Ten slotte wordt er kort gekeken of er verschil zit tussen

verschillende brainstormingstechnieken en de fraude risicobeoordeling. Dit is relevant voor de hoofdvraag omdat het kan zijn dat een bepaalde brainstormingstechniek wel leidt tot een verbeterde fraude risicobeoordeling en een andere techniek niet.

3.1: Tina D. Carpenter (2007): Audit Team brainstorming, Fraud Risk Identification, and

Fraud Risk Assessment: Implications of SAS No. 99

3.1.1 Doel van het onderzoek

Carpenter (2007) onderzoekt de gevolgen van audit team brainstorming sessies. In dit onderzoek gaat het om open brainstorming. Carpenter onderzoekt of de kwaliteit van fraude risicobeoordelingen hoger is als er gebruik wordt gemaakt van brainstormsessies. Verder onderzoekt ze of er een verschil zit in de kwantiteit van de ideeën als er gebruik wordt gemaakt van brainstorming sessies. Het doel van haar onderzoek is: het meten van het effect van brainstorming sessies op de kwaliteit en de kwantiteit van de ideeën.

3.1.2 Aanleiding

Carpenter geeft aan dat haar onderzoek twee belangrijke aanleidingen heeft. Allereerst geeft ze aan dat SAS no. 99 een nieuwe audit procedure bevat, namelijk de brainstormsessie. De brainstormsessie was voor de instelling van SAS no. 99 niet verplicht en daarom was de werking van brainstormsessies op de audit nog niet onderzocht. De PCAOB geeft aan dat brainstormsessies zullen helpen bij de ontdekking van fraude (AICPA, 2002), terwijl onderzoeken uit de psychologische literatuur juist laten zien dat brainstormsessies kunnen leiden tot een verlies van productiviteit (Diehl & Stroebe, 1987). Deze tegenstelling wil Carpenter zelf onderzoeken. De tweede aanleiding voor het onderzoek, is het verschil tussen een auditor die alleen werkt en een auditor die in een team werkt. Carpenter zegt dat een auditor die alleen werkt, wordt beperkt bij het beoordelen van frauderisico’s. Een auditor die in een team werkt, heeft die beperking niet.

3.1.3 Hypothese en onderzoeksopzet

Carpenter’s eerste hypothese is dat brainstorming teams evenveel ideeën zullen bedenken als nominale teams (teams die individueel brainstormen) (H1). Dit baseert zij op het feit dat samen brainstormen leidt tot production blocking en free riding (Diehl & Stroebe, 1987). Door production blocking zullen teamleden hun ideeën vergeten of niet uiten omdat een ander teamlid aan het woord is. Free riders zullen niets bijdragen aan de brainstormsessie en

meeprofiteren van andere teamleden. Haar tweede hypothese is dat de brainstorming teams meer goede ideeën zullen bedenken dan de nominale teams (H2). Dit baseert zij op het feit dat verschillende teamleden elkaar zullen aanvullen en verbeteren bij een brainstormsessie, dit noemt ze interactie. Dit leidt ook tot Carpenter’s derde hypothese: de fraude risicobeoordeling van de brainstorming team zal hoger zijn dan die van de nominale teams (H3a). Deze

hypothese gaat ervan uit dat een brainstorm team de kans op een fraude beter inschat dan een nominale team, ongeacht of er wel of geen fraude heeft plaats gehad. Daarom heeft Carpenter een aanvullende hypothese: de fraude risicobeoordeling van de brainstorm team zal

effectiever zijn dan die van de nominale teams (H3b). Dit houdt in dat brainstorm teams de kans op fraude hoger inschatten wanneer er fraude aanwezig is en de kans op fraude lager inschatten wanneer er geen fraude aanwezig is,.

Aan het onderzoek deden 43 audit teams mee, alle team leden werken bij een Big 4 bedrijf; Deloitte, PricewaterhouseCoopers, Ernst &Young of KPMG. In totaal deden 120 auditors mee. Het onderzoek bestond uit twee fases. In de eerste fase kregen alle teams de opdracht om kennis te nemen van een case. In de tweede fase werden de teams ingedeeld in twee groepen, namelijk een brainstorm groep en een nominale groep. Er werd een 2 x 2 variantieanalyse uitgevoerd, ook wel aangeduid als een two-way ANOVA. De Two-way ANOVA is een variantieanalyse waar er naast de verschillende groepen ook meerdere onafhankelijke variabelen getoetst kunnen worden op basis van groepsgemiddelden. De output van deze analyse is te vinden in bijlage 1. In dit onderzoek worden er twee onafhankelijke variabelen getoetst, met elk twee niveaus. In het onderzoek is de eerste onafhankelijke variabele de groep type. De groep type heeft twee niveaus, namelijk

brainstorm groep of nominale team. De tweede onafhankelijke variabele is de aanwezigheid van fraude in de jaarrekening van de case. Dit kan dus zijn: wel fraude aanwezig of geen fraude aanwezig. In de case werden twee versies van een jaarrekening van een bedrijf gepresenteerd. De jaarrekening was afkomstig van een bestaand bedrijf waarbij fraude was geconstateerd door de Securities Exchange Commission. Er was een versie met en een versie zonder de gevolgen van een fraude: er was een verschil van drie miljard dollar tussen beide versies. Het bedrijf waarvan de jaarrekening werd gebruikt was anoniem.

In fase I moesten alle auditors individueel een fraude risicobeoordeling maken. De auditors moesten aangeven waar en hoe het bedrijf vatbaar was voor fraude. De auditors mochten niet overleggen met elkaar. In fase II werd de brainstormsessie uitgevoerd. Tijdens de brainstormsessie konden de auditors hun ideeën uit fase I uitwisselen. Het brainstorm team werd gevraagd om een fraude risicobeoordeling te geven.

Om de hypotheses te testen werden drie afhankelijke variabelen gebruikt. Voor H1 het aantal ideeën, voor H2: de kwaliteit van de risico’s en voor H3a en H3b de fraude

risicobeoordeling. Het aantal ideeën voor H1 werd gewoonweg geteld. Voor H2 werd een risico van goede kwaliteit beschouwd als het risico specifiek terug te vinden was in de case en er uiteindelijk inderdaad fraude werd aangetoond. Zo was bijvoorbeeld ’te hoge winstneming’ te vaag. Er moet dan ook uitgelegd worden waarom de winstneming te hoog is. Voor de fraude risicobeoordeling werden de auditors gevraagd om aan te geven hoe waarschijnlijk het was dat er fraude aanwezig was in hun case. Deze vraag werd beantwoord met een 11-punts Likertschaal waarbij het bereik ging van ’extreem onwaarschijnlijk’ tot ’extreem

waarschijnlijk.’ De fraude risicobeoordeling was gebaseerd op de brainstormsessie van fase II.

3.1.4 Resultaten

Uit de onderzoekresultaten komt naar voren dat de eerste hypothese verworpen wordt. De hypothese gaat ervan uit dat de nominale groepen en de brainstorming groepen evenveel risico’s zouden detecteren. Uiteindelijk bleek dat brainstorming groepen tot een significant minder aantal risico’s kwam dan de nominale groepen. De brainstorming groepen kwamen op een gemiddelde van 7.45 risico’s en de nominale groepen kwamen tot 12.80 risico’s. De tweede hypothese was dat er meer kwalitatief goede risico’s gedetecteerd zouden worden bij brainstorming groepen dan bij nominale groepen. Deze hypothese blijkt inderdaad te worden bevestigd met een gemiddelde van 2.60 risico’s voor de brainstorming groepen en een gemiddelde van 2.20 risico’s voor de nominale groepen. Ook hypothese H3a wordt

aangenomen. Deze hypothese houdt in dat een brainstorm team de kans op een fraude hoger inschat dan een nominale team, ongeacht of er wel of geen fraude heeft plaats gehad. De gemiddelde fraude risicobeoordeling was 7.18 op de 11-punts Likertschaal bij de

brainstorming groepen en 6.46 bij de nominale groepen. Als laatste wordt ook hypothese H3b aangenomen. Deze hypothese hield in dat de fraude risicobeoordeling van de brainstorming groepen effectiever zou zijn dan die van de nominale groepen. Met effectiviteit wordt bedoeld dat de gemiddelde fraude risicobeoordeling hoger is wanneer er wel fraude aanwezig is en lager wanneer er geen fraude aanwezig is. Deze hypothese werd gemeten met de eerder genoemde 11-punts Likertschaal. Bij de brainstorming groepen was er een significant verschil tussen de gemiddelde fraude risicobeoordeling van 7.45 op de 11-punts Likertschaal bij cases waar wel fraude aanwezig was en 6.90 waar geen fraude aanwezig was. Bij de nominale groepen zat geen significant verschil tussen de gemiddelde fraude risicobeoordeling; 6.62 op

de 11-punts Likertschaal bij cases waar wel fraude aanwezig was en 6.30 bij cases waar geen fraude aanwezig was. Oftewel, na het brainstormen achten auditors de kans op fraude hoger in wanneer er wel fraude aanwezig is en lager wanneer er geen fraude aanwezig is.

3.1.5 Conclusie

Uit het onderzoek dat Carpenter uitvoerde komt naar voren dat hoewel er minder

risicogebieden worden gedetecteerd bij brainstorming groepen, de fraude risicobeoordeling beter is. Dit is omdat er meer kwalitatief goede risico’s worden gedetecteerd en omdat de brainstorming groepen effectievere fraude risicobeoordelingen geven. Met effectiviteit wordt bedoeld dat de gemiddelde fraude risicobeoordeling hoger is wanneer er wel fraude aanwezig is en lager wanneer er geen fraude aanwezig is

3.2 Tina D. Carpenter, Jane L. Reimers & Phillip Z. Fretwell (2011): Internal Auditor’s

Fraud Judgements: The Benefits of Brainstorming in Groups

3.2.1 Doel van het onderzoek

Het vorige onderzoek (Carpenter, 2007) was gericht op de externe auditor. Carpenter et al. borduren voort op dat onderzoek door hun onderzoek te richten op de interne auditor (2011). Ook het doel van dit onderzoek is het meten van het effect van brainstorming sessies op de kwaliteit en de kwantiteit van de gedetecteerde risicogebieden. Net als in het vorig onderzoek gaat het ook hier om open brainstorming.

3.2.2 Aanleiding

De belangrijkste aanleiding voor het onderzoek is het uitbouwen van Carpenter’s vorig onderzoek dat gericht was op externe auditors, naar interne auditors. Interne auditors hebben namelijk niet altijd dezelfde opvattingen als een externe auditor (Church & Schneider, 1995). Church & Schneider vertellen dat interne auditors minder tijd aan jaarrekeningen spenderen en daarom minder snel fouten vinden in jaarrekeningen (1995, p.20). Carpenter et al. willen onderzoeken of brainstorming groepen deze beperkingen van interne auditors kunnen

overkomen. De andere aanleiding is dat het houden van brainstormsessies niet verplicht is bij interne auditors, maar zij zouden er wel van kunnen profiteren zoals bleek bij de externe auditors.

3.2.3 Hypothese en onderzoeksopzet

Carpenter et al.’s eerste hypothese komt bijna overeen met het onderzoek van Carpenter (2007) en is dat de brainstorming teams minder ideeën zullen bedenken dan de nominale

teams (teams die individueel brainstormen) (H1a). Dit is gebaseerd op eerder onderzoek waaruit blijkt dat externe auditors minder risico’s detecteerden in brainstormsessies (Carpenter, 2007; Hunton & Gold, 2010). Carpenter et al.’s volgende hypothese is dat de brainstorming teams meer kwalitatief goede risico’s zullen aangeven dan nominale teams (H1b). Deze hypothese is ook gebaseerd op het onderzoek van Carpenter uit 2007. De laatste hypothese was dat groepsinteractie de vooroordelen bij de auditors zou verminderen (H2). Interne auditors gebruiken vaker kwantitatieve maatstaven en externe auditors kwalitatieve maatstaven om fraude risico’s te beoordelen (Carpenter et al., 2011, p. 215). Kwantitatieve maatstaven zijn maatstaven die zijn uitgedrukt in getallen en kwalitatieve maatstaven zijn maatstaven die niet uitgedrukt zijn in getallen. Een voorbeeld voor een kwantitatieve maatstaf is: aan hoeveel euro wordt er via foute winstneming gefraudeerd? Bij een kwalitatieve

maatstaf is dit bijvoorbeeld: hoe wordt er via foute winstneming gefraudeerd? Uit onderzoek blijkt dat auditors die kwalitatieve maatstaven gebruikten om een risico te beoordelen, vaak een hogere fraude risicobeoordeling gaven dan auditors die kwantitatieve maatstaven

gebruikten bij dezelfde case. Dit zou wijzen op vooroordelen. (Carpenter et al., 2011, p.215). Omdat een fraude risicobeoordeling objectief moet zijn, mogen er geen vooroordelen zijn bij de auditor (Carpenter et al., 2011, p. 214). Dit betekent dat als een auditor bijvoorbeeld bevooroordeeld is dat er geen fraude aanwezig is bij een bedrijf, dit zijn fraude

risicobeoordeling zal beïnvloeden en resulteren in een lagere fraude.

Aan het onderzoek deden 162 interne auditors van verschillende internationale bedrijven mee. Qua opzet leek het onderzoek veel op dat van Carpenter (2007). Zo waren er weer een brainstorming groep en een nominale groep. Elke auditor kreeg weer een case. Echter, dit keer was er sprake van fraude bij elke case, maar was de uiteindelijke beoordeling kwantitatief of kwalitatief. Dit werd gedaan om te meten of brainstorming de vooroordelen zou verminderen. Het verschil werd als volgt aangeduid:

figuur 1

Figuur 1 laat zien hoe het verschil tussen kwantitatieve en kwalitatieve maatstaven werd aangeduid in het onderzoek. Ze lopen feitelijk beiden van 0 tot 6 maar de kwalitatieve schaal is uitgedrukt in woorden. De twee schalen kunnen gemakkelijk worden vergeleken omdat Carpenter et al. de kwalitatieve beoordelingen kunnen omzetten in cijfers. Zoals we zien is extremely unlikely 0 en extremely likely 6, voor beide schalen. Voor H1a en H1b werd er een 2 x 2 variantieanalyse uitgevoerd, ook wel aangeduid als een two-way ANOVA. De Two-way ANOVA is een variantieanalyse waar er naast de verschillende groepen ook meerdere

onafhankelijke variabelen getoetst kunnen worden op basis van groepsgemiddelden. Voor H1a en H1b worden er twee onafhankelijke variabelen getoetst, met elk twee niveaus. In het onderzoek is de eerste onafhankelijke variabele de groep type. De group type heeft twee niveaus, namelijk brainstorm groep of nominale team. De tweede onafhankelijke variabele is response mode. Response mode is de aanduiding voor welke maatstaven er werden gebruikt, namelijk kwantitatief of kwalitatief. Voor H2 werd er een 2 x 2 x 2 variantieanalyse

uitgevoerd, ook wel aangeduid als een multiway ANOVA. Naast de onafhankelijke variabelen groep type en response mode, werd er nu ook gebruik gemaakt van de variabele shift. De variabele shift houdt in dat er voor en na de brainstormsessie wordt gekeken naar de gegeven fraude risicobeoordeling. Volgens H2 moet het verschil tussen de twee fraude

risicobeoordelingen lager worden bij brainstorming groepen dan bij nominale groepen, omdat,

volgens de hypothese, brainstormsessies ervoor zorgen dat vooroordelen afnemen. De output van beide analyses is te vinden in bijlage 2.

De jaarrekening die gebruikt werd in de case was afkomstig van een bestaand bedrijf waarbij fraude was geconstateerd door de Securities Exchange Commission. Het bedrijf waarvan de jaarrekening werd gebruikt was anoniem. Het onderzoek bestond uit drie fases. In fase I konden de auditors kennis maken met de case en moesten zij individueel een fraude risicobeoordeling geven. Dit deden zij met één van de schalen uit figuur 1. In deze fase werd de variabele response mode geïntroduceerd, de auditors gebruikten dus of de kwantitatieve schaal of de kwalitatieve schaal. In fase II werd de tweede variabele gepresenteerd, namelijk groep type. De auditors werden willekeurig ingedeeld bij een brainstorm groep of een

nominale team. Bij de brainstorm groep zaten er drie auditors bij elkaar, zij werden gevraagd om alle soorten potentiële frauderisico’s te noteren. Ook de individuele auditors in de

nominale teams werd hetzelfde gevraagd. In fase III moesten de auditors een laatste fraude risicobeoordeling geven met de zelfde schaal gebruikt in fase I. Deze informatie werd samen met de informatie uit fase I gebruikt om H2 te toetsen.

Om de hypotheses te testen werden drie afhankelijke variabelen gebruikt. Voor H1a het aantal risico’s, voor H1b: de kwaliteit van de risico’s en voor H2 de fraude

risicobeoordeling voor de brainstormsessie en de fraude risicobeoordeling na de

brainstormsessie. Het aantal risico’s voor H1a werd vastgesteld door alle risico’s die door de auditors waren opgeschreven te tellen. Voor H1b werd een risico als kwalitatief goed gezien als het een uit de case blijkende fraude bleek te zijn.

3.2.4 Resultaten

Uit de resultaten blijkt dat H1a aangenomen wordt. De hypothese ging ervan uit dat

brainstorming groepen minder gebieden waar potentiële fraudes zouden kunnen plaatsvinden zouden identificeren dan nominale groepen. Bij de nominale groepen was dit een gemiddelde van 7.42 risico’s en voor de brainstorming groepen een gemiddelde van 5.20 risico’s. Ook H1b wordt aangenomen. Deze hypothese stelde dat de brainstorming groepen meer kwalitatief goede risico’s zouden detecteren dan de nominale groepen. De brainstorming groepen duidden gemiddeld 3.43 kwalitatief goede risico’s aan en de nominale groepen duidden gemiddeld 0.83 kwalitatief goede risico’s aan. Als laatste wordt H2 aangenomen. Volgens de hypothese zou het verschil tussen de kwalitatieve en de kwantitatieve risicofraude beoordeling afnemen bij de brainstorm groep, maar niet bij die nominale groep. De fraude risicobeoordeling werd gedaan op een schaal van 0 tot 6 zoals afgebeeld in figuur 1. In figuur

2 zijn de gemiddelde

figuur 2

fraude risicobeoordelingen afgebeeld. Het verschil tussen de kwalitatieve en kwantitatieve fraude risicobeoordeling is bij de brainstorm groep in fase I: (4.17-4.02)=|0.15|. In fase 3 is dit: (4.36-4.40)=|0.04| . Het gemiddelde verschil van de fraude risicobeoordeling is dus afgenomen zoals de hypothese stelde. Bij de nominale teams is het verschil nauwelijks afgenomen van (4.06-3.67)=|0.39| naar (4.06-3.69)=|0.37|.

3.2.5 Conclusie

Uit het onderzoek dat Carpenter uitvoerde komt naar voren dat hoewel er minder risico’s worden gedetecteerd bij brainstorming groepen, er wel een betere fraude risicobeoordeling plaats vindt, omdat er meer kwalitatief goede risico’s worden gevonden. Ook worden

persoonlijke vooroordelen vermindert na het meedoen met een brainstormsessie, waardoor de auditor een betere fraude risicobeoordeling kan geven.

3.3 Antoinette L. Lynch, Uday S. Murthy & Terry J. Engle (2009): Fraud Brainstorming

Using Computer-Mediated Communication: The Effects of Brainstorming Technique and Faciliation

3.3.1 Doel van het onderzoek

Lynch et al. onderzoeken of electronic brainstorming een alternatief is voor face-to-face brainstorming. De Face-to-face brainstorming techniek betreft de open brainstorming en round robin brainstorming methode. Het doel van het onderzoek is om te kijken of eletronic brainstorming beter is dan open brainstorming. Als eerste wordt er een vergelijking gemaakt tussen electronic brainstorming en face-to-face brainstorming. Daarna wordt er een

vergelijking gemaakt tussen twee vormen van electronic brainstormen: team brainstormen en nominale teams (teams waarin er individueel gebrainstormd wordt). Daarna wordt er

onderzocht of content facilitation het brainstormen effectiever maakt. Content facilitation is het verstrekken van specifieke keuzes in een vorm van een hulpmiddeltje tijdens het

brainstormen om de inhoud van de brainstormsessies te beïnvloeden (Lynch et al., 2009). Content facilitation helpt bij het maken van keuzes of in dit geval; het identificeren van frauderisico’s. Als laatst wordt er onderzocht of het meedoen aan een fraude brainstormsessie het vermogen van auditors om frauderisico’s te signalen verbetert in het geval er een hoge kans op fraude aanwezig is.

3.3.2 Aanleiding

De aanleiding voor het onderzoek is dat face-to-face brainstorming een aantal nadelen heeft zoals beschreven in Diehl & Stroebe (1987). Dat zijn production blocking, effort evaluation en free riding. Lynch et al. onderzoeken of electronic brainstorming een betere manier van brainstormen is, om de nadelen van face-to-face brainstorming te vermijden.

3.3.3 Hypothese en onderzoeksopzet

De eerste hypothese die Lynch et al. opwerpen is dat teams die electronic brainstorming gebruiken meer frauderisico’s zullen identificeren dan teams die face-to-face brainstormen (H1). Lynch et al. baseert dit op bevindingen uit de psychologische literatuur waaruit blijkt dat er meer ideeën te berde worden gebracht met electronic brainstorming dan met face-to-face brainstormen (Fjermestad & Hiltz, 1998). De volgende hypothese luidt: er zal geen verschil zijn tussen het aantal frauderisico’s dat geïdentificeerd wordt bij het electronic team brainstormen dan bij en electronic nominaal brainstormen (H2). Lynch et al. voorspellen dat elke vorm zijn eigen nadelen heeft: bij electronic team brainstorming kunnen auditors afgeleid worden door anderen en bij electronic nominaal brainstormen missen de auditors dan weer de aanvullingen van andere auditors. De derde hypothese houdt in dat teams die content

facilitation ontvangen meer frauderisco’s zullen identificeren dan teams die geen content facilitation ontvangen (H3). Content facilitation is een hulpmiddel dat auditors moet

stimuleren bij het identificeren van frauderisico’s (Lynch et al., 2009, p.1215). Hoe content facilitation wordt gebruikt wordt later uitgelegd. De laatste hypothese luidt: het bewustzijn met betrekking tot risico’s op fraude van een auditor is hoger na het bijwonen van een brainstormsessie dan voor het bijwonen van een brainstormsessie (H4). Dit is gebaseerd op het feit dat auditors die een brainstormsessie bijwonen waar er veel frauderisico’s aanwezig zijn op risico’s komen die ze van tevoren niet zouden hebben bedacht. Bij alle hypotheses gaat de kwantiteit van de frauderisico’s samen met de kwaliteit.

Aan het onderzoek deden 188 auditing studenten mee van verschillende universiteiten. 20

De studenten waren bekend met SAS no. 99. 108 van participanten zaten bij de groep van electronic brainstorming en 80 participanten zaten bij de groep van face-to-face

brainstorming. Het onderzoek zelf bestond uit een case die speciaal gemaakt was voor studenten. Er werd een 3 x 2 variantieanalyse uitgevoerd en een 3 x 2 covariantieanalyse. Deze analyses worden ook wel aangeduid als ANOVA en ANCOVA. De ANOVA en de ANCOVA worden gebruikt om verschillen tussen groepsgemiddelden te toetsen. In dit geval zijn de verschillen dus het aantal frauderisico’s dat wordt geïdentificeerd in de ene of de andere groep. De output van de analyses is te vinden in bijlage 3. Er werd getoetst op twee onafhankelijke variabelen: groep type en content facilitation. De onafhankelijke variabele groep type onderscheidde electronic team brainstormen, electroninc nominaal brainstormen en face-to-face brainstormen. De onafhankelijke variabele content facilitation bestond uit: ’wel content facilitation’ en ’geen content facilitation.’

De studenten kregen de case een week van tevoren om hem te bestuderen. De case was een gedetailleerde en realistische beschrijving van de organisatie van een fictief bedrijf en bevatte tal van frauderisico’s. De case was specifiek ontworpen voor studenten en er was een antwoordmodel aanwezig waar alle frauderisico’s op stonden. Er waren in totaal 53

frauderisico's terug te vinden in de case. Voor de beoordeling van zowel de kwantiteit en de kwaliteit van de frauderisico's werden alleen de risico's meegeteld die in het antwoordmodel stonden. Dit verschilt met de onderzoeken van Carpenter (2007) en Carpenter et al. (2011). In deze onderzoeken werden alle potentiële frauderisico's meegeteld voor de kwantiteit, ook als ze niet in de case stonden. De beoordeling op kwaliteit is wel hetzelfde; een frauderisico is kwalitatief goed als deze terug te vinden is in de case. Dat betekent voor dit onderzoek dat als er bijvoorbeeld 18 frauderisico's worden geïdentificeerd, deze ook van goede kwaliteit zijn omdat ze terug te vinden zijn in de case. De studenten werden ingedeeld in 3 groepen van vier personen. Een groep hield zich bezig met face-to-face brainstormen, een andere groep met electronic team brainstormen en de derde groep werkte met electronic nominaal brainstormen. In deze groepen was er wel of geen content facilitation aanwezig. Het onderzoek bestond uit vijf fases en is afgebeeld in bijlage 4. In de eerste fase moesten de studenten vijf multiple-choice vragen beantwoorden om hun kennis over de case op te frissen. Ook werd hen

gevraagd om een initiële fraude risicobeoordeling te geven. Dit deden zij door de kans op een materiële afwijking aan te geven op een schaal van 1 tot 100 procent. In fase twee werd er 20 minuten gebrainstormd. De studenten moesten zich richten op risico’s van hoe en waar de jaarrekening van het bedrijf gevoelig was voor fraude. De gesignaleerde risico’s werden vastgelegd in bijgehouden bestanden bij beide vormen van electronic brainstorming. Bij

to-face brainstorming moest één student de risico’s bijhouden door ze vast te leggen in een bestand op een computer. In fase drie werd bij de groepen die geen content facilitation kregen 20 minuten langer door gebrainstormd. Bij de beide electronic brainstormgroepen die wel content facilitation ontvingen, kregen zij dit elke vier minuten in de vorm van een melding op het scherm. De meldingen die ze kregen zijn afgebeeld in figuur 3.

figuur 3

De face-to-face groepen kregen de content facilitation in de vorm van een groot vel papier die om de vier minuten opgehangen werd in de kamer waar zij brainstormden. Ook zij kregen de content facilitation die is afgebeeld in figuur 3. In fase 4 kregen alle studenten 10 minuten om alle frauderisico’s te herzien en daarna moesten de studenten een uiteindelijke fraude

risicobeoordeling geven op dezelfde manier als in stap 1. In fase 5 moesten de studenten een aantal algemene vragen over het onderzoek beantwoorden.

De eerste afhankelijke variabele was de effectiviteit van de brainstormsessie. Dit wordt uitgedrukt in het aantal geïdentificeerde frauderisico’s. De tweede afhankelijke

variabele was de percentuele verandering in de fraude risicobeoordeling tussen stap 1 en stap 4.

3.3.4 Resultaten

Bij de resultaten werden alleen de frauderisico’s opgenomen die in het antwoordmodel stonden. Dat betekent dus dat als er meer risico’s waren gevonden, dit ook kwalitatief goede risico’s waren. Dat wil zeggen, de risico’s waren terug te vinden in de case. Uit de resultaten blijkt dat H1 wordt aangenomen. Deze hypothese hield in dat teams die electronic

brainstorming gebruiken meer frauderisico’s zouden identificeren dan teams die face-to-face brainstormen. Bij de face-to-face groepen werden er gemiddeld 15.45 risico’s geïdentificeerd en bij de electronic brainstorming groepen werden er gemiddeld 28.71 risico’s

geïdentificeerd. Ook H2 wordt aangenomen. Die hypothese luidde: er zal geen verschil zijn tussen het aantal relevante frauderisico’s geopperd bij het electronic team brainstormen en electronic nominaal brainstormen. Bij de electronic team brainstorming groepen waren er gemiddeld 28.71 frauderisico’s geïdentificeerd en bij de electronic nominaal brainstorming groepen waren er gemiddeld 30.31 risico’s geïdentificeerd. Dit was geen significant verschil. Ook H3 wordt aangenomen, dit houdt in dat teams die content facilitation gebruikten meer relevante frauderisico’s identificeren. De resultaten daarvan zijn weergegeven in tabel 1. Als laatst blijkt dat auditors die een brainstormsessie bijwoonden tot een hogere fraude

risicobeoordeling kwamen dan auditors die geen brainstormsessie hadden bijgewoond. Om dit te toetsen wordt er gekeken naar de fraude risicobeoordeling uit fase 1 en de fraude

risicobeoordeling uit fase 4. De gemiddelde fraude risicobeoordeling uit fase 1 was 56.79% en de gemiddelde fraude risicobeoordeling uit fase 4 was 76.49% Dus H4 wordt ook

aangenomen.

Wel content facilitation Geen content facilitation Face-to-face 22.50 fraude risico’s 15.57 fraude risico’s Electronic groep 28.88 fraude risico’s 23.59 fraude risico’s Electronic nominaal 29.06 fraude risico’s 24.71 fraude risico’s

3.3.5 Conclusie

Uit het onderzoek dat Lynch et al. uitvoerden komt naar voren dat electronic brainstorming zorgt voor het identificeren van meer kwalitatief goede risico’s dan face-to-face

brainstorming. Dit komt omdat de negatieve effecten van vooral production blocking verminderd worden. Er wordt ook geconcludeerd dat content facilitation bijdraagt bij het ontdekken van frauderisico’s. Echter, er zit geen verschil in het aantal gedetecteerde frauderisico's bij electronic groep brainstorming en electronic nominaal brainstorming.

3.4 James E. Hunton & Anna Gold (2010): A Field experiment Comparing the Outcomes of

Three Fraud Brainstorming Procedures: Nominal Group, Round Robin and Open discussion

3.4.1 Doel van het onderzoek

Hunton & Gold onderzoeken of brainstorming leidt tot een betere fraude risicobeoordeling. Eerst vergelijken ze fraude risicobeoordelingen van open brainstorming met een nominale team (een team dat geen brainstormsessies houdt). Daarna onderzoeken zij de fraude risicobeoordelingen van teams/auditors die een round robin brainstormsessie hebben gehouden. Het doel is het effect van brainstorming onderzoeken op de fraude

risicobeoordeling van een open brainstorming en een round robin brainstorming.

3.4.2 Aanleiding

Hunton & Gold betwijfelen de effectiviteit van open brainstorming omdat Diehl & Stroebe (1987) de nadelen van open brainstorming beschrijven, namelijk production blocking, free riding en effort evaluation. Omdat SAS no. 99 streeft naar een hoge kwaliteit fraude risicobeoordeling, zijn Hunton & Gold gemotiveerd om te onderzoeken of round robin brainstorming deze nadelen kan opheffen en daarmee kan zorgen voor een betere fraude risicobeoordeling.

3.4.3 Hypothese en onderzoeksopzet

Zoals uitgelegd in hoofdstuk twee bestaat een brainstorm uit drie fases, de voorbereidingsfase, de interactiefase en de evaluatie fase. Hunton & Gold’s eerste hypothese is dat de gemiddelde tijd die besteed wordt in de voorbereidingsfase van de brainstormsessie lager zal zijn bij open brainstorming dan bij de nominale teams of round robin brainstorming (H1). Hunton & Gold verwachten dit omdat de kans op free riding groter is bij open brainstorming en de auditor minder tijd zal besteden aan de voorbereidingsfase. Omdat bij nominale teams en round robin brainstorming auditors niet kunnen freeriden, zullen zij meer tijd besteden in de

voorbereidingsfase. Omdat er minder tijd wordt besteed in de voorbereidingsfase, verwachten Hunton & Gold dat er ook minder risico’s naar voren komen bij open brainstorming. Dit is dan ook de tweede hypothese: er zullen gemiddeld minder risico’s worden geïdentificeerd in de voorbereidingsfase van open brainstorming dan bij de nominale teams of round robin

brainstorming (H2). Hunton & Gold verwachten dat tijdens de interactiefase de effecten van production blocking, free riding en effort evaluation zullen opspelen bij open brainstorming en er hierdoor uiteindelijk minder frauderisico’s zullen worden geïdentificeerd dan de in de voorbereidingsfase (H3a). Dit in tegenstelling tot round robin brainstorming. Hier zullen er meer frauderisico’s worden geïdentificeerd in de interactiefase dan in de voorbereidingsfase (H3b). Dit is gebaseerd op het feit dat round robin brainstorming een meer gestructureerd proces is en free riders gedrag en production blocking minder zullen mee spelen. Verder voorspellen Hunton & Gold dat het aantal geïdentificeerde frauderisico’s het hoogst zal zijn bij round robin en het laagst bij open brainstorming (H4). Nominale teams zullen uiteindelijk meer risico’s opleveren dan open brainstorming omdat bij nominale teams de effecten van free riding, production blocking en effort evaluation niet zullen optreden. Round robin moet weer meer ideeën opleveren dan nominale teams omdat hier de positieve effecten van een interactiefase zullen plaatsvinden terwijl er tegelijkertijd minder production blocking en effort evaluation plaatsvindt. Ten slotte voorspellen Hunton & Gold dat de kwaliteit van de

gevonden frauderisico’s het hoogst zal zijn bij round robin en het laagst bij open

brainstorming (H5). De kwaliteit van de frauderisico’s meten zij door gebruik te maken van het aantal aanpassingen van de aanpak van de controle voor wat betreft de omvang, de timing en de aard van de controle. Zij menen dat een frauderiscio kwalitatief goed is als de audit procedure daarvoor aangepast wordt.

Aan het onderzoek deden 150 Amerikaanse accountantskantoren mee. Van deze kantoren deden er 50 het onderzoek met een open brainstormsessie, 50 met een round robin brainstormsessie en 50 zonder brainstormen (nominale teams). De kantoren wisten van tevoren bij welke soort brainstormsessie zij zaten. Elk kantoor moest een willekeurige cliënt van het bedrijf uitkiezen. De informatie van deze cliënt werd gebruikt voor het onderzoek. De cliënt moest voldoen aan een aantal criteria. De cliënt moest werkzaam zijn in de volgende industrieën: detailhandel, productie en dienstverlening. De cliënt moest beursgenoteerd zijn en de omzet mocht niet hoger zijn dan 1 miljard.Het onderzoek bestond uit twee fases. De eerste fase was de voorbereidingsfase van de brainstormsessie. In deze fase werden alle auditors gevraagd om individueel frauderisico’s te identificeren die zich zouden kunnen voordoen bij de cliënt. De auditors moesten de geïdentificeerde fraude risico’s opschrijven en een assistent werd gevraagd om de tijd bij te houden die de auditor in deze fase nodig had. De tweede fase van het onderzoek was de interactiefase van de brainstormsessie. De auditors werd gevraagd om zoveel mogelijk frauderisico’s uit te wisselen. Zowel bij de open

brainstormsessie als bij de round robin brainstormsessie was er een assistent aanwezig die alle 25

opgenoemde fraude risico’s bij hield.

Om de hypotheses te testen is er gebruik gemaakt van een multivariate

covariantieanalyse, ook wel aangeduid als MANCOVA. Het doel van de MANCOVA is om te testen op significante verschillen tussen groepsgemiddelden. MANCOVA is een uitbreiding van de covariantieanalyse (ANCOVA). Bij de MANCOVA kunnen er meerdere

onafhankelijke variabelen getoetst worden, bij de ANCOVA kan er maar één onafhankelijke variabele getoetst worden. Om de hypotheses te testen werd er gebruik gemaakt van drie onafhankelijke variabelen. De eerste onafhankelijke variabele is het gemiddeld aantal minuten dat de auditors nodig hadden tijdens de voorbereidingsfase. De tweede onafhankelijke

variabele is het gemiddeld aantal frauderisico’s dat geïdentificeerd is in de

voorbereidingsfase. De derde onafhankelijke variabele is het gemiddeld aantal frauderisico’s dat geïdentificeerd is in de interactiefase.

Om de hypotheses te testen is er gebruik gemaakt van drie afhankelijke variabalen. Voor H1 is gebruik gemaakt van het aantal minuten dat besteed werd in de voorbereidingsfase van de brainstormsessies. Voor H2, H3a, H3b en H4 is er gebruik gemaakt van het aantal frauderisico’s die werden geïdentificeerd. Voor H5 is er gebruik gemaakt van het aantal audit aanpassingen dat werd gedaan op basis van de gevonden frauderisico’s. De audit

aanpassingen werden ingedeeld in de omvang, de timing en de aard van de aanpassing. Het aantal aanpassingen werd omgezet in het aantal uur dat vereist was om de aanpassingen uit te voeren.

3.4.4 Resultaten

Uit de resultaten blijkt dat de gemiddelde tijd in de voorbereidingsfase van de open brainstorming significant lager was dan die bij round robin brainstorming of die van de nominale teams. Bij de open brainstorming werden er door de auditors gemiddeld 48 minuten besteed in de voorbereidingsfase terwijl bij round robin brainstorming en nominale teams dit respectievelijk 58.22 en 60.1 minuten waren. H1 wordt dus aangenomen. Ook H2 wordt aangenomen. Deze hypothese hield in dat er minder risico’s op fraude zouden worden geïdentificeerd tijdens de voorbereidingsfase van de open brainstorming dan de round robin brainstorming of de nominale teams. Bij de open brainstorm werden er gemiddeld 13.62 risico’s geïdentificeerd terwijl er bij round robin brainstorming gemiddeld 15.43 risico’s worden geïdentificeerd. Bij de nominale teams werden er gemiddeld 16.45 risico’s geïdentificeerd. Tevens worden H3a en H3b aangenomen. H3a hield in dat er tijdens de interactiefase van de open brainstorming minder frauderisico’s zouden worden geïdentificeerd

dan in de voorbereidingsfase. De onderzoeksresultaten geven aan dat het gemiddeld aantal risico’s daalde van 13.62 naar 11.44. H3b hield in dat er tijdens de interactiefase van de round robin brainstorming meer risico’s zouden worden geïdentificeerd dan in de

voorbereidingsfase van de brainstormsessie. Het gemiddeld aantal risico’s ging inderdaad omhoog van 15.43 risico’s in de voorbereidingsfase naar 17.59 risico’s in de interactiefase. H4 wordt deels aangenomen. H4 hield in dat round robin brainstorming meer risico’s zou opleveren dan nominale teams en dat nominale teams meer risico’s zou opleveren dan open brainstorming. Nominale teams leverden wel significant meer risico’s op dan open

brainstorming, namelijk gemiddeld 16.45 risico’s voor nominale teams en 11.44 voor open brainstorming. Echter, round robin brainstorming leverde niet significant meer risico’s op dan nominale teams; dit waren respectievelijk gemiddeld 17.59 risico’s en 16.45 risico’s. H5 wordt deels geaccepteerd. Uit de resultaten blijkt dat bij open brainstorming er een toename van het aantal geplande audit uren plaatsvindt van 0.81% van de geplande uren. Voor het gemak: stel er waren 100 uren aanvankelijk gepland, dan zou er na de brainstormsessie 0.81 uur bij komen. Dit is significant minder dan de toename 1.81% geplande uren bij de nominale teams en 1.65% geplande uren bij de round robin brainstorming. Er zit geen significant verschil tussen round robin brainstorming en de nominale teams. De kwaliteit van de frauderisico’s is volgens dit onderzoek dus niet beter bij het gebruik maken van brainstorming.

3.4.5 Conclusie

Uit het onderzoek dat Hunton & Gold uitvoerde komt naar voren dat er minder tijd wordt besteed bij de voorbereidingsfase van open brainstorming dan bij round robin brainstorming en nominale teams. Verder leveren open brainstorming in de voorbereidingsfase gemiddeld minder risico’s op dan round robin brainstorming en nominale teams. Tijdens de interactiefase van de open brainstormsessie worden er minder risico’s geïdentificeerd dan bij de

voorbereidingsfase. Bij de interactiefase van de round robin brainstorming worden er juist meer risico’s geïdentificeerd dan in de voorbereidingsfase. Als laatste kan er geconcludeerd worden dat round robin en nominale teams evenveel risico’s opleveren en allebei meer opleveren dan open brainstorming. Ook de kwaliteit van de frauderisico’s bij open en round robin brainstorming is niet beter dan bij nominale teams. Hieruit concluderen Hunton & Gold dat brainstorming niet per se leidt tot een betere fraude risicobeoordeling. Wel kan er

geconcludeerd dat round robin brainstorming een betere techniek is dan open brainstorming.

4. Discussie

In dit hoofdstuk worden de resultaten van de onderzoeken die in hoofdstuk 3 zijn behandeld, geanalyseerd om een antwoord te kunnen geven op de hoofdvraag; verbeteren

brainstormsessies de fraude risicobeoordeling tijdens een audit? Als eerste zal er worden gekeken naar de kwantiteit van de frauderisico’s die worden geïdentificeerd, vervolgens wordt er gekeken naar de kwaliteit van deze frauderisico’s. Ten slotte wordt er gekeken naar het professioneel skepticisme.

Van de vier onderzoeken die zijn behandeld, komen er drie tot de conclusie dat open brainstorming leidt tot het detecteren van minder frauderisico’s dan auditors die niet

brainstormen (Carpenter, 2007; Carpenter et al., 2011; Hunton & Gold, 2010). De reden hiervoor is dat open brainstorming een aantal nadelen heeft. Deze nadelen zijn free riding, production blocking en effort evaluation. Bij open brainstorming zijn auditors sneller geneigd free te riden omdat zij niet verplicht zijn om iets bij te dragen aan de brainstormsessie.

Auditors die wel wat willen bijdragen, kunnen afgeleid raken of niet aan de beurt komen, hetgeen leidt tot production blocking. Het laatste nadeel, effort evaluation, zorgt er voor dat auditors hun ideeën niet durven te uiten omdat zij vrezen voor een negatieve feedback van hun teamleden en superieuren. Uit het onderzoek van Lynch et al. (2009) blijkt dat deze nadelen vermindert kunnen worden door het gebruik van electronic brainstorming: er worden dan meer frauderisico’s gedetecteerd. Het onderzoek van Lynch et al. toonde ook aan dat content facilitation een manier is om nog meer frauderisico’s te identificeren.

De onderzoeken van Carpenter tonen aan dat er kwalitatief betere frauderisico’s worden geïdentificeerd bij het gebruik maken van open brainstorming (Carpenter, 2007; Carpenter, 2011). Elk onderzoek heeft een eigen interpretatie van wat een kwalitatief goed risico is. Zo zijn in de onderzoeken van Carpenter (2007, 2011) goede risico’s de risico’s die direct terug te vinden zijn in de case. Bij het onderzoek van Lynch et al. was een risico kwalitatief goed, wanneer de geïdentificeerde risico uit de case terug te vinden was in het antwoordmodel. De reden dat er meer kwalitatief goede risico’s worden geïdentificeerd bij het gebruik maken van open brainstorming is omdat er interactie plaatsvindt. Doordat auditors elkaar kunnen aanvullen en elkaars gedachtes kunnen uitwisselen, vindt er synergy plaats. De auditors kunnen bouwen op elkaars ideeën en verschillende ervaringen delen (Carpenter, 2007, p. 1124). Dit zorgt er voor dat de kwaliteit van de gevonden frauderisico’s hoger is bij open brainstormen, dan de geïdentificeerde frauderisico’s van auditors die niet brainstormen. Het onderzoek van Lynch et al. toont aan dat er meer en kwalitatief betere frauderisico’s

worden ontdekt met het electronic brainstorming dan to-face brainstorming en dat face-to-face brainstorming minder kwalitatief goede frauderisico's oplevert dan electronic

nominaal brainstorming. Dit laatste spreekt dus het onderzoek van Carpenter (2007) en Carpenter et al. (2011) tegen, daar was namelijk open brainstorming beter dan nominaal brainstorming. Een oorzaak voor dit verschil kan zijn dat er in dit onderzoek wordt gebruik gemaakt van electronic nominaal brainstorming in plaats van nominaal brainstorming zoals bij de onderzoeken van Carpenter. Het onderzoek van Lynch et al. toonde ook aan het gebruik maken van content facilitation zorgt voor de ontdekking van meer kwalitatief goede

frauderisico’s. De verhoging van de kwaliteit van het detecteren van frauderisico’s draagt bij aan een betere fraude risicobeoordeling. Echter, Hunton & Gold concluderen dat

brainstorming niet zorgt voor het identificeren van betere kwaliteit frauderisico’s. Een

oorzaak voor dit verschil kan zijn dat Hunton & Gold een andere maatstaf gebruiken voor het meten van de kwaliteit van frauderisico’s. Zij gebruiken namelijk als maatstaf het aantal de aanpassingen in de controleaanpak na het brainstormen.

Eén van de doelen van brainstorming is het inhoud geven aan professioneel

scepticisme (Lynch et al., 2009 p. 1210). Het hebben van een sceptische houding helpt bij het ontdekken van signalen van frauderisico's en het zorgt er voor dat een auditor geen

voorbarige conclusies trekt (AICPA, 2002, p. 83). De onderzoeken van Carpenter (2007) & Lynch et al. (2009) tonen aan dat auditors na het bijwonen van een brainstormsessie de kans op fraude bij een bedrijf hoger inschatten dan voor het bijwonen van een brainstormsessie. Zij zijn sceptischer; ze geloven niet meteen wat hen verteld wordt. De reden hiervoor is dat brainstormsessies ervoor zorgen dat auditors op de hoogte raken van frauderisico’s die ze zelf niet zouden bedenken (Lynch et al., 2009, Carpenter 2007). Brainstorming zorgt ervoor dat auditors sceptischer zijn, hetgeen er weer voor zorgt dat auditors alerter zijn voor

frauderisico’s (AICPA, 2002, p. 83). Ook dit zorgt voor een betere fraude risicobeoordeling. Aan de hand van de besproken resultaten, kan de hoofdvraag beantwoord worden. De hoofdvraag luidde: verbeteren brainstormsessies de fraude risicobeoordeling tijdens een audit? Uit de resultaten kwam naar voren dat er minder risico’s werden bedacht bij het gebruik maken van open brainstorming. Echter, de kwaliteit van deze risico's was hoger dan de risico's die bedacht waren bij nominale teams volgens Carpenter (2007; 2011). Het onderzoek van Lynch et al. liet zien dat electronic brainstorming beter was dan open brainstorming, maar niet beter dan electronic nominaal brainstorming. Dit spreekt de onderzoeken van Carpenter tegen. Het professionele scepticisme werd benadrukt, hetgeen ervoor zorgt dat auditors alerter zijn op fraude. Hoewel er nog enig onduidelijkheid is over de

kwaliteit van de ontdekte frauderisico's, kan er toch op basis van de onderzoeksresultaten worden gezegd dat brainstorming leidt tot een betere frauderisicobeoordeling. Wel moet gezegd worden dat er in de onderzoeken voornamelijk gebruik gemaakt is van casussen en dit wellicht het beeld van de werkelijkheid niet in zijn volledigheid uitdrukt. Voor

vervolgonderzoek is het dus interessant om de werkelijkheid te onderzoeken om ze een betrouwbaarder beeld te krijgen van de praktijk.

5. Conclusie

Naar aanleiding van grote boekhoudschandalen zoals die van Enron en WorldCom, is er in dit literatuuronderzoek onderzocht of brainstorming leidt tot een verbetering van de fraude risicobeoordeling. Als eerst zijn er een aantal relevante begrippen toegelicht en vervolgens zijn er een aantal onderzoeken over de invloed van brainstorming op de fraude

risicobeoordeling beschreven en de resultaten daarvan geanalyseerd.

Brainstorming heeft als doel het identificeren van frauderisico’s en het benadrukken van het professioneel skepticisme. Om antwoord te kunnen geven op de hoofdvraag is er daarom gekeken naar de invloed van brainstorming op de kwantiteit en kwaliteit van frauderisico’s en op het professioneel scepticisme.

Uit de onderzoeken van Carpenter (2007), Carpenter et al. (2011) en Hunton & Gold (2010) is gebleken dat het gebruik maken van open brainstorming minder frauderisico’s oplevert dan het niet gebruik maken van brainstorming. Bij electronic brainstorming werden er juist meer frauderisico’s geïdentificeerd (Lynch et al., (2009).

Het lijkt nadelig dat er minder frauderisico’s bij open brainstorming worden gevonden, maar deze frauderisico’s zijn kwalitatief beter dan de frauderisico’s die worden gevonden zonder brainstorming (Carpenter, 2007; Carpenter, 2011). Dat wil zeggen dat de brainstorm risico’s vaker worden terug gevonden in de vorm van fraude bij het bedrijf dat onderzocht wordt, dan de risico’s die zijn gevonden zonder te brainstormen. Het onderzoek van Hunton & Gold (2010) en Lynch et al. (2009) toonde aan dat de kwaliteit van de frauderisico’s niet beter wordt na het brainstormen. Een oorzaak voor dit verschil kan zijn dat Hunton & Gold een andere maatstaf gebruiken voor het meten van de kwaliteit van frauderisico’s. Uit het onderzoek van Lynch et al. bleek dat electronic brainstorming leidt tot een betere

frauderisicobeoordeling dan open brainstorming, maar niet dan electronic nominaal brainstorming.