De accountant als statisticus? : een onderzoek naar de theoretische kennis van statistiek van de accountant

(1)

De accountant als statisticus?

Een onderzoek naar de theoretische kennis van statistiek van de accountant

Naam: Remko P.T. Starrenburg

Student number: 10291652

Datum: 25 januari 2015

Master scriptie: MSc Accountancy & Control, specialization Accountancy (deeltijd) Amsterdam Business School

Faculty of Economics and Business, Universiteit van Amsterdam Programmanummer: 6313M0244

Supervisor: dr. J.J.F. (Jeroen) van Raak 2e_Supervisor: _{dr. ir. S.P. (Sander) van Triest}

(2)

DE ACCOUNTANT ALS STATISTICUS? Verklaring van originaliteit

Dit document is geschreven door student Remko P.T. Starrenburg, hij heeft de volledige verant-woordelijkheid voor de inhoud van dit document. Ik verklaar dat de tekst en het werk gepresen-teerd in dit document origineel is en dat er geen andere bronnen zijn gebruikt dan die in de tekst en bronvermelding zijn vermeld.

De Faculteit Economie en Bedrijfskunde is alleen verantwoordelijk voor de toezicht op voltooiing van het werk, niet voor de inhoud.

Statement of originality

This document is written by student Remko P.T. Starrenburg, who declares to take full responsi-bility for the contents of this document. I declare that the text and the work presented in this document is original and that no sources other than those mentioned in the text and its refer-ences have been used in creating it.

The Faculty of Economic and Business is responsible solely for the supervision of com-pletion of the work, not for the contents.

(3)

DE ACCOUNTANT ALS STATISTICUS? Samenvatting

De evaluatie van steekproefafwijkingen is een belangrijk en complex onderdeel van een accountantscontrole. Tijdens de steekproefevaluatie wordt op basis van de geprojecteerde afwij-king en steekproefonzekerheid een oordeel gevormd over de mogelijke aanwezigheid van materiële afwijkingen in de financiële overzichten. Veel accountants lijken als gevolg van de complexiteit van dit proces, niet altijd in staat te zijn op basis van steekproefuitkomsten juiste beslissingen te nemen over de mogelijke aanwezigheid van materiële afwijkingen. In deze studie is onderzocht of er een verband bestaat tussen de hiervoor genoemde tekortkoming en statistische kennis van ac-countants. Om dit te onderzoeken is gebruik gemaakt van een experiment. In het experiment heb-ben deelnemers in drie fases aangegeven of het mogelijk was een goedkeurende controleverklaring te verstrekken op basis van een fictieve controlecasus. Tijdens de drie fases werd steeds meer specifieke informatie gegeven over de evaluatie van afwijkingen. Door oordeelswijzigingen gedu-rende de fases te onderzoeken is inzicht verkregen in de mate waarin deelnemers rekening hebben gehouden met geprojecteerde afwijkingen en steekproefonzekerheid. Aan de hand van een aan-vullend vragenonderzoek is inzicht verkregen in statistische kennis.

De resultaten tonen aan dat deelnemers onvoldoende rekening houden met steekproefon-zekerheid en dat tussen de mate waarin steekproefonsteekproefon-zekerheid in overweging wordt genomen en statistische kennis een positief verband bestaat.

(4)

DE ACCOUNTANT ALS STATISTICUS? Inhoud

1. Introductie ... 5

2. Literatuurstudie en hypotheseontwikkeling ... 8

2.1. De accountantscontrole ... 8

2.2. De toekomst van de accountantscontrole ... 10

2.3. Steekproeven in de accountantscontrole ... 11

2.4. Relatie tussen foutinschatting en werkzaamheden ... 11

2.5. Foutevaluatie door accountants ... 13

2.6. Hypotheseontwikkeling ... 15 3. Onderzoeksmethodiek ... 17 3.1. Respondenten ... 17 3.2. Experiment ... 17 3.3. Vragenonderzoek ... 21 4. Resultaten ... 22 4.1. Beschrijvende statistieken ... 22

4.2. Validiteit van het experiment ... 26

4.3. Toetsing van hypotheses ... 28

5. Samenvatting en conclusie ... 36

Literatuur ... 38

Bijlage 1: Experiment (hoge projectie | hoge onzekerheid) ... 40

(5)

DE ACCOUNTANT ALS STATISTICUS?

1. Introductie

Een accountantscontrole heeft tot doel een oordeel te vellen over de getrouwheid van de financiële overzichten, waarbij het oordeel een redelijke mate van zekerheid dient te hebben (ISA 200 par. 5 en 11). Om een dergelijk oordeel te kunnen onderbouwen dient de accountant tijdens de controle voldoende en geschikte controle-informatie te verkrijgen en vast te stellen of deze informatie betrouwbaar, nauwkeurig en volledig is (ISA 500 par. 6 en 9). Eén van de mogelijkheden om dit vast te stellen is het uitvoeren van steekproeven (ISA 500 par. A52).

Steekproeven vormen al sinds de twintigste eeuw een fundamenteel onderdeel van de ac-countantscontrole. Voor deze tijd werden vaak alle transacties in detail gecontroleerd tijdens een accountantscontrole. Later bleek dat deze werkwijze niet langer houdbaar was in een tijd waarin organisaties steeds groter werden en het aantal transacties toenam. Vanaf het begin van de twin-tigste eeuw heeft daarom wisseling plaatsgevonden van een allesomvattende controle naar een controle gebaseerd op steekproeven. Deze werkwijze is in de jaren ’70 en ’80 van de vorige eeuw uitgegroeid tot één van de fundamentele onderdelen van de accountantscontrole. Pas in de jaren ’80 heeft de American Institute of Accountants (voorganger van de AICPA: American Institute of CPA’s) de eerste richtlijnen voor steekproeven in de accountantscontrole ontwikkeld. Daarna zijn deze tot op heden niet significant gewijzigd (Elder en Allen, 2013).

In de huidige standaarden omtrent de toepassing van steekproeven in een accountantscon-trole vormen de steekproefopzet en steekproefbeoordeling de hoofdrol. Met betrekking tot de steekproefopzet zijn voorschriften opgenomen over hoe de steekproefomvang moet worden be-paald en hoe eenheden moeten worden geselecteerd (ISA 530 par. 6 – 8). Ten aanzien van de steekproefbeoordeling is beschreven hoe de projectie van uitkomsten naar de populatie en evalu-atie van resultaten moet plaatsvinden (ISA 530 par. 12 – 15). Welke steekproef de accountant kiest en hoe hij deze uitvoert, dient voort te komen uit het controlerisico. Het controlerisico is het risico dat de accountant onterecht tot het oordeel komt dat de financiële overzichten vrij zijn van mate-riële afwijkingen (ISA 200 par. 5).

Sinds de intreding van de steekproefstandaarden is veel onderzoek gedaan naar de toepas-sing hiervan. Zo hebben verschillende onderzoekers onderzoek gedaan naar de foutinschatting van accountants. Eén van de onderzoeken naar foutinschattingen is van Mock en Wright (1999). Zij hebben aangetoond dat de relatie tussen het cliëntrisico en geplande werkzaamheden niet altijd gecorreleerd zijn, wat suggereert dat accountants hun bij het plannen van werkzaamheden onvol-doende rekening houden met het cliëntrisico. Ook Kachelmeier en Messier (1990) hebben tekort-komingen geconstateerd in de koppeling tussen foutinschatting en werkzaamheden. Zo blijkt uit hun onderzoek dat accountants significant kleinere steekproeven uitvoeren indien ze geen gebruik maken van beslissingshulpmiddelen. Een ander onderzoek naar de foutinschatting door accoun-tants is dat van Broeze (2006). Hij heeft in zijn onderzoek aangetoond dat de correlatie tussen de geschatte en werkelijke fouten sterk wisselend is. Ook de Autoriteit Financiële Markten (hierna: AFM) heeft in haar onderzoeken naar de kwaliteit van accountantscontrole, tekortkomingen ge-constateerd in de foutinschatting van accountants (AFM 2014, 2013). Ook is de kwaliteit van steekproefevaluatie door accountants veelvuldig onderzocht. Zoals eerder aangegeven dienen

(6)

steekproefuitkomsten te worden geprojecteerd naar de populatie. Tijdens de projectie van afwij-kingen dient de accountant rekening te houden met verwachte fouten, gevonden fouten en steek-proefonzekerheid (Elder en Allen, 2013; Burgstahler et al., 2000; ISA 530 par. A18 en A22). Ten aanzien hiervan hebben verschillende onderzoeken aangetoond dat accountants dit niet altijd op de juiste manier doen (Burgstahler en Jiambalvo, 1986; Dusenbury et al., 1994; Elder en Allen, 1998; Burgstahler et al., 2000). Bij zowel tekortkomingen in de steekproefopzet als de steekproef-beoordeling bestaat het risico dat het controlerisico niet is teruggebracht tot een aanvaardbaar laag niveau. Hierdoor bestaat het risico dat de accountant onterecht tot het oordeel komt dat de finan-ciële overzichten vrij zijn van materiële afwijkingen (ISA 200 par. 13). Indien dit zich voordoet is niet voldaan aan de Generally Accepted Accounting Principles (GAAP) (Francis, 2013).

In de hiervoor genoemde onderzoeken is geen verklaring gegeven voor de tekortkomin-gen. Wel geven een aantal van de onderzoekers het gebrek aan trainingen en opleidingen over statistiek als mogelijke verklaring (Elder en Allen, 2013; Hall et al., 2002). Vergelijkbaar stelt Broeze tijdens een symposium van de Belastingdienst over Statistical Auditing in 2009 dat de wisselende kwaliteit van steekproeven het gevolg kan zijn van gebrek aan statistische kennis. Het verband tussen de toepassing van steekproeven en statistiek tijdens opleidingen wordt ook aangehaald in een column over statistical auditing van Hassing (mei 2011). Zo stelt Hassing dat wantrouwen bestaat tegenover steekproeven in de accountantscontrole als gevolg van de relatieve geringe aan-dacht voor statistiek tijdens bedrijfseconomische opleidingen.

Voor zowel regelgevers, opleiders als accountantsorganisaties kan inzicht in het verband tussen de mate van statistiek tijdens opleidingen en de kwaliteit van het steekproefproces van be-lang zijn. Dit omdat ze bebe-lang hebben bij een toename van controlekwaliteit. Indien het genoemde verband kan worden aangetoond, kunnen opleidingsnormen worden aangepast waardoor statistiek meer overhand krijgt tijdens opleidingen. Dit kan leiden tot een toename van controlekwaliteit. Ondanks dat onderzoekers het genoemde verband veelvuldig als verklaring gegeven, blijkt uit lite-ratuurstudie niet dat hier eerder onderzoek naar is verricht. In dit onderzoek zal een gedeelte van deze gap worden opgevuld door aan de hand van een semi-experiment te onderzoeken of de mate van statistiek tijdens genoten opleidingen verband houdt met de mate waarin accountants onze-kerheid en gevonden en verwachte fouten in acht nemen bij het evalueren van steekproefuitkom-sten.

Maar waarom dit onderzoek als de toekomstige accountantscontrole naar waarschijnlijk-heid grotendeels zal bestaan uit data-analyses? Aldus de Federation of European Accountants (hierna: FFE) is het gevolg van innovatie dat big-data een belangrijke rol gaat spelen tijdens con-troles. Zowel eenvoudige als complexe controlewerkzaamheden zullen in de toekomst waarschijn-lijk volledig geautomatiseerd plaatsvinden (FFE, 2014, juni). Aldus Paul van Batenburg leidt dit niet tot overbodigheid van steekproeven. In zijn column over data-analyses stelt hij dat er altijd een niet geautomatiseerd invoer- of ontstaansmoment blijft bestaan, welke enkel door middel van steekproeven kan worden gecontroleerd (Batenburg, 2011, mei). Denk hierbij aan de invoer van data in databases of de totstandkoming van contracten of prijsafspraken. Ik sluit mij volledig aan

(7)

op zijn stelling en ben daarom van mening dat steekproeven ook in de toekomst, waarin big-data de overhand zal hebben, een belangrijke rol zullen blijven spelen in de accountantscontrole.

In dit onderzoek is de mate waarin deelnemers rekening houden met projectie van afwij-kingen en steekproefonzekerheid in relatie tot statistische kennis onderzocht aan de hand van een experiment. Bij de start van het experiment zijn de deelnemers voorzien van informatie over een fictieve controlecasus, waarbij enkel de informatie is gegeven die in de praktijk ook beschikbaar zou zijn. Vervolgens heeft de deelnemer in drie fases antwoord moeten geven over of een goed-keurende verklaring kon worden verstrekt of dat een correctie noodzakelijk was. Doordat per fase aanvullende informatie werd gegeven over de geprojecteerde afwijking en steekproefonzekerheid, is hiermee inzicht verkregen in de mate waarin de deelnemer in eerdere fases rekening had gehou-den met deze informatie. Een gewijzigd oordeel suggereert namelijk dat de deelnemer de aanvul-lende informatie in eerdere fases niet had overwogen. Naast de drie experimentele fases heeft de deelnemer ook vragen over zijn statistische kennis moeten beantwoorden.

De resultaten uit het experiment tonen niet aan dat deelnemers onvoldoende rekening houden met projectie van afwijkingen. Ook is niet aangetoond dat er een verband bestaat tussen statistische kennis en de mate waarin rekening wordt gehouden met de projectie van afwijkingen. Wel blijkt uit de resultaten over de eerste 3 condities dat er sprake is van een significante oordeels-wijziging op basis van aanvullende informatie over steekproefonzekerheid in fase 3. Dit suggereert dat deelnemers hiermee onvoldoende rekening hebben gehouden in eerdere fases. Ten aanzien van statistische kennis is hierbij aangetoond dat er sprake is van een significant verschil tussen deelnemers die komen tot een juist dan wel een onjuist oordeel. Ook is gebleken dat er sprake is van een verband tussen statistische kennis en de mate waarin deelnemers rekening houden met steekproefonzekerheid.

In het vervolg van dit onderzoek is in hoofdstuk 2 literatuurstudie en hypotheseontwikke-ling beschreven. Hierbij is ingegaan op het ARM, de foutinschatting en foutevaluatie van accoun-tants. Vervolgens is in hoofdstuk 3 de onderzoeksmethodiek besproken, waarbij de opzet van het experiment uiteen is gezet. In hoofdstuk 4 zijn vervolgens de onderzoeksresultaten besproken, gevolgd door hoofdstuk 5 waarin een samenvatting en de conclusie over dit onderzoek is beschre-ven.

(8)

2. Literatuurstudie en hypotheseontwikkeling

2.1. De accountantscontrole

Een accountantscontrole heeft tot doel een oordeel te vellen over de getrouwheid van de financiële overzichten, waarbij het oordeel een redelijke mate van zekerheid dient te hebben (ISA 200 par. 5). De standaarden schrijven voor dat de mate van zekerheid hoog moet zijn, maar geven hier geen verdere invulling aan. Wel beschrijven de standaarden dat een hoge mate van zekerheid kan worden verkregen indien de accountant voldoende en geschikte controle-informatie verkrijgt, teneinde het controlerisico terug te brengen tot een aanvaardbaar laag niveau (ISA 200 par. 5). Het controlerisico is het risico dat de accountant onterecht tot het oordeel komt dat de financiële over-zichten vrij zijn van materiële afwijkingen (ISA 200 par. 5). Het controlerisico wordt omschreven als een functie van het risico op een afwijking van materieel belang en het ontdekkingsrisico (ISA 200 par. 13). Terwijl de standaarden niet specifiek zijn over hoe het controlerisico kan worden bepaald, wordt hiertoe in de praktijk veelal het ARM als framework gebruikt (Mock en Wright, 1999). De inschatting van het controlerisico wordt vervolgens gebruikt het opzetten van een con-troleplan (Houston et al., 1999).

Omdat de materialiteit effect heeft op alle elementen uit het ARM dient de accountant tijdens zijn planningsfase eerst een inschatting te maken van het materialiteitsniveau (Houston et al., 1999). De materialiteit is de omvang van de afwijking, individueel of cumulatief, waarvan rede-lijkerwijs kan worden verwacht dat de aanwezigheid van deze afwijking of omissie invloed heeft op de economische beslissing van gebruikers die zij maken op basis van financiële overzichten (ISA 320 par. 2). Het bepalen van de materialiteit gebeurt op basis van professional judgement, welke wordt beïnvloed door de perceptie die de accountant heeft over de behoefte aan financiële informatie van gebruikers (ISA 320 par. 4). Bij het vaststellen van de materialiteit past de accoun-tant veelal een percentage toe op een benchmark (ISA 320 par. A3-A7; Majoor en Kellenburg, 2011). Factoren die de geschiktheid van de benchmark kunnen beïnvloeden zijn onder andere de elementen uit de financiële overzichten, de elementen waarop de gebruiker van de financiële over-zichten zich specifiek richt, de aard van de entiteit en de eigendomsstructuur (Majoor en Kellen-burg, 2011). Een aantal veelgebruikte uitgangspunten hierbij zijn dat een afwijking van minder dan 5% van de genormaliseerde opbrengsten voor belasting niet materieel zijn en afwijkingen groter dan 10% van de genormaliseerde opbrengsten wel materieel zijn (Blokdijk et al., 2003). Veelal hebben accountantskantoren hiertoe in hun controlehandboek een benchmark en minimum per-centage voorgeschreven. Na uitvoering van de controlewerkzaamheden dient de accountant te evalueren of de gezamenlijke of individuele niet-gecorrigeerde afwijkingen de materialiteit overstij-gen (ISA 450 par. 11). Is dit het geval, dan is sprake van een materiële afwijking. Aangezien de materialiteit is bepaald op basis van professional judgement kan niet met zekerheid worden gesteld dat indien de afwijkingen de materialiteit naderen, maar niet overstijgen de afwijkingen geen in-vloed hebben op de economische beslissing van de gebruiker van de financiële overzichten. Daarom dient de accountant zijn controleaanpak te herzien indien de geaggregeerde afwijking de

(9)

materialiteit nadert (ISA 450 par. 6). De accountant kan in een dergelijk geval overwegen het ma-nagement te verzoeken verder onderzoek te doen naar de oorzaak van de afwijkingen of te ver-zoeken een correctie door te voeren.

Het plannen van een controle gericht op het ontdekken van enkel individuele afwijkingen van materieel belang, kan ertoe leiden dat de som van kleinere, niet van materieel belang zijnde, afwijkingen tezamen leiden tot een materiële afwijking zonder dat deze worden gedetecteerd. Om de kans dat dit zich voordoet te verkleinen wordt in de accountantscontrole veelal gewerkt met een uitvoeringsmaterialiteit (ISA 320 par. A12; Majoor en Kellenburg, 2011). De uitvoeringsmate-rialiteit kan worden beschouwd als een afslag op de mateuitvoeringsmate-rialiteit om een veiligheidsmarge in te bouwen voor niet ontdekte afwijkingen die tezamen een materiële afwijking kunnen vormen. De uitvoeringsmaterialiteit is daarmee lager dan de materialiteit en dient als basis bij het opzetten van evalueren van werkzaamheden (ISA 320 par. 11). Indien de som van afwijkingen dicht bij de uit-voeringsmaterialiteit licht, dient de accountant te concluderen dat er sprake is van een ongewenst hoog controlerisico (Elder en Allen, 2013). Ook het bepalen van de uitvoeringsmaterialiteit gebeurt op basis van professional judgement, welke wordt beïnvloed door het verworven inzicht in de cliënt en geconstateerde afwijkingen in het verleden (ISA 320 par. A12). Uitkomsten uit de door de accountant uitgevoerde interim-controle vormen onderdeel van het proces waarin de accoun-tant inzicht verwerft. De uitvoeringsmaterialiteit in percentage van de materialiteit kan per controle verschillen en varieert in de praktijk veelal van 50% tot 75%. De verhouding tussen de uitvoerings-materialiteit en de uitvoerings-materialiteit variëren naar gelang het risico en efficiencyoverwegingen ten aan-zien van controlewerkzaamheden (Elder en Allen, 2013). Het uitgangspunt hierbij is dat hoe lager de kans is dat afwijkingen niet worden geconstateerd, hoe hoger de uitvoeringsmaterialiteit kan zijn. Zoals genoemd door Elder en Allen (2013) kan de uitvoeringsmaterialiteit ook uit efficiency-overweging hoger of lager worden gesteld. De accountant kan er bijvoorbeeld voor kiezen om minder risico af te dekken met interim-controle werkzaamheden, waardoor het risico op het niet ontdekken van afwijkingen groter is. In een dergelijke situatie dient de uitvoeringsmaterialiteit re-latief laag te zijn.

Zodra het materialiteitsniveau is bepaald dient de accountant een inschatting te maken van het ontdekkingsrisico, waarbij het ARM als framework wordt gebruikt (Elder and Allen, 2013; Mock en Wright, 1999). Bij toepassing van het ARM voert de accountant voorafgaand aan zijn werkzaamheden een risicoanalyse uit op basis waarvan een inschatting kan worden gemaakt over de kans dat er in een populatie afwijkingen van materieel belang voorkomen. Hiermee kan de accountant, op basis van bestaande kennis of professional judgement, vooraf zekerheid formuleren over de populatie en daarmee de omvang van zijn gegevensgerichte werkzaamheden verkleinen. Zoals eerder beschreven is het controlerisico een functie van het risico op een afwijking van ma-terieel belang en het ontdekkingsrisico (ISA 200 par. 13). Het risico op een afwijking van mama-terieel belang komt voort uit de schatting van het inherente risico (IR) en het interne controle risico (ICR). Vervolgens komt het ontdekkingsrisico (OR) voort uit het testrisico (TR) en het analytische pro-cedurerisico (APR) (Houston et al., 1999). Het IR is het risico dat een balanspost of groep van transacties materiële afwijkingen bevat, voordat de effectiviteit van interne beheersingsmaatregelen

(10)

in overweging is genomen. Daaropvolgend is het ICR het risico dat een materiële afwijking niet tijdig wordt voorkomen door het interne beheersingssysteem. Het OR is het niveau dat de accoun-tant aanvaardbaar acht dat met de controlewerkzaamheden een materiële afwijking niet wordt ge-detecteerd (Houston et al., 1999).

Indien de accountant op basis van bestaande kennis of professional judgement zekerheid kan verkrijgen over de kans op materiële afwijkingen, kan IR en/of ICR lager worden ingeschat. Dit kan het geval zijn indien een hoge materialiteit is bepaald of indien op basis van de interim-controle kan worden geconcludeerd dat bepaalde interne beheersingsmaatregelen effectief zijn in het afdekken van risico’s. Bij een lage IR en ICR kan de accountant op basis van het ARM een hoger risico nemen dat afwijkingen van materieel belang niet worden gedetecteerd, een hoger aan-vaardbaar OR dus. Hierdoor kan de accountant met minder gegevensgerichte werkzaamheden toch met voldoende zekerheid stellen dat de kans dat een materiële afwijking niet wordt gedetec-teerd tot een aanvaardbaar laag niveau is teruggebracht.

2.2. De toekomst van de accountantscontrole

De toenemende ontwikkelingen op het gebied van IT leiden tot een steeds complexere samenleving. Zo worden steeds meer processen geautomatiseerd en worden complexere zaken niet meer door mensen uitgevoerd, maar door een computer. Binnen de accountantspraktijk zijn dit belangrijke gebeurtenissen. De FFE (FFE, 2014, juni) schrijft bijvoorbeeld in een discussiepa-per over de toekomst van het accountantsberoep dat accountants moeten meegaan in technolo-gische ontwikkelingen. Doen ze dit niet dan kan dit zelfs een gevaar vormen voor het accountants-beroep. In het paper beschrijft de FFE dat big-data een revolutionaire rol zal spelen waarbij rond-rekeningen, steekproeven of complexe transacties in de toekomst geheel geautomatiseerd zullen worden uitgevoerd (FFE, 2014, juni). Hierdoor kan een verandering ontstaan in de huidige ac-countantscontrole, waarin veel wordt gesteund op interne beheersingsmaatregelen. Met behulp van big-data is het bijvoorbeeld mogelijk een algehele controle uit te voeren, waarbij alle transacties worden gecontroleerd.

Als big-data inderdaad de toekomst is van de accountantscontrole zal dit leiden tot een accountantscontrole die steeds meer steunt op data-analyses. De vraag is dan of data-analyses steekproeven overbodig maken? Batenburg (2011, mei) schrijft in zijn column over data-analyses dat dit niet het geval is. Zo schrijft hij dat software kan helpen in een accountantscontrole om een beter beeld te krijgen over de kwaliteit van een dataset. Met behulp van software kan namelijk op eenvoudige wijze specifiek naar risico’s in een dataset worden gezocht en daardoor kan een groot aantal mogelijke fouten worden geïdentificeerd. Hij stelt hierbij echter ook dat de data-analyse enkel zoekt naar fouten die de accountant wilt vinden. Big-data kan steekproeven dus niet vervan-gen, maar kan steekproeven wel effectiever en efficiënter maken (Batenburg, 2011, mei).

(11)

2.3. Steekproeven in de accountantscontrole

Steekproeven worden in de accountancy beschouwd als een detailcontrole op minder dan 100% van de populatie, bestaande uit transactiestromen of balansposten (Majoor et al., 2011). Het voordeel van een statistische steekproef is dat met een bekende toevalsfactor (zekerheid) een be-trouwbare en goed gefundeerde uitspraak kan worden gedaan over een populatie. Bij een niet-statistische steekproef ontbreekt de toevalsfactor of zijn de resultaten geanalyseerd op basis van professional judgement, waardoor het bewijs voor de conclusie zwakker is. De standaarden laten zowel statistische als niet-statistische steekproeven toe (ISA 530 par. A4). Hoewel de standaarden geen voorkeur tot uiting brengen, is wel voorgeschreven dat in vergelijkbare omstandigheden de omvang van een niet-statistische steekproef vergelijkbaar moet zijn met die van een statistische steekproef (ISA 530 par. A11).

De standaarden omtrent steekproeven zijn sinds totstandkoming in de jaren ’80 van de vorige eeuw tot heden niet significant gewijzigd. Toch is de daadwerkelijke toepassing van steek-proeven door accountants wel veranderd. Zo blijkt uit onderzoek door Sullivan (1992) en Elder en Allen (1998) dat niet-statistische steekproeven lange tijd de overhand hadden in accountants-controles. Ditzelfde stellen ook Elder en Allen (2013) in een onderzoek waarin sinds 1980 tot een paar jaar geleden een afname van statistische methodes is onderstreept. De laatste jaren blijkt ech-ter dat hier verandering in ontstaat. Zo stelt Hassing (2011) in een column over Statistical Auditing dat statistische steekproeven de laatste tijd steeds vaker worden toegepast in de accountantscon-trole. Uit literatuurstudie blijkt tot op heden niet dat onderzoek is verricht naar de beweegredenen van accountants om wel of geen statistische steekproeven toe te passen. Wel geven verschillende onderzoekers mogelijke verklaringen voor het fenomeen dat statistische steekproeven lange tijd bijna niet zijn toegepast. In veel gevallen wordt de opleiding hierbij als factor genoemd. Hassing (2011) stelt bijvoorbeeld dat de late opkomst van statistische steekproeven kan worden gewijd aan de geringe aandacht die aan statistiek wordt gegeven in bedrijfseconomische opleidingen. Ook Elder en Allen (2013) geven aan dat de geringe toepassing van statistische methodes kan voortko-men uit afnevoortko-mende aandacht aan statistiek tijdens opleidingen.

2.4. Relatie tussen foutinschatting en werkzaamheden

Zoals beschreven in paragraaf 2.1 maakt de accountant tijdens de planningsfase een in-schatting van het risico op het niet detecteren van afwijkingen van materieel belang, waarbij het ARM als framework wordt gebruikt (Mock en Wright, 1999; Houston et al, 1999). Een belangrijk uitgangspunt van het ARM is dat de risico-inschattingen die hieruit volgen effect hebben op de omvang van de gegevensgerichte werkzaamheden van de accountant. Indien dit niet het geval zou zijn bestaat het risico dat ondanks IR en ICR stijgen, de omvang van controlewerkzaamheden gelijk blijft, wat kan leiden tot het niet terugbrengen van het controlerisico tot een aanvaardbaar laag niveau. Mock en Wright (1999) onderkennen dit risico en stellen dat het proces om van risico inschatting naar een gedegen controleplan te komen als extreem complex en cognitief. Om hier meer inzicht in te krijgen hebben zij een onderzoek gedaan naar de relatie tussen het risicoprofiel

(12)

van de cliënt en de omvang van controlewerkzaamheden door de accountant. De resultaten uit hun onderzoek hebben aangetoond dat de hiervoor genoemde relatie in de meeste gevallen niet sterke aanwezig is. Het lijkt zelfs zo te zijn dat werkzaamheden eerder zijn gecorreleerd met de controle over eerder boekjaren, in plaats van risicofactoren zoals liquiditeit, winstgevendheid of inherente risico’s (Mock en Wright, 1999). Als mogelijke verklaring geven de onderzoekers de aanmoediging van accountantsorganisaties om standaard werkprogramma’s te gebruiken alsook de eerder genoemde complexiteit van het proces.

Een ander onderzoek naar de foutinschatting van accountants is uitgevoerd door Elder en Allen (2003). Zij hebben onderzocht of er een verband bestaat tussen de foutinschatting van ac-countants en de omvang van de uitgevoerde steekproeven. Uit hun onderzoek is gebleken dat zowel het IR als het ICR significant verband blijken te houden met de door de accountant gekozen steekproefomvang. De kracht van het verband blijkt echter afhankelijk te zijn van de aanwezigheid van kantoor specifieke controlerichtlijnen, waarin is voorgeschreven dat risico’s in overweging moeten worden genomen bij het kiezen van een steekproefomvang (Elder en Allen, 2003). De uitkomsten van het onderzoek van Elder en Allen (2003) suggereren dat bij gebruik van beslis-singshulpmiddelen accountants beter instaat zijn om een juiste koppeling te maken tussen risico’s en de steekproefomvang. Uit een eerder uitgevoerd onderzoek van Kachelmeier en Messier (1990) blijkt inderdaad dat dit zo is. In hun onderzoek hebben ze namelijk aangetoond dat accountants die gebruik maken van een beslissingshulpmiddel komen tot een significant hogere steekproefom-vang. Aanvullend hierop hebben ze echter ook aangetoond dat accountants geneigd zijn om de paramaters bij gebruik van beslissingshulpmiddelen zo te beïnvloeden dat de steekproefomvang op basis van het hulpmiddel dicht bij de uit efficiency overweging gewenste steekproefomvang komt. Ze noemen dit het ‘terug redeneer’ effect (Kachelmeier en Messier, 1990). In een later on-derzoek door Messier et al. (2001) is ditzelfde effect ook aangetoond.

Ook Broeze (2006) heeft onderzoek gedaan naar de correlatie tussen de geschatte en wer-kelijke fout. In het onderzoek stelt hij dat de risico-inschatting leidt tot het bepalen van de aard, timing en omvang van werkzaamheden. Op basis hiervan is gesteld dat het essentieel is dat de risico-inschatting valide is. Volgens Broeze is dit het geval indien het geschatte risico op materiële afwijkingen (de foutinschatting) en het werkelijke foutpercentage positief met elkaar gecorreleerd zijn. Met andere woorden, de risico-inschatting moet voorspellende kracht hebben voor de fout in de jaarrekening (Broeze, 2006). Uit zijn onderzoek naar deze validiteit bij circa 200 afgeronde accountantscontrole, blijkt de correlatie sterk wisselend te zijn. In de helft van de onderzochte controles blijkt zelfs dat de correlatie laag of geheel afwezig is. In dit zelfde onderzoek heeft Broeze (2006) ook onderzocht of de standaardtabellen die accountants gebruiken wel leiden tot validiteit. Ook dit blijkt niet in alle gevallen zo te zijn. Tijdens een symposium van de Belastingdienst over Statistical Auditing in 2009 stelt Broeze dat accountants het belang van de risicoanalyse overschat-ten en daarmee onderschatoverschat-ten wat er nog met steekproeven aan zekerheid moet worden verkregen.

Ten slotte heeft ook de AFM tekortkomingen in de foutinschatting van accountant gecon-stateerd. In haar onderzoek naar de kwaliteit van accountantscontroles (AFM 2014, 2013) is

(13)

aan-DE ACCOUNTANT ALS STATISTICUS?

dacht besteed aan de uitvoering van de interim-controle. Tijdens de interim-controle voert de ac-countant werkzaamheden uit om de opzet, het bestaan en eventueel de werking van het interne beheerssysteem te beoordelen (Majoor et al., 2011). Deze beoordeling leidt tot een inschatting van ICR. In het rapport concludeert het AFM dat accountants systeemgerichte werkzaamheden niet altijd juist uitvoeren, waardoor geheel niet op effectieve werking van de interne beheersing kan worden gesteund of de werkzaamheden als gegevensgericht dienen te worden aangemerkt (AFM, 2014).

De foutinschattingen van accountants blijkt dus niet altijd van voldoende niveau te zijn. Dit kan leiden tot een te lage risico-inschatting (IR en ICR), waardoor de accountant OR onterecht hoog bepaald. Hierdoor bestaat de kans dat het controlerisico niet wordt teruggebracht tot een aanvaardbaar laag niveau en de accountant hierdoor onterecht tot het oordeel kan komen dat de financiële overzichten vrij zijn van materiële afwijkingen (ISA 200 par. 13). Indien dit zich voor-doet is niet voldaan aan GAAP, wat resulteert in een lage controlekwaliteit (Francis, 2013). Kortom, de lage kwaliteit van de foutinschatting door de accountant kan een gevaar vormen voor de waarborging van een goede controlekwaliteit.

2.5. Foutevaluatie door accountants

Wanneer steekproeven zijn toegepast dient de accountant na het uitvoeren van zijn werk-zaamheden de uitkomsten te evalueren om vast te stellen of het controlerisico is teruggebracht tot een aanvaardbaar laag niveau. Bij het evalueren dienen de uitkomsten te worden geprojecteerd naar de populatie, waarbij rekening moet worden gehouden met verwachte fouten, gevonden fouten en de steekproefonzekerheid (Burgstahler et al., 2000; ISA 530 par. A18).

Verschillende onderzoeken hebben aangetoond dat accountants steekproeffouten niet al-tijd volgens de standaarden projecteren naar de populatie, wat kan leiden tot het onterecht conclu-deren dat een populatie vrij is van afwijkingen van materieel belang. Zo hebben Burgstahler en Jiambalvo (1986) met behulp van een case onderzoek aangetoond dat accountants in veel gevallen geneigd zijn om unieke fouten te isoleren en deze daarom niet te projecteren naar de populatie. Indien sprake is van een unieke fout wil dit zeggen dat de fout zich slechts één keer zal voordoen in de populatie en extrapolatie daarom niet nodig is (ISA 530 par. 13). Hierbij stellen ze dat de geïsoleerde fouten in veel gevallen onterecht als uniek waren aangemerkt. Dusenbury et al. (1994) hebben het onderzoek van Burgstahler en Jiambalvo aangevuld door het effect van context speci-fieke informatie en de frequentie van de afwijking op het besluit van accountants over isolatie van afwijkingen te onderzoeken. Context specifieke informatie omschrijven zij als informatie die kan worden gebruikt als argument om de afwijking te isoleren. Het onderzoek toont aan dat context specifieke informatie een sterker verband houdt met de isolatie dan de frequentie van de afwijking. Het is zelfs aangetoond dat bij de aanwezigheid van dergelijke informatie meer frequente afwijkin-gen vaker werden geïsoleerd dan afwijkinafwijkin-gen met een minder hoge frequentie. Dusenbury et al. (1994) stellen hiervan dat dit vreemd is omdat de frequentie van de afwijking in belangrijke mate moeten meespelen in de beoordeling omtrent het wel of niet isoleren van afwijkingen.

(14)

Ook Elder en Allen (1998) hebben onderzoek gedaan naar de projectie van afwijkingen door accountants. Hierbij hebben ze aan de hand van 64 steekproeven in accountantscontroles de beslissing van de accountant omtrent projectie van afwijkingen onderzocht. Hiermee hebben ze aangetoond dat accountants niet materiële afwijkingen en afwijkingen die omzet verlagend zijn vaak niet meenemen in de projectie van afwijkingen en dat accountants bij het projecteren van afwijkingen slechts sporadisch steekproefonzekerheid in acht nemen. Ten aanzien van steekproe-ven met een hoog foutpercentage of evaluatie van fouten met beslissingshulpmiddelen hebben ze geen tekortkomingen vastgesteld (Elder en Allen, 1998).

In een recenter onderzoek hebben van Burgstahler et al., (2000) opnieuw de foutevaluatie van accountants onderzocht. Dit door zich te richten op de foutprojectie en de mate waarin ac-countants onzekerheid in acht nemen bij de evaluatie van maximale fouten. Hierbij hebben ze met een experiment aangetoond dat accountants de effecten van verwachte fouten en steekproefonze-kerheid onderschatten bij het evalueren van gevonden fouten. Dit hebben zij onderzocht aan de hand van casussen waarin de accountant onder vier verschillende experimentele condities moest beslissen of een correctie noodzakelijk was om het controlerisico tot een aanvaardbaar laag niveau te brengen. Iedere casus was ingedeeld in drie fases waarin steeds meer informatie over de foutkans en onzekerheid met betrekking tot een steekproef werd gegeven. Iedere accountant was ingedeeld in één van de vier condities, waarin verschillende foutkansen en onzekerheden waren verwerkt. In de eerste fase was over beide geen concrete informatie gegeven, wat veelal in de praktijk de situatie is. Kortom, de accountant dient zelf een inschatting te maken. Uit het onderzoek is gebleken dat in de fases met meer concrete informatie, significant meer correcties werden geëist. Ondanks dat de casus zo was ingericht dat onder drie van de vier condities een correctie wenselijk of noodza-kelijk was, kozen vrijwel alle respondenten niet voor een correctie in de eerste fase. Op basis hier-van stellen Burgstahler et al., (2000) dat accountants foutprojectie en onzekerheid onderschatten. In een dergelijk geval bestaat het risico dat de accountant tot een te lage maximale fout komt, waardoor de projectie naar de populatie niet juist is. De accountant kan dan komen tot een foutieve beslissing met betrekking tot de aanwezigheid van afwijkingen van materieel belang in gecontro-leerde financiële overzichten (Burgstahler et al., 2000).

Hall et al. (2002) hebben in hun onderzoek aangetoond dat accountants vaak onterecht geen rekening houden met de niet willekeurige trekking en onzekerheid bij toepassing van niet-statistische steekproeven. Veel van de respondenten hebben hierbij aangegeven dat ze relatief wei-nig trainingen hebben gevolgd inzake de verschillen tussen statistische en niet-statistische metho-des. Hall et al. (2002) stellen daarom dat het noodzakelijk is dat accountants meer training krijgen in de toepassing van niet-statistische steekproeven.

In tegenstelling tot hetgeen hiervoor beschreven blijkt uit onderzoek van Butler (1985) dat indien accountants gebruik maken van beslissingshulpmiddelen, ze beter in staat zijn om steek-proefuitkomsten juist te projecteren naar de populatie. Butler wijt het verschil tussen de fouteva-luatie bij het wel en niet gebruiken van beslissingshulpmiddelen aan het onderschatten of negeren van statistische informatie (Butler, 1985). Zo dwingt een kwalitatief goed beslissingshulpmiddel de

(15)

accountant om rekening te houden met geprojecteerde afwijkingen alsook met steekproefonzeker-heid. Zonder behulp van beslissingshulpmiddelen zou de accountant beslissingen nemen op ver-tekende of onvolledige informatie (Butler, 1985).

2.6. Hypotheseontwikkeling

Ongeacht of er sprake is van een statistische of niet-statistische steekproef dient de ac-countant de steekproefuitkomsten te projecteren naar de populatie en dient hij hierbij rekening te houden met steekproefonzekerheid (Elder en Allen, 2013; Burgstahler et al, 2000; ISA 530 par. A18 en A22). Ook dient de accountant voorafgaand aan het uitvoeren van een steekproef een foutinschatting te maken om vervolgens op basis hiervan de omvang van zijn gegevensgerichte werkzaamheden te bepalen. Ten aanzien van zowel de projectie van afwijkingen als de foutinschat-ting blijken uit bestaande onderzoeken tekortkomingen. Zoals is beschreven in paragraaf 2.5 heb-ben onderzoekers aangetoond dat accountants steekproefuitkomsten niet altijd consistent volgens de standaarden projecteren naar de populatie (Burgstahler en Jiambalvo, 1986; Dusenbury et al., 1994; Elder en Allen, 1998; Burgstahler et al., 2000). Dit laatste zou het gevolg zijn van het onder-schatten van het effect van projectie van afwijkingen of onvoldoende rekening houden met steek-proefonzekerheid. Ook hebben verschillende onderzoekers tekortkomingen in het proces waarin foutinschattingen door accountants worden omgezet in controlewerkzaamheden (Kachelmeier en Messier, 1990; Mock en Wright, 1999; Houston et al., 1999; Elder en Allen, 2003; Broeze, 2006; AFM, 2014, 2013). De genoemde tekortkomingen kunnen ertoe leiden dat de hypothese dat zich geen afwijkingen van materieel belang voordoen in een populatie onterecht wordt geaccepteerd. Kortom, het belang van het juist uitvoeren van een steekproef is groot en toch blijken accountants hier niet altijd goed in te zijn.

In de hiervoor genoemde onderzoeken is geen verklaring gegeven voor de tekortkomin-gen. Wel wordt het gebrek aan opleiding en training door een aantal onderzoekers als mogelijke oorzaak gegeven. Zo blijkt uit onderzoek door Hall en Pierce (2002) dat accountants bij de evalu-atie van steekproefuitkomsten uit niet-statistische steekproeven de onzekerheid hiervan onder-schatten. Als belangrijke verklaring geven Hall en Pierce (2002) dat accountants onvoldoende op de hoogte zijn van de onzekerheid als gevolg van gebrek aan training. Dit suggereert dat statistische kennis belangrijk is bij het toepassen van steekproeven en specifieker, bij de evaluatie van steek-proefuitkomsten. Ook Elder en Allen (2013) leggen een verband tussen statistische kennis en de toepassing van steekproeven. Ze stellen namelijk dat de geringe toepassing van statistische steek-proeven het gevolg kan zijn van de gerichte aandacht die aan statistiek wordt gegeven tijdens be-drijfseconomische opleidingen. Hassing (mei 2011) geeft in een column over ‘statistical auditing’ een vergelijkbare verklaring bij zijn stelling dat steekproeven relatief onbekend zijn in de accoun-tantscontrole en accountants hier wantrouwig tegenover staan. Tot slot stelt Broeze tijdens een symposium van de Belastingdienst over Statistical Auditing in 2009 dat de wisselende correlatie tussen geschatte steekproefafwijkingen en werkelijke afwijkingen het gevolg kan zijn van onvol-doende statistische kennis bij accountants.

(16)

Naast de hiervoor beschreven suggesties van onderzoekers dat een gebrek aan statistische kennis een oorzaak kan zijn voor de tekortkomingen bij toepassing van steekproeven, kan het belang van statistische kennis ook worden benadrukt vanuit de sterke verwantschap tussen het ARM en statistiek. Het ARM heeft namelijk op zichzelf ook verwantschap met statistiek. Dit blijkt bijvoorbeeld uit de hoogte van het maximale controlerisico, welke aldus Klijnsmit et al. (2003) kan variëren van 1% tot 5%. In de statistiek geldt hetzelfde en wordt een significantieniveau van meer dan 5% niet als statistisch significant beschouwd (Keller, 2011, p. 365). Ook de benaming van het controlerisico heeft verband met statistiek, namelijk: het risico dat de accountant onterecht tot het oordeel komt dat de financiële overzichten vrij zijn van materiële afwijkingen (ISA 200 par. 5). Dit is vergelijkbaar met een type 1 fout uit de statistiek. Fout type 1 bestaat wanneer de nulhypothese wordt verworpen terwijl deze waar is (Keller 2011, p. 357).

Samenvattend blijkt dat accountants steekproefuitkomsten niet altijd volgens de standaar-den projecteren naar de populatie. Dit is voornamelijk het gevolg van het onderschatten van het effect van projectie van afwijkingen en steekproefonzekerheid. Een aantal onderzoekers suggereert dat dit het gevolg kan zijn van gebrek aan statistische kennis. Op basis van de hiervoor beschreven discussie, zijn de volgende hypotheses gesteld:

H1a: Accountants onderschatten bij het evalueren van afwijkingen en het inschatten van de noodzaak om een correctie door te voeren het effect van de projectie van afwij-kingen over de populatie.

H1b: Accountants met meer statische kennis onderschatten het effect van projectie van afwijkingen over de populatie minder dan accountants met minder statistische ken-nis.

H2a: Accountants houden bij het evalueren van afwijkingen en het inschatten van de noodzaak om een correcties door te voeren onvoldoende rekening met steekproef-onzekerheid.

H2b: Accountants met meer statistische kennis houden bij het evalueren van steekproef-afwijkingen meer rekening met steekproefonzekerheid dan accountants met min-der statistische kennis bij het evalueren van afwijkingen.

(17)

3. Onderzoeksmethodiek

Om de in hoofdstuk 2 geformuleerde hypotheses te onderzoeken heb ik gebruik gemaakt van een combinatie van een experiment met controlevragen en een vragenonderzoek. Met het experiment is inzicht verkregen in de mate waarin de deelnemers rekening houden met projectie van afwijkingen en steekproefonzekerheid bij het evalueren van steekproefuitkomsten. Met het vragenonderzoek is inzicht verkregen in de statistische kennis van de deelnemers.

3.1. Respondenten

Aan dit onderzoek hebben 63 deelnemers geanticipeerd die werkzaam zijn bij een Neder-lands accountantskantoor. De gemiddelde werkervaring van de deelnemers is 5,5 jaar en circa 88% (56/63) is werkzaam als senior medewerker of hoger. Als senior medewerker is de deelnemer be-trokken bij alle aspecten van de controle, van planning tot het (mee)bepalen welke controleverkla-ring wordt verstrekt (Burgstahler et al., 2000). Er is gekozen voor deelnemers met relatief weinig werkervaring omdat dit kan leiden tot meer valide testresultaten. Aldus Gillet en Peytcheva (2011) kan dit komen doordat ervaring leidt tot bekendheid met een bepaalde werkwijze. 63% (40/63) van de deelnemers is werkzaam bij één van de Big-4, 14% (9/63) bij een middelgroot accountants-kantoor en 22% (14/63) bij een klein accountantsaccountants-kantoor. De deelnemers zijn per email benaderd, waarbij in de email een link naar de online survey tool was opgenomen. Er zijn 209 medewerkers van accountantskantoren benaderd. Het reactiepercentage is daarmee 30%.

3.2. Experiment

De opzet van dit experiment is gebaseerd op het onderzoek van Burgstahler et al. (2000). Evenals in dit onderzoek hebben ook Burgstahler et al. (2000) onderzoek gedaan naar projectie van afwijkingen door accountants en de mate waarin zij rekening houden met steekproefonzeker-heid. In bestaande literatuur wordt veelvuldig naar hun onderzoek verwezen (o.a. Elder en Allen, 2013; Broeze, 2006; Messier et al., 2001). Aangezien het model van Burgstahler et al. (2000) is ontwikkeld rond het jaar 2000 en is geschreven vanuit Amerikaanse standaarden (Generally Ac-cepted Auditing Standards: GAAS), heb ik het experiment aangepast zodat het beter aansluit bij dit onderzoek en de huidige controlestandaarden in Nederland (International Standards on Audi-ting: ISA).

In de inleiding van het experiment is aangegeven wat het doel van het experiment is. Ook is aangegeven dat de individuele antwoorden vertrouwelijk worden behandeld. De deelnemers is verzocht de vragen te beantwoorden op basis van eigen kennis en ervaring in de controle.

Het experiment bestaat uit drie fases, waarbij in iedere fase informatie is gegeven op basis waarvan een oordeel moet worden gevormd over de te verstrekken controleverklaring. In de eerste fase is achtergrondinformatie gegeven over een hypothetische controlecasus. Het niveau en diep-gang van informatie is in deze fase vergelijkbaar met beschikbare informatie in de praktijk. In de casus is een situatie geschetst waarin alle controlewerkzaamheden reeds zijn verricht en enkel nog een besluit moet worden genomen over de te verstrekken controleverklaring. Ter informatie is opgenomen dat er sprake is van transportorganisatie, waarbij een uitvoeringsmaterialiteit is bepaald

(18)

van € 700.000. Ook is aangegeven dat tijdens de interim-controle is gebleken dat de aanwezige beheersingsmaatregelen niet effectief zijn bevonden in het afdekken van geïdentificeerde risico's en als gevolg hiervan de controle overwegend gegevensgericht is uitgevoerd. Als achtergrondin-formatie is ook gegeven dat tijdens eerdere accountantscontroles is gebleken dat het management van de organisatie bereidwillig is om afwijkingen te corrigeren. Dit jaar zou dit echter anders zijn omdat de organisatie in onderhandelingen voor een nieuwe kredietfaciliteit reeds een concept jaar-rekening heeft verstrekt aan de bank. Eventuele correcties zouden een gevaar kunnen vormen voor het verstrekken van de kredietfaciliteit door de bank.

Naast de hiervoor beschreven algemene informatie is in fase één van het experiment ook een overzicht van controleverschillen opgenomen. De controleverschillen bestaan uit één afwij-king die niet via een steekproef is ontdekt en een aantal afwijafwij-kingen die wel via een steekproef zijn ontdekt. De niet-steekproefafwijking komt voort uit een te hoge waardering van grond en bedraagt € 195.000. Ten aanzien van de steekproefafwijkingen is meer informatie gegeven, namelijk de aard en omvang van de getoetste populatie, de steekproefomvang en gevonden afwijkingen. Nadat de achtergrondinformatie is doorgelezen is de deelnemer verzocht één van de volgende opties te kie-zen: a) op basis van de geconstateerde afwijkingen kan niet tot een goedkeurende controleverklaring worden gekomen zonder een correctie door te voeren, b) ondanks de geconstateerde afwijkingen kan wel tot een goedkeurende controle, of c) er kan slechts tot een goedkeurende controleverklaring worden gekomen indien de volgende correctie wordt doorgevoerd. Bij optie c dient de deelnemer de omvang van de correctie aan te geven. In fase twee is vervolgens specifiek de omvang van de geprojecteerde afwijkingen per steekproef gegeven, waarna de eerder genoemde vraag is herhaald. In fase drie is uiteindelijk aanvullende informatie gegeven over de steekproefonzekerheid. Deze is uitgedrukt in een maximale afwijking (ookwel: upper con-fidence level)1_{. De deelnemer zou in fase één staat moeten zijn om deze factoren op basis van de} gegeven informatie te berekenen.

Doordat het met het drie fasen model mogelijk is de drie experimentele fases met elkaar te vergelijken is het mogelijk om te toetsen of deelnemers rekening houden met projectie van afwij-kingen en steekproefonzekerheid. Indien een deelnemer in fase één onterecht geen of onvol-doende rekening heeft gehouden met projectie van afwijkingen bestaat de verwachting dat zijn oordeel wijzigt nadat aanvullende informatie is verstrekt over de geprojecteerde afwijking in fase twee. Ditzelfde geldt voor fase drie waarbij de verwachting bestaat dat deelnemers hun oordeel aanpassen indien tijdens fase één en twee onvoldoende rekening is gehouden met steekproefon-zekerheid. In het experiment kan het aanpassen van het oordeel bestaan uit een wijziging in het soort verklaring of het wijzigen van de gewenste correctie om tot een goedkeurende controlever-klaring te komen. Op basis van de mogelijke antwoordreeksen kunnen drie typen deelnemers wor-den onderscheiwor-den, namelijk: 1) deelnemers die geen rekening houwor-den met projectie van

1_{Omdat de berekening van de maximale afwijking relatief complex en tijdrovend is, wordt niet van de deelnemers}

(19)

plaats-DE ACCOUNTANT ALS STATISTICUS?

gen en steekproefonzekerheid, 2) deelnemers die wel rekening houden met projectie van afwijkin-gen, maar niet met steekproefonzekerheid en 3) deelnemers die rekening houden met zowel pro-jectie van afwijkingen als steekproefonzekerheid.

De verwachting bestaat dat deelnemer type 1 in de condities 3 en 4 zijn oordeel zal wijzi-gen. Zoals eerder aangegeven nadert de totale afwijking onder deze condities de uitvoeringsmate-rialiteit, waardoor de deelnemer op basis van ISA 450 par. A6 aanvullend onderzoek zou kunnen doen of een correctie zou kunnen eisen. In het experiment konden deelnemers enkel kiezen voor het doorvoeren van een correctie. De hiervoor genoemde verwachting is consistent met H1a. Bij deelnemer type 2 bestaat onder alle condities de verwachting dat het oordeel wijzigt in fase 3. Dit zou consistent zijn met H2a. Deelnemer type 3 zal zijn oordeel gedurende het experiment naar verwachting niet wijzigen.

Naast de drie fases is er in het experiment ook onderscheid gemaakt in vier condities, waarbij het niveau van de geprojecteerde afwijking en onzekerheid per conditie verschilt. Het ver-schil in de projectie van afwijkingen is gelegen in de omvang van de initieel geconstateerde afwij-king. Hoe hoger de verhouding van de initiële afwijking ten opzichte van de boekwaarde van een steekproefitem, hoe hoger de geprojecteerde afwijking. De geprojecteerde afwijking bij de condi-ties met een lage geprojecteerde afwijking bedraagt € 335.401 bij conditie 1 en € 359.360 bij con-ditie 2. Bij de concon-dities met een hogere geprojecteerde afwijking bedraagt de geprojecteerde afwij-king € 479.417 bij conditie 3 en € 479.157 bij conditie 4. Ten aanzien van steekproefonzekerheid is het verschil gelegen in de steekproefomvang. Hoe hoger de omvang van de steekproef, hoe lager de onzekerheid. Bij de conditie met een lage steekproefonzekerheid was de steekproefomvang 240 en bij de hoge steekproefonzekerheid was de steekproefomvang 60. In tabel 1 is per conditie de afwijking per fase weergegeven. In afbeelding 1 is vervolgens het verband tussen de afwijkingen per fase in relatie tot de en de uitvoeringsmaterialiteit schematisch weergegeven. De deelnemers werden voorafgaand aan het experiment automatisch aan één van de vier condities toegekend. Het experiment is zo ingericht dat bij een lage geprojecteerde afwijking en een lage steekproefonzeker-heid geen correctie hoeft te worden doorgevoerd om tot een goedkeurende controleverklaring te komen. In andere situaties waarbij de geprojecteerde afwijking en een steekproefonzekerheid hoog zijn, is een correctie wel noodzakelijk om tot een goedkeurende controleverklaring te komen. De geprojecteerde afwijkingen bij conditie 3 en conditie 4 (hoge afwijking en hoge onzekerheid) be-dragen respectievelijk € 674.147 en € 674.157. Deze bebe-dragen naderen de uitvoeringsmaterialiteit van € 700.000. Zoals eerder genoemd dient in een dergelijk geval op grond van ISA 450 par. A6 verder onderzoek te worden uitgevoerd of dient een correctie te worden geëist om tot een ‘schone’ controleverklaring te komen. Door de toewijzing van de vier condities kan inzicht worden verkre-gen in het effect van andere zaken die naast kennis en ervaring ook effect hebben op de oordeels-vorming van de deelnemers. Bijvoorbeeld als gevolg van het ‘demand effect’, waarbij deelnemers een oordeel vormen op basis van hetgeen zij gepast achten in die situatie. Doordat dit effect zal bestaan bij alle vier de condities, kan dit effect worden geëlimineerd door de vier condities met elkaar te vergelijken.

(20)

Tabel 1: Controleverschillen tijdens drie experimentele fases

Fases Bekende

afwij-king

Geprojecteerde afwijking

Maximale af-wijking

Conditie 1: Lage projectie | Lage onzekerheid

Volwaardigheid debiteuren 33.484 335.401 501.643

Waardering grond 195.000 195.000 195.000

228.484 530.401 696.643

Conditie 2: Lage projectie | Hoge onzekerheid

203.969 554.360 847.549

Conditie 3: Hoge projectie | Lage onzekerheid

242.835 674.147 901.022

Conditie 4: Hoge projectie | Hoge onzekerheid

206.959 674.157 1.071.257

Figuur 1: Relatie uitvoeringsmaterialiteit en afwijking per fase

-200.000 400.000 600.000 800.000 1.000.000 1.200.000

HP/HO HP/LO LP/HO LP/LO

Bekende af wijking Geprojecteerde af wijking Maximale af wijking

(21)

DE ACCOUNTANT ALS STATISTICUS? 3.3. Vragenonderzoek

Het doel van het vragenonderzoek is het meetbaar maken van statistische kennis van de deelnemers. In dit onderzoek is de mate van statistische kennis gemeten aan de hand van eigen inschatting van de deelnemers. Om de eigen inschatting te toetsen zijn als controlevariabele inte-resse in statistiek, het aantal gevolgde statistiek gerelateerde vakken en genoten opleiding meege-nomen. Ten aanzien van het aantal statistiek gerelateerde vakken hebben Hall et al. (2002) een gelijke vergelijking uitgevoerd door aan de hand van het aantal trainingen omtrent steekproeven te meten of er een verband bestaat tussen foutevaluatie en educatie. Hieruit is gebleken dat veel deel-nemers uit hun onderzoek die onvoldoende rekening hebben gehouden met steekproefonzeker-heid, relatief weinig trainingen hebben gevolgd over de toepassing steekproeftoepassing. Dit sug-gereert dat de mate waarin steekproefonzekerheid afhankelijk kan zijn van het aantal door accoun-tants gevolgde trainingen. Ook hebben de deelnemers vragen moeten beantwoorden om de vali-diteit van de 4 experimentele condities te toetsen. De vragen hebben betrekking op de begrijpe-lijkheid van het experiment, concentratie tijdens het experiment en interesse in het experiment. In alle gevallen is een likert-schaal van 1 op 5 gehanteerd, waarbij 1 staat voor niet mee eens en 5 voor wel mee eens.

(22)

4. Resultaten

In dit hoofdstuk worden eerst de beschrijvende statistieken van het experiment met de drie fases en vier condities besproken. Vervolgens worden ook de beschrijvende statistieken uit het experiment in relatie tot de gemeten statistische kennis besproken. Als laatst wordt de toetsing van hypotheses besproken.

4.1. Beschrijvende statistieken

In tabel twee is de beschrijvende statistiek opgenomen van de resultaten over de drie fases en vier condities. Uit de tabel blijkt dat 62% (39/63) van de deelnemers in fase 1 zonder correctie tot een goedkeurend oordeel komt. Bij de condities 2 tot en met 4 waarbij het niet doorvoeren van een correctie leidt tot een onacceptabel hoog controlerisico, komt 38% (18/47) van de deelnemers tot een goedkeurend oordeel. Dit suggereert dat een groot deel van deelnemers onvoldoende re-kening houdt met projectie van afwijkingen of steekproefonzekerheid, wat consistent is met H1a en/of H2a. Dit geldt met name bij de condities 3 en 4 waarbij zowel de som van de bekende en geprojecteerde afwijkingen alsook de maximale afwijking de uitvoeringsmaterialiteit nadert of overstijgt.

Uit analyse van de resultaten uit fase 2 blijkt dat 65% (41/63) van de deelnemers tot een goedkeurend oordeel komt. Dit is een stijging van 2 deelnemers ten opzichte van fase 1. Onder de condities 2 tot en met 4, waarbij het controlerisico niet kan worden teruggebracht naar een aan-vaardbaar laag niveau zonder het doorvoeren van een correctie, is dit 36% (17/47). Ook deze resultaten suggereren dat een groot deel van de deelnemers onvoldoende rekening houdt met steekproefonzekerheid. Aangezien de correctie ten opzichte van fase 2 slechts beperkt is, lijkt dit ten aanzien van projectie van afwijkingen niet het geval te zijn. Aangezien de som van de bekende en geprojecteerde afwijking onder de condities 3 en 4 de uitvoeringsmaterialiteit naderen, bestond de verwachting dat deelnemers, bij het verkrijgen van specifieke informatie over de geprojecteerde afwijking, hun oordeel zouden aanpassen van een goedkeurend oordeel naar het oordeel dat een correctie noodzakelijk is. De resultaten laten dit echter niet zien. Een mogelijke verklaring hiervoor kan zijn gelegen in de interpretatie van de uitvoeringsmaterialiteit. Op basis van ISA 320 wordt met behulp van de uitvoeringsmaterialiteit een veiligheidsmarge ingebouwd voor niet ontdekte afwijkingen. Uitgaande hiervan zou er sprake zijn van een materiële afwijking indien de som van geconstateerde afwijkingen de uitvoeringsmaterialiteit overstijgt of nadert. Een aantal responden-ten heeft echter aangegeven dat zij niet de uitvoeringsmaterialiteit als drempel hanteren, maar het verschil tussen de materialiteit en de uitvoeringsmaterialiteit (zogenoemde GAP)2_.

2_{Deze benadering wijkt af van ISA 320, maar is niet fout. Aangezien de materialiteit niet in het experiment is genoemd,}

bestaat de kans dat deelnemers uit voorzichtigheid zijn uitgegaan van een kleine GAP. Dit is niet waarschijnlijk. In het experiment is benoemd dat de controle overwegend gegevensgericht is uitgevoerd. Hierdoor zou de uitvoeringsmate-rialiteit in percentage van de mateuitvoeringsmate-rialiteit relatief klein moeten zijn, omdat weinig risico is ondervangen met interne beheersingsmaatregelen. Deelnemers zouden moeten komen op een percentage van 50% of iets daarboven. Het effect

(23)

Tenslotte suggereren de resultaten uit fase 3 dat deelnemers in fase 1 en 2 onvoldoende rekening hebben gehouden met steekproefonzekerheid. Dit blijkt uit de sterke afname van het aantal goedkeurende oordelen in fase 3. Op totaalniveau komt namelijk 32% (20/63) van de deel-nemers tot een goedkeurend oordeel. Dit is een substantiële afname ten opzichte van fase 2 waar 65% (41/63) tot een goedkeurend oordeel komt en fase 1 waar 61% (39/63) tot een goedkeurend oordeel komt. Indien enkel van de condities 2 tot en met 4 wordt uitgegaan, waarbij de maximale afwijking de uitvoeringsmaterialiteit overstijgt, is de afname nog sterker. In fase 3 komt 21% (10/47) deelnemers tot een goedkeurend oordeel, tegenover 64% (30/47) in fase 2 en 62% (29/47) in fase 1. De daling van het aantal goedkeurende oordelen onder conditie 1, waar de maximale afwijking de uitvoeringsmaterialiteit niet overstijgt, is beperkt tot één deelnemer.

Zoals eerder aangegeven is het experiment in dit onderzoek gebaseerd op het experiment van Burgstahler et al. (2000). Gezien de overeenkomsten tussen de experimenten zouden de uit-komsten van hun onderzoek vergelijkbaar moeten zijn met de uituit-komsten van dit onderzoek. Uit vergelijking van de uitkomsten blijkt dit echter niet volledig het geval te zijn. Waar het aantal cor-recties in het onderzoek van Burgstahler et al. (2000) onder alle condities per fase toeneemt, is dit in dit onderzoek niet het geval. Fase 2 van dit onderzoek vormt hierop namelijk een uitzondering. Het totaal aan geëiste correcties in fase één van dit onderzoek (38%) is vergelijkbaar met het on-derzoek van Burgstahler et al. (46%). In fase 2 is dit niet meer het geval en is het aantal correcties in dit onderzoek gedaald naar 35%, waar dit in het onderzoek van Burgstahler et al. (2000) stijgt naar 63%. In fase 3 neemt de vergelijkbaarheid weer toe en stijgt het aantal correcties in dit onder-zoek naar 68% waar dit bij Burgstahler et al. (2000) 79% is. Een mogelijke verklaring hiervoor kan zijn dat de eerder door Burgstahler et al. (2000) aangetoonde onderschatting van het effect van projectie van afwijkingen in de periode tussen hun onderzoek en dit onderzoek is verbeterd. Mo-gelijk dat dit het gevolg is van een toename van het gebruik van beslissingshulpmiddelen, waarbij verschillende onderzoekers hebben aangetoond dat beslissingshulpmiddelen leiden tot betere pro-jectie van afwijkingen (Butler, 1985; Elder en Allen, 1998; Elder en Allen, 2003).

Een ander verschil is gelegen in de vermelding van de gewenste correctie. Waar in het onderzoek van Burgstahler et al. (2000) informatie beschikbaar is over de omvang van de gewenste correcties, is dergelijke informatie in dit onderzoek niet beschikbaar. De oorzaak hiervan is gelegen in de wijze van vraagstelling. In het onderzoek van Burgstahler et al. (2000) konden deelnemers kiezen uit een afkeurende verklaring, een goedkeurende verklaring of een correctie. In dit onder-zoek is in plaats van een afkeurende verklaring als antwoord mogelijkheid, nogmaals het eisen van een correctie opgenomen, zonder dat hierbij de omvang van de correctie diende te worden ver-meld. Dit verschil in vraagstelling is het gevolg van een foutieve formulering van de vraag. Het gevolg hiervan is dat de meeste deelnemers die tot het oordeel zijn gekomen dat een correctie noodzakelijk is, hebben gekozen voor antwoord A en derhalve geen specifieke correctieomvang hebben genoemd. Bij het meten of er sprake is van onderschatting van het effect van projectie van afwijkingen of steekproefonzekerheid wordt in dit onderzoek de wijzigingen in het oordeel als uitgangspunt genomen, in plaats van wijziging in de omvang van de correctie zoals gedaan door Burgstahler et al. (2000).

(24)

DE ACCOUNTANT ALS STATISTICUS? Tabel 2: Resultaten

Fase 1 Fase 2 Fase 3

Totaal (n = 58)

Correctie 24 38% 22 35% 43 68%

Goedkeurend 39 62% 41 65% 20 32%

Conditie 1: Lage projectie | Lage onzekerheid (n = 16)

Correctie 6 38% 5 31% 6 38%

Goedkeurend 10 62% 11 69% 10 62%

Conditie 2: Lage projectie | Hoge onzekerheid (n = 14)

Correctie 2 14% 3 21% 11 79%

Goedkeurend 12 86% 11 79% 3 21%

Conditie 3: Hoge projectie | Lage onzekerheid (n = 16)

Correctie 10 62% 8 50% 14 88%

Goedkeurend 6 38% 8 50% 2 13%

Conditie 4: Hoge projectie | Hoge onzekerheid (n = 17)

Correctie 6 35% 6 35% 12 71%

Goedkeurend 11 65% 11 65% 5 29%

In de tabellen 3 en 4 zijn de resultaten van het experiment in relatie tot de gemeten statis-tische kennis opgenomen. De eerste conditie in het experiment is zo ingericht dat zowel projectie van afwijkingen als de maximale afwijking (op basis van steekproefonzekerheid) de uitvoerings-materialiteit niet overstijgt. Uitgaande hiervan zou de deelnemer tot een goedkeurend oordeel moe-ten komen. De overige drie condities zijn zo ingericht dat zowel de geprojecteerde afwijking (con-dities 3-4) als de steekproefonzekerheid (con(con-dities 2-4) de uitvoeringsmaterialiteit naderen of over-stijgen. In dit geval zou de deelnemer moeten komen tot het oordeel dat een correctie noodzakelijk is. Kortom, in het experiment is sprake van een juist antwoord indien deelnemers die zijn toege-wezen aan conditie 1 komen tot een goedkeurend oordeel en deelnemers die zijn toegetoege-wezen aan de overige condities komen tot het oordeel dat een correctie noodzakelijk is om tot een goedkeu-rend oordeel te komen. In tabel 3 is een overzicht opgenomen met juistheid van antwoorden in relatie met gemiddelde statistische kennis. Deze vergelijking is per fase opnieuw gemaakt omdat deelnemers hun oordeel gedurende de drie fases kunnen aanpassen. In tabel 4 is vervolgens een verdere uitsplitsing gemaakt waarbij de gemiddelden per conditie inzichtelijk zijn gemaakt.

Uit analyse van tabel 3 blijkt niet dat deelnemers die tot een juist oordeel komen, beschik-ken over meer statistische beschik-kennis of meer interesse in statistiek. In fase 1 en 2 is de gemiddelde statistische kennis bij een juist oordeel licht hoger dan bij een onjuist oordeel, namelijk 3,25 tegen-over 3,03 in fase 1 en 3,18 tegentegen-over 3,09 in fase 2. In fase 3 is dit echter andersom en is de statistische kennis en interesse in statistiek bij een onjuist oordeel hoger dan bij een juist oordeel. Dit laatste is niet conform de verwachting waarbij deelnemers met meer statistische kennis beter rekening houden met het effect van projectie van afwijkingen en steekproefonzekerheid.

(25)

Tabel 3: Statistische kennis en interesse in statistiek in relatie tot het oordeel

Fase 1 Fase 2 Fase 3

Aantal juiste oordelen 28 28 47

Gemiddelde statistische kennis 3,25 3,18 2,98

Aantal onjuiste oordelen 35 35 16

Gemiddelde statistische kennis 3,03 3,09 3,56

Alle gemiddelden in deze tabel zijn gemeten aan de hand van een schaal van 1 op 5. Waarbij 5 staat voor goed in statistiek.

Uit analyse van statistische kennis per conditie gedurende de drie fases (tabel 4) blijkt dat de hiervoor genoemde daling voornamelijk het gevolg is van het hoge percentage onjuiste oordelen in conditie 4 in combinatie met de relatief hoge statistische kennis van die deelnemers. Op totaal-niveau hebben deze resultaten sterke impact op de gemiddelden. Indien de condities 1 tot en met 3 afzonderlijk worden geanalyseerd blijkt de gemiddelde statistische kennis bij een juist oordeel hoger te zijn dan bij een onjuist oordeel (respectievelijk 3,36 en 2,75 in fase 1), wat consistent is met H1b en H2b. De gemiddelde statistische kennis onder conditie 4 bij een juist oordeel is daar-entegen lager dan bij een onjuist oordeel (respectievelijk 2,83 en 3,64 in fase 1). Uit tabel 4 blijkt dat ditzelfde beeld ook bestaat in fase 2. In fase 3 is dit niet het geval. Dit is voornamelijk het gevolg van de oordeelswijziging van 19 deelnemers in fase 3. Aangezien in fase 3 alle benodigde Tabel 4: Statistische kennis en interesse in statistiek in relatie tot het oordeel

Fase 1 Fase 2 Fase 3

Goedkeurende controleverklaring? Nee Ja Nee Ja Nee Ja

Conditie 1: Lage projectie | Lage onzekerheid *

Aantal respondenten 6 10 5 11 6 10

Gemiddelde statistische kennis 2,50 3,40 2,80 3,18 3,17 3,00

Conditie 2: Lage projectie | Hoge onzekerheid

Conditie 3: Hoge projectie | Lage onzekerheid

Conditie 4: Hoge projectie | Hoge onzekerheid

*Onder conditie 1 is de juistheid van het oordeel tegengesteld ten opzichte van de condities 2 t/m 4. Onder conditie 1 is het geven van een goedkeurende controleverklaring juist. Onder de overige condities is dit niet juist.

(26)

informatie is gegeven, zal meer of minder statistische kennis niet meer leiden tot een verschil in oordeel. Uit beoordeling van de statistische kennis van de 19 deelnemers die hun oordeel hebben gewijzigd blijkt dat ze tezamen een gemiddelde statistische kennis hebben van 3,00. Dit is lager dan het gemiddelde van het totaal aan deelnemers die tot een juist oordeel komen (3,13).

Op basis van hetgeen hiervoor besproken kan worden gesteld dat de antwoorden onder conditie 4 enigszins verassend zijn. Het experiment onder deze conditie is zo ingericht dat zowel op basis van de geprojecteerde als de maximale afwijking niet zonder correctie tot een goedkeurend oordeel kan worden gekomen. Uit de resultaten blijkt echter dat 65% (11/17) van de deelnemers komt tot een goedkeurend oordeel in zowel fase 1 als fase 2. Pas nadat aanvullende informatie is gegeven over de maximale afwijking in fase 3 neemt het aantal goedkeurende oordelen af naar 29% (5/17). Opvallend hierbij is de relatief hoge statistische kennis en interesse in statistiek. De gemid-delde statistische kennis van de deelnemers die tot een goedkeurend oordeel komt onder deze conditie is in de eerste fase 3,64. Dit is relatief hoog ten opzichte van het totaal gemiddelde van alle 63 deelnemers van 3,13. Dit suggereert dat deelnemers in deze conditie ondanks de relatief hoge statistische kennis en interesse in statistiek het effect van projectie van afwijkingen en steek-proefonzekerheid onderschatten. De uitkomsten uit deze conditie zijn dus tegenstrijdig met de andere drie condities en de verwachting dat meer statistische kennis en meer interesse in statistiek zouden leiden tot het beter inschatten van het effect van projectie van afwijkingen en steekproef-onzekerheid.

Tabel 5: Statistische kennis in relatie tot het oordeel (condities 1 t/m 3 en conditie 4)

Fase 1 Fase 2 Fase 3

Gem. n Gem. n Gem. n

Oordeel condities 1-3 Juist 3,36 22 3,32 22 2,94 11 Onjuist 2,75 24 2,79 24 3,36 35 Oordeel conditie 4 Juist 2,83 6 2,67 6 3,08 12 Onjuist 3,64 11 3,73 11 4,00 5

4.2. Validiteit van het experiment

De validiteit van het onderzoek is gemeten aan de hand van een aantal controlevragen die de deelnemers aan het eind van het experiment hebben moeten beantwoorden. Zoals aangegeven in paragraaf 3.3 is op basis van een likert-schaal van 5 gevraagd of de deelnemers het experiment begrijpelijk vonden, geconcentreerd waren tijdens het experiment en of ze het experiment interes-sant vonden. Aangezien het experiment zo is ingericht dat enkel informatie die betrekking heeft op de geprojecteerde afwijking en steekproefonzekerheid verschillend is binnen de vier