10.6.1 Kwalitatief en kwantitatief onderzoek
Wetenschappelijk onderzoek is in grote lijnen op te delen in twee typen: kwantitatief en kwalitatief onderzoek. Relatief zwart-wit gesteld onderscheiden zich deze typen onderzoek zich als volgt:
In kwantitatief onderzoek wordt gepoogd de effecten en situaties met getallen weer te geven, om op deze manier het bestaan van vermoed (causaal) verband aan te tonen. Een dergelijk verband wordt vermoed op basis van bestaande wetenschappelijke literatuur. Het verband wordt uitgedrukt in een formule, die de vermoede relatie tussen de afhanke-lijke variabele en een of enkele onafhankeafhanke-lijke variabelen beschrijft. Om het verband aan te kunnen tonen wordt worden de variabelen gekwantificeerd en gemeten. Aan de hand
van statistiek wordt bepaald of de waargenomen variabelen het vermoede verband met voldoende zekerheid aantonen.
Kwantitatief onderzoek heeft als voordeel dat het heel concrete verbanden oplevert en deze met statistische waarschijnlijkheid kan onderbouwen. Bovendien is het onderzoek door de relatief mechanische aanpak uitstekend te reproduceren en is de uitkomst van het onderzoek objectief. Nadelen van een kwantitatief onderzoek zijn onder meer dat het objectieve vaststellen en kwantificeren van variabelen geen rekening houdt met zaken als de interpretatie, de uitgangspunten en het begrippenkader van de respondent. Ook vereist een kwantitatieve aanpak dat variabelen vooraf bekend zijn, en ontbreekt de mogelijkheid in te gaan op antwoorden en door te vragen.
Kwalitatief onderzoek richt er op effecten te begrijpen door ervaringen waar te nemen en deze te interpreteren en analyseren. Waar kwantitatief zicht richt op de werking en de omvang van een effect, zoekt kwalitatief onderzoek vooral naar de reden van dit effect. Om ervaringen van waar te kunnen nemen en te kunnen analyseren verdiept de onderzoeker zich volledig in het onderwerp dat hij onderzoekt. Eenmaal bekend met het onderwerp verzamelt de onderzoeker informatie in de vorm van zijn eigen ervaring en die van anderen. In zijn rapportage beschrijft de onderzoeker de nieuwe inzichten die hij heeft opgedaan.
De kracht van kwalitatief onderzoek ligt er in dat de onderzoeker een vollediger beeld krijgt van zijn object van onderzoek en daarbij ook oog heeft voor diens complexiteit, elementen die vaak niet of moeilijk te kwantificeren zijn. Een ander voordeel is dat kwa-litatief onderzoek meer flexibiliteit biedt, doordat de te verzamelen gegevens niet vast liggen. Kwalitatief onderzoek mist daarentegen (statistische) zekerheid en de objecti-viteit die kwantitatief onderzoek bieden. Daardoor beschrijft kwalitatief onderzoek de onderzochte gevallen, maar is de opgedane kennis niet zonder meer te extrapoleren.
10.6.2 Kwantitativiteit van dit onderzoek
Als gevolg van het gebruik van hypothesen en de relatief specifieke formulering van het doel, bleek uit de tekst van dit onderzoek niet duidelijk of het een kwalitatief of een kwantitatief onderzoek betrof. Daardoor was het mogelijk dat de indruk ontstond dat het een kwantitatief onderzoek betrof naar de relevantie van verschillende motieven, waarbij de aanwezigheid van verschillende motieven voor of belangen bij continuous auditing als onafhankelijke variabelen worden gebruikt om de succesvolle ingebruikname van een continuousauditingsysteem, zijnde de afhankelijke variabele, te verklaren.
Wanneer ik het beschreven onderzoek naderhand, met wat meer afstand, teruglees kan ik begrijpen waarom deze indruk kon ontstaan. Uit de de opzet van het onderzoek en de manier waarop het onderzoek is opgeschreven bleek een worsteling tussen kwantitatieve gewoonten en kwalitatieve bedoelingen. Enerzijds heb ik, zoals ik hierna zal beschrijven, van begin af aan voor ogen gehad een kwalitatief onderzoek uit te willen voeren, mede omdat ik van mening was dat een kwantitatief onderzoek de complexiteit van het onder-werp geen recht doet en een interessantere resultaten kan opleveren. Anderzijds heb ik, deels uit gewoonte en deels vanwege de structuur, gebruik willen maken van de heldere, gestructureerde vorm van een kwantitatief onderzoek.
keuze voor een kwalitatief onderzoek, maar had ik de procedure daarvoor sterker moeten bewaken, door het vast gedefinieerde kader van het kwantitatieve onderzoek sterker los te laten, en een minder concreet doel na te streven.
In overleg met de tweede beoordelaar, dhr. Degenkamp, is besloten de hypothesen niet in de uiteindelijke tekst van deze scriptie op te nemen, omdat zij niet aansluiten bij de kwalitatieve aard van het onderzoek en de omvang van de steekproef het niet toestond deze hypothesen te toetsen.
10.6.3 Waarom niet voor een kwantitatieve aanpak is gekozen
In het kader van dit onderzoek spreken meerdere factoren tegen een kwantitatieve aanpak. Allereerst is continuous auditing een redelijk nieuw fenomeen dat nog maar zeer be-perkt toepassing vindt in de praktijk. Gevolg hiervan is dat er slechts weinig gebruikers zijn die ervaring hebben met continuous auditing. Hierdoor is het bijzonder lastig vol-doende respondenten te verzamelen.
Een tweede gevolg van de beperkte bekendheid van en familiariteit met continuous auditing is dat in visies en interpretaties ten aanzien van continuous auditing nog niet een lijn is gevonden, en deze tussen verschillende respondenten sterk verschillen. Hierdoor is het niet mogelijk de verworven informatie op een bruikbare wijze te kwantificeren en direct te vergelijken.
Tot slot was vooraf onvoldoende duidelijk over de motieven die een onderneming heeft om continuous auditing te omarmen. De behoefte aan continuous auditing komt in de wetenschappelijke literatuur zeer beperkt aan bod. De aandacht richt zich met name op de mogelijkheden van continuous auditing en de methoden om continuous auditing te implementeren. Hierdoor leek interactie met respondenten noodzakelijk om de juiste vragen te kunnen stellen.
10.6.4 Op welke wijze is dit onderzoek kwalitatief aangepakt
Het fundament van dit onderzoek ligt in de verwondering over het feit dat continuous auditing, ondanks enthousiasme en positieve reacties slechts moeizaam van de grond komt. De bedoeling van dit onderzoek is licht te werpen op de motivators die de invoering van continuous auditing aandrijven, en waarom de accountancy zo stug vasthoudt aan zijn bestaande werkwijzen. Daartoe wordt geprobeerd te begrijpen welke processen aan deze overgang ten grondslag liggen, hoe zij werken en welke krachten daarin een rol spelen. Mijns inziens vereist deze focus op het begrip van onderliggende processen een kwalitatief onderzoek.
10.6.5 Waarom het onderzoek desalniettemin hypothesen bevatte
In de opbouw van het onderzoek leek het voor de hand te liggen de verkende en besproken literatuur te analyseren en bij elkaar te brengen op voor het onderzoek relevante onder-werpen, waarmee ook de uitgangspunten en thema’s voor de interviews ontstaan. Mijns inziens sloot de invulling van deze analyse goed aan bij de definitie van de hypothese, zoals gevonden in de Oxford dictionary, namelijk:
uit-L st van tabellen
1 Overzicht van het CMM, gebaseerd op M. Paulk (1993) . . . 15 2 Overzicht van het ICRM, gebaseerd op Ramos (2004) . . . 18
L st van figuren
1 Het model voor accounting change van ter Bogt en van Helden (2000) . . 10 2 De 5 fasen van volwassenheid volgens het CMM, en de overgang daartussen. 14 3 De elementen van Continuous Auditing, volgens Vasarhelyi, Alles en
Wil-liams (2010) . . . 21 4 Het versimpelde model voor accounting change gebaseerd op ter Bogt en
van Helden (2000) . . . 44
Referenties
Alles, M.G., G. Brennan e.a. (2006). “Continuous monitoring of business process controls: A pilot implementation of a continuous auditing system at Siemens”. In: International Journal of Accounting Information Systems 7.2, p. 137–161 (zie pag. 6, 8, 9, 24, 25). Alles, M.G., A. Kogan en M.A. Vasarhelyi (2002). “Feasibility and economics of
conti-nuous assurance”. In: Auditing 21.1, p. 125–138 (zie pag. 19, 20, 28).
— (2008). “Putting continuous auditing theory into practice: Lessons from two pilot implementations”. In: Journal of Information Systems 22.2, p. 195–214 (zie pag. 8, 20, 22, 23, 25).
Ter Bogt, H.J. en G.J. van Helden (2000). “Accounting change in Dutch government: exploring the gap between expectations and realizations”. In: Management Accounting Research 11.2, p. 263–279 (zie pag. 8–10, 44, 45, 48).
Braun, R.L. en H.E. Davis (2003). “Computer-assisted audit tools and techniques: Analy-sis and perspectives”. In: Managerial Auditing Journal 18.9, p. 725–731 (zie pag. 24). Burns, J. en R.W. Scapens (2000). “Conceptualizing management accounting change: an institutional framework”. In: Management accounting research 11.1, p. 3–25 (zie pag. 9).
Chen, W., J. Zhang en Y. Jiang (2007). “One continuous auditing practice in China: data-oriented online auditing (DOOA)”. In: International Federation for Information Processing 252, p. 521–528 (zie pag. 8).
CICA/AICPA (1999). Continuous auditing: Research Report (zie pag. 6, 19–21, 27, 42). Cyert, R.M. en G.J. March (1963). A behavioral theory of the firm. Englewood Cliffs, NJ:
Prentice Hall (zie pag. 9).
Debreceny, R.S., G.L. Gray, W.F. Yau e.a. (2005). “Embedded audit modules in enter-prise resource planning systems: implementation and functionality.” In: Journal of Information Systems 19.2 (zie pag. 25).
Deloitte (2010). Continuous monitoring and continuous auditing: From idea to imple-mentation (zie pag. 6, 19).
Flick, U. (2006). An introduction to qualitative research. 3rd. Sage Publications Limited (zie pag. 35, 36).
Groomer, S.M. en U.S. Murthy (1989). “Continuous auditing of database applications: An embedded audit module approach”. In: Journal of Information Systems 3.2 (zie pag. 24).
Information Systems Audit and Control Association and others (2009). COBiT 4.1. Tech. rap. Information Systems Audit en Control Association.
KPMG (2008). Continuous Auditing en Continuous Monitoring: Levert het de beloofde voordelen op? Tech. rap. KPMG (zie pag. 6, 19).
— (2012). Continuous Auditing en Continuous Monitoring: The current status and the road ahead. Tech. rap. KPMG (zie pag. 6, 19, 47).
Krass, P. (2002). “The Never-Ending Audit: Can software prevent future Enrons?” In: CFO Magazine 18.10, p. 25–26 (zie pag. 21).
Kuhn J.R. en Sutton, S.G. (Spring 2010). “Continuous Auditing in ERP System Environ-ments: The Current State and Future Directions”. In: Journal of Information Systems 24-1, p. 91–112 (zie pag. 24–26).
Neuman, Lawrence (2005). Social Research Methods: Quantitative and Qualitative Ap-proaches. 6de ed. Allyn & Bacon. isbn: 0205457932 (zie pag. 35, 36).
Paulk, M. (1993). Capability maturity model for software. Wiley Online Library (zie pag. 13, 15).
Paulk, M.C. e.a. (1993). “Capability maturity model, version 1.1”. In: Software, IEEE 10.4, p. 18–27 (zie pag. 9, 13).
Pederiva, A. (2003). “The COBIT• maturity model in a vendor evaluation case”. In:R
Information Systems Control Journal 3, p. 26–29 (zie pag. 13).
PWC. Making sense of internal control: How to align vision, organisation and technology to lower your compliance costs and improve business efficiency. Tech. rap. Pricewa-terhouseCoopers, LLP (zie pag. 16).
— (2006). State of the internal audit profession study: continuous auditing gains momen-tum. Tech. rap. PricewaterhouseCoopers, LLP (zie pag. 6, 19).
— (2012). Leveraging Continuous Auditing / Continuous Monitoring in internal audit. Tech. rap. PricewaterhouseCoopers, LLP (zie pag. 6, 19).
Ramos, M. (2004). “Just how effective is your internal control?” In: Journal of Corporate Accounting & Finance 15.6, p. 29–33 (zie pag. 9, 16–18).
Rezaee, Z., R. Elam en A. Sharbatoghlie (2001). “Continuous auditing: the audit of the future”. In: Managerial Auditing Journal 16.3, p. 150–158 (zie pag. 6).
Rezaee, Z., A. Sharbatoghlie e.a. (2002). “Continuous auditing: Building automated au-diting capability”. In: Auau-diting 21.1, p. 147–164.
Romney, Marshall B, Paul John Steinbart en Barry E Cushing (2000). Accounting infor-mation systems. Prentice Hall Upper Saddle River, NJ (zie pag. 30).
Shields, M.D. en S.M. Young (1989). “A behavioral model for implementing cost mana-gement systems”. In: Journal of Cost manamana-gement 3.4, p. 17–27 (zie pag. 9).
Soltani, Bahram (2007). Auditing: an international approach. Pearson Education (zie pag. 11).
Vasarhelyi, M.A., M.G. Alles en A. Kogan (2004). “Principles of analytic monitoring for continuous assurance”. In: Journal of Emerging Technologies in Accounting 1.1, p. 1– 21 (zie pag. 8, 24, 25, 29).
Vasarhelyi, M.A., M.G. Alles en K.T. Williams (2010). Continuous Assurance for the Now Economy. The Institute of Chartered Accountants in Australia (zie pag. 8, 21–23). Vasarhelyi, M.A. en F.B. Halper (1991). “The continuous audit of online systems”. In:
Auditing: A Journal of Practice & Theory 10.1, p. 110–125 (zie pag. 6, 8, 19).
— (2002). “Concepts in continuous assurance”. In: Researching accounting as an infor-mation systems discipline, p. 257–271 (zie pag. 19).
Yeh, C.H. en W.C. Shen (2010). “Using continuous auditing life cycle management to ensure continuous assurance”. In: Afr. J. Bus. Manage 4.12, p. 2554–2570 (zie pag. 25).