Agile als een audit methodologie

Agile als een Audit methodologie

Naam: Maarten Ph. Slotema

Studentnummer: 11158298

Plaats: Den Haag

Datum: 20 juli 2017

Scriptiebegeleider: Geert-Jan Krol

Instelling: Universiteit van Amsterdam

1

Voorwoord:

Voor u ligt mijn scriptie waarin ik beschrijf hoe de Agile gedachtegoed een bijdrage zou kunnen leveren bij de aanpak van operationele (IT) audits. Deze scriptie vormt de afronding van de postdoctorale opleiding Amsterdam IT Audit Programme (AITAP) aan de Amsterdam Business School.

Mijn werkzaamheden als IT auditor in een organisatie die ‘Agile way of working’ tot in de ondersteunende processen heeft omarmd en de scepsis die ik binnen mijn eigen interne audit afdeling ten aanzien van een Agile audit methodologie ervaar, hebben er toe geleid dat ik dit onderzoek heb willen uitvoeren.

Deze scriptie is voornamelijk mogelijk gemaakt door mijn werkgever Corporate Audit Services (CAS) ING Bank. CAS heeft mij de mogelijkheid geboden om de postdoctorale AITAP opleiding te volgen. Graag wil ik derhalve mijn collegae van CAS hartelijk bedanken voor hun ondersteuning en de manier waarop zij mij hebben uitgedaagd tijdens mijn onderzoek.

In het bijzonder wil ik Michel Sijben, Audit Department Head of Projects and Data Analytics Audit ING Bank, Jan Haverkamp, Audit Manager ING Bank en voortrekker van een Agile Audit

methodologie bij CAS en Maikel van Tuijl Audit Department Head Domestic bank NL, bedanken voor hun enthousiasme, ondersteuning en bijdrage bij het schrijven van deze scriptie.

Gedurende de afgelopen periode heb ik verder een goede samenwerking en ondersteuning ervaren vanuit de scriptie begeleider vanuit de Amsterdam Business School, Geert-Jan Krol. Ik wil Geert-Jan dan ook bijzonder bedanken voor zijn inspanningen, flexibiliteit, ideeën en begeleiding met

betrekking tot mijn onderzoek en scriptie.

2

Inhoudsopgave:

Voorwoord: ... 1

Samenvatting: ... 4

Hoofdstuk 1: Inleiding & onderzoek ... 5

1.1 Aanleiding en Doel ... 5

1.2 Probleemstelling en onderzoeksvragen: ... 5

1.3 Onderzoeksmethoden: ... 7

Hoofdstuk 2: Kwaliteit in het kader van operationele audits ... 8

2.1 Inleiding ... 8

2.2 Kwaliteit in het kader van het functioneren van interne audit ... 8

2.3 Audit oordeel als product van een interne audit ... 10

2.4 Conclusie ... 10

Hoofdstuk 3: Traditionele audit methodologie ... 12

3.1 Inleiding ... 12

3.2 Gebruikte audit methodologie... 12

3.3 Voordelen van de gebruikte audit methodologie ... 14

3.4 Nadelen van de gebruikte audit methodologie ... 15

3.5 Conclusie ... 17

Hoofdstuk 4: De Agile methodologie ... 19

4.1 Inleiding ... 19

4.2 Het doel van de Agile methodologie en toepasbaarheid voor audit ... 19

4.2.1 Onzekerheid ten aanzien van requirements van de eindgebruiker ... 21

4.3 Toepasbaarheid in het kader van de regelgeving ... 22

4.4 Voordelen van een Agile Audit methodologie ... 23

4.5 Nadelen van een Agile Audit methodologie ... 25

3

Hoofdstuk 5: Toepassing van Agile als audit methodologie ... 28

5.1 Inleiding ... 28

5.2 Agile scrum toepassing als audit methodologie ... 28

5.2.1 Iteratief proces ... 28

5.2.2 Scrum Artefacten ... 31

5.2.3 Scrum rollen en verantwoordelijkheden ... 33

5.2.4 Scrum Meetings ... 34

5.3 Validatie van Agile Audit methodologie in de praktijk ... 35

5.3.1 Interview resultaten ... 36

Hoofdstuk 6: Conclusie en aanbevelingen... 40

6.1 Inleiding ... 40

6.2 Conclusies ... 40

6.3 Aanbevelingen ... 42

Literatuurlijst: ... 43

Appendix A: Voorbeeld - Minimum Viable Product ... 46

Appendix B: Voorbeeld - Audit Backlog ... 47

Appendix C: Voorbeeld - User story: Risico Analyse ... 48

Appendix D: Voorbeeld User Story: User Administration ... 49

Appendix E: Voorbeeld - Algemene Definition of Done ... 50

Appendix F: Tabel kernbegrippen ... 51

4

Samenvatting:

Agile ondernemen belooft de oplossing te zijn voor veel bedrijfskwalen en de redding voor noodlijdende bedrijven in de strijd om de klant. Door agile-principes toe te passen in

bedrijfsprocessen kunnen organisaties, afdelingen en (project)teams sneller en wendbaarder werken en ondernemen. Interne (IT) audit afdelingen hebben nog niet de behoefte gevonden om het audit proces opnieuw in te richten volgens ‘Agile principes’, terwijl een Agile audit methodologie de potentie heeft om de kwaliteit en relevantie van audit opdrachten te verhogen. De primaire focus bij Agile ligt immers op het voldoen aan de behoefte van de gebruiker.

In dit onderzoek is geëvalueerd in hoeverre en op welke manieren de agile methodiek toepasbaar is als audit methodologie en of dit zal leiden tot een kwaliteit verbetering van (IT) audit resultaten. Kwaliteit in dit kader is beredeneerd vanuit de functie van een interne audit. Interne audit heeft een onafhankelijke en adviserende rol die wordt vervuld door het rapporteren over risico’s ten aanzien van het behalen van bedrijfsdoestellingen. Het is derhalve van belang dat een Agile audit

methodologie bijdraagt aan relevantie, tijdigheid en betrouwbaarheid van audit resultaten. Door middel van literatuuronderzoek is een vergelijking gemaakt tussen de traditionele audit methodologie en een mogelijke Agile audit methodologie. Uit de analyse van de theorie blijkt dat Agile toepasbaar is als audit methodologie en dat het de potentie heeft om de genoemde voordelen te realiseren. Echter doordat zeer beperkt wetenschappelijke literatuur beschikbaar is over Agile als audit methodologie, is de haalbaarheid en de mogelijke toegevoegde waarde gevalideerd door interviews van Agile experts en Interne audit ervaringsdeskundige van diverse organisaties. De conclusie is dat een Agile Audit methodologie de potentie heeft om de relevantie en

betrouwbaarheid van audit resultaten te verhogen ten opzichte van een traditionele gefaseerde audit methodologie. Dit komt voornamelijk door; (1) het kort cyclisch kunnen leveren van resultaten door middel van een iteratief proces, (2) verbeterde samenwerking binnen teams en (3) verbeterde interactie met de eindgebruiker. Een bijkomstigheid van het kort cyclisch leveren van audit

resultaten leidt ertoe dat effectief gereageerd kan worden op een veranderende risico benadering van het object van onderzoek. Hierdoor kan de focus van de auditor op risico continu opnieuw worden gekalibreerd op de onderwerpen waar de meest relevante bedrijfsrisico’s zich voor doen. Uit vervolgonderzoek zal moeten blijken of de toegevoegde waarde in de praktijk ook daadwerkelijk gerealiseerd wordt. Een significante investering in opleiding en omscholing van IT audit professionals zal noodzakelijk zijn om de benodigde cultuur en gedragsverandering te realiseren.

5

Hoofdstuk 1:

Inleiding & onderzoek

1.1

Aanleiding en Doel

Agile is ‘hot’. Het onderwerp wordt gretig bewierookt door denkers, zieners, goeroes, consultants, directeuren, managers en agile-specialisten. Agile ondernemen belooft de oplossing voor veel bedrijfskwalen en de redding voor noodlijdende bedrijven in de strijd om de klant. Door agile-principes toe te passen kunnen organisaties, afdelingen en (project)teams sneller en wendbaarder werken en ondernemen, met alle voordelen van dien (Leeuwen, 2016).

Mijn huidige werkgever ING Bank N.V. deelt deze mening en heeft zowel primaire als secundaire bedrijfsprocessen getransformeerd naar een agile ‘way of working’ welke is geïnspireerd op die van bedrijven zoals Google, Netflix en Spotify (Mahadevan, 2017). Het bijzondere in mijn geval is, dat vrijwel alle bedrijfsprocessen binnen ING, die ik vanuit mijn functie als IT auditor moet beoordelen, zie transformeren naar een agile ‘way of working’. Echter het audit proces of audit methodologie dat de Interne audit afdeling van ING toepast, maakt deze beweging niet en blijft een traditionele manier van werken toepassen.

Het belang voor de gebruiker van een kwalitatief goede audit functie en de rapportages die daar uit voortvloeien wordt met het volgende statement onderschreven: De kwaliteit van onderzoeken uitgevoerd door de interne auditor en de verbeteringsmaatregelen die daaruit voortvloeien, helpen het management van organisaties de mate van sturing en beheersing van de organisatie te

optimaliseren (Molenkamp, 2005). Een Agile audit methodologie heeft de potentie om de kwaliteit en relevantie van audit opdrachten te verhogen aangezien de primaire focus bij Agile ligt op het voldoen aan de behoefte van de gebruiker.

Het doel van dit onderzoek is te evalueren in hoeverre en op welke manieren de agile methodiek toepasbaar is als audit methodologie. Aan de hand van dit onderzoek zal een interne audit professional een beslissing kunnen nemen over het toepassen van een de traditionele audit methodologie of een agile audit methodologie. In het onderzoek komen voor- en nadelen van de verschillende methodes naar voren en wordt de toegevoegde waarde van een agile audit methodiek geëvalueerd.

1.2

Probleemstelling en onderzoeksvragen:

Een audit methodologie, of een systematische benadering van een vraagstuk, helpt bij het komen tot een kwalitatief goed oordeel. In het geval van IT audit, dienen resultaten oftewel het oordeel vanuit het onderzoek gecommuniceerd te worden aan de gebruikers. De communicatie van het oordeel vindt plaats door middel van interne audit rapportages.

6 Kwalitatieve kenmerken ten aanzien van het oordeel voortkomend uit audit onderzoeken, betreffen betrouwbaarheid en relevantie. Relevantie betekent in dit verband dat de informatie nuttig is voor de besluitvormingsbehoefte van gebruikers. Relevante informatie beïnvloedt economische

beslissingen van gebruikers en is hen behulpzaam bij het beoordelen van vroegere, huidige of toekomstige gebeurtenissen of bij het bevestigen of corrigeren van vroegere beoordelingen (Offeren, 1999). Relevantie betekent derhalve ook tijdigheid. Tijdigheid vergroot namelijk de relevantie. In externe verslaggeving wordt zelfs gesteld hoe eerder informatie voor economische beslissingen beschikbaar komt, hoe beter (Beest, Braam, & Boelens, 2008).

Een van de doelen van de agile methodologie, welke primair is gericht op IT software ontwikkeling, is om de relevantie van het eindproduct zo veel mogelijk te laten aan sluiten met de wensen van de gebruiker van het eindproduct. Het Agile Manifesto stelt dat de hoogste prioriteit gegeven dient te worden aan de bevrediging van de klant behoefte door continue levering van een product in de vorm van een iteratief proces en om zo de relevantie van het eindproduct te verhogen1_.

Wanneer de agile methodologie wordt toegepast als IT audit methodologie zou dit de kwaliteit of relevantie van de interne audit rapportages kunnen verhogen. De probleemstelling die hieruit voortkomt, is derhalve als volgt:

“Zal de toepassing van de Agile methode als audit methodologie leiden tot kwalitatief betere audits?”

Om de hoofdvraag van dit onderzoek te kunnen beantwoorden zijn de volgende deelvragen geformuleerd:

1. Wat is kwaliteit voor de gebruiker in het kader van operationele (IT) audits?

2. Welke audit methodologie wordt gebruikt door interne (IT) audit afdelingen om tot kwalitatief goede audits te komen?

a. Wat zijn de voordelen van de gebruikte methodologie ten aanzien van kwaliteit? b. Wat zijn de nadelen van de gebruikte methodologie ten aanzien van kwaliteit? 3. Wat is Agile?

a. Wat is het doel van de Agile methodologie?

b. In hoeverre is de Agile methodologie toe te passen als IT audit methodologie? c. Wat zijn voor- en nadelen van Agile als audit methodologie ten aanzien van

kwaliteit?

4. Hoe zou een interne audit afdeling een Agile audit methodologie kunnen toepassen? 5. Heeft de toepassing van een Agile audit methodologie toegevoegde waarde ten op

zichte van de traditionele audit methodologie?

1 _{http://www.agilemanifesto.org}

7

1.3

Onderzoeksmethoden:

Teneinde de eerste, tweede en derde deelvraag te kunnen beantwoorden zal voornamelijk literatuuronderzoek worden uitgevoerd zodat een theoretisch kader wordt geschetst. Dit kader helpt bij het concluderen of een Agile audit methodiek wenselijk is of niet. Op basis van het

theoretische kader zal bepaald worden of de Agile methode toepasbaar is voor het uitvoeren van IT audit opdrachten en of er wellicht randvoorwaarden en aandachtspunten bestaan in de praktijk en regelgeving waar aan voldaan moet worden.

De vierde deelvraag zal beantwoord worden door op basis van het geschetste theoretische kader op een concept methode te beschrijven waarin de Agile methodiek is verwerkt. Dit zal resulteren in een methodologie, waarbij het oordeel en de daarbij behorende bevindingen van de audit wordt

beschouwd als het product dat opgeleverd dient te worden. Het audit proces wordt ingericht als een iteratief proces rondom het uiteindelijke oordeel van de audit.

Teneinde de vijfde deelvraag te beantwoorden zal de Agile methodologie worden voorgelegd aan verschillende experts en ervaringsdeskundige op het gebied van Agile en Audit. Op deze manier zal door middel van feedback vanuit de interne (IT) audit praktijk de Agile methodologie worden gevalideerd.

8

Hoofdstuk 2:

Kwaliteit in het kader van operationele audits

2.1

Inleiding

Het doel van dit onderzoek is te evalueren waarom een audit methodiek Agile ingericht zou moeten worden en zoja; op welke manieren de agile methodiek dan in een audit methodologie verwerkt zou kunnen worden. Om als interne audit professional een weloverwogen beslissing te kunnen nemen over het hanteren van een specifieke methodologie, is het van belang de term ‘kwaliteit’ te

definiëren. De mate van invloed van een audit methodologie op kwaliteit zal immers de belangrijkste drijfveer moeten zijn om een audit methodologie te wijzigen.

2.2

Kwaliteit in het kader van het functioneren van interne audit

beroepsuitoefening (International Professional Practices Framework (IPPF)) welke is ontwikkeld en wordt onderhouden door The Institute of Internal Auditors (IIA) (Hass, Burnaby, &

Abdolmohammadi, 2006). Het raamwerk stelt dat interne audit een onafhankelijke, objectieve zekerheid en adviserende rol betreft welke is gericht op het toevoegen van waarde en verbeteren van het functioneren van een organisatie. De interne (IT) audit functie helpt de organisatie bij het realiseren van het doel door middel van een systematische, gedisciplineerde aanpak voor het evalueren en verbeteren van de effectiviteit van risico management, controle en bestuur processen (The Institute of Internal Auditors, 2016). Chapman en Anderson concluderen dat met de inclusie van consultatie en Assurance diensten in de definitie van internal auditing van de IIA, dat de interne audit functie een proactieve, klantgerichte rol heeft gekregen die focust op de belangrijke aspecten van risico beheersing en de governance van organisaties (Chapman & Anderson, 2002).

De functie die door het raamwerk wordt beschreven, blijkt ook uit de praktijk. Uit verschillende studies komt naar voren dat de interne (IT) audit functie de mogelijkheid heeft om bij te dragen aan de kwaliteit van corporate governance, door bij te dragen aan de rol van toezicht in het kader van de controle omgeving en door de potentie om fraude risico’s te mitigeren (Beasley, Carcello,

Hermanson, & Lapides, 2000) (Coram, Freguson, & Moroney, 2008). Daarnaast blijkt uit onderzoek dat de interne audit deze functie ook waarmaakt. In het artikel ‘Internal Audit professie bewijst haar bestaansrecht’ is een conclusie dat de kwaliteit van onderzoeken uitgevoerd door de interne (IT) auditor en de verbeteringsmaatregelen die daaruit voortvloeien, het management van organisaties helpen in de mate van sturing en beheersing van de organisatie om deze te optimaliseren

(Molenkamp, 2005). In uitgevoerde interviews wordt meerdere malen aangehaald dat de (IT) auditor de strategische bedrijfsdoelstellingen te allen tijde in ogenschouw moet houden in de evaluatie van risico’s en in de bepaling van materialiteit van bevindingen. Op deze manier kan het management

9 risico gericht acties ondernemen en middelen effectief inzetten. Het verschaffen van zekerheid door middel van een onafhankelijke beoordeling van bedrijfsprocessen met een laag inherent risico, is immers niet relevant voor een gebruiker.

Kortom Interne (IT) audits zijn een essentieel onderdeel van een management organisatie en goed uitgevoerde (IT) audits brengen mogelijke problemen en risico’s tijdig in beeld zodat het

management de beheersing hiervan kan optimaliseren. Dit betekent dat de werkzaamheden die uitgevoerd worden door de interne (IT) audit afdeling relevant moeten zijn. Relevantie is afhankelijk van wie de beoogde ontvangers van de audit uitkomsten zijn en is een belangrijk kwaliteitscriterium voor goed onderzoek, omdat relevantie de gebruiker helpt effectief en efficiënt naar risico’s te handelen. Tijdigheid vergroot de relevantie van informatie die voortkomt uit audit opdrachten, doordat de gebruiker eerder kan acteren op risico’s. In onderzoek wordt zelfs gesteld ‘Des te eerder, des te beter’ (Beest, Braam, & Boelens, 2008). Uit de praktijk blijkt dat tijdigheid wordt gezien als belangrijk aandachtspunt voor het functioneren van interne audit afdelingen. In verschillende interviews afgenomen in het kader van dit onderzoek, wordt aangeven dat doorlooptijden van audit rapportages tussen de acht weken tot vier maanden kunnen duren, terwijl gevestigde bedrijven over de hele wereld en in diverse sectoren juist streven om de snelheid, dynamiek en klant centriciteit van grote digitale spelers na te bootsen (Mahadevan, 2017). Wanneer primaire processen sneller en dynamischer worden, dan kan interne (IT) audit niet achterblijven. Het gevolg is dat Interne (IT) audit onderzoeken relevanter worden op het moment dat deze sneller risico’s ten aanzien van het

behalen van bedrijfsdoelstellingen kunnen communiceren richting het management.

Relevantie staat echter niet op zichzelf wat betreft kwaliteit. Het kwaliteitscriterium voor interne audit wordt in onderzoek omschreven als “een audit zal relevant zijn voor de opdrachtgever, [en daarnaast] deugdelijk als doelmatig worden ontworpen en uitgevoerd. De beroepsrichtlijnen schrijven voor dat de auditor zich moet kunnen verantwoorden over de deugdelijkheid van het onderzoek. Eisen aan de doelmatigheid volgen uit de definitie van effectiviteit of relevantie welke afhankelijk zijn van de doelstelling van de audit” (de Korte, Bos, & Otten, 2015).

Kwaliteit in het kader van het oordeel dat voortkomt uit interne audit onderzoeken is derhalve een combinatie van een deugdelijkheid, doelmatigheid, en relevantie van het onderzoek. Relevantie en daarmee ook de tijdigheid en doelmatigheid van audit onderzoeken bepalen de mate waarin de resultaten een bijdrage leveren aan het verbeteren van de effectiviteit van risico management, controle en bestuur processen van een organisatie. Het aspect tijdigheid van relevantie is belangrijk doordat hoe sneller uitkomsten van onderzoeken gecommuniceerd worden naar de gebruiker, hoe

10 eerder acties en mitigerende maatregelen genomen kunnen worden op situaties die het behalen van de organisatiedoelstellingen bedreigen.

2.3

Audit oordeel als product van een interne audit

De rol van de interne audit functie wordt vervuld door het uitvoeren van projectmatige

onderzoeken. De onderzoeksresultaten van de interne auditor en de verbeteringsmaatregelen die daaruit voortvloeien, kunnen het management van organisaties helpen in de mate van sturing en beheersing van de organisatie om deze te optimaliseren (Molenkamp, 2005). Het product van het onderzoek, oftewel de boodschap die resulteert uit een audit of adviesopdracht, leveren uiteindelijk de toegevoegde waarde van een interne audit functie. Deze boodschap, aanbeveling of oordeel met de daarmee samenhangede bevindingen worden door middel van rapportages gecommuniceerd aan de gebruiker.

In standaard 2400 wordt gesteld dat Internal auditors de resultaten van de opdrachten moeten communiceren. In standaard 2420 welke over de kwaliteit van de communicatie gaat, stelt dat de kwalitatieve communicatie de volgende kenmerken bevat: Juist, objectief, duidelijk, concreet, constructief, volledig en tijdig (The Institute of Internal Auditors, 2016). Met name juiste, volledige en tijdige informatie zijn kenmerken die bijdragen aan de relevantie van uitkomsten van een audit, aangezien de gebruiker een weloverwogen en economische beslissing moet kunnen nemen op basis van de audit resultaten. De conclusie van de auditor dient de verwachting van het senior

management, het bestuur en andere stakeholders in ogenschouw te nemen en moet zijn

onderbouwd met voldoende, betrouwbare, relevante en bruikbare informatie (Standaard 2410.A1). Het oordeel dat resulteert uit interne audit onderzoeken betreft het product dat de functie van een interne audit moet vervullen. De vorm waarin de communicatie moet plaatsvinden, wordt niet voorgeschreven in de standaarden, maar wel wordt gesteld aan welke voorwaarden het product moet voldoen. De communicatie moet zijn gebaseerd op een deugdelijk grondslag en aan kwalitatieve kenmerken voldoen die de noodzakelijke relevantie van het product onderschrijven.

2.4

Conclusie

Het doel of de functie van een interne (IT) audit is om een onafhankelijke, objectieve zekerheid en adviserende rol te vervullen welke is gericht op het toevoegen van waarde en verbeteren van het functioneren van een organisatie. De kwaliteit van een operationele (IT) audit in het kader van dit onderzoek. is de mate waarin een audit bijdraagt aan het vervullen van deze functie.

Beredenerend vanuit de functie van interne (IT) audit, dient het uiteindelijke product relevant en betrouwbaar te zijn. Relevantie van IT audit onderzoeken bepalen de mate waarin de resultaten een

11 bijdrage leveren aan het verbeteren van de effectiviteit van risico management, controle en bestuur processen van een organisatie. Uit onderzoek en uit interviews met ervaringsdeskundigen,

uitgevoerd in het kader van dit onderzoek, blijkt dat een belangrijk aspect van relevantie tijdigheid betreft. Wanneer van primaire processen snelheid, dynamiek en klantcentriciteit wordt verlangd, kan interne (IT) audit hieraan bijdragen door sneller risico’s te signaleren en te communiceren. Betrouwbaarheid of anders gezegd de deugdelijkheid van het onderzoek omvat dat de resultaten onderbouwd zijn met voldoende, betrouwbare, relevante en bruikbare informatie.

Kwaliteit in het kader van de boodschap of het oordeel dat voortkomt uit interne (IT) audit onderzoeken is derhalve een combinatie van betrouwbaarheid en relevantie van het uitgevoerde onderzoek.

12

Hoofdstuk 3:

Traditionele audit methodologie

3.1

Inleiding

De functie van een interne (IT) audit is om een onafhankelijke, objectieve zekerheid gevende en adviserende rol te vervullen, welke is gericht op het toevoegen van waarde en verbeteren van het functioneren van een organisatie. Om deze functie te vervullen wordt een bepaalde audit

methodologie gehanteerd. Methodologie wordt gedefinieerd als een set van methodes, regels en procedures welke worden toegepast om tot een onderbouwde conclusie te komen (Merriam-Webster, 2016).

In dit hoofdstuk wordt ingegaan op de traditionele audit methodologie die wordt gebruikt door interne audit functies, waarna voor- en nadelen van deze methodologie worden geëvalueerd.

3.2

Gebruikte audit methodologie

De traditionele audit methodologie betreft een uitwerking van de internationale audit standaarden. De standaarden hebben als doel de basis principes te schetsen en een raamwerk te bieden voor het uitvoeren van Assurance diensten die toegevoegde waarde aan de organisatie opleveren (The Institute of Internal Auditors, 2016). Interne audit organisaties kunnen hun eigen invulling geven aan de manier waarop audits worden uitgevoerd, mits deze voldoen aan de basis principes en het raamwerk zoals het instituut van interne auditors deze heeft gepubliceerd.

Uit interviews afgenomen in het kader van dit onderzoek en uit literatuur blijkt dat interne (IT) audit opdrachten over het algemeen in drie verschillende achtereen volgende fases worden uitgevoerd. Deze fasen betreffen de planningsfase, uitvoering of veldwerkfase en de rapportage fase. In de planningsfase worden de activiteiten uitgevoerd om een begrip te krijgen van het object van onderzoek, het bepalen van de audit doelstelling en scope, vaststellen van de tijdslijnen en de benodigde middelen (Butera, 2016) (Murdock, 2016). De planning wordt afgesloten met een kick off met de auditee en een goedkeuring van de scope en het werkprogramma door de ‘Chief audit executive’ of een vertegenwoordiger daarvan. Dit is een logisch gevolg van de standaard 2200 Engagement Planning en standaard 2201 Planning Considerations waarin wordt beschreven dat internal auditors elke audit een plan moet ontwikkelen en documenteren waarin de doelstelling, scope, tijdslijnen, en benodigde middelen staan beschreven. In standaard 2240 wordt eveneens onderkend dat een werkprogramma moet worden opgesteld die de audit doelstellingen zal realiseren. In de praktijk wordt deze fase ingevuld door een uitgebreide risico analyse op te stellen waarvan het de bedoeling is dat alle inherente risico’s worden geïdentificeerd. De geïdentificeerde risico’s worden gebruikt om een in details uitgewerkt werkprogramma op te stellen die het gehele object van onderzoek afdekt. Dit proces wordt in de praktijk als bureaucratisch ervaren aangezien

13 uitgebreide planningsdocumenten worden opgesteld waar verschillende reviewslagen over heen gaan. Dit analyse en review proces leidt er toe dat een audit gemiddeld drie tot vijf weken onderweg is voordat de eerste evaluatie van controlemaatregelen begint. Wanneer tijdigheid niet in

ogenschouw wordt genomen is de relevantie van onderzoekuitkomsten sterk afhankelijk van de kwaliteit en diepgang van het planningsdocument en de daar in opgenomen risico analyses. In de planningsfase komt immers de risico inschatting tot stand en wordt besloten waar aandacht aan besteed gaat worden tijdens de veldwerkfase.

De planningsfase wordt gevolgd door een veldwerkfase. In deze fase wordt het werkprogramma zoals deze in de planningsfase is opgesteld afgewerkt. Dit betreft de fase waarin het meeste testwerk wordt uitgevoerd, werknemers worden geïnterviewd, en werkzaamheden worden gedocumenteerd in het dossier. Het doel van deze fase is om de effectiviteit van de relevante controlemaatregelen te evalueren (Murdock, 2016). De werkzaamheden in deze fase worden eveneens beschreven in de standaarden. In Standaard 2300 Performing the Engagement wordt gesteld dat internal auditors voldoende informatie moeten identificeren, analyseren, evalueren en documenteren ten einde de doelstelling van de opdracht te kunnen realiseren. Standaard 2320 Analysis and Evaluation en standaard 2330 Documenting information vullen de verplichting aan door te beschrijven dat conclusies die uit de veldwerk fase komen, moeten zijn onderbouwd met

passende analyses, evaluaties en documentatie. Deze fase heeft invloed op het kwaliteitsaspect betrouwbaarheid, waarbij de uitvoering invloed heeft op de deugdelijkheid van het onderzoek en op de feitelijke juistheid van de bevindingen. De dossiervorming en de review die op de documentatie plaats vindt, waarborgt dat juiste bevindingen worden geconstateerd en dat deze zijn gebaseerd op een deugdelijke grondslag. De doorlooptijd van deze fase is afhankelijk van de complexiteit en grootte van het object van onderzoek.

De conclusies die uit de veldwerk fase naar voren komen worden in de laatste fase gecommuniceerd naar de opdrachtgever en de belanghebbenden. Deze fase betreft de rapportage fase en wordt gebruikt om aan de verplichtingen van Standaard 2400 Communicating te voldoen. Standaard 2400 vereist dat auditors de resultaten van de opdracht communiceren. In operationele audit literatuur worden in deze fase taken uitgevoerd zoals het toetsen van de feitelijke juistheid van constateringen en het analyseren van het risico van bevindingen voor de organisatie. Bevindingen worden over het algemeen voorgelegd aan de proces eigenaren voordat deze officieel in rapportage vorm worden gecommuniceerd (Murdock, 2016). Met het beoordelen van de actieplannen als reactie op de gerapporteerde bevindingen wordt de laatste fase van een operationele audit vervolgens afgesloten. De totale doorlooptijd van een audit is afhankelijk van verschillende aspecten zoals, complexiteit en grootte van het object van onderzoek. Uit interviews afgenomen in het kader van dit onderzoek,

14 blijkt dat audit opdrachten over het algemeen minimaal 8 weken duren voordat rapportering

plaatsvindt.

De gefaseerde aanpak van operationele audits is te vergelijken met de zogenaamde waterval software ontwikkelingsmethode. Deze methode is voortgekomen uit software ontwikkeling problematiek en bevat veel overeenkomsten met de aanpak gehanteerd voor operationele (IT) audits. In de waterval methode wordt elke fase afgerond alvorens met de volgende fase begonnen kan worden. Aan het einde van elke fase vindt een review plaats om vast te stellen of het project nog op het juiste pad is. Een dergelijke review vindt in de praktijk bij operationele audits ook plaats als gevolg van Standaard 2340 Engagement Supervision. De verantwoordelijke auditor moet kunnen aantonen dat voldoende supervisie heeft plaatsgevonden. Dit wordt in audit dossiers

gedocumenteerd in de vorm van goedkeuringen van planningsdocumenten (planning fase), aftekeningen van werkprogramma’s (veldwerk fase) en rapportages (rapportage fase).

Een belangrijk kenmerk van de waterval methode is dat deze het beste gehanteerd kan worden in situaties waarbij de gestelde verwachtingen duidelijk zijn (Balaji & Sundararajan Murugaiyan, 2012). Vanuit interviews met ervaringsdeskundige afgenomen in het kader van dit onderzoek, blijkt dat de perceptie bestaat dat de verwachtingen en de vereisten waaraan een operationele audit moet voldoen vast staan. De minimale mate van zekerheid in het kader van Assurance opdrachten staat immers vast en de vereisten aan de dossiervorming zijn tevens opgenomen in de van toepassing zijnde standaarden. In de discussies wordt echter wel onderkend dat dit geldt voor standaard, kleine en niet complexe (IT) audit onderzoeken en dat dit kan leiden tot standaard rapportages met weinig toegevoegde waarde voor de gebruiker van de rapportages. In hoofdstuk 4.2.1 wordt dieper in gegaan op het aspect onzekerheid ten aanzien van wensen van gebruikers bij interne audit onderzoeken.

3.3

Voordelen van de gebruikte audit methodologie

Het voordeel van een audit methodologie die lijkt op de waterval methodiek zoals gehanteerd bij software ontwikkeling, is dat deze begrijpelijk is en makkelijk toepasbaar is. Rollen en

verantwoordelijkheden zijn duidelijk en overzichtelijk. De van toepassing zijnde standaarden en de vereisten die daarin zijn opgenomen zijn één op één vertaald naar de verschillende fase in de audit methodologie. Supervisie zoals vereist in de standaard 2340 Engagement Supervision krijgt door de gefaseerde aanpak een prominente rol en wordt gewaarborgd alvorens wordt doorgegaan met de volgende fase in een audit.

Door het toepassen van een gefaseerde waterval methode bij operationele audits ontstaat per interne audit afdeling een duidelijk uniform en gestandaardiseerd proces die dossier technisch

15 voldoet aan de ‘International Professional Practice Framework’. Aangezien de methodologie een afgeleide is van de standaarden zullen audit dossiers voldoen aan de richtlijnen van regelgevende instanties. Het voldoen aan de regelgeving draagt bij aan de betrouwbaarheid van audit resultaten en tot op een zekere hoogte de deugdelijkheid het onderzoek. Goede dossiervorming vormt onderbouwing van bevindingen. Het vertrouwen in de deugdelijkheid van interne (IT) audit onderzoeken mag niet beschaamd worden, aangezien het afbreukrisico van de interne (IT) auditor groot is vanwege de een unieke positie voor het verlenen van Assurance aan partijen zoals de audit committee (Gerrit, De Beelde, & Everaert, 2009). Uit interviews gehouden in het kader van dit onderzoek, blijkt dat de perceptie bestaat dat de traditionele audit methode met name is gericht op het kunnen onderbouwen van het uiteindelijke resultaat. De focus van de traditionele audit

methodologie ligt op het kwaliteitsaspect betrouwbaarheid en deugdelijkheid van de uitgevoerde werkzaamheden en het kunnen onderbouwen waarom tot een oordeel is gekomen.

3.4

Nadelen van de gebruikte audit methodologie

Naast de beschreven voordelen van een de traditionele audit methodologie met duidelijke planning, veldwerk en rapportage fases, bestaan er ook nadelen aan deze methode met gevolgen voor het functioneren van interne audit afdelingen.

De algemeen geaccepteerde indeling van de audit in planning, veldwerk en rapportage fase leidt tot inflexibiliteit die ook wordt geconstateerd bij projecten die een ‘waterval’ methode hanteren. In de praktijk zijn de fases namelijk minder zwart wit, en wordt gedurende veldwerk nog wel eens teruggekomen op beslissingen gemaakt tijdens de planning. Het terugkomen op risico

inschattingskeuzes gemaakt gedurende de planningsfase betreft een moeizaam proces. Wanneer aannames en overwegingen in het initiële planningsdocument herzien worden, dan dienen deze uitgebreid in dossier gedocumenteerd te worden en diverse goedkeuringen zijn noodzakelijk om supervisie aan te kunnen tonen. In interviews die in het kader van dit onderzoek zijn afgenomen worden verschillende voorbeelden genoemd waardoor informatie verkregen gedurende het veldwerk kunnen leiden tot het herzien van inschattingen in de risico analyse. Bevindingen kunnen bijvoorbeeld invloed hebben op (1) aannames ten aanzien van de ‘control environment’, (2) het werkprogramma doordat controle maatregelen niet effectief blijken en compenserende

maatregelen geëvalueerd moeten worden, of (3) de scope doordat ‘root cause’ analyses uitgevoerd moeten worden op gebieden die initieel niet in de scope van de originele audit behoorden.

Uit kwaliteit review op interne audit dossiers wordt regelmatig de feedback gegeven dat zogenaamde ‘audit trails’ moeilijk zijn te volgen voor een onafhankelijke derde.

16 Kortom het uitvoeren van audits door middel van deze fase benadering bevordert de flexibiliteit en het doorvoeren van benodigde aanpassingen niet. De fasering zoals bij de waterval methode en de lineaire aard ervan limiteert de auditor in zijn reactie vermogen op onverwachte uitkomsten in de veldwerkfase of rapportage fase aangezien de grote lijnen zijn bepaald en belangrijke beslissingen zijn genomen in de planningsfase (Schwaber, 1997).

Als gevolg van een methodologie die vergelijkbaar is met een waterval ontwikkelmethode, komt de interactie met de auditee wat betreft bevindingen en constateringen, pas laat in het proces opgang. Doorlooptijden van audits kunnen meer dan vier maanden bedragen en pas aan het eind van een audit wordt het resultaat opgeleverd. De mate van interactie met de auditee gedurende het onderzoek is afhankelijk van de kwaliteit en communicatie vaardigheden van individuele auditors, terwijl de feedback van een auditee waardevolle input is voor het bepalen van de relevantie van audit bevindingen. Alle geïnterviewde ervaringsdeskundigen voor dit onderzoek, zijn het eens met het feit dat interactie met de auditee het draagvlak vergroot om bevindingen op te lossen aangezien een auditee meer betrokken wordt bij een audit. Het is derhalve wenselijk om bevindingen ook zo snel mogelijk af te stemmen met auditees en niet te wachten tot de rapportage fase.

Daarnaast blijkt uit onderzoek naar de verbeteringen in het interne audit proces dat er aandachtspunten zijn op het gebied van samenwerking binnen audit teams. Dit betreft samenwerking op het gebied van supervisie en op het gebied van samenwerking tussen

verschillende audit disciplines. Zonder de juiste management supervisie en het toepassen van de juiste kennis en ervaring, wil het gebeuren dat de analyse van audit bevindingen te kort schiet, waardoor het effectieve gebruik van audit resources onder druk komt te staan (Elliot, Dawson, & Edwards, 2006). Audit onderzoeken worden veelal onder tijdsdruk uitgevoerd en uit de praktijk blijkt dat interne audit management vaak pas intensief wordt betrokken bij de audit wanneer bevindingen uitgewerkt worden in rapportages en derhalve relatief laat in het audit proces, oftewel bij de

afronding van de fases. Op het moment dat goedkeuringen inefficiënties veroorzaken doordat het publicatie van resultaten of voortgang van werkzaamheden tegen houdt, leidt de kwaliteit van de review er onder. Uit de praktijk blijkt dat reviewslagen die op het laatste moment worden

uitgevoerd niet de beste kwaliteit hebben.

Samenwerking tussen verschillende audit disciplines zoals bijvoorbeeld IT en overige operationele auditors, verloopt moeizaam en wordt niet bevorderd door de traditionele manier van auditen. Doordat in de planningsfase een planningsdocument wordt opgesteld waar belangrijke beslissingen omtrent de doelstelling, scope, tijdslijnen, en benodigde middelen staan beschreven, kunnen individuele auditors in vergaande mate zelfstandig aan de slag. De ICT of geautomatiseerde

17 informatie voorziening is vandaag de dag niet meer weg te denken uit de organisatie en raakt alle beheers aspecten en processen van een organisatie (Instituut van Internal Auditors, 2012). Goede communicatie tussen de ICT en de gebruikers is derhalve van groot belang. Prof. dr. O. C. van Leeuwen RA geeft in zijn publicatie aan dat het management zelf vaak onvoldoende kennis van ICT heeft om de IT-ers aan te kunnen sturen, of dat het management zich niet voldoende bewust is van de risico’s van ICT, met alle gevolgen van dien. Het ICT-domein van een organisatie kent vaak een eigen jargon waarbij veel gedetailleerde discussies plaatsvinden die vaak niet aansluiten op de belevingswereld van de manager. Hierbij geldt met name op ICT-gebied dat een relatief klein risico grote gevolgen kan hebben (Instituut van Internal Auditors, 2012). Vanwege het belang van IT bij operationele audits en de relevantie voor het management van een organisatie is een goede samenwerking van belang zodat een evenwichtig beeld van de relevante IT risico’s wordt gerapporteerd.

3.5

Conclusie

De traditionele audit methodologie betreft een uitwerking van de internationale audit standaarden. Uit interviews en uit literatuur blijkt dat de toegepaste methodologie voor internal audit opdrachten over het algemeen in drie verschillende achtereenvolgende fases wordt uitgevoerd. Deze fases betreffen de planningsfase, uitvoering of veldwerkfase en de rapportage fase.

De gefaseerde aanpak van operationele audits is te vergelijken met de zogenaamde waterval project methode. In de waterval methode wordt elke fase afgerond alvorens met de volgende fase

begonnen kan worden. Aan het einde van elke fase vindt een review plaats om vast te stellen of het project, of in dit geval een audit, nog op het juiste pad is. Een ander belangrijk kenmerk van de waterval methode is dat deze het beste gehanteerd kan worden in situaties waarbij de gestelde verwachtingen duidelijk zijn (Balaji & Sundararajan Murugaiyan, 2012).

Het voordeel van een audit methodologie die lijkt op de waterval methodiek zoals gehanteerd bij software ontwikkeling, is dat deze begrijpelijk is en makkelijk toepasbaar. Rollen en

verantwoordelijkheden zijn duidelijk en overzichtelijk en er bestaat een duidelijk uniform en gestandaardiseerd proces dat dossier technisch voldoet aan de ‘International Professional Practice Framework’. De betrouwbaarheid of deugdelijkheid van audit resultaten is hierdoor gewaarborgd. Het voordeel ten aanzien van de kwaliteit van internal (IT) audit opdrachten ligt derhalve met name in de standaardisatie en de betrouwbaarheid en deugdelijkheid van de uitgevoerde werkzaamheden en de onderbouwing en dossiervorming rondom gerapporteerde bevindingen.

Uit de literatuur en uit de interviews, gehouden in het kader van dit onderzoek met ervaringsdeskundigen, blijkt dat er verschillende aandachtspunten verbonden zijn aan de

18 traditionele manier van werken. De algemeen geaccepteerde indeling van de audit in planning, veldwerk en rapportage fase leidt tot inflexibiliteit. De fasering zoals bij de waterval methode en de lineaire aard ervan, limiteert de auditor in zijn reactie vermogen op onverwachte uitkomsten in de veldwerk of rapportage fase, aangezien de grote lijnen bepaald zijn en belangrijke beslissingen zijn genomen in de planningsfase. Een herziening van een audit scope welke toegevoegde waarde zou opleveren, is moeilijk te verantwoorden en wordt in de praktijk als een bureaucratisch proces ervaren die liever wordt vermeden.

Daarnaast komt de interactie met de auditee wat betreft bevindingen en constateringen, pas laat in het proces opgang. Doorlooptijden van audits kunnen meer dan vier maanden bedragen en pas aan het eind van een audit wordt het resultaat opgeleverd. De interactie met de auditee wordt niet bevorderd door traditionele fase benadering van audits.

Tot slot blijkt uit onderzoek naar de verbeteringen in het interne (IT) audit proces en de praktijk dat er aandachtspunten zijn op het gebied van samenwerking binnen audit teams. Dit betreft

samenwerking op het gebied van supervisie en op het gebied van samenwerking tussen verschillende audit disciplines. Audit onderzoeken worden veelal onder tijdsdruk uitgevoerd, waardoor laatste moment review en goedkeuringen worden uitgevoerd die ten kosten gaan van de kwaliteit van supervisie. Samenwerking tussen de verschillende audit disciplines wordt niet

bevorderd, doordat op basis van een uitgebreide planningsdocumenten en gedetailleerde werkprogramma’s zelfstandig werkzaamheden uitgevoerd kunnen worden.

19

Hoofdstuk 4:

De Agile methodologie

4.1

Inleiding

De waterval methode is een IT ontwikkelmethode die veelal wordt gebruikt bij minder complexe en kleine projecten waarbij weinig onzekerheid bestaat omtrent het op te leveren eindproduct. Vanwege tekortkomingen in deze methode, zoals bijvoorbeeld de inflexibiliteit bij wijzigende wensen van de eindgebruiker, en lange doorlooptijden is een Agile ontwikkel methodologie ontworpen.

In dit hoofdstuk wordt de Agile ontwikkel methodologie geëvalueerd en beoordeeld in hoeverre deze methodologie bruikbaar is als audit methodologie. Het hoofdstuk wordt afgesloten met een opsomming van de voor- en nadelen van een dergelijke Audit methodologie.

4.2

Het doel van de Agile methodologie en toepasbaarheid voor audit

De term ‘agile’ betekent onder meer ‘alert’, ‘levendig’ en ‘behendig’. Dit verwijst naar de snelle, flexibele wijze waarop ingespeeld wordt op veranderingen tijdens het software ontwikkelproces. Een agile aanpak hanteert een regelmatige oplevering van software om in te kunnen spelen op de veranderende requirements. Agile gebruikt timeboxen waarbij elke iteratie een gelijke duur heeft. Daarnaast is bij agile de opdrachtgever permanent vertegenwoordigd in het project (Sijben, 2015). In 1986 kwamen Takeuchi en Nonaka voor het eerst met een product ontwikkel raamwerk wat nu wordt gezien als de fundering van Agile software ontwikkeling genaamd Scrum. Scrum is een voorbeeld van agile software ontwikkeling welke is geboren uit ontevredenheid over de resultaten van traditionele software ontwikkelmethoden als gevolg van lange doorlooptijden. Scrum is eveneens de meest toegepaste Agile ontwikkelmethode in de praktijk (Mahnic & Zabkar, 2008). In het beschreven raamwerk van Takeuchi en Nonaka staan samenwerking, aanpassingsvermogen, snelheid en zelfsturing centraal als kenmerken van goed functionerende multidisciplinaire teams. Scrum is gebaseerd op Lean Management-principes en ‘best practices’ vanuit de Japanse industrie (Takeuchi & Nonaka, 1986).

In het boek ‘Lean Thinking’ van Womack & Jones worden de Lean principes toegelicht en wordt beargumenteerd dat de principes voor elk bedrijf en elk niveau in de organisatie toepasbaar zijn. In het boek zijn de Lean management-principes vertaald naar stappen welke worden doorlopen om tot een Lean proces te komen. De volgende stappen zijn onderkend (Womack & Jones, 1996), en kunnen eveneens toegepast worden in het kader van een operationele (IT) audit:

1. Specificeer waarde – De waarde wordt bepaald door de uiteindelijke gebruiker van het product, oftewel de klant. In het kader van audit betreft het product het slotstuk van elke

20 audit, namelijk de communicatie van de conclusie, oftewel het oordeel met de daarbij behorende bevindingen, welke in de vorm van een rapportage wordt gedeeld met de gebruiker. De waarde voor een audit rapportage is gebaseerd op kwaliteit, welke is gedefinieerd als relevantie en betrouwbaarheid in hoofdstuk 2.

2. Bepalen van waarde stroom – Het ‘Lean Thinking’ verwacht dat het proces tot het realiseren van het eindproduct bestaat uit processtappen die waarde toevoegen aan het eindproduct. Het audit proces moet derhalve alleen bestaan uit werkzaamheden die relevantie en betrouwbaarheid toevoegen aan het oordeel. Het auditen van processen die inherent lage risico’s mitigeren, hebben bijvoorbeeld minimale toegevoegde waarde. In hoeverre

toegevoegde waarde wordt geleverd door een audit is in vergaande mate afhankelijk van de risico analyse. In elke audit methodologie moet derhalve de risico analyse centraal staan.

3. Creëer ‘flow’ – Het ‘flow’ principe is gericht op het verkorten van afstanden tussen

verschillende stappen in het proces en het verder elimineren van verspillingen. Hoewel dit principe meer voor de hand ligt in een productie proces, kunnen in het kader van audit eventuele supervisie en documentatie aspecten ook geoptimaliseerd worden. Door middel van de Lean benadering kan de afstand tot de informatie bronnen, maar ook tussen teamleden en experts verkleind worden door middel van dagelijkse betrokkenheid bij het proces.

4. Produceer op basis van ‘Pull’ – Met ‘Pull’ wordt bedoeld dat productie ten behoeve van voorraad vermeden moet worden, aangezien dit wordt gezien als verspilling. Met een juiste toepassing van ‘Pull’ in het kader van audit, zouden alleen audits uitgevoerd dienen te worden die op verzoek van de gebruiker worden gedaan. De beperking waar een interne audit afdeling van een gereguleerde organisaties rekening mee moet houden, is dat (IT) audits ook vanuit regelgeving noodzakelijk kunnen zijn, aangezien aan een meerjarige controlecyclus doorlopen dient te worden. In het kader van deze scriptie is dit ‘Lean principe’ derhalve minder relevant.

5. Streef naar perfectie – Met het principe van perfectie wordt continue verbetering

nagestreefd. Het doel is om met elke audit het auditproces om tot een oordeel te komen, te verbeteren en verspillingen te voorkomen. Relevante aspecten in het kader van kwaliteit van de uitgevoerde audits zijn samenwerking tussen teamleden, het opbouwen en delen van

21 kennis en expertise en het hergebruiken van informatie ten behoeven van nieuw uit te voeren audits.

De vijf ‘Lean thinking’ basis principes is onderdeel van het fundament waar Scrum op is gebaseerd. Zoals eerder aangegeven is Scrum echter ontwikkeld als IT ontwikkeltechnologie welke is geboren uit onvrede ten aanzien van opgeleverde software (Mahnic & Zabkar, 2008). Algemene onvrede over de resultaten van audit rapportages is uit onderzoek niet gebleken. In onderzoek wordt wel de noodzaak onderschreven van goed functionerende interne (IT) audit afdelingen (Molenkamp, 2005), indirect wordt derhalve het belang kwalitatief goede rapportages bevestigd die door middel van een op ‘Lean Thinking’ gebaseerd proces gerealiseerd kunnen worden.

4.2.1 Onzekerheid ten aanzien van requirements van de eindgebruiker

De onvrede ten aanzien van de opgeleverde software wordt onder andere verweten aan de complexiteit van projecten, lange doorlooptijden in combinatie met wijzigende requirements gedurende het project en slecht verwachtingsmanagement en communicatie met de eindgebruiker (Martijnse & Noordam, 2007). De mate waarin Scrum de mogelijkheid biedt om aan te passen aan wijzigende omgevingsfactoren gedurende de werkzaamheden, wordt gezien als één van de

belangrijkste doelen van Agile. Deze flexibiliteit wordt gerealiseerd door de doorlooptijd of de ‘Time to market’ aanzienlijk te verkorten.

Uit de interviews gehouden in het kader van dit onderzoek blijkt dat de mate van onzekerheid en wijzigende omstandigheden voor het eindproduct van een audit ter discussie staat. Er wordt namelijk beredeneerd dat het eindproduct vanaf het begin bekend is en dat dit een rapportage omvat waarbij een bepaalde mate van zekerheid voor een bepaalde scope wordt nagestreefd. Een ander argument is dat wanneer gedurende het veldwerk wijzigingen noodzakelijk zijn in het werkprogramma, dan is de risico analyse gedurende de planningsfase niet grondig of gedetailleerd genoeg uitgevoerd.

Echter uit publicaties van PwC blijkt dat de eisen of wat wordt verlangd van interne audit afdelingen alleen maar complexer worden. Interne audit afdelingen dienen de eisen en wensen van

concurrerende stakeholders effectief te managen en te prioriteren om er voor te zorgen dat toegevoegde waarde geleverd wordt aan de kritieke stakeholders, zoals audit committees, senior management en externe auditors (PwC, 2006). Deze complexiteit zorgt er voor dat omstandigheden en prioritering van risico’s zelfs gedurende audits kunnen wijzigen en derhalve is flexibiliteit een noodzaak om effectief om te kunnen gaan met de schaarse middelen in de vorm van audit medewerkers en de optimale benutting daarvan.

22 Daarnaast is het eindproduct in de vorm van mate van zekerheid wellicht vanaf de start van

werkzaamheden bekend, echter de hoeveelheid werkzaamheden welke benodigd zijn om tot deze mate van zekerheid te komen, is afhankelijk van wat er gedurende de audit wordt gevonden. Inherente risico’s wijzigen niet snel, echter het rest risico is afhankelijk van de effectiviteit van de controlemaatregelen. Bevindingen ten aanzien van de effectiviteit van controlemaatregelen worden gedurende de audit ontdekt, waarna de hoeveelheid werkzaamheden en de benodigde analyse om tot een bepaalde mate van zekerheid te kunnen komen afhankelijk is van compenserende

maatregelen. Hierdoor kan bijvoorbeeld een focus op preventieve maatregelen verschuiven naar detecterende controlemaatregelen.

Deze statement ligt in lijn met de vereisten van de standaarden van het Instituut van Internal Auditors maar ook wettelijke regelgeving zoals bijvoorbeeld SOX, om op risico gebaseerde auditing toe te passen (The Institute of Internal Auditors, 2016) (SOX, 2002). Dit zogenaamde ‘risk based auditing’ verlangt dat de auditor moet evalueren welke risico’s van belang zijn ten aanzien van de audit scope en deze risico inschatting wijzigt, en daarmee de hoeveelheid werk op het moment, dat controlemaatregelen niet effectief blijken (McNamee, 1997). Gedurende de audit dient de focus op risico gehandhaafd te worden en derhalve wijzigt de aanpak op het moment dat bevindingen zich voor doen.

Zoals eerder in hoofdstuk 3 geconstateerd, blijkt in de praktijk dat een bepaalde vorm van

flexibiliteit gewenst is omdat bevindingen invloed kunnen hebben op (1) aannames ten aanzien van de ‘control environment’, (2) het werkprogramma doordat controle maatregelen niet effectief blijken en compenserende maatregelen geëvalueerd moeten worden, of (3) de scope doordat ‘root cause’ analyses uitgevoerd moeten worden op gebieden die initieel niet in de scope van de originele audit behoorden.

4.3

Toepasbaarheid in het kader van de regelgeving

Het toepassen van een gefaseerde waterval methode bij operationele audits zorgt voor een duidelijk uniform en gestandaardiseerd proces die dossier technisch voldoet aan de ‘International

Professional Practice Framework’. De traditionele methodologie is een afgeleide van de standaarden en derhalve zullen audit dossiers voldoen aan de richtlijnen van regelgevende instanties. Wanneer van deze traditionele methodologie wordt afgeweken is het van belang dat er geen belemmeringen bestaan vanuit de standaarden.

Uit analyse van de standaarden blijkt dat deze gebaseerd is op principes en geen regels voorschrijft waaraan moet worden voldaan. Het voorschrijven van principes in plaats van regels, houdt in dat wanneer de doelstelling van een standaard wordt bereikt, het beperkt relevant is hoe deze doelstelling wordt gerealiseerd (Schipper, 2003).

23 Uit verdere analyse van de standaarden blijkt dat deze zijn gesplitst in attribuutstandaarden en prestatienormen (The Institute of Internal Auditors, 2016). De attribuutstandaarden zijn met name gericht op de inrichting van de interne audit afdeling en de kenmerken daarvan als een geheel terwijl de prestatienormen gericht zijn op het functioneren bij individuele audits. In de

attribuutstandaarden levert standaard 1100 Indepence and objectivity beperkingen op ten aanzien van de inrichting van een Agile audit methodologie. In standaard 1100 wordt gesteld dat de interne audit onafhankelijk en objectief moet zijn. Dit betekent dat de eindgebruiker welke volgens het Agile principe in vergaande mate geïntegreerd wordt in de vorm van een zogenaamde ‘product owner’ in het audit team niet de auditee kan zijn. De auditee is namelijk de verantwoordelijke voor de

controleomgeving welke gedurende de audit wordt geëvalueerd en dus niet onafhankelijk. Dit is echter een beperking voor de mogelijke inrichting van een Agile audit methodologie maar geen belemmering.

De overige attribuutstandaarden bevatten geen beperking of belemmering aangezien de methode om aan deze standaarden te voldoen bij een Agile methodologie niet zal afwijken van de traditionele audit methodologie.

De relevante prestatie norm standaarden waarbij een afwijkende invulling door middel van Agile gegeven zal worden ten op zichte van de traditionele methode, betreffen 2200 Engagement Planning, 2220 Engagement Scope, 2240 Engagement Work Programme, 2300 Performing the Engagement, 2340 Engagement Supervision. Opvallend is echter dat in de prestatie normen geen vereisten ten aanzien van tijdigheid zijn opgenomen. Indien er voorschriften zouden bestaan die vereisen dat de scope van een audit, het audit doel en het werk programma (allen onderdeel van planningsfase) afgerond dienen te zijn alvorens met de veldwerkfase begonnen kan worden, dan zou dit een waterval methode rechtvaardigen en is een Agile audit methodologie vanwege de

regelgeving niet mogelijk. De prestatie normen schrijven echter alleen voor welke werkzaamheden uitgevoerd dienen te worden en niet wanneer of in welke volgorde. De standaarden staan derhalve een aanpassing in methodologie van een chronologische gefaseerde audit naar een iteratief proces niet in de weg. Dit is relevant aangezien in een Agile methodologie een product iteratief ontwikkeld moeten wordt (Misra, Vinod, Uma, Kamel, & Mahmud, 2012). Echter een Agile audit proces zal ook aan de relevante regelgeving moeten voldoen zoals onder andere de prestatienormen zoals die worden voorgeschreven in de standaarden. Echter in het geval van Agile zal niet meer volgtijdelijk maar iteratief aan de prestatienormen voldaan worden.

4.4

Voordelen van een Agile Audit methodologie

De belangrijkste voordelen van het agile model zitten in het kort cyclisch kunnen leveren van resultaten door middel van een iteratief proces, verbeterde samenwerking binnen teams en

24 verbeterede interactie met de eindgebruiker. Het iteratieve proces maakt het mogelijk om effectief te kunnen reageren op veranderende inzichten ten aanzien van het gewenste resultaat (Balaji & Sundararajan Murugaiyan, 2012).

Verschillende ervaringsdeskundigen die in het kader van dit onderzoek zijn geïnterviewd zien een groot voordeel ten aanzien van de relevantie in het feit dat een Agile Audit methodologie veel eerder resultaat zal kunnen leveren aan de eindgebruiker ten op zichte van een traditionele audit methodologie. Bij een traditionele audit methodologie is de doorlooptijd van rapportages over het algemeen minimaal acht weken en kan op lopen tot vijf maanden. Het iteratieve proces beoogt een incrementele oplevering van de rapportage waardoor de auditee na elke iteratie (bijvoorbeeld twee weken) bevindingen gerapporteerd krijgt waar de auditee actie op kan ondernemen. Doordat het werkprogramma per iteratie wordt vastgesteld kunnen (1) nieuwe inzichten verkregen gedurende de het veldwerk, inzake initiële risico inschattingen, (2) nieuwe prioritering van werkzaamheden en (3) feedback ontvangen van de auditee, verwerkt worden in de risico analyse waardoor continue vanuit de risico benadering werkzaamheden worden geprioriteerd en uitgevoerd. De rapportage doorlooptijd van de belangrijkste bevindingen wordt aanzienlijk korter ten opzichte van de traditionele audit methodologie waar alle bevindingen tegelijk gerapporteerd worden.

Uit praktijk onderzoek en interviews gehouden in het kader van dit onderzoek blijkt dat de Agile manier van werken resulteert in meer interactie met de betrokken stakeholders. Door de nauwe samenwerking tussen de partijen worden mogelijke problemen/bottlenecks snel en efficiënt blootgelegd waarbij niemand zich kan verbergen voor niet goed opgeleverd werk (Sijben, 2015). De intensieve samenwerking en het effectief kunnen acteren op problemen resulteert eveneens in kortere doorlooptijden.

Daarnaast beoogt de agile scrum manier van werken een betere samenwerking tussen medewerkers van verschillende disciplines door deze in scrum teams te organiseren. Voorlopige resultaten uit wetenschappelijk onderzoek tonen aan dat medewerkers die volgens de agile scrum methode werken meer focussen op waarde creatie en deze medewerkers tonen meer interesse in aspecten van team dynamiek en samenwerking (Ktata & Levesque, 2010). De agile scrum methode van werken is ontstaan vanuit de ICT ontwikkel industrie en zorgt voor een betere samenwerking tussen de eindgebruiker van ICT, ICT beheerder en ICT ontwikkelaar doordat deze als de voornaamste stakeholders samen in een team verantwoordelijk worden voor een bepaald eindproduct (Maruping & Venkatesh, 2009). In een (IT) audit context zal de samenwerking tussen verschillende audit disciplines zoals IT auditors, operationele auditors en andere specialisten ook verbeteren doordat zij gezamenlijk verantwoordelijk worden voor het eindproduct en dagelijks door middel van korte communicatielijnen communiceren. Een nauwe samenwerking tussen verschillende disciplines

25 maakt het eenvoudiger om ‘integrated auditing’ toe te passen waarbij IT financiële en operationele controlemaatregelen holistisch worden geëvalueerd ten einde de efficiëntie en effectiviteit van de controle omgeving te beoordelen (Harvard University, 2017). Door de samenwerking zullen gecommuniceerde conclusies een holistisch perspectief schetsen van de situatie ten aanzien van bevindingen en minder vanuit het perspectief van een specifieke audit discipline.

4.5

Nadelen van een Agile Audit methodologie

De grootste nadelen van een Agile model die uit onderzoeken naar voren komen betreffen de relatieve complexiteit van het model op het moment dat projecten groter worden en meerdere teams gecoördineerd dienen te worden, en de afhankelijkheid van de kennis en kunde van de werknemers (Balaji & Sundararajan Murugaiyan, 2012). In het kader van audit zal het nadeel ten aanzien van de complexiteit minder zwaar wegen, aangezien team overstijgende afhankelijkheden minimaal zijn wanneer duidelijke scope afspraken gemaakt worden bij het uitvoeren van

verschillende audits tegelijk.

De afhankelijkheid van kennis en kunde van audit medewerkers is wel degelijk relevant aangezien de taken en verantwoordelijkheden van audit medewerkers veranderen.

De implementatie van een ‘Lean thinking’ gebaseerd model vereist een cultuur verandering. In de traditionele audit methodologie krijgt dossiervorming veel aandacht vanwege de noodzaak van de betrouwbaarheid van bevindingen en het feit dat deze gebaseerd moeten zijn op deugdelijk onderzoek. Bij een Agile Audit methodologie ligt de focus meer op het leveren van toegevoegde waarde. Deze verandering in denkwijze vereist investeringen in trainingen en opleidingen van medewerkers op alle niveaus in een audit afdeling (Arnheiter & Maleyeff, 2005), terwijl auditors van naturen conservatief en afbreukrisico avers zijn ingesteld.

Uit interviews uitgevoerd door Michel Sijben in 2015 blijkt dat het in de praktijk lastig is om goed functionerende multidisciplinaire teams samen te stellen en dat er duidelijk verschillen tussen ambitie en kennis niveau van de mensen bestaan. Werknemers hebben derhalve een groot

aanpassingsvermogen nodig omdat de samenwerking binnen het team centraal staat. In de praktijk leidt dit tot afhankelijkheid van kennis en kunde van enkele teamleden die de teams draaiende houden (Sijben, 2015).

Uit onderzoek uitgevoerd door Michel Sijben in het kader van zijn afstudeerscriptie blijkt uit de software ontwikkeling praktijk dat de beperkte structuur en de controleerbaarheid als nadelen worden gezien. Geinterviewden geven aan dat Scrum veel vrijheid biedt. Dit op zich betreft een risico, met name in sectoren die sterk gereguleerd zijn en waarbij er sprake is van gevoelige data. Indien niet voldaan wordt aan wet- en regelgeving dan kan dit direct tot boetes en reputatieschade leiden. Reputatie schade voor interne audit afdelingen is funest.

26 Scrum stelt weinig eisen ten aanzien van documentatie en niet functionele eisen worden pas laat in het proces helder (Sijben, 2015). Echter in een audit methodologie betreft de betrouwbaarheid en de daarmee samenhangende documentatievereisten een functionele eis omdat deze op basis van regelgeving wordt vereist. In een Agile Audit methodologie dienen derhalve waarborgen te zijn opgenomen die er voor zorgen dat aan documentatie eisen wordt voldaan.

4.6

Conclusie

Het ‘Lean Thinking’ proces, waar Agile op is gebaseerd, is gericht op het leveren van toegevoegde waarde aan de eindgebruiker. De basis principes die hier voor zijn beschreven, zijn ook toepasbaar op het operationele audit proces. Toegevoegde waarde in het kader van audits is het tijdig leveren van betrouwbare conclusies over relevante onderwerpen.

Uit de praktijk blijkt dat een bepaalde vorm van flexibiliteit bij de uitvoering van audit

werkzaamheden wenselijk is, omdat bevindingen kunnen leiden tot het herzien van inschattingen in de risico analyse ten aanzien van bijvoorbeeld de ‘control environment’, tot het wijzigen van

werkprogramma’s doordat controle maatregelen niet effectief blijken en compenserende maatregelen geëvalueerd moeten worden, of doordat ‘root cause’ analyses uitgevoerd moeten worden die initieel niet in de scope van de originele audit behoorden. Het flexibel kunnen omgaan met vernieuwde inzichten, draagt bij aan de op risico gebaseerde benadering van audit objecten die door de regelgevende instanties wordt verwacht van interne audit afdelingen.

Uit de analyse van het stramien van standaarden blijkt dat er geen belemmeringen zijn ten aanzien van een Agile Audit methodologie. De standaarden zijn op principes gebaseerd, dus zolang aan de doelstelling van de standaarden wordt voldaan kan het proces ook iteratief uitgevoerd worden. De belangrijkste voordelen van het agile model zitten in het kort cyclisch kunnen leveren van resultaten door middel van een iteratief proces, verbeterde samenwerking binnen teams en

verbeterde interactie met de eindgebruiker. Het iteratieve proces maakt het mogelijk om effectief te kunnen reageren op veranderende inzichten ten aanzien van het gewenste resultaat (Balaji & Sundararajan Murugaiyan, 2012).

Bij een traditionele audit methodologie is de doorlooptijd van rapportages over het algemeen minimaal acht weken en kan op lopen tot vijf maanden. Het iteratieve proces beoogt een

incrementele oplevering van de rapportage waardoor de auditee na elke iteratie (bijvoorbeeld twee weken) de belangrijkst bevindingen gerapporteerd krijgt waar de auditee actie op kan ondernemen. Een Agile Audit methodologie faciliteert, een risico benadering die continue wordt herzien op basis van nieuw verkregen informatie, meer interactie met de auditee waardoor meer draagvlak voor de

27 audit bevindingen ontstaat en een verbeterde samenwerking tussen audit disciplines die de

holistische benadering van audit objecten verbetert.

Onderwerpen die aandacht verdienen bij de implementatie van een Agile Audit methodologie betreffen de cultuur wijziging die noodzakelijk is. De cultuurwijziging vereist investering in trainingen en opleiding van medewerkers. Enerzijds verandert de manier van werken en de benadering van audit objecten doordat de focus verschuift van het aspect betrouwbaarheid naar toegevoegde waarde, anderzijds wordt een intensievere samenwerking tussen audit team leden verwacht. Tot slot stelt Scrum weinig eisen ten aanzien van documentatie en niet functionele eisen worden pas laat in het proces helder (Sijben, 2015). In een audit methodologie betreft de betrouwbaarheid en de daarmee samenhangende documentatievereisten een functionele eis omdat deze op basis van regelgeving wordt vereist.

28

Hoofdstuk 5:

Toepassing van Agile als audit methodologie

5.1

Inleiding

Ten einde de voordelen van Agile Scrum als audit methodologie optimaal te kunnen realiseren dient een Agile Audit methodologie geïmplementeerd te worden welke voldoet aan kernbegrippen zoals deze zijn bepaald voor Agile ontwikkelmethoden. Deze kernbegrippen vormen minimale eisen aan de invulling van een audit methodologie op een Agile manier. Aangezien Agile Scrum de meest toegepaste Agile ontwikkelmethode is (Mahnic & Zabkar, 2008), zullen de kernbegrippen zoals beschreven voor Agile Scrum in dit hoofdstuk worden vertaald naar een audit praktijk.

5.2

Agile scrum toepassing als audit methodologie

Het Scrum raamwerk dat gebruikt wordt in software ontwikkelprojecten is beschreven in ‘The Scrum Guide’. ‘The Scrum guide’ is gepubliceerd door Scrum.org dat is opgericht in 2009 door de bedenkers van Scrum genaamd Jeff Sutherland en Ken Schwaber. Jeff Sutherland en Ken Schwaber die ook betrokken waren bij het opstellen van het ‘Agile Manifesto’ zijn gerenommeerde personen op het gebied van Agile Scrum en derhalve zal aan de hand van de belangrijkste onderwerpen die in hun ‘The Scrum guide’ worden aangehaald een Agile audit proces worden beschreven. Achter een volgens zullen het iteratief proces, Scrum artefacten, Scrum rollen en Scrum meetings in een audit situatie worden toegelicht.

5.2.1 Iteratief proces

De basis van de Agile Scrum methode is het iteratief ontwikkelen van software (Larman, 2005). De ontwikkeling wordt uitgevoerd in iteraties, waarbij elke iteratie een miniproject is waarin met betrekking tot een afgebakende functionaliteit een groot aantal fasen uit de levenscyclus van software wordt doorlopen, zoals requirements analyse, ontwerp, ontwikkeling en testen. De doelstelling van één iteratie is dat de afgebakende functionaliteit compleet en fout vrij wordt opgeleverd en beschikbaar is voor de eindgebruiker. Het product van elke iteratie is een op zich staand product. Het op zich staande product is niet een prototype maar een onderdeel van het te ontwikkelen systeem (Misra, Vinod, Uma, Kamel, & Mahmud, 2012).

Teneinde een iteratief te hanteren bij audit werkzaamheden is het van belang het product van een audit te definiëren. Op basis van literatuur en de gedefinieerde functie van interne audit door het Instituut van internal auditors wordt geconcludeerd dat het uiteindelijke oordeel over een object van onderzoek het product is dat een interne audit opdracht oplevert (Nagy & Cenker, 2002). De kwaliteit van de audit heeft direct invloed op de betrouwbaarheid en de relevantie van het oordeel. Het oordeel is, wat in lijn met de standaarden, gecommuniceerd moet worden aan de opdrachtgever

29 en derhalve dient elke iteratie een prototype of onderdeel van het te produceren oordeel op te leveren. Aangezien het oordeel gecommuniceerd wordt door middel van rapportages wordt de rapportage gebruikt als het tastbare oordeel dat elke iteratie wordt opgeleverd.

Een iteratie wordt in Agile Scrum termen een sprint genoemd. Een sprint is een tijdbox van één tot vier weken waarin een verbetering aan werkend product wordt gerealiseerd (Schwaber &

Sutherland, 2016). Doordat audit opdrachten over het algemeen 6 tot 10 weken duren, zal bij audit een sprint maximaal 2 weken duren waardoor in 3 tot 10 sprints een oordeel in rapportage vorm gerealiseerd wordt die relevant en betrouwbaar is voor de gebruiker. Per sprint wordt een op leverbaar oordeel gerealiseerd in de vorm van een rapportage, echter aangezien dit niet het volledige oordeel zal betreffen totdat de laatste sprint is afgerond, zal het oordeel een beperkte mate van zekerheid betreffen of een oordeel over een beperkte scope. Voor een voorbeeld ‘Minimum Viable product ter afronding van de eerste sprint, zie appendix A.

In het volgende overzicht wordt schematisch het iteratieve proces in doorlooptijden weergegeven in vergelijking met de traditionele audit methodologie:

Schema 1 - Iteratief proces

In hoofdstuk 2 is beredeneerd dat de mate van toegevoegde waarde afhankelijk is van de relevantie en de tijdige communicatie van bevindingen. De tijdigheid wordt gefaciliteerd door aan het eind van elke sprint een ‘Minimum Viable product op te leveren. De overige aspecten van relevantie worden gewaarborgd door de risico analyses die bij een traditionele audit methode in de planningsfase

30 volledig wordt uitgevoerd en bij een Agile methodiek aan het begin van elke sprint. In hoofdstuk 4 wordt gesteld dat om de focus op het toevoegen van waarde aan de organisatie te waarborgen, de risico analyse centraal moet staan. Zoals uit het bovenstaande overzicht blijkt, verandert de aanpak ten aanzien van de risk assessment en wordt herziening van de risico analyse op basis van informatie verkregen tijdens elke sprint en het werkprogramma aangepast. De risico analyse wordt in het volgende overzicht schematisch weergegeven:

Schema 2 - Risico Analyse

Risk Assessment (1) zal aan het begin van elke audit uitgevoerd dienen te worden om de grote lijnen van de scope van een audit te bepalen. In plaats van een uitgebreid en getailleerd document van tientallen pagina’s wordt deze risico analyse tot het minimum beperkt ten einde voldoende inzicht te verkrijgen van de grootste inherente risico’s van een object van onderzoek. De grooming sessies en sprint planning meetings worden in paragraaf 5.2.4 verder behandeld.

Risk Assessment (2) betreft de bepaling welke werkzaamheden de hoogste prioriteit hebben en waar derhalve het eerst over gerapporteerd zal worden. Elke sprint zal input leveren in de vorm van bevestiging of in de vorm van benodigde aanpassingen in de Audit backlog en User stories.