1
Process Mining
Het gebruik van conformance checking bij de jaarrekeningcontrole
C. (Christiaan) Dommerholt MSc EMA RA 10907106
Amsterdam 31 augustus 2015
Universiteit van Amsterdam, AITAP Begeleiding: J.C. Boer RE RA
2
Inhoud
1. Inleiding 4
1.1 Een verkenning en probleemanalyse 4
1.2 Doelstelling onderzoek 5 1.3 Onderzoeksvragen 5 1.4 Afbakening 6 1.5 Onderzoeksaanpak en onderzoeksmodel 7 1.5.1 Onderzoeksaanpak 7 1.5.2 Onderzoeksmodel 8 2. Theoretisch kader 9 Inleiding 9 2.1 Process Mining 9 2.1.1 Conformance checking 11 2.2 Jaarrekeningcontrole 14 2.2.1 Interim-controle - inkoopproces 14 3. Process Mining als audittechniek 19
3.1 Audittechniek 19
3.2 Aandachtspunten en conceptueel model 20
4. Methodologie 22
4.1 Onderzoekspopulatie en onderzoeksmethode 22
4.2 Van theorie naar interview 22
4.3 Case studie 22
4.4 Analyse resultaten 23
5. Onderzoek 24
5.1 Interviews 24
5.1.1 Samenstelling proces model en event log 24
5.1.2 IT General Controls 25
5.1.3 Data-kwaliteit event log 25
5.1.4 Overige aandachtspunten 26
5.1.5 Bijstelling en vaststelling overzicht aandachtspunten 26
5.2 Case studie 28
5.2.1 Case studie beschrijving 28
5.2.2 Interim-controle inkoopproces ‘traditioneel’ 28 5.2.3 Interim-controle inkoopproces ‘nieuw’ 30
5.2.4 Analyse van bevindingen 31
5.2.5 Bijstelling en vaststelling overzicht aandachtspunten 32
5.3 Resultaten onderzoek 32
5.3.1 Antwoord deelvraag 32
6. Conclusie, discussie en beperkingen 34
6.1 Conclusie 34
3
7. Literatuur 37
8. Begrippenlijst 39
9. Bijlage 41
9.1 Maturity model event logs 41
9.2 Controlestrategieën 42
9.3 Omvang deelwaarnemingen 43
9.4 Process model en conformance checking 44
9.5 Voorbeeld workflow output 45
9.6 Interviews 46
9.6.1 Het interviewschema 46
9.6.2 Gespreksverslagen interviews 48
9.6.3 Matrix interviews en aandachtspunten 59
9.7 Event log case studie 62
4
1. Inleiding
De steeds verdergaande automatisering heeft nu en de komende jaren effect op de wereld, ondernemingen en daarmee ook op het werk van accountants. Termen als Big Data, data-analyse en process mining worden voor accountants vaker onderwerp van gesprek in hun controle-aanpak. Deze begrippen zullen het vak accountancy volledig gaan vernieuwen de komende jaren1. In mijn werk als accountant zie je steeds meer informatie in systemen ver-dwijnen en wordt de workflow van bedrijfsprocessen tegenwoordig meer vastgelegd in deze informatiesystemen. Dit betekent dat accountants steeds meer afhankelijk zijn van data in en uit de systemen rondom de bedrijfsprocessen, wat invloed heeft op de controle-aanpak. Dit heeft effect op de gereedschapskist van de accountant voor de uitvoering van zijn werk-zaamheden. Een steeds 'hipper' wordend gereedschap van de accountant is process mining software. Het is een techniek dat veelal wordt gebruikt door internal auditors voor business intelligence binnen grote organisaties, maar mogelijk ook voor externe accountants een zeer nuttige audittechniek kan zijn. De IT-auditor kan gezien zijn kennis van data en technologie een nuttige specialist zijn in deze voor de externe accountants.
In dit hoofdstuk is allereerst de aanleiding van het onderzoek beschreven en vervolgens de centrale vraag, deelvragen en onderzoeksmodel besproken.
1.1 Een verkenning en probleemanalyse
Ondernemingen hebben de laatste jaren steeds verdergaande stappen gemaakt op het ge-bied van informatietechnologie. Zo zijn interne beheersingsmaatregelen binnen bedrijfspro-cessen steeds meer geïntegreerd in kostbare Enterprise Resource Planning
(ERP)-systemen. In de jaarrekeningcontrole is de financial auditor steeds meer afhankelijk gewor-den voor de beoordeling van de bedrijfsprocessen in deze ERP-systemen. Bedrijven innove-ren in ERP systemen, maar hoe gaat de accountant om met deze ERP-systemen in zijn werkzaamheden?
Een onderdeel van de jaarrekeningcontrole, uitgevoerd door een financial auditor, is de inte-rim-controle. Vanuit de risicoanalyse worden relevante interne beheersingsmaatregelen tij-dens de interim-controle getoetst die moeten bijdragen aan het verkrijgen van voldoende controle-informatie rondom de betrouwbaarheid van de jaarrekening. De financial auditor voert hierbij testwerkzaamheden ('test of control') uit om voldoende zekerheid te verkrijgen rondom de beheersing van de bedrijfsprocessen. Deze testwerkzaamheden hebben veelal een beperkte omvang ten opzichte van het totaal aantal transacties en richten zich veelal op de kernprocessen.
Er is steeds meer aandacht voor het gedrag van de gebruikers binnen bedrijfsprocessen en de invloed hiervan op de werking van de interne beheersingsmaatregelen. Daarnaast is er kritiek op het feit of de echte risico's binnen het bedrijfsproces, door de huidige testwerk-zaamheden, wel voldoende aan het licht komen. De vraag die hierbij speelt, is of de huidige 'test of control', bij gebruik van ERP-systemen, voldoende inzicht geeft in de risico's binnen de bedrijfsprocessen en de beheersing rondom deze bedrijfsprocessen of dat modernere IT-audit technieken, zoals 'process mining' en 'data-analyse', wellicht meer relevante informatie geven. Data-analyse is een techniek om informatie uit informatiesystemen (gegevensbe-standen) te analyseren, verbanden te leggen en uiteindelijk informatie te verkrijgen rondom bijvoorbeeld een jaarrekeningpost. Process mining is een vorm van data-analyse, maar dan gericht op business processen. Process mining is een techniek waarmee gelogde data uit informatiesystemen kan worden gehaald, deze informatie vervolgens te analyseren om uit-eindelijk inzicht te verkrijgen in de werkelijke processen en haar interne beheersingsmaatre-gelen binnen organisaties.
1
5 Process mining kan een handige tool zijn voor auditors om meer kennis te verkrijgen rondom de business processen en hiermee een betere risico-analyse op te zetten (Hakvoort, 2008). Recente onderzoeken en publicaties wijzen uit dat process mining een toepasbare tool is voor de (IT-)auditor in de jaarrekeningcontrole (Özer, 2013; Kumar & Kaul, 2013; Jans, 2010; Jans, 2012; Bezverhaya-Haasnoot et al, 2009). Process mining kan hierbij een toegevoegde waarde bieden tijdens de interim-controle (Özer, 2013).
In de praktijk wordt data-analyse steeds meer toegepast als audittechniek in de jaarreke-ningcontrole middels tools als Caseware IDEA en ACL (Bezverhaya-Haasnoot et al., 2009 en Coney, 2012). De auditor voert deze analyse veelal uit voor de financial auditor. De IT-auditor wordt de laatste jaren steeds vaker betrokken bij een jaarrekeningcontrole voor data-analyse en IT general control testing. In tegenstelling tot process mining, is data-data-analyse meer gericht op de uitkomsten van processen middels kwantitatieve analyse. Process mining in de vorm van 'conformance checking' geeft de (IT-)auditor mogelijkheden om de werkelijke bedrijfsprocessen, middels 'logging gegevens' uit ERP systemen, te spiegelen aan de ver-wachte bedrijfsprocessen. Hiermee kunnen afwijkingen binnen bedrijfsprocessen inzichtelijk worden gemaakt. Naast conformance checking bestaat er nog process mining in de vorm van discovery en enhancement. Deze twee vormen zijn in hoofdstuk 2.1 nader toegelicht, maar hebben minder raakvlakken met de interim-controle dan conformance checking (Özer, 2013).
Dat proces mining een actueel thema is, blijkt wel uit de oprichting van een Special Interest Group Process Mining (SIG). De SIG is onderdeel van Ngi-NGN, de Nederlandse beroeps-vereniging van en voor ICT-professionals en -managers. Het is een onafhankelijk platform waar leden hun kennis verdiepen en hun netwerk onderhouden. De process mining groep pleit voor innovatiekansen voor de inzet van data-analyse en process mining in de accoun-tancysector.
Process mining, in de vorm van 'conformance checking’, lijkt geschikt te zijn voor de interim-controle en hierdoor voor de IT-auditor een tool om de financial auditor te ondersteunen bij zijn werkzaamheden. Toch wordt deze audittechniek in de praktijk nog niet veel toegepast (Hakvoort, 2008), zijn de wetenschappelijke onderzoeken hiernaar beperkt en zijn er geen handvatten en richtlijnen voor de inzet van deze audittechniek bij de interim-controle. Wat zijn de aandachtspunten voor het gebruik van process mining als audittechniek door de (IT)auditor bij een interim-controle bij ondernemingen met een ERP-systeem? Dit is een vraag die mij heeft geïnspireerd tot het uitvoeren van dit verkennend onderzoek.
1.2 Doelstelling onderzoek
Het doel van het onderzoek is het realiseren van een overzicht met relevante aandachtspun-ten voor het gebruik van Process Mining: 'conformance checking' als audittechniek voor de interim-controle op het inkoopproces door een (IT-)auditor.
Deze aandachtspunten kunnen door een IT-auditor worden gebruikt als handvatten voor het gebruik van deze audittechniek bij een interim-controle op het inkoopproces.
1.3 Onderzoeksvragen
Centrale vraag: Welke aandachtspunten zijn te onderkennen bij het gebruik van Process Mining: 'conformance checking' als audittechniek voor de (IT-)auditor bij de interim-controle op het inkoopproces?
Deelvragen: 1. Process Mining
1.1 a Wat wordt verstaan onder Process Mining?; 1.1.b Wat is conformance checking?
6 1.2 Wat zijn relevante aandachtspunten voor de (IT-) auditor bij het gebruik van conformance checking op het inkoopproces?
2. Interim-controle
2.1 Wat zijn de uitgangspunten bij een interim-controle voor de (IT-) auditor?
2.2. Wat zijn relevante aandachtspunten voor de (IT-) auditor bij een interim-controle van het inkoopproces?
Audittechniek
3. Op welke wijze kan Process Mining; conformance checking worden gebruikt tijdens de interim-controle van het inkoopproces?
4. Op welke wijze zijn de aandachtspunten uit deelvraag 2.2 relevant voor het gebruik van Process Mining; conformance checking als audittechniek bij een interim-controle van het inkoopproces en hoe past dit binnen de Nadere Voorschriften Controle en Overige Stan-daarden (NV COS)?
Figuur 1: Relatie deelvragen met centrale vraag
1.4 Afbakening
Dit onderzoek richt zich op 'conformance checking' als vorm van process mining. Hiervoor is gekozen omdat uit onderzoeken (Özer, 2013; Kumar & Kaul, 2013; Jans, 2010; Jans, 2012; Bezverhaya-Haasnoot et al, 2009) blijkt dat deze vorm van process mining het meest ge-schikt is voor een interim-controle. Het inkoopproces is gekozen, omdat dit een proces is dat
7 redelijk generiek is voor de verschillende typologieën van organisaties en leent zich goed voor process mining (Özer, 2013). Mijn onderzoek richt zich op de Nederlandse markt en wet- en regelgeving. Het is een verkennend onderzoek.
1.5 Onderzoeksaanpak en onderzoeksmodel
1.5.1 OnderzoeksaanpakHieronder is de onderzoeksaanpak weergegeven om antwoord te kunnen geven op de cen-trale vraag in dit onderzoek.
1. Vergelijking theorie process mining conformance checking en theorie interim-controle in het kader van de jaarrekeningcontrole (overzicht overeenkomsten/verschillen) en het gebruik als audittechniek voor de (IT-) auditor.
2. Overzicht van aandachtspunten voor de (IT-) auditor die van invloed zijn op het gebruik van Process Mining conformance checking als audittechniek voor een interim-controle vanuit theorievergelijking en verschillende onderzoeken.
Middels literatuuronderzoek wordt een deel van het antwoord gegeven op deelvraag 4. 3. Praktijktoetsing van het overzicht met aandachtspunten uit punt 2 voor de (IT-) auditor bij experts uit het (IT-)audit vakgebied.
De aandachtspunten vanuit het theoretisch kader zijn vertaald naar vragen, die via een een mondeling interview zijn beantwoord. Middels de beantwoording van de 'open' vragen zijn de aandachtspunten gevalideerd. De 'open' vragen geeft de geïnterviewde de ruimte om de aandachtspunten aan te scherpen en om eventuele aanvullende aandachtspunten te noe-men.
Process mining wordt nog niet veel gebruikt binnen de auditpraktijk als audittechniek voor de interim-controle (Hakvoort, 2008, Coney, 2014). In een recent onderzoek naar data-analyse voor de auditfunctie, uitgevoerd door onderzoeksbureau GBNED (Bottemanne, 2015), wordt process mining slechts door een beperkte groep gebruikers genoemd. Om de aandachtspun-ten te valideren zijn de interviews afgenomen met IT-auditors die deze techniek reeds ge-bruiken bij een interim-controle. Aangezien deze groep beperkt is, zijn 3 interviews afgeno-men om voldoende onderzoeksresultaten te genereren ter validatie van de aandachtspunten. Middels literatuuronderzoek wordt een antwoord gegeven op de deelvragen 1, 2 en 3.
4. Praktijktoetsing middels casestudie
Middels een praktijkcase is de 'traditionele' interim-controle op het inkoopproces vergeleken met de interim-controle waarbij gebruik wordt gemaakt van process mining conformance checking. Hierbij zijn de aandachtspunten getoetst middels een case uit de praktijk. Door middel van dit kwalitatief onderzoek wordt het antwoord gegeven op deelvraag 4.
8 1.5.2 Onderzoeksmodel
Het volgende onderzoeksmodel staat centraal in het onderzoek.
9
2. Theoretisch kader
Inleiding
In dit hoofdstuk wordt allereerst in paragraaf 2.1 het begrip data-mining en process mining nader toegelicht, waarbij specifiek een verdieping plaatsvindt op het begrip conformance checking. Vervolgens wordt in paragraaf 2.2. de interim-controle van het inkoopproces be-schreven, waarbij onder andere in wordt gegaan op relevante wet- en regelgeving.
2.1 Process Mining
Process mining is een business proces management (BPM) techniek dat gebruikt wordt om kennis uit geregistreerde gegevens in informatiesystemen te halen en hiermee de werkelijke uitvoering van bedrijfsprocessen te visualiseren. Process mining vindt haar oorsprong in de wereld van de technologie. Complexe systemen zoals röntgenapparaten of – dichter bij huis – ERP systemen houden in groot detail digitale logboeken bij van alles wat ze doen. Het gaat vaak om tienduizenden stappen per dag die worden geregistreerd. Analyse achteraf van deze databrij geeft inzicht in hoe de processen precies verlopen, waar fouten optreden of waar verbetermogelijkheden zijn2.
De process mining techniek wordt binnen organisaties gebruikt om kennis te verwerven in de werking van bedrijfsprocessen. Dit met als doel om een workflow te ontdekken van een be-drijfsproces, deze te verbeteren en om bijvoorbeeld gedrag van mensen te meten aan de hand van de gevisualiseerde workflow.
Bij jaarrekeningcontroles wordt veelal data-analyse genoemd bij het gebruik van digitale data door accountants. Data-analyse kan als volgt worden gedefinieerd:
Het proces van controleren, transformeren en modelleren van gegevens met als doel rele-vante informatie uit te lichten, hieruit conclusies te trekken en de besluitvorming te onder-steunen (NBA, 2014).
Data-analyse is gericht op de uitkomsten van processen en dus de geregistreerde informatie. Met data-analyse tools kan bijvoorbeeld achteraf vast worden gesteld of bestaande functie-scheidingen binnen bedrijfsprocessen zijn doorbroken door de output van de informatie te analyseren.
Een meer internationaal gehanteerd synoniem voor data-analyse is data-mining en kan als volgt worden gedefinieerd:
Data mining can be defined as the process of extracting data, analyzing it from many dimen-sions or perspectives, then producing a summary of the information in a useful form that identifies relationships within the data. There are two types of data mining: descriptive, which gives information about existing data; and predictive, which makes forecasts based on the data 3.
Process mining is een vorm van data mining; een techniek die erop is gericht om een proces in kaart te brengen, te analyseren en te verbeteren vanuit data uit informatiesystemen. Van Aalst (2007) definieert process mining als volgt:
"Process mining aims to discover, monitor and improve real-life processes by extracting knowledge from event logs readily available in today’s (information) systems."
2
https://www.tilburguniversity.edu/nl/onderwijs/postacademische-opleidingen/registeraccountant/permanente-educatie/mining/
3
10 Bij process mining wordt gebruik gemaakt van zogeheten event logs. Dit zijn logfiles uit het informatiesysteem met geregistreerde activiteiten (data) van het proces.
Er zijn drie vormen van process mining te onderkennen. 1. Discovery
Middels process mining tooling wordt een proces in kaart gebracht door middel van het ana-lyseren van logfiles in het systeem. Het doel van deze techniek is het in kaart brengen van het proces. Deze techniek kan een onderneming bijvoorbeeld gebruiken om het werkelijke verloop van haar inkoopproces in kaart te brengen zonder gebruik te maken van een vooraf opgesteld proces model (soll positie). De data uit het systeem wordt hiermee vertaald naar een schematische weergave van het proces. Met discovery kan het proces model worden weergegeven zoals deze is (ist positie).
2. Conformance
Bij deze vorm van process mining wordt het werkelijke proces, vanuit de logfiles, vergeleken met het beschreven proces zoals de organisatie het proces voor ogen heeft om haar be-heersingsdoelstellingen te bereiken. Hierbij wordt een soll positie opgesteld (proces model), die wordt vergeleken met het ist model (werkelijkheid op basis van geregistreerde activiteiten in het informatiesysteem). Het doel van deze techniek is het in beeld brengen van afwijkin-gen tussen soll en ist binnen het proces in relatie tot de gestelde beheersingsdoelstellinafwijkin-gen. Met deze techniek kunnen afwijkingen en potentiële risico's binnen processen in kaart wor-den gebracht.
3. Enhancement
Deze techniek is erop gericht om 'bottlenecks' binnen processen in kaart te brengen vanuit de data uit informatiesystemen met als doel om processen te optimaliseren en daarmee het procesmodel te verbeteren zodat deze beter aansluit op de beheersingsdoelstellingen. De verschillende vormen van process mining zijn hieronder schematisch weergegeven (fi-guur 3).
Figuur 3: Positioning of the three main types of process mining: (a) discovery, (b) conformance checking, and (c) enhancement (IEEE Task Force on Process Mining, 2012).
11 Zoals hierboven uiteen is gezet is 'discovery' gericht op het in kaart brengen van het proces, 'conformance' op het vergelijken van het proces met het procesmodel en 'enhancement' op het verbeteren van het proces en het procesmodel. Discovery kan relevant zijn voor accoun-tants om inzicht te krijgen in het systeem. In het vervolg van het onderzoek gaan we speci-fiek in op de techniek 'conformance'. De geschiktheid voor het gebruik bij een interim-controle blijkt ook uit het onderzoek van Özer (2013). Uit zijn onderzoek blijkt dat process mining een toegevoegde waarde kan bieden bij het beoordelen van de werking van interne beheersingsmaatregelen tijdens de interim-controle. Voorbeelden hiervan zijn functieschei-ding, 4-ogen principe en goedkeuringslimieten.
2.1.1 Conformance checking
Conformance checking is erop gericht om de mismatch tussen het proces model en de wer-kelijkheid in kaart te brengen en te kwantificeren.
Bij conformance checking wordt er eerst een procesmodel opgesteld vanuit de huidige pro-cesbeschrijving van de processen binnen de organisatie. De beschrijving van de processen is opgesteld door de organisatie zelf. Daarnaast kan een procesmodel ook worden opgesteld vanuit het event log waarbij het kernproces op basis van logging gegevens in kaart wordt gebracht. Het proces model is een model waarin het proces van A tot Z is beschreven hoe deze zou moeten zijn binnen de organisatie (soll) om haar beheersingsdoelstellingen te be-reiken. Vervolgens wordt aan de hand van het 'event log' vanuit het informatiesysteem het werkelijke proces in kaart gebracht (ist).
Een event log registreert de start en voltooiing van activiteiten. Elke event refereert aan een case en een activiteit.
Een 'event' bestaat uit een case, activity en een trace. Een case is de procesaanduiding. Het is een unieke identificatie van de processtroom. Een activity is een taak in een proces model. Het uitvoeren van een activity voor een case resulteert in een event dat geregistreerd wordt in een trace van deze case. Elk event bevat een set van data attributen die het event be-schrijven.
Een trace is een geordende volgorde van events die tot een eenzelfde case behoren. Een event log is te omschrijven als een verzameling van traces dat bij een eenzelfde proces model hoort.
Een event log bevat alleen het geregistreerde gedrag en daarmee niet al het mogelijke ge-drag (Van Aalst, 2011).
De conformance checking techniek heeft een event log en een procesmodel nodig als input. The output bestaat uit geobserveerde informatie (gedrag) dat overeenkomsten en verschillen laat zien tussen het model en het log.
12 Model en event log
Als eerste wordt het procesmodel van het inkoopproces in kaart gebracht. De basis hiervoor is een event log (figuur 5) en de informatie van de proceseigenaar.
Figuur 5: voorbeeld event log (Van der Aalst, 2011)
Vervolgens wordt aan de hand van het event log een procesmodel gevormd in de vorm van een workflow met behulp van de process mining tool (figuur 6). Dit is een schematische weergave op basis van het event log van de verschillende paden in het proces. Hierbij wordt het kernproces in kaart gebracht en incidentele uitzonderingen in het proces buiten het mo-del gelaten (Van der Aalst, 2004). Het procesmomo-del vormt de basis (norm) hoe het proces verloopt binnen de organisatie. Bij het doornemen van het event log wordt er geanalyseerd wat er aan logging bestaat binnen een systeem en wat er nog aan toegevoegd moet worden om een volledige conformance checking uit te voeren.
Figuur 6: voorbeeld proces model uit event log (Van der Aalst, 2004)
Bij conformance checking wordt vervolgens het werkelijke geobserveerde gedrag uit de event logs (nieuwe periodes) vergeleken met het proces model.
Als eerste wordt de 'fitness' van het procesmodel bepaald door het meten van de verschillen tussen de log en het model. Oftewel, komt het geobserveerde proces overeen met de work-flow zoals uiteen is gezet in het procesmodel? Een perfecte fitness bestaat als alle traces kunnen worden afgespeeld in het model van begin tot eind. Een manier om dit te bepalen is
13 door het log meerdere keren (repeterend) in het model af te spelen en verschillen (mismatch) nader te onderzoeken. Vervolgens wordt de 'appropriateness' (geschiktheid) van het model bepaald. Dit is de accuraatheid van de in het procesmodel beschreven gedrag, gecombi-neerd met de duidelijkheid waarin het is gepresenteerd (Rozinat, 2008). Bij de geschiktheid wordt eerst het behavorial appropriateness bepaald, waarbij wordt gekeken naar gedrag dat volgens het model is toegestaan maar nooit wordt gehanteerd in de praktijk. Als het model te algemeen is en meer gedrag toelaat dan noodzakelijk is, wordt het model minder informatief aangezien het niet het actuele proces weergeeft. De structural appropriateness is gericht op de presentatie van het model. Is deze begrijpelijk en is het procesmodel in voldoende mate gedetailleerd en logisch opgebouwd (bijvoorbeeld: zijn er geen dubbele taken in het workflow opgenomen)? Een schematische weergave van het creëren van het proces model en con-formance checking is opgenomen in bijlage 9.4.
Bij conformance checking wordt in de literatuur onderscheid gemaakt tussen 'procedural mo-dels' en 'declaritive momo-dels'. Bij procedural models is het model een weergave van hoe het proces moet lopen en geeft bij conformance checking een weergave van alle afwijkingen in het proces. Het declaritive model gaat uit van het principe dat de procesgang vrij is op een aantal verboden proceswegen na. De afwijkingen in het proces uit conformance checking zijn specifiek gericht op deze verboden wegen.
Kwaliteit event log
De kwaliteit en betrouwbaarheid van een event log is essentieel voor het gebruik bij confor-mance checking.
Bij het creëren van een event log wordt veel gesteund op de ordening van events in een tra-ce. In gevallen waar de events te grof zijn of incorrect kan dit leiden tot een onbetrouwbare event log wat kan resulteren in een onjuiste analyse. Dit kan zich bijvoorbeeld voordoen als alleen datums worden geregistreerd en niet de volgorde van de activiteit of doordat events handmatig worden vastgelegd (Van der Aalst, 2004).
In de praktijk ziet Coney (2012) dat een kant-en-klare event log in de regel niet in de ge-wenste vorm beschikbaar is. De auditor zal samen met een data-analist aan de slag moeten gaan om een 'high quality' event log samen te stellen. Dit vraagt kennis van de gebruiker over de aard van de beschikbare data. De gebruiker moet weten welke data gebruikt kunnen worden voor analyse en welke vragen beantwoord moeten worden met behulp van deze data. Log extractie moet dan ook gedreven worden vanuit vragen om relevante gegevens te exporteren uit het informatiesysteem.
Voor dataverzameling is niet alle data terug te vinden in standaard logfiles. Events kunnen opgeslagen zitten in verschillende formats zoals database tabellen, berichtenlogs, mailar-chief, transactielogs en andere databronnen. Het creëren van een bruikbare event log vereist dan ook de nodige handmatige handelingen van de gebruiker (Jans, 2010). Essentieel hierbij is de kwaliteit van het event log. Dit is afhankelijk van de input. Checks op data-entry ver-hoogt de kwaliteit van de event logs (Coney, 2012).
De kwaliteit van eventlogs wordt uitgedrukt in maturity levels variërende van 1 ('poor') tot 5 ('excellent'). Een tabel met deze maturity levels is opgenomen in bijlage 9.1.
Criteria voor de kwaliteit van event data (IEEE Task Force on Process Mining, 2012) : - Geloofwaardig;
- Volledig;
- Duidelijke semantiek (betekenis events); - Vertrouwelijkheid.
Uitdagingen vanuit de praktijk om high quality event logs te genereren (IEEE Task Force on Process Mining, 2012):
14 - Data is vaak object georiënteerd in plaats van proces georiënteerd;
- Data kan incompleet zijn;
- Log files kan informatie bevatten met lagere granulariteit (minder details worden opgesla-gen).
Diagnostics
Verschillen tussen het event log en het procesmodel worden weergegeven door de traces uit het log te relateren aan paden in het model. Er verschijnt een weergave van de werkelijke paden die zijn bewandeld (gedrag) in relatie tot de gewenste paden uit het model.
Event logs kunnen 'olifantenpaadjes' weergeven, afwijkingen van de veronderstelde werk-processen die uit hoofde van efficiency of gemak zijn ontstaan. Een weergave van de werke-lijke paden die in het proces worden bewandeld (werkelijk gedrag) die mogelijk ongewenst zijn. Hiermee wordt inzicht verkregen in de werkelijke functiescheidingen en interne beheer-singsmaatregelen binnen de processen in relatie tot de beheersingsdoelstellingen van de organisatie. Deze analyse wordt gebruikt voor auditing en compliance doeleinden (Van der Aalst et al., 2010).
Conformance checking geeft hiermee diagnostische informatie waar verschillen optreden, hoe vaak dit gebeurt en geeft inzicht in de werkelijke beheersing van de bedrijfsdoelstellin-gen.
Conclusie:
Process mining is een vorm van data-analyse, waarbij middels conformance checking de werkelijke procesgangen, middels analyse van event logs, kunnen worden afgezet tegen de norm (procesmodel). De kwaliteit (beschikbaarheid en integriteit) van event logs is een be-langrijke randvoorwaarde. Om deze te meten is een maturity model ontwikkeld. Bebe-langrijke tekortkomingen zijn incomplete of te gedetailleerde event logs. Kennis omtrent de benodigde data, en welke vragen beantwoord moeten worden met deze data, is essentieel om een goede event log te creëren. Hiermee is antwoord gegeven op deelvraag 1.
2.2 Jaarrekeningcontrole
In deze paragraaf wordt ingegaan op de jaarrekeningcontrole. Hierbij wordt specifiek inge-gaan op de interim-controle en de relatie met relevante Nederlandse wet- en regelgeving voor accountants.
2.2.1 Interim-controle - inkoopproces
Zoals geschreven staat in artikel 396 BW2 zijn organisaties wettelijk onderhevig aan een controleplicht van de jaarrekening door een accountant indien de onderneming twee opeen-volgende boekjaren voldoet aan 2 van de 3 opeen-volgende criteria:
omzet van meer dan 8,8 miljoen euro; balanstotaal van meer dan 4,4 miljoen euro; 50 of meer dan 50 medewerkers in dienst.
De accountant dient een oordeel te vormen over de getrouwheid van de jaarrekening. Bij de uitvoering van een jaarrekeningcontrole neemt de accountant de Handleiding regelgeving Accountancy (HRA) in acht waaronder de Nadere Voorschriften Controle- en Overige Stan-daarden (NV COS).
15 Het proces van een jaarrekeningcontrole (controlecyclus) bestaat uit een voorbereidingsfase, planningsfase, interim-fase, eindejaarsfase en afrondingsfase.
In de voorbereidings- en planningsfase maakt de accountant een planning van zijn werk-zaamheden zodat mogelijke problemen tijdig worden geïdentificeerd en opgelost. Daarbij wordt de controleopdracht naar behoren georganiseerd, zodat deze effectief en doelmatig wordt uitgevoerd en de juiste leden voor het opdrachtteam worden geselecteerd die over de nodige deskundigheid en competentie beschikken (NV COS 300). Daarnaast identificeert de accountant risico's op een afwijking van materieel belang in de financiële overzichten door het verwerven van inzicht in de entiteit en haar omgeving, met inbegrip van haar interne be-heersing (NV COS 315).
De accountant hanteert het Algemeen Controlerisico Model. Hiermee wordt het risico uitge-drukt dat een afwijking van materieel belang in de jaarrekening niet wordt ontdekt uit accoun-tantscontrole. Het algemeen controlerisico is samengesteld uit een inherent risico, intern beheersingsrisico en een detectierisico.
Inherent risico: het risico van een materiële afwijking als er geen rekening wordt gehouden met het effect van interne beheersingsmaatregelen.
Intern Beheersings Risico: het risico van een materiële afwijking als gevolg van het feit dat interne beheersingsmaatregelen niet toereikend zijn in opzet, bestaan of werking.
Om vast te stellen dat, of de inschatting van het IBR juist is geweest, test de accountant de kwaliteit van de interne beheersingsmaatregelen. Dit doet hij door het uitvoeren van een aan-tal deelwaarnemingen (selectie van een aanaan-tal transacties) en vast te stellen dat de daarop betrekking hebbende interne beheersingsmaatregelen correct zijn uitgevoerd.
Het risico dat een afwijking niet wordt ontdekt uit de verificatiewerkzaamheden wordt het de-tectierisico genoemd. Schematisch is het algemeen controlerisico als volgt weet te geven:
Figuur 7: Schematische weergave AR
Aan het eind van de jaarrekeningcontrole dient het AR tot laag gereduceerd te zijn.
In Standaard 330 (NVCOS) wordt uiteengezet wat de respons van de accountant dient te zijn op ingeschatte risico's van een afwijking van materieel belang op het niveau van het financi-eel overzicht dat hij controleert. Die respons bestaat uit een combinatie van toetsingen van interne beheersingsmaatregelen (systeemgerichte werkzaamheden) en gegevensgerichte controlewerkzaamheden. De accountant dient deze controlewerkzaamheden op te zetten en uit te voeren op een wijze die hem in staat stelt voldoende en geschikte controle-informatie te verkrijgen teneinde redelijke conclusies te kunnen trekken waarop hij zijn oordeel ten aan-zien van de jaarrekening kan baseren (NV COS 500).
Het toetsen van interne beheersingsmaatregelen binnen de bedrijfsprocessen vindt plaats in de interim-fase van de controlecyclus.
De accountant kiest hierbij voor een overwegend systeemgerichte- of gegevensgerichte con-trole-aanpak (zie bijlage 9.2). Bij een overwegend systeemgerichte controle wordt getracht te steunen op de interne beheersingsmaatregelen (controls) in en rondom administratieve pro-cessen.
16 Tijdens de interim-fase beoordeelt de accountant deze administratieve processen binnen de organisatie. Starreveld (2002) beschrijft een waardekringloop waarin een verband wordt ge-legd tussen de goederenbeweging en de geldbeweging, en geeft de verbanden weer tussen de administratieve bedrijfsprocessen (figuur 8).
.
Figuur 8: Waardekringloop Starreveld (2002)
Het inkoopproces raakt de jaarrekeningposten crediteuren, goederen (voorraad) en admi-nistratie (inkoopwaarde).
Tijdens de interim-fase beoordeelt de accountant per significante transactiestroom en voor alle onderkende significante risico's de opzet van de relevante interne beheersingsmaatrege-len op basis van ingewonnen inlichtingen en het uitvoeren van een lijncontrole. Bij een lijn-controle volgt de accountant een transactie door de gehele transactiestroom vanaf het ont-staan tot en met de financiële afwikkeling. Op basis van deze uitkomsten concludeert de accountant of de beheersingsmaatregel bijdraagt aan het mitigeren van een risico op een afwijking van materieel belang.
Vervolgens zal de accountant systeemgerichte werkzaamheden uitvoeren om de effectiviteit van de interne beheersingsmaatregelen te toetsen om uiteindelijk vast te stellen of hij kan steunen op de werking van de interne beheersingsmaatregel gedurende het gehele jaar. Bij de systeemgerichte werkzaamheden gaat de accountant na in hoeverre zijn inschatting van de mate waarin de interne beheersingsmaatregelen het risico van afwijkingen van mate-rieel belang verkleinen, wordt bevestigd door de effectieve werking van de relevante interne beheersingsmaatregelen vast te stellen. Om te mogen concluderen of een interne beheer-singsmaatregel wel of niet effectief is geweest gedurende het hele verslagjaar, kan als voor-beeld voor een minimum aantal deelwaarnemingen worden gekozen (tabel uit 9.3). De ac-countant dient bij het bepalen van de omvang van de systeemgerichte werkzaamheden Standaard 530 (NV COS 530) toe te passen.
Interne beheersingsmaatregelen kunnen worden onderscheiden naar aard in preventieve-, detectieve-, correctieve- en repressieve maatregelen. De preventieve interne beheersings-maatregelen zijn erop gericht om afwijkingen in de processen te voorkomen en bevinden zich voor in het proces. Detectieve maatregelen zijn erop gericht om afwijkingen in proces-sen te signaleren en bevinden zich in het proces. Preventieve- en detectieve interne beheer-singsmaatregelen worden ook wel operationele controls genoemd.
Correctieve en repressieve maatregelen doen zich voor als een afwijking zich heeft voorge-daan en is erop gericht om de impact te reduceren. Bij repressieve maatregelen wordt, in tegenstelling tot correctieve maatregelen, de oorzaak van de afwijking ook aangepakt. Deze maatregelen vinden veelal aan het eind van het proces plaats en vormen een onderdeel van de monitoring controls binnen de organisatie.
17 Een interne beheersingsmaatregel die volledig geautomatiseerd binnen het informatiesys-teem plaatsvindt, wordt een application control genoemd.
Data-analyse technieken, zoals process mining, kunnen worden gebruikt bij de interim-fase om functiescheiding en de effectiviteit van interne beheersingsmaatregelen te testen. De software voor data-analyse en process mining kunnen behulpzaam zijn bij het opsporen van afwijkingen van transactie-gerelateerde controleprocedures (interne beheersingsmaatrege-len) zelf en is gericht op interne beheersingsmaatregelen die zijn ingericht in de vorm van application controls.
De IT-general controls zijn randvoorwaardelijk en moeten waarborgen dat de functieschei-dingen en application controls gedurende de gehele controleperiode betrouwbaar hebben gefunctioneerd. Bijvoorbeeld de logische toegangsbeveiliging die noodzakelijk is voor het waarborgen van de noodzakelijke controletechnische functiescheiding, changemanagement procedures die waarborgen dat bij updates en migraties de controls, parameters en ingere-gelde journaalposten niet worden aangetast, back-up procedures die waarborgen dat geen data verloren gaat en beveiligingsmaatregelen die ongeautoriseerde toegang tot en wijzigin-gen in de applicaties en bestanden voorkomen. Voor het toepassen van moderne controle-technieken, zoals data-analyse of process mining, geldt dat de randvoorwaardelijke beheer-singsmaatregel 'het tegengesteld belang' effectief moet zijn (SRA, 2015). In de HRA wordt niet specifiek ingegaan op data-analyse en in specifieke vorm process mining.
In de regelgeving van de accountant wordt genoemd dat een deel van de controlewerk-zaamheden gegevensgericht moet zijn (NV COS 315. A140-142). Deze gegevensgerichte werkzaamheden kunnen bestaan uit:
- Cijferanalyse (NV COS 500. A21);
- Integrale controle (NV COS 500. A52 en A53);
- Kritische deelwaarneming (NV COS 500. A54 en A55); - Steekproeven (NV COS 500.A56).
De NV COS geeft geen definitie van data-analyse. Bij data-analye wordt bewust een bepaal-de actie genomen om op een plek te controleren en daarmee wordt er risicogericht gecontro-leerd. Volgens Batenburg (2015) valt data-analyse onder een kritische deelwaarneming (NV COS 530. A55). Dit betekent dat je met data-analyse risicogericht zoekt naar fouten. In te-genstelling tot een steekproef, die statistisch is bepaald op de gehele populatie, wordt bij data-analyse niet de gehele populatie betrokken. Dit betekent dat er geen uitspraak kan wor-den gedaan over het deel van de populatie dat niet betrokken is in de data-analyse. Process mining is daarentegen een vorm van data-analyse die juist wel de gehele populatie betrekt. Process mining is een systeemgerichte werkzaamheid die te schaden valt onder de integrale controle (NV COS 500. A52 en A.53). Door process mining wordt inzicht verkregen in de effectieve werking van interne beheersingsmaatregelen (o.a. functiescheiding en 4-ogen principe) die een materiële onjuistheid op beweringsniveau voorkomen dan wel deze ontdek-ken en corrigeren. Onder de NV COS is process mining daarom een systeemgerichte contro-le (NV COS 500.21). Daarnaast zou process mining richtinggevend kunnen zijn voor steek-proeven omdat 'bottlenecks' in processen worden weergegeven (Batenburg, 2015). Vanuit de risico-perceptie van de auditor kan er doelgericht worden gecontroleerd.
Standaard 500, zoals hierboven weergegeven, gaat hierbij in op de eisen die worden gesteld aan controle-informatie en geeft onder meer aan dat bij toetsingen van interne beheersings-maatregelen en bij detailcontroles de accountant methodes dient te bepalen voor het selec-teren van items die hij gaat toetsen. Hierbij wordt onderscheid gemaakt tussen het selecte-ren van alle items, het selecteselecte-ren van specifieke items en het gebruik van steekproeven. Bij process mining worden alle items betrokken in de selectie waarmee een uitspraak wordt ge-daan over de gehele populatie. Dit in tegenstelling tot deelwaarnemingen (zoals SRA hand-boek tabel 9.3 in de bijlage), waarbij alleen de in de deelwaarneming betrokken transacties
18 worden gezien. Bij de klassieke manier wordt inzicht verkregen in de werking van het proces op x momenten (deelwaarnemingen). Bij process mining wordt inzicht verkregen in de wer-king van het gehele proces in de geselecteerde periode.
Als de te controleren onderneming zelf data-analyse of process mining toepast als onderdeel van haar interne beheersingsorganisatie dan kan dit proces worden getest als systeemge-richte werkzaamheden door de IT-auditor.
Aan het eind van de interim-controle evalueert de accountant de uitkomsten van zijn sys-teem- en gegevensgerichte werkzaamheden. Bij deze evaluatie wordt vastgesteld of de func-tiescheidingen binnen het proces hebben gewerkt (steunen op onvervangbare controlemaat-regelen) en of gesteund kan worden op de interne beheersingsmaatregelen (steunen op ge-programmeerde controles en transactiegerelateerde controleprocedures).
Voorwaarden daarvoor zijn (SRA, 2015): - toereikende IT general controls;
- adequate vastleggingen; - goede organisatiestructuur;
- toereikend ontwerp en implementatie van de controls; - effectiviteit van de controls.
Daarbij evalueert de accountant de gevolgen van de eventuele afwijking voor de jaarreke-ning (NV COS 450).
Conclusie
Een interim-controle is een onderdeel van de jaarrekeningcontrole cyclus waarbij de accoun-tant de administratieve bedrijfsprocessen binnen de organisatie beoordeelt die zorgen voor de totstandkoming van de jaarrekeningposten. Tijdens de interim-controle toetst de accoun-tant de interne beheersingsmaatregelen binnen de administratieve processen. Deze toetsing richt zich op onvervangbare controlemaatregelen (functiescheidingen) en interne beheer-singsmaatregelen. Randvoorwaardelijk aan functiescheidingen en interne beheersingsmaat-regelen bij de werkzaamheden van de accountant zijn de toereikende IT general controls, adequate implementatie van interne beheersingsmaatregelen en vastlegging van de uitvoe-ring van interne beheersingsmaatregelen. Bij process mining worden alle items betrokken in de selectie waarmee een uitspraak kan worden gedaan over de operationele controls (appli-cation controls) voor de gehele populatie (NV COS 500). Dit in tegenstelling tot mingen (zoals SRA handboek tabel 9.3 in de bijlage), waarbij alleen de in de deelwaarne-ming betrokken transacties worden gezien. Hierdoor is er bij process mining meer onder-bouwing (evidence) om te kunnen concluderen of gesteund kan worden op de interne be-heersingsmaatregelen binnen het proces. Hiermee is antwoord gegeven op deelvraag 2.
19
3. Process Mining als audittechniek
In dit hoofdstuk wordt de relatie gelegd tussen de techniek process mining conformance checking en de jaarrekening controle (paragraaf 3.1). Vervolgens worden in paragraaf 3.2 de aandachtspunten vanuit de literatuur in kaart gebracht voor het gebruik van process mining conformance checking bij de interim-controle op het inkoopproces.
3.1 Audittechniek
Zoals reeds uit het onderzoek van Özer (2013) blijkt, kan process mining een toegevoegde waarde bieden bij het beoordelen van de werking van beheersmaatregelen tijdens de interim controle, waarbij de accountant gegevensgerichte controlewerkzaamheden opzet en deze uitvoert om in te kunnen spelen op de daarmee verband houdende inschatting van het risico van een afwijking van materieel belang op beweringniveau (COS 520 paragraaf 10). Dit be-tekent dat de accountant volgens het SRA handboek de werking van interne beheersings-maatregelen beoordeelt middels systeemgerichte werkzaamheden in de vorm van detailcon-troles en deelwaarnemingen. Bij het gebruik van process mining is dit een integrale controle waarbij inzicht wordt verkregen in de effectieve werking van interne beheersingsmaatregelen in de gehele periode. De process mining tool kan worden ingezet ter vervanging van traditio-neel uitgevoerde ‘walkthroughs’ en het testen van interne beheersmaatregelen welke de au-ditor als onderdeel van het auditplan uitvoert (Jans et al, 2012).
Op basis van de literatuur draagt process mining conformance checking bij aan de kwali-teitscriteria effectiviteit en efficiency van de uitvoering van de interim-controle. Het inzicht in het bedrijfsproces neemt toe doordat alle transactiestromen worden beoordeeld in plaats van een deel middels deelwaarneming/steekproef. Of alle transactiestromen worden beoordeeld is echter wel afhankelijk van de compleetheid (samenstelling) van het event log. Daarnaast kan gericht worden ingezoomd op mogelijke risico's ('bottlenecks') binnen het bedrijfsproces. Process mining kan hierbij gebruikt worden als richtinggevende analyse voor de steekproe-ven. Een event log helpt om het klassieke 4-ogen principe te auditen en daarmee de functie-scheidingen binnen bedrijfsprocessen inzichtelijk te maken. Conformance checking draagt bij aan de kwaliteitscriteria betrouwbaarheid van de uitkomsten van de interim-controle.
Zoals gezegd door Van der Aalst (2011) bevat een event log alleen het geregistreerde ge-drag en daarmee niet al het mogelijke gege-drag in een bepaalde periode. Dit betekent dat mid-dels process mining geen uitspraak kan worden gedaan over de werking van de interne be-heersingsmaatregelen in een periode, maar juist of er onregelmatigheden in het systeem zijn die leiden tot een risico op een afwijking van materieel belang in de verslaggeving.
Bij het gebruik van process mining is de beschikbaarheid en samenstelling van data rand-voorwaardelijk om een bruikbare event log te creëren. Om de betrouwbaarheid (integriteit en beschikbaarheid) van de data en daarmee het event log te waarborgen zijn de IT-general controls randvoorwaardelijk.
Uit de praktijk blijken de randvoorwaardelijke aspecten: beschikbaarheid van data, kwaliteit van data en een slecht IT-general control omgeving het gebruik van process mining in de jaarrekeningcontrole te beperken (Koopman, 2014).
Process mining vereist kennis van de achterliggende techniek, de tool en informatietechno-logie. De IT-auditor kan de brug leggen tussen de business en de techniek van process mi-ning. De financial auditor zal een IT auditor onderdeel laten uitmaken van het opdrachtteam in de planningsfase om de benodigde deskundigheid te waarborgen. Gezien het technische aspect van process mining en de relatie met IT general controls is een IT-auditor een nood-zakelijk lid van het opdrachtteam bij een jaarrekeningcontrole. Een Register EDP-auditor (RE) die een vertaling kan maken tussen de business en technologie, en de juiste data weet
20 te vinden en te analyseren. De American Institute van Certified Public Accountants (AICPA) heeft een aanvullende certificering in het leven geroepen voor de toenemende technologie in de business. In het curriculum van de Certified Information Technology Professional (CITP) wordt ruim aandacht besteed aan onder andere data-analyse4. Dit geeft aan dat de huidige financial auditors niet voldoende kennis hebben van de technologie om zelf process mining uit te voeren maar afhankelijk zijn van een IT-auditor die kennis heeft van de technologie achter data-analyse. De CITP certificering lijkt qua inhoud veel op de Nederlandsche RE kwalificatie; waarbij moet worden opgemerkt dat CITP meer nadruk legt op data-analyse. Als een te controleren onderneming zelf de process mining technologie als onderdeel van haar interne beheersingsmaatregelen gebruikt, kan de IT-auditor ondersteunen bij de sys-teemgerichte werkzaamheden op deze interne beheersingsmaatregel. Zo zou de IT-auditor een review kunnen uitvoeren op het proces model en event log en het proces van confor-mance checking (betrouwbaarheid). Hiermee is antwoord gegeven op deelvraag 3.
3.2 Aandachtspunten en conceptueel model
In hoofdstuk twee is de relevante literatuur besproken rondom process mining conformance checking en de interim-controle. In paragraaf 3.1 is de geschiktheid van process mining con-formance checking als audittechniek voor de interim-controle uiteengezet. Een technische tool die reeds wordt gebruikt door consultants en procesanalisten binnen organisaties om bedrijfsprocessen te analyseren en verbeteren. Een technische tool die gebruikt kan worden als gereedschap voor de accountant bij haar procesanalyse tijdens een interim-controle om risico’s te signaleren en de interne beheersingsmaatregelen vast te stellen in relatie tot de bedrijfsdoelstellingen van de klant en de risico’s ten aanzien van de jaarrekening.
Uit de beschreven literatuur omtrent process mining conformance checking en de interim-controle kunnen we de volgende aandachtspunten onderscheiden die mogelijk van invloed zijn op het gebruik van conformance checking als audittechniek op het inkoopproces bij een interim-controle:
- Samenstelling procesmodel en event log; - IT General Controls;
- Data-kwaliteit event log.
Bovengenoemde aandachtspunten zijn tot stand gekomen uit het samenvoegen van enkele subcategorieën die worden beschreven in de literatuur (hoofdstuk 2).
De factor 'samenstelling proces model en event log' komt tot stand uit de volgende subcate-gorieën:
- Geschiktheid proces model; - Geschiktheid event log; - Betrokken mensen.
De factor 'IT General Controls' komt tot stand uit de volgende subcategorieën: - Changemanagement; - Logische toegangsbeveiliging; - Proces beheer; - Probleem beheer; - Management en organisatie; - Beïnvloeding functiescheiding; - Beïnvloeding application controls.
4
http://www.aicpa.org/InterestAreas/InformationTechnology/Membership/Pages/CITP%20Body%20of%20Knowled ge.aspx
21 De factor 'data-kwaliteit event log' komt tot stand uit de volgende subcategorieën:
- Samenstelling proces model en event log; - IT General Controls;
- Maturity level.
Verondersteld wordt dat deze aandachtspunten op een bepaalde wijze van invloed zijn op het gebruik van process mining conformance checking als audittechniek voor de interim-controle op het inkoopproces. Hierbij speelt datakwaliteit event log een centrale rol die wordt gemeten (norm) aan de hand van het maturity level (IEEE Task Force on Process Mining, 2012).
Op basis van de beschreven literatuur kan het volgende conceptueel model worden gereali-seerd.
Figuur 9: conceptueel model
Uit het verdere onderzoek zal de specifieke informatie dienen te worden verzameld rondom de verschillende aandachtspunten bij het gebruik van process mining conformance checking als audittechniek op het inkoopproces bij de interim-controle.
Samenstelling proces model en event log
IT General Controls
Data-kwaliteit event log
Gebruik process mining als audittechniek bij een interim-controle
22
4. Methodologie
In dit hoofdstuk zal worden beschreven hoe het onderzoek tot stand is gekomen. Allereerst zal in paragraaf 4.1 de onderzoekspopulatie en - methode worden toegelicht. Vervolgens zal in paragraaf 4.2 en 4.3 respectievelijk de totstandkoming van het interview en de case studie worden uiteengezet. Tot slot wordt in paragraaf 4.4 ingegaan op de wijze van analyseren van de resultaten.
4.1 Onderzoekspopulatie en onderzoeksmethode
Er is gekozen voor een kwalitatief onderzoek voor de beantwoording van de probleemstelling waarbij er een drietal interviews worden afgenomen en een case studie wordt uitgevoerd. Kwalitatief onderzoek is een geschikte onderzoeksmethode omdat deze ingaat op motieven en meningen. Daarnaast biedt deze methode mogelijkheden om meer diepgaande informatie te verkrijgen per respondent. Deze diepgaande informatie is vereist om meer inzicht te krij-gen in de problematiek en specifieke invulling van de aandachtspunten die van invloed zijn op het gebruik van process mining conformance checking als audittechniek op het inkoop-proces bij de interim-controle. Het nadeel is dat deze onderzoeksmethode een relatief smalle waarneming oplevert.
Om een hoge respons te krijgen binnen de beperkte onderzoekspopulatie is gekozen voor een drietal rechtstreekse interviews. Aangezien het een verkennend onderzoek is, is er be-wust voor gekozen om een drietal interviews af te nemen. In de onderzoekspopulatie zijn een drietal personen betrokken die werkzaam zijn bij verschillende organisaties. De geïnter-viewde personen hebben kennis van process mining bij een interim-controle (zie verder pa-ragraaf 4.4). De case studie is uitgevoerd bij een organisatie werkzaam in de installatiebran-che (zie verder paragraaf 4.5).
4.2 Van theorie naar interview
In hoofdstuk 3 is tot een drietal aandachtspunten gekomen die mogelijk van invloed zijn op bij het gebruik van process mining conformance checking als audittechniek op het inkoop-proces bij de interim-controle. Deze aandachtspunten ''samenstelling inkoop-proces model en Event Log', 'IT General Controls' en 'data-kwaliteit Event Log' zijn als topics meegenomen in de vragenlijst. Middels de subcategorieën genoemd in paragraaf 3.2 zijn theoretische variabelen afgeleid. Dit zijn variabelen die een rechtstreekse vertaling zijn van het doel van het interview (Emans, 1990). Aangezien deze theoretische variabelen complex zijn om direct als vraag in het interviewschema te verwerken, zijn er eerst 'ruwe' variabelen afgeleid. Deze ruwe varia-belen zijn vragen die gezamenlijk een antwoord geven op de theoretische variavaria-belen, in dit geval de subcategorieën genoemd in paragraaf 3.4. Middels deze 'ruwe' variabelen is uitein-delijk tot een interviewschema gekomen (bijlage 9.6.1). In beginsel is er eerst een open vraag (brede benadering) gevolgd door specifieke vragen (smalle benadering). Deze speci-fieke vragen stonden van te voren niet allemaal vast gezien de interviewer hier anticipeerde op het antwoord op de open vraag door de geïnterviewde. Er is daarom gekozen voor een half gestructureerd interview om zo zoveel mogelijk informatie te verkrijgen van de geïnter-viewde en hiermee een zo goed mogelijke impressie te krijgen van het gebruik van process mining als audittool op het inkoopproces bij een interim-controle.
4.3 Case studie
Er is gekozen voor een onderneming uit de installatiebranche die actief is in de zorg en scho-lengemeenschap. De selectie is gebaseerd op het gegeven dat bij deze onderneming reeds een interim-controle is uitgevoerd op de ‘traditionele’ wijze, waarbij een overwegend sys-teemgerichte controleaanpak is gehanteerd. Daarnaast zijn de controls rondom het inkoop-proces in het informatiesysteem (Install Works) en beschikt het informatiesysteem van deze onderneming over log files. Hiermee is de onderneming en haar informatiesysteem geschikt voor het onderzoek.
23 De case studie wordt uitgevoerd met de process mining software 'Perceptive Software' van Lexmark. Dit is een veel gebruikte tool in de praktijkcasussen van Coney (2012) en daar-naast wordt Perceptive Software door Gartner in 2014 verkozen tot leider in Enterprise Con-tent Management tools5.
4.4 Analyse resultaten
Om de resultaten van het drietal interviews met elkaar te kunnen vergelijken is er een matrix opgesteld om de gegeven antwoorden per vraag naast elkaar te zetten per geïnterviewde. De duur van de interviews varieerde tussen één uur en anderhalf uur. Elk interview is opge-nomen en vervolgens uitgewerkt. Voordat de resultaten van het interview in het onderzoek zijn verwerkt zijn deze eerst nog gecontroleerd door de betreffende geïnterviewde om ervoor te zorgen dat er geen onjuistheden of verkeerde interpretaties in het onderzoek worden ver-werkt.
Bij het onderzoek zijn de volgende personen betrokken.
- A. Westgeest; IT-auditor Grant Thornton. Westgeest werkt als IT-auditor veel samen met accountants bij jaarrekeningcontroles. Hierbij gebruikt hij Perceptive Software als tool voor process mining bij interim-controles. Westgeest is hiermee zeer geschikt als expert voor de validatie in het onderzoek.
- P. Kromhout; Senior manager KPMG. Kromhout werkt als senior manager veel samen met accountants bij jaarrekeningcontroles. Hierbij heeft hij veel ervaring met het gebruik van pro-cess mining als audittool bij de interim-controle. Kromhout is hiermee zeer geschikt als ex-pert voor de validatie van de aandachtspunten.
- B. Roeleveld; Senior data-analyse specialist Coney, consultant en trainer process mining tools bij Coney. Roeleveld heeft kennis van de technische kant van process mining tools (specifiek Perceptive Software). Hij is werkzaam als data-analist en werkt beperkt samen met financial auditors. Hierdoor is hij een goede aanvulling op de andere twee personen. Het aantal van drie interviews is beperkt, maar dekt de doelgroep voldoende af voor het ver-kennend onderzoek. Westgeest en Kromhout hebben meerdere interim-controles uitgevoerd met process mining en Roeleveld kent daarnaast de technologie achter process mining. Ge-zamenlijk zijn deze drie interviews voldoende voor dit verkennend onderzoek.
De uitgelezen data uit InstallWorks in de vorm van een event log wordt ingelezen in de Per-ceptive Software tool. De gevisualiseerde workflow via de process mining tool wordt vergele-ken met de procesbeschrijving van het inkoopproces (proces model) binnen het installatie-bedrijf. Bij deze case zijn de gevalideerde aandachtspunten door de experts getoetst in de praktijk.
5
24
5. Onderzoek
In dit hoofdstuk zijn de onderzoeksresultaten weergegeven. Allereerst wordt in paragraaf 5.1 een analyse gemaakt van de resultaten van de geïnterviewde personen gebaseerd op de gespreksverslagen (bijlage 9.6.2). Vervolgens wordt in paragraaf 5.2 een analyse gemaakt van de case studie. Tot slot zal de analyse van deze onderzoeksresultaten leiden tot het beantwoorden van de laatste deelvraag in paragraaf 5.3.
5.1 Interviews
In deze paragraaf is per aandachtspunt uit hoofdstuk 3 een analyse gemaakt van de ant-woorden van de geïnterviewde personen.
5.1.1 Samenstelling proces model en event log Procesmodel:
Voor het procesmodel is een event log nodig bij het gebruik van Perceptive Software (Roe-leveld en Westgeest). Om een geschikt procesmodel te creëren voor de interim-controle dient het gevisualiseerde proces middels de Perceptive Software te worden afgestemd met het controleteam. Klopt het gevisualiseerde proces met het verwachte proces op basis van de bestaande klantkennis? Bevat het proces voldoende functiescheiding en interne beheer-singsmaatregelen om als norm te dienen? Westgeest noemt specifiek het belang van het beperken van de paden tot de kernpaden (meest bewandelde) in het gevisualiseerde pro-cesmodel. Dit draagt bij aan de presentatie van de workflow en voorkomt een ‘spaghetti’ van paden in de workflow. Bij Kromhout is het procesmodel gebaseerd op wat het auditteam verwacht in het inkoopproces aan minimale functiescheidingen en interne beheersingsmaat-regelen. Dit procesmodel hoeft niet ingelezen te worden in de tool ‘Disco’. Disco voert zelf de discovery uit en middels het proces model van het auditteam wordt handmatig de confor-mance check uitgevoerd.
Event log:
Een geschikt event log is gebaseerd op het best bekende procesmodel en op welke data benodigd is om een geschikte workflow van het inkoopproces te genereren. Alle geïnter-viewde personen benadrukken dat het van belang is om business kennis te hebben van het betreffende inkoopproces om een geschikt event log te creëren. Vanuit de technische kant van Perceptive Software dient een event log minimaal de volgende drie velden te bevatten:
- Unieke CaseID; - Activitycode (status); - Timestamp.
Roeleveld en Westgeest geven aan dat in de praktijk een kant-en-klaar event log niet vaak rechtsreeks uit het systeem is te genereren. Hiervoor heb je vaak verschillende tabellen in verschillende systemen nodig die je aan elkaar dient te knopen. Roeleveld en Westgeest gebruiken voor het aan elkaar knopen van deze datavelden vaak data-analyse tools als ACL, Lavastorm en Caseware IDEA om zo een geschikt event log voor process mining te verkrij-gen.
Roeleveld benadrukt het belang van het communiceren met de klant rondom de totstandko-ming van het event log. Deze is pas geschikt als je weet dat de informatie juist en volledig is. De workflow zal, gebaseerd op het event log, steeds opnieuw af moeten worden gestemd met de klant om te voorkomen dat je geen informatie mist in je event log en je verkeerde conclusies gaat trekken uit de analyses.
Het procesmodel en event log dient volgens Kromhout zo vroeg mogelijk in de jaarrekening-cyclus opgesteld te worden. Het liefst in de planningsfase zodat alle inkoopstromen
inzichte-25 lijk zijn en er een ‘risk based audit approach’ uitgevoerd kan worden wat de doelmatigheid van de jaarrekeningcontrole vergroot. Westgeest geeft aan het procesmodel en het event log veelal tijdens de interim-controle te bepalen nadat de general IT controls zijn getest.
Betrokken mensen:
Alle geïnterviewde personen geven aan dat bij de bepaling van het event log de klant nauw betrokken moet zijn. Met name dat er zowel mensen met kennis van IT en mensen met ken-nis van het proces (de business) betrokken moeten zijn van de klant. Roeleveld en West-geest noemen nog wat specifieker namen van functionarissen. Zo noemen zij de functiona-rissen als applicatiebeheerder(s), databaseadministrator(s) en de proceseigenaar. Van het auditteam zal dit veelal een IT-auditor of data-analist zijn aangezien er een uitvraag van data plaatsvindt waarbij ook wat technische kennis vereist is en daarmee minder is weggelegd voor een gemiddelde financial auditor.
5.1.2 IT General Controls
De geïnterviewde Kromhout en Westgeest vermelden allemaal dat alle IT general controls, genoemd in de vragenlijst, relevant zijn bij de geschiktheid van process mining. Roeleveld noemt niet alles expliciet aangezien de persoon wat minder bekend is met de term IT general controls. Alle personen noemen logische toegangsbeveiliging als randvoorwaardelijke IT general control voor het gebruik van process mining. Als de logische toegangsbeveiliging ‘zwak’ is kan in theorie niet gesteund worden op de logging van de users. Hiermee kan de integriteit van de data niet worden vastgesteld waarop de conclusies uit de analyse op de functiescheiding en controls zijn gebaseerd. Kromhout noemt probleembeheer expliciet in een voorbeeld. Bij een niet werkende interface of calamiteit die heeft geleid tot systeemuitval bestaat de kans dat de logging niet compleet is, wat invloed heeft op het gebruik voor pro-cess mining. Roeleveld noemt ‘tone at the top’ een belangrijk aandachtspunt. Deze is te schaden onder management- en organisatiebeleid. Als het beleid is dat er minder moet worden gelogd om ruimte te besparen bestaat de kans dat een deel van de workflow niet wordt gelogd en daarmee het event log niet compleet is. Als changemanagement niet toerei-kend is dan leent process mining zich juist voor de interim-controle. Process mining is dan namelijk een passende gegevensgerichte werkzaamheid van de accountant om vast te stel-len of functiescheidingen zijn doorbroken in een periode.
Kromhout geeft aan dat als de IT general controls toereikend zijn en er zijn voldoende appli-cation controls in het inkoopproces, process mining niet wordt toegepast aangezien het effi-ciënter is om systeemgericht de application controls te testen.
5.1.3 Data-kwaliteit event log
De geïnterviewde personen noemen volledigheid en juistheid (integriteit) als belangrijke kwa-liteitscriteria van het event log. Roeleveld noemt hierbij als aanvulling nog continuïteit (be-schikbaarheid).
Geen van de geïnterviewde personen gebruikt een maturity model om de kwaliteit van de data in het event log te meten. Wat opvalt is dat er geen standaard aanwezig is om de kwali-teit van het event log te toetsen en de toetsing van de kwalikwali-teit veelal op basis van ‘gevoel’ plaatsvindt. De geïnterviewde personen noemen allemaal de aansluiting met een onafhanke-lijke externe bron als belangrijke controle op de kwaliteit. Als voorbeeld wordt hier genoemd het grootboek of de auditfile. Kromhout en Westgeest noemen hierbij de aansluiting met an-dere relevante informatie die het auditteam gebruikt bij de jaarrekeningcontrole. Westgeest noemt dit een ‘cross check’ met controle-informatie die gebruikt wordt bij andere processen of jaarrekeningposten. Roeleveld benadrukt het belang van de controle op de datavelden in het event log. Controle dat de juiste velden zijn gekoppeld met het unieke caseID. Kromhout gebruikt hiervoor de walktrough (lijncontrole) om de totstandkoming van de datavelden vast te stellen. Daarnaast is een belangrijke kwaliteitstoets of het event log volledig is. Is de gehe-le periode gelogt en heeft elke unieke caseID een start en een eind in het proces. De kwali-teit wordt ook beïnvloed door de mate van gedetailleerdheid van de timestamps (Kromhout, Roeleveld en Westgeest). Dubbele timestamps geven inzicht in de doorlooptijd van een
acti-26 vity en geven daarmee informatie over de kwaliteit van de controls. Een timestamp die niet op de minuut of seconde nauwkeurig is maakt de workflow niet overzichtelijk en zorgt ervoor dat de Perceptive Software tool de volgorde van de processtappen mogelijk onjuist weer-geeft. Tot slot noemen alle geïnterviewde personen het risico dat een event log is gemanipu-leerd. Kromhout en Westgeest geven aan dat bij de IT general controls specifiek gekeken moet worden naar de personen wie deze event logs kunnen manipuleren. Kromhout geeft aan eventuele aanvullende checks uit te voeren om dit risico in te kunnen schatten. Bijvoor-beeld controle op logging van het gebruik van beheeraccounts. De personen geven aan dat dit een inschatting blijft en je nooit 100% zekerheid hebt dat het event log niet is gemanipu-leerd. Het goed overwegen van het risico en dit documenteren is een belangrijke toets van de kwaliteit.
5.1.4 Overige aandachtspunten
Tijdens de open interviews was er ruimte om andere aandachtspunten in te brengen. Krom-hout en Roeleveld benoemde de medewerking van de klant. Als er geen medewerking of bewustzijn bij de klant is dan heeft dat direct invloed op het proces van process mining. Dit levert vertraging op of de benodigde data is niet beschikbaar. Kromhout noemt in zijn ‘les-sons learned’ dat tijdigheid van data-collectie essentieel is. Aan het begin van process mi-ning is nog niet altijd duidelijk waar de benodigde data vandaan moet komen. Daarnaast bestaat het risico dat een deel van de data nog niet beschikbaar is doordat logging niet aan staat of een deel van de data extern ligt omdat het proces is geoutsourced. Dit betekent dat je tijdig moet communiceren met de klant en het controleteam. Conformance checking con-stateert afwijkingen tussen het proces model en de werkelijkheid. Van belang zijn de follow-up van deze afwijkingen. Ga je alle afwijkingen uitzoeken of slechts een deel tijdens de inte-rim-controle? Hier bestaat nog onduidelijkheid over omdat de regelgeving van de accountant hier ook geen specifiek antwoord op geeft. Kromhout en Westgeest geven tot slot aan dat het van belang is het proces van process mining te documenteren zodat het proces reprodu-ceerbaar is en is vast te stellen dat de betrouwbaarheid is gewaarborgd van de analyse. 5.1.5 Bijstelling en vaststelling overzicht aandachtspunten
De hoofdcategorieën en subcategorieën, zoals uiteengezet in hoofdstuk 3.2, worden beves-tigd door de geïnterviewde als aandachtspunten bij het gebruik van process mining tijdens een interim-controle op het inkoopproces. De interviews hebben geleid tot een specifieke invulling van de aandachtspunten per hoofd- en subcategorie die hieronder zijn opgenomen (figuur 10-13). Deze invullingen zijn gebaseerd op een vergelijking van de antwoorden van de geïnterviewde personen zoals opgenomen in de matrix in bijlage 9.6.3.
Aandachtspunt: proces model en event log
1. Geschiktheid proces
mo-del - Afstemming met financial auditor (functiescheiding en controls); - Sluit proces model aan met bevindingen uit de lijncontrole;
- Voorkom spaghetti en alleen de meest voorkomen paden weerge-ven;
- Gebruik procedural model;
- Start in de planningsfase al met het procesmodel.
2. Geschiktheid event log - Uitvraag op basis van procesmodel;
- Alle mensen en systemen klant bij het proces betrekken;
- Minimaal 3 soorten datavelden (caseID, activity, timestamp) nodig;
- Gebruik data-analyse tools om tabellen en systemen aan elkaar te knopen (voorwerk);
27 - Validatie met klant en business kennis nodig;
- Start in de planningsfase al met het procesmodel.
3. Betrokken mensen - IT-auditor/data-analist;
- Financial auditor;
- Proceseigenaar (business);
- Applicatiebeheerder/databaseadministrator (IT afdeling). Figuur 10: aandachtspunten proces model en event log
Aandachtspunt: IT General Controls
1. Changemanagement - Zowel effectief als niet-effectief dan process mining toepasbaar.
2. Logische
toegangsbeveili-ging - Niet-effectief dan process mining niet toepasbaar. Effectief
dan wel toepasbaar.
3. Proces beheer - let op de beïnvloeding en totstandkoming van event log in proces.
4. Probleem beheer - Bij incident of niet werkende interface invloed op volledigheid data
5. Management en
organisa-tiebeleid - Mogelijk niet alles gelogd op basis van beleid
- Elkaars accounts gebruiken in vakantieperiode wordt gedoogd
6. Beinvloeding
functieschei-ding Niet relevant
7. Beïnvloeding application
controls. Niet relevant
Figuur 11: aandachtspunten IT General Controls
Aandachtspunt: Data-kwaliteit event log
1. Samenstelling proces
mo-del en event log
2. IT general controls 3. Maturity level (kwaliteit)
- Kwaliteitscriteria juistheid en volledigheid (integriteit) en continuïteit (beschikbaarheid);
- Voldoende logging;
- Timestamps voldoende gedetailleerd;
- Inschatten en controle op manipulatie event log; - Calamiteit invloed op volledigheid event log;
- Te ruime rechten en bevoegdheden mensen invloed op manipula-tie/juistheid event log;
28
- 'Zwakke' logische toegangsbeveiliging invloed op juistheid event log;
- Beleid invloed op volledigheid logging en daarmee volledigheid event log;
- IT-auditor/data-analist stelt de kwaliteit vast;
- Aansluiting met een onafhankelijke externe bron (groot-boek/auditfile);
- Controle totstandkoming datavelden (walktrough/lijncontrole). Figuur 12: aandachtspunten data-kwaliteit event log
Aandachtspunt:
Overig
1. Tijdige data-collectie 2. Commitment van de klant 3. Hoe om te gaan met afwijkingen
4. Documenteren hoe het proces van process mining betrouwbaar tot stand is gekomen. Figuur 13: aandachtspunten overige
5.2 Case studie
In hoofdstuk 3.2 zijn de aandachtspunten beschreven die relevant zijn voor het gebruik van process mining als audittechniek bij een interim-controle van het inkoopproces. In hoofdstuk 5.1 zijn deze aandachtspunten gevalideerd middels een drietal interviews en vervolgens bij-gesteld en aangevuld. In deze paragraaf zijn de aandachtspunten in de praktijk getoetst door een case studie, waarbij de huidige interim-controle werkzaamheden op het inkoopproces zijn vergeleken met de interim-controle werkzaamheden als gebruik wordt gemaakt van pro-cess mining bij onderneming X.
5.2.1 Case studie beschrijving
De case studie gaat in op een middelgroot installatiebedrijf dat installatiewerkzaamheden verricht in de zorgsector. De organisatie beschikt over 67 medewerkers en gebruikt het ERP systeem ‘Install Works’ voor haar inkoopproces.
Het doel van deze casus is een eerste verkenning met het gebruik van data-analyse en ver-volgens specifiek process mining op het inkoopproces en de verbetering ten opzichte van de traditionele interim-controle, waarbij de aandachtspunten vanuit de literatuur en de interviews zijn getoetst in de praktijk.
5.2.2 Interim-controle inkoopproces ‘traditioneel’
In de planningsfase is het inkoopproces in kaart gebracht en is vastgesteld welke functie-scheiding en interne beheersingsmaatregelen in het inkoopproces aanwezig zijn. Er dient functiescheiding te zijn binnen het inkoopproces tussen de besteller (inkoper), ontvanger (magazijnmedewerker), goedkeurder (functionaris die order en inkoopfactuur controleert en goedkeurt) en administrateur (medewerker administratie).
Daarbij zijn de volgende interne beheersingsmaatregelen onderkend in het inkoopproces: - Het hoofd inkoop autoriseert de bestelbon voor akkoord in het systeem na controle op
juistheid bestelling ten opzichte van de interne richtlijnen (fiat 1);
- Het hoofd administratie autoriseert de inkoopfactuur voor akkoord in het systeem na controle op ontvangstmelding en juistheid factuur (fiat 2).
