Process mining
Tool bij de jaarrekening controle?
Auteur : drs. M.J.N.M. Karel RA Plaats : Alkmaar
Datum : 17 juni 2016
Instelling : Universiteit van Amsterdam Opleiding : Amsterdam IT Audit Programme Begeleider : drs. Y.W. van Wijk RE RA Co-Begeleider : Dr. N.R.T.P. van Beest
mkarel@dehoogewaerder.nl
Abstract
In dit referaat wordt ingegaan op de vraag of process mining de accountant kan ondersteunen bij de jaarrekening controle.Voorwoord
Dit referaat is geschreven als onderdeel van de IT-opleiding aan de Amsterdam Business School van de Universiteit van Amsterdam. In dit referaat is onderzoek gedaan naar de toepasbaarheid van process mining in de audit praktijk.
De keuze voor dit onderwerp is afkomstig uit mijn werksituatie. In mijn werk als externe accountant in de audit praktijk en als accountant in de samenstelpraktijk word ik steeds meer geconfronteerd met de automatisering van administratieve processen. Ons kantoor De Hooge Waerder heeft bij de uitvoering van onze controle- en samenstelwerkzaamheden zwaar ingezet op toepassing van IT. Zowel in de audit als in de samenstelpraktijk. Bij een van de gesprekken over toepassing van IT in de controle- en in de samenstelpraktijk die ik heb gehad met een externe adviseur (Johan Hermans) heeft hij mij op het spoor gezet van Process mining.
Ik wil mijn begeleider Ype van Wijk bedanken voor zijn waardevolle adviezen en bijdragen aan de totstandkoming van dit eindresultaat. Ook een woord van dank naar mijn co-beleider Nick van Beest. Ook hij heeft mij voorzien van waardevolle adviezen.
Voorts een woord van dank aan de experts. Dit zijn achtereenvolgens Jack van Crooij, Tom Koning, Angelique Koopmans, Johan Hermans, Johan Wildenbeest, Michiel Wijma en Danial Khalesi. Zij hebben de tijd genomen om met mij van gedachten te wisselen over de mogelijkheden van process mining in de audit praktijk.
Ook mijn collega’s binnen De Hooge Waerder wil ik bedanken voor de ruimte die ik heb gekregen om mij ter verdiepen in het vakgebied van IT auditing en dan bijzonder het onderdeel process mining.
En last but not least wil ik mijn vrouw Edith bedanken. Zij zag mij vele avonden achter mijn bureau schuiven om dit referaat tot stand te brengen.
Alkmaar, 17 juni 2016
Inhoudsopgave
Voorwoord ... 2
Inhoudsopgave ... 3
Lijst van Illustraties ... 5
Samenvatting ... 6
1. Inleiding... 7
1.1. Aanleiding voor het onderzoek ... 7
1.2. Primaire onderzoeksvraag ... 9 1.3. Afgeleide onderzoeksvragen... 9 1.4. Methodologie ... 11 1.5. Leeswijzer ... 13 2. Process mining ... 14 2.1. Inleiding ... 14 2.2. Event log ... 15
2.3. Analysetechnieken binnen process mining ... 18
2.4. Petri net modellen ... 20
2.5. Voorwaarden voor het toepassen van process mining ... 21
2.6. Gerelateerd werk over process mining ... 22
2.7. Samenvatting en conclusies ... 24
3. Praktijkonderzoek ... 26
3.1. Inleiding ... 26
3.2. Case study onderzoeksmethodologie ... 26
3.3. Dataverzameling ... 27
3.4. Beknopte beschrijving van de mining technieken binnen het pakket perceptive software (Lexmark) ... 27
3.5. Process mining toegepast op het inkoopproces van het productiebedrijf Cool Products BV... 28
3.6. Samenvatting en conclusie ... 31
4. Expert Interviews ... 33
4.1. Inleiding ... 33
4.2. Selectie te interviewen experts ... 33
4.3. Interview vragen ... 33
4.4. Resultaten van de interviews... 34
4.5. Analyse van de interview resultaten... 37
4.6. Samenvatting en conclusies ... 39
5. Conclusie en aanbevelingen ... 41
Literatuurlijst ... 43
Overzicht Bijlagen
1 Inkoopproces van het productiebedrijf Cool Products B.V. 2 Nadere toelichting op het inkoopproces van Cool Products B.V. 3 Inkoopproces van het productiebedrijf CoolProducts B.V. (Ist-positie) 4 Aantal facturen zonder Three-way match
5 “Rollen” bij de Three-way match
6 Betaling inkoopfacturen zonder autorisatie door de bevoegde functionaris 7 “Rollen” bij de autorisatie inkoopfactuur procedure
8 Achtergrond expert interviews en data interviews 9 Vragenlijst referaat process mining
Lijst van Illustraties
Figuur 1: Modelweergave ... 8
Figuur 2: Methodologie en fasering van het onderzoek ... 12
Figuur 3: Input data en eventlog data van een inkoopfactuur ... 16
Figuur 4: Positionering van de drie belangrijkste typen van process mining ... 18
Figuur 5: Petri net ... 20
Samenvatting
Process mining is een methode om de gegevens uit systemen te gebruiken om inzicht te krijgen in hoe een proces nu daadwerkelijk loopt.
Accountants krijgen bij de uitvoering van hun audit werkzaamheden steeds meer te maken met het feit dat prijsafspraken onder druk staan terwijl de wet- en regelgeving waaraan moet worden voldaan steeds meer toeneemt.
Wettelijke controles moeten daarom steeds efficiënter worden ingericht om binnen de beschikbaar gestelde budgetten de controles te kunnen uitvoeren. Waarbij het uiteindelijke doel is het afgeven van een goedkeurende controle verklaring. In de zoektocht naar “Tools” die de accountant hierbij kunnen ondersteunen is de mogelijkheid van process mining de laatste jaren steeds meer onderwerp van onderzoek en discussie.
In dit referaat wordt ingegaan op de vraag of process mining de accountant kan ondersteunen bij de jaarrekening controle.
Een belangrijke voorwaarde voor het kunnen toepassen van process mining is een bruikbare eventlog. Aandacht wordt besteed aan de informatie die tenminste beschikbaar moet zijn in een eventlog. Een goede eventlog is een van de vereisten voor het kunnen toepassen van process mining.
Daarnaast is het van belang om de juiste analysetechniek te hanteren waarmee process mining kan worden uitgevoerd. De keuze van de analysetechniek is afhankelijk van wat je uiteindelijk wilt bereiken met process mining.
Het kunnen toepassen van process mining is voorts gebonden aan een aantal voorwaarden. Als de voorwaarden niet worden nageleefd dan heeft dit consequenties voor de toepasbaarheid van process mining.
Met behulp van een casestudy is onderzocht hoe de toepassing van process mining zich in een praktijksituatie manifesteert. Hierbij is gebruik gemaakt van een pakket dat speciaal ontwikkeld is om processen te kunnen “minen”.
Tenslotte zijn zeven deskundigen uit de praktijk die ervaring hebben met process mining geïnterviewd. Aan deze deskundigen zijn een viertal specifieke vragen op het gebied van process mining voorgelegd.
De bevindingen van de casestudy en de uitkomsten van de interviews zijn meegenomen in de conclusie die in het laatste hoofdstuk van dit referaat is opgenomen.
1.
Inleiding
1.1.
Aanleiding voor het onderzoek
In de huidige maatschappij wordt in toenemende mate gebruik gemaakt van automatisering. In organisaties worden efficiency slagen gemaakt waarbij handelingen van functionarissen binnen organisaties worden overgenomen door geautomatiseerde processen. De ondersteunende informatiesystemen zijn hierdoor meeromvattend en complexer geworden. Echter, deze ontwikkelingen hebben ook een keerzijde.
Doordat processen overgenomen worden door geautomatiseerde systemen dreigt het gevaar dat handelingen niet meer direct zichtbaar zijn. In sommige gevallen is de automatiseringsgraad zo hoog dat er nog maar beperkt aantal menselijke handelingen overblijven. Hierdoor verlegt het systeem van interne controle zich naar information system audit en zijn de consequenties van processen waarbij menselijke handelingen een rol spelen veelal groter. Hierdoor is het systeem van interne controle meer kwetsbaar. Het toepassen van interne controle en auditing van complexe systemen wordt er niet eenvoudiger op. Een van de instrumenten die de accountant hanteert in zijn werkzaamheden is de observatie van de werking van het systeem van interne controle in de organisatie. Echter, door de toegenomen automatisering wordt de accountant steeds meer gedwongen naar de interne controle van de geautomatiseerde processen te kijken. Hierbij spelen enerzijds de observatie van standaard proces handelingen een rol, anderzijds de hiervan afwijkende handelingen, welke niet direct geobserveerd kunnen worden i.e. “onzichtbare of onbevoegde handelingen”. Het risico wat dit met zich meebrengt is dat bepaalde onbevoegde handelingen door de interne controle niet of niet tijdig worden ontdekt.
Een voorbeeld uit de praktijk waarbij handelingen door onbevoegde functionarissen niet tijdig zijn ontdekt is de beursfraudezaak van de Franse effectenhandelaar Jérôme Kerviel. Hij wordt er van verdacht met zijn ongeoorloofde speculaties op de futures markt, zijn werkgever Société Générale begin 2008 met een verlies van 4.9 miljard euro te hebben opgezadeld. Soort gelijke gevallen van beursfraude door onbevoegde handelingen zijn bekend geworden door de zaak Nick Leeson (1995) en Kewku Adoboli (2011). Ook zij hebben met hun onbevoegde handelingen grote financiële schade veroorzaakt voor hun werkgevers.
Het onderliggende probleem bij complexe geautomatiseerde systemen is dat er informatie nodig is die de “onzichtbare” handelingen in het systeem zichtbaar maken i.e. events of proceshandelingen. Veelal worden proceshandelingen in deze systemen slechts op de achtergrond bijhouden i.e. “logging” (indien gewenst), maar maken geen onderdeel uit van het primaire informatie systeem. In sommige gevallen worden door de leverancier system tools beschikbaar gesteld die analyse van deze “logging” mogelijk maken, maar deze zijn veelal ontoereikend. Deze logging van bedrijfsprocessen zijn de “digitale sporen” van informatiesystemen zoals ERP (Enterprise Resource planning) systemen. Deze informatie is te vinden in de logs van deze systemen [HAAS2009-1]. Echter, de traditionele data mining technieken schieten in de dagelijkse praktijk tekort om deze logs te analyseren vanwege de afwezigheid van een duidelijke procesoriëntatie [AALST-5].
De methode, afkomstig uit een ander domein, waarbij deze logs wel kunnen worden geanalyseerd, is process mining die zich richt op de analyse van bedrijfsprocessen die afgeleid worden van structuren in de achtergelaten sporen [HAAS2009-1]. Door deze analyse van processen kan een vergelijking gemaakt worden met de beschrijving hoe de processen “zouden moeten werken”. In het geval van de fraude bij Société Générale was deze fraude wellicht eerder aan het licht gekomen als process mining was toegepast bij de interne controle en auditing van financiële systemen. Dit is een van de redenen waarom de inzet van proces mining in de controleactiviteiten van de accountant toegevoegde waarde kan hebben.
Process mining
Process mining is een bottom-up techniek waarmee een IT auditor op basis van de in een informatie systeem gelogde gegevens een procesmodel opbouwt (ist-model, het bestaan en de werking). Zo kan de IT-auditor ontdekken (process discovery) hoe de bedrijfsprocessen werkelijk verlopen. Door nu deze werkelijke bedrijfsprocessen af te zetten tegen het vooraf gedefinieerde normatieve bedrijfsprocesmodel kunnen afwijkingen worden opgespoord (conformance checking).
Het basisprincipe van process mining is in figuur 1 Modelweergave afgebeeld.
Figuur 1: Modelweergave
Een veel voorkomend probleem bij de analyse van bestaande systemen is dat de IT-auditor in de voorbereidingsfase van het proces mining onderzoek ontdekt dat het systeem niet alle vereiste data beschikbaar kan stellen, dat de data onvolledig geregistreerd is of dat de data van slechte kwaliteit is.
Ondanks de hierboven geschetste problemen is de verwachting dat process mining een steeds belangrijkere plaats zal gaan innemen binnen het vakgebied IT auditing. Door het toenemende gebruik van process mining is de verwachting voorts dat zowel de effectiviteit als de efficiency van jaarrekening controles kan verbeteren door de inzet van process mining [AALST2015-4].
Daarnaast bestaat de mogelijkheid om met behulp van process mining data in de context van bedrijfsprocessen te analyseren. Dit is niet alleen interessant voor organisaties zelf, maar ook voor externe accountants is process mining interessant bij het uitvoeren van jaarrekening controles [AALST2015-4].
1.2.
Primaire onderzoeksvraag
De laatste 5 tot 10 jaar is er veel geschreven over het onderwerp process mining. In deze publicaties wordt aandacht besteed aan het theoretische aspect van process mining en aan het praktische aspect van process mining. Met het theoretische aspect van process mining wordt hier bedoeld de mathematische onderbouwing van het toepassen van process mining door gebruik te maken van algoritmes. Met behulp van de algoritmes wordt de “verborgen” informatie in eventlogs zichtbaar gemaakt. Uitgangspunt in dit referaat is dat er reeds sprake is van een bruikbare eventlog. Het mathematische aspect van process mining wordt daarom in dit referaat niet verder uitgewerkt. Het praktische aspect van process mining daarentegen wordt in dit referaat wel verder uitgewerkt. De toenemende graad van automatisering binnen bedrijfsprocessen (reeds toegelicht in paragraaf 1.1) en de toenemende druk op de prijsafspraken bij de wettelijke controles brengen de behoefte met zich mee om de controles effectiever en efficiënter in te richten. Vanuit de praktijk is er daarom behoefte aan een tool die de accountant kan helpen om dit te realiseren.
Gelet op het bovenstaande en gelet op hetgeen beschreven staat in paragraaf 1.1 “aanleiding voor het onderzoek” staat de volgende onderzoeksvraag centraal:
De primaire onderzoeksvraag luidt:
“Hoe kan process mining de accountant ondersteunen bij de jaarrekening controle”
1.3.
Afgeleide onderzoeksvragen
Om de primaire onderzoeksvraag te beantwoorden wordt eerst in de geselecteerde literatuur onderzocht wat wordt verstaan onder process mining. Daarnaast wordt nagegaan welke kennis wordt verkregen door het gebruik van process mining bij de uitvoering van de controle werkzaamheden. Om dit te kunnen beantwoorden is de volgende deelvraag geformuleerd:
1. Wat is process mining en welke kennis kan worden verkregen door process mining?
Voor het gebruik van process mining bij de uitvoering van de controle van de jaarrekening heeft de accountant behoefte aan specifieke IT gerelateerde evidence om zijn controle werkzaamheden effectief en efficiënt te kunnen uitvoeren. Om na te gaan welke IT gerelateerde evidence dit betreft is de volgende deelvraag geformuleerd.
2. Wat is nodig aan informatie voor de accountant in het kader van de jaarrekening controle?
Voor het toepassen van process mining is specifieke informatie nodig. Van belang is om deze informatie uit het geautomatiseerde systeem te genereren. De volgende deelvraag is geformuleerd om de beschikbaarheid van de informatie te onderzoeken.
3. In welke mate is de vereiste data die benodigd is voor process mining beschikbaar?
Uiteindelijk gaat het erom of de techniek van process mining bruikbaar is voor de accountantspraktijk. Voor de beantwoording van deze vraag is de volgende deelvraag geformuleerd.
4. In welke mate zijn de mogelijkheden van process mining toepasbaar in de accountantspraktijk?
In de volgende paragraaf zal worden aangegeven hoe de onderzoeksvragen methodologisch worden benaderd.
1.4.
Methodologie
In dit referaat worden de volgende fasen achtereenvolgens uitgevoerd. De methodologie die gehanteerd wordt bestaat uit case study en expert interviews. In onderstaande figuur “Methodologie en fasering van het onderzoek” worden de fasen geïllustreerd.
Onderzoeksfasen:
1) Afbakening onderzoek domein, waarbij de research questions en onderzoek scope bepaald worden;
2) Literatuuronderzoek, waarbij naast academische literatuur tevens professionele literatuur wordt onderzocht;
3) Case study research, onderverdeeld in a. Ontwerp: case selectie en scoping; b. Voorbereiding: bepalen tool en dataset; c. Data collectie: uitvoeren van case study; d. Analyse van de resultaten;
4) Expert Interviews, onderverdeeld in: a. Bepalen van de doelgroep experts; b. Interview techniek en tekst voorbereiding; c. Uitvoering interviews, datacollectie; d. Analyse van de resultaten;
5) Concluderen process mining toepassing in jaarrekeningcontrole.
Fase 2 betreft het literatuuronderzoek. In dit hoofdstuk wordt de theoretische achtergrond van process mining behandeld. Uitgangspunt hierbij is hetgeen over process mining wordt geschreven in de academische literatuur en de professionele literatuur. Het uitwerken van de theoretische achtergrond heeft tot doel de theoretische toepassingsmogelijkheden van process mining te analyseren. In fase 3 en de fase 4 wordt de relatie gelegd met het praktijkonderzoek.
In fase 3 wordt een case study uitgevoerd waarbij het inkoopproces van een productiebedrijf centraal staat.
In fase 4 worden verschillende experts geïnterviewd met betrekking tot het onderwerp process mining. Voor deze interviews zijn een viertal vragen met deelvragen geformuleerd. Vanuit de beschrijving van de theorie in hoofdstuk 2 worden de volgende kernpunten met betrekking tot process mining in de interviewvragen meegenomen.
1. Wat wordt verstaan onder process mining 2. Wat is het belang van een eventlog 3. Hoe ziet een bruikbare eventlog eruit
4. Wat is belang van competentietabellen en functiescheidingen (ofwel welke functionarissen spelen een rol in het proces van process mining)
5. Wat is de invloed van het gebruik van process mining bij de jaarrekening controle Fase 3 is gericht op de “Understanding of process mining, voor het inkoopproces bij de jaarrekening controle. Hierbij is gekozen voor het inkoopproces van het productiebedrijf Cool Products B.V., die geanalyseerd wordt middels process mining. De belangrijkste reden om te focussen op het inkoopproces is dat de uitgaven die samenhangen met de inkopen worden gezien als een van de “key risks” van de financiële gezondheid van een productiebedrijf. Voorts is de effectiviteit van het inkoopproces een van de gebieden waar de accountant naar kijkt bij zijn controle van een productiebedrijf. De centrale vraag hierbij zal zijn; “Hoe verloopt het inkoopproces bij Cool Products B.V. in werkelijkheid vergeleken met het normatieve inkoopproces”.
Fase 4 is gericht op het evalueren van de interviewresultaten over het gebruik van process mining in de jaarrekening controle. De interviews worden afgenomen bij een aantal deskundigen (zie paragraaf 4.2) uit de praktijk, bestaande uit een tweetal IT auditors, een tweetal registeraccountants en een drietal systeemontwikkelaars. Voor het interview wordt gebruik gemaakt van vier vooraf gedefinieerde vragen met een aantal sub vragen. In paragraaf 4.2 van deze scriptie wordt voorts nader toegelicht waarom de bijdrage van deze verschillende deskundigen van belang wordt geacht voor dit referaat. In paragraaf 4.5 “Analyse van de interview resultaten” worden de meningen en de ervaringen van de deskundigen met betrekking tot de gesignaleerde kernpunten gerelateerd aan hetgeen hierover in de theoretische literatuur is gepubliceerd.
Uiteindelijk zullen de bevindingen die voortvloeien uit de hiervoor beschreven casestudy en de resultaten van de interviews met de deskundigen worden gebruikt om in paragraaf 4.6 een uitspraak te kunnen doen over hoe process mining de accountant kan ondersteunen bij de jaarrekening controle.
In figuur 2 wordt een illustratie gegeven van de methodologie en de fasering van het onderzoek.
1.5.
Leeswijzer
In het onderstaande wordt per hoofdstuk van dit referaat een korte beschrijving gegeven van de inhoud.
Hoofdstuk 1: Inleiding
Hoofdstuk 1 beschrijft wat de aanleiding is geweest voor het schrijven van het referaat. Daarna worden de primaire onderzoeksvraag en de afgeleide onderzoeksvragen benoemd en wordt kort ingegaan op de casestudy en het interview met deskundigen. Het hoofdstuk wordt afgesloten met een nadere toelichting op de gehanteerde methodologie.
Hoofdstuk 2: Process mining
Hoofdstuk 2 gaat in op de theorie over process mining. Hierbij wordt ingegaan op de betekenis van een event log, de analysetechnieken binnen process mining, Petri Net modellen, de voorwaarden om process mining toe te kunnen passen alsmede de visie van een aantal schrijvers over de toepassingsmogelijkheden van process mining. Het hoofdstuk wordt afgesloten met een samenvatting en conclusies waarbij een antwoord wordt gegeven op de eerste twee deelvragen uit paragraaf 1.2.
Hoofdstuk 3: Praktijkonderzoek
Hoofdstuk 3 licht de gekozen onderzoek aanpak nader toe. Het praktijkonderzoek vindt plaats in de vorm van casestudy (businesscase waarbij process mining wordt toegepast op het inkoopproces van een productiebedrijf).
Hoofdstuk 4: Interview met deskundigen
Hoofdstuk 4 behandelt de uitkomsten van de interviews die zijn gehouden met zeven deskundigen. Het hoofdstuk wordt afgesloten met een samenvatting en conclusies waarbij een antwoord wordt gegeven op de laatste twee deelvragen uit paragraaf 1.2.
Hoofdstuk 5: Conclusie
Hoofdstuk 5 geeft een antwoord op de primaire onderzoeksvraag. Hierbij wordt gebruik gemaakt van hetgeen in de theorie wordt geschreven over process mining, de resultaten van de casestudy en de meningen van de deskundigen over dit onderwerp. Het hoofdstuk wordt afgesloten met een conclusie.
2.
Process mining
2.1.
Inleiding
In de inleiding van dit referaat is naast de primaire onderzoeksvraag een viertal deelvragen geformuleerd. In dit hoofdstuk zal een antwoord worden gegeven op de eerste twee deelvragen.
De eerste deelvraag luidt: Wat is process mining en welke kennis kan worden verkregen door process mining?
Dit zal nader worden uitgewerkt door in te gaan op de betekenis van een event log in paragraaf 2.2. Vervolgens zullen in paragraaf 2.3 de verschillende analysetechnieken binnen process mining worden behandeld. Daarna wordt in paragraaf 2.4 kort de methodiek behandeld hoe een proces visueel kan worden gemaakt door middel van het gebruik van Petri net modellen. In paragraaf 2.5 worden de voorwaarden behandeld die van belang zijn om process mining goed te kunnen toepassen.
Voor de beantwoording van deze deelvraag is gebruik gemaakt van artikelen die zijn aangeleverd vanuit de Rijksuniversiteit Groningen (RuG). In de wetenschappelijk database (o.a. Picarta) van de RuG is gezocht naar relevante artikelen over het onderwerp process mining. Hierbij zijn de volgende zoektermen gehanteerd: process mining, eventlog, petri net modellen en Van der Aalst. De reden dat specifiek op Van der Aalst is gezocht is vanwege het feit dat hij een van de toonaangevende wetenschappers is die veel publiceert en schrijft over het gebruik en de toepassingsmogelijkheden van process mining. Zijn boek “Process Mining Discovery, Conformance and Enhancement of Business Processses” [AALST 2011-2] wordt gezien als een van de toonaangevende boeken op het gebied van process mining. Veel van de artikelen die ingaan op process mining behandelen de algoritmes waarmee process mining wordt toegepast. De onderliggende techniek van process mining heeft geen invloed op de centrale research question i.e. het bepalen van de toegevoegde waarde voor process mining in de jaarrekeningcontrole. Om deze reden zijn technische publicaties over bijvoorbeeld algoritmes in process mining buiten het literatuuronderzoek gehouden (zie paragraaf 1.2). De focus bij de selectie van de artikelen is om te komen tot een beantwoording van de eerste onderzoeksvraag. Met name de artikelen van Jans, [JANS 2010-1, 2011-2 en 2012-3], Hakvoort en Sluiter [HAKV2008] en het boek van Van der Aalst [AALST2011-2] sluiten het meeste aan bij de onderwerpen die worden behandeld in de paragrafen 2.2 tot en met 2.5.
De tweede deelvraag luidt: Wat is nodig aan informatie voor de accountant in het kader van de jaarrekening controle?
Om een antwoord te kunnen geven op deze deelvraag is in paragraaf 2.6 een documentanalyse uitgevoerd waarbij een selectie is gemaakt van artikelen die specifiek aandacht besteden aan de invloed van process mining op de jaarrekening controle. Meerdere schrijvers besteden in hun publicatie aandacht aan de invloed van process mining op de jaarrekening controle. Door de meningen van de verschillende schrijvers naast elkaar te leggen is beoordeeld welke informatie de accountant in ieder geval nodig heeft in het kader van de jaarrekening controle. Hierbij wordt tevens ingegaan op de voor- en tegenargumenten van het gebruik van process mining in het kader van de jaarrekening controle.
2.2.
Event log
Om de betekenis van een event log voor de IT auditor te achterhalen, dient eerst een goed begrip van process mining verkregen te worden. Daarom is het relevant om vooraf de definitie van process mining te geven. Het Business Process Management Center1 beschrijft process mining als volgt:
“The basic idea of process mining is to extract knowledge from event logs recorded by an information system. Until recently, the information in these event logs was rarely used to analyze the underlying processes. Process mining aims at improving this by providing techniques and tools for discovering process, control, data, organizational, and social structures from event logs. Fueled by the omnipresence of event logs in transactional information systems […] process mining has become a vivid research area” [JANS2010-1].
Als werk definitie hanteer ik hierbij: process mining is de systematische analyse van informatie die is opgeslagen in een event log, met als doel het abstraheren van het bedrijfsproces vanuit de daadwerkelijke primaire vastleggingen in het informatiesysteem i.e. event log.
Een event log wordt gedefinieerd als: een record van events die zijn vastgelegd in een informatiesysteem. Deze record kan op een later tijdstip worden beoordeeld door de systeem administrator met als doel gebruikers handelingen te identificeren die in het systeem hebben plaatsgevonden [ALLES2011]. Indien alle handelingen in het informatiesysteem worden vastgelegd kunnen door process mining (theoretisch gezien) hierdoor ook de handelingen van onbevoegden worden geïdentificeerd.
Enige nuance is hier op zijn plaats. In de praktijk is het lastig om deze uitspraak te handhaven, gezien veel activiteiten niet of op een ander aggregatieniveau gelogd worden. Daarnaast vinden er tevens activiteiten plaats buiten het systeem. Activiteiten buiten het systeem worden niet gelogd. Een stellige conclusie inzake onbevoegde handelingen is hierdoor niet mogelijk.
Van der Aalst volgend, worden er steeds meer gebeurtenissen geregistreerd en opgeslagen in een event log [AALST-5]. Je kunt hierbij denken aan het boeken van een reis via het internet. Het boeken van de reis leidt ertoe dat veel events worden opgeslagen in de database van de betrokken organisatie. Veel apparatuur in ziekenhuizen (bijvoorbeeld CT/MRI scanners) zijn verbonden met de informatiesystemen van de leverancier. Hierdoor is het voor de leverancier mogelijk om inzicht te krijgen in het gebruik van hun producten [AALST2012-3]. Dankzij deze event logs en de toepassing van process mining technieken is het hierdoor mogelijk om inzicht te krijgen in wat er daadwerkelijk gebeurt in de verschillende bedrijfsprocessen [AALST-5].
In dit referaat wordt gefocust op het gebruik van de event log en process mining, en hoe de accountant hiervan gebruik kan maken in zijn controleactiviteiten. Dit betekent dat de achterliggende systeemtechnieken van de event log, zoals de systeemvastlegging en de onderliggende algoritmen van process mining, buiten de scope van dit referaat vallen. Voor de werkbaarheid wordt daarnaast gefocust op één proces, het inkoopproces. Als voorbeeld wordt onderstaande illustratie gebruikt om de betekenis van de event log nader toe te lichten.
1
Het BPM Center is een samenwerking tussen the Information System groups (IS@CS en IS@IEIS) van de TU in Eindhoven en de BPM groep van de Informatie Technologie Faculteit van Queensland (Brisbane, Australië).
Voorbeeld inkoopfactuur – betekenis van een event log
Figuur 3: Input data en eventlog data van een inkoopfactuur (Bron: Jans2010-1)
De bovenstaande figuur laat de informatie zien die wordt vastgelegd in het ERP systeem van een organisatie en de wijze waarop dit wordt vastgelegd in een event log. Overigens geldt de vastlegging van de betreffende informatie ook voor andere systemen zoals bijvoorbeeld Process Aware Information Systems en Workflow Management Systems. De figuur met de input data (links boven op de bladzijde) bevat de factuur gegevens die in het ERP systeem zijn ingevoerd door de functionaris belast met het inboeken van de inkoopfacturen. Deze “input data” zal worden vergeleken met de “meta-data” die in het ERP systeem wordt geregistreerd zonder tussenkomst van de functionaris belast met het inboeken van de inkoopfacturen [JANS2011-2]. De input data betreft de beschikbare data op het moment van het boeken van de inkoopfactuur zoals het factuur nummer, de boekingsdatum, de leverancier et cetera. Deze data wordt in principe ook gebruikt door IT auditors bij hun controle werkzaamheden. De figuur met de event log data (rechts boven op de bladzijde) laat de data zien die is opgeslagen in de event log voor dezelfde inkoopfactuur.
Redenerend vanuit de definitie van een event log is alle input data ook onderdeel van een event log. Wat het met name interessant maakt voor een IT auditor is dat alle data, dus ook meta-data, in de event log automatisch door het ERP systeem worden vastgelegd zonder tussenkomst van welke functionaris dan ook binnen de gecontroleerde organisatie, waarbij hiervoor genoemde nuance uiteraard wordt meegenomen.
Het gebruik van meta-data stelt de IT auditor in staat om het verloop van een transactie te reconstrueren door het leggen van relaties tussen de bewuste transactie en alle andere transacties in de database met dezelfde gemeenschappelijke kenmerken. Hierbij kan gedacht worden aan wijzigingen van de inkoopfactuur en de identiteit van andere functionarissen binnen de organisatie die op de een of andere wijze betrokken zijn geweest bij de administratieve verwerking van de inkoopfactuur. Het is evident dat een en ander samenhangt met hetgeen wordt gelogd in het systeem.
In het voorbeeld vastgelegd in figuur 3 laat de input data alleen een transactie zien van 100 USD met een factuurdatum van 10 februari. Dit is wat de IT auditor zou zien als er sprake zou zijn van een papieren uitdraai van het grootboek evenals in het geval wanneer er sprake is van een ERP systeem waarbij de IT auditor niet kiest voor het creëren van een event log. Overigens is logging een van de functionaliteiten van een systeem. Als je in het ERP systeem (bijvoorbeeld SAP, [Systems, Applications and Products for data processing]) de logging niet aan hebt staan dan heb je de informatie (meta data) niet beschikbaar.
In tegenstelling tot het voorgaande laat de meta-data in de event log zien dat er sprake is van twee verschillende functionarissen die betrokken zijn bij het invoeren van data waarbij de datums waarop dit plaatsvindt niet samenvallen met de boekingsdatum. Daarnaast is er niet alleen sprake van een wijziging van het in eerste instantie ingevoerde bedrag, de wijziging wordt ook nog eens geautoriseerd door de functionaris die de wijziging aanbrengt.
Resumerend kan de IT auditor door analyse van de event log de volgende volgorde van handelingen reconstrueren [JANS2010-1]:
1. op 12 februari om 8:23 voert Mike inkoopfactuur nummer 3 in het systeem in, ingevoerd worden de volgende variabelen; de leverancier (AT&T), de factuur datum (10 februari 2010), het factuur bedrag ad USD 100 en de omschrijving (interne ondersteuning),
2. op 12 februari om 8:43 verandert John het factuurbedrag van USD 100 naar USD 120,
3. op 12 februari om 8:44 autoriseert John inkoopfactuur nummer 3.
Alhoewel deze volgorde van handelingen een verklaarbare reden kan hebben, kan het toch aanleiding zijn voor de IT auditor om deze transactie nader te onderzoeken.
Resumerend
De betekenis van de event log voor de IT auditor of accountant berust op de vastlegging en analyse van deze logging. Hierdoor is hij in staat om het bedrijfsproces te abstraheren vanuit de daadwerkelijke primaire vastleggingen in het informatiesysteem.
Twee zaken zijn van belang om in het achterhoofd te houden bij het gebruik van event logs. Allereerst moet er sprake zijn van een logging van alle administratieve handelingen in het systeem en voorts dient deze logging ook blijvend bewaard te worden. Van belang is dan ook dat er sprake is van een periodieke back-up van het systeem. Vaak is de beslissing om al dan niet te loggen een strategische keuze op business level niveau. Als er niet gelogd wordt, dan is het niet mogelijk om de volgorde van handelingen te reconstrueren zoals hierboven beschreven. Daarnaast is het zo dat een event log niet direct in het format beschikbaar is waarmee de IT auditor aan de slag kan. In de praktijk zullen de verschillende componenten waaruit de event log bestaat verspreid staan op verschillende plaatsen in het IT systeem [KOOP2014].
2.3.
Analysetechnieken binnen process mining
Door het gebruik van analysetechnieken waarbij gezocht wordt naar vaak voorkomende patronen is het mogelijk automatisch procesmodellen af te leiden (process discovery). Door deze modellen wordt vastgesteld wat er nu daadwerkelijk gebeurt binnen een proces of organisatie. Het blijkt dat de in de praktijk gevonden procesmodellen vaak afwijken van de theoretische procesmodellen waarin wordt uitgegaan van de ideale situatie [KOOP2014]. Voor het zichtbaar maken van de verschillen tussen de normatieve procesbeschrijving en het werkelijke proces wordt gebruik gemaakt van conformance checking technieken [AALST-5]. In de literatuur wordt hierbij verwezen naar “Log delta analysis: Interpretable differencing of Business process event logs”, en “Complete and interpretable conformance checking of business processes”.Met behulp van conformance checking wordt zichtbaar gemaakt wat de mate van compliance is (bijvoorbeeld 90% van de control flow loopt volgens plan) en waar in het proces de grootste afwijkingen te vinden zijn (bijvoorbeeld “deze controle activiteit wordt veelvuldig overgeslagen”). Indien de event log en het proces model redelijk overeenstemmen kan er ook voor worden gekozen om het procesmodel te verrijken (enhancement) met de additionele informatie uit de log [AALST2011-2].
Figuur 4: Positionering van de drie belangrijkste typen van process mining [AALST2011-2]
Toelichting op figuur 4.
Informatiesystemen besturen en ondersteunen in toenemende mate processen en organisaties. Als gevolg hiervan worden steeds meer events geregistreerd. Deze kunnen gebruikt worden voor de drie vormen van process mining: (a) “discovery”, (b) “conformance” en (c) “extension”. “Discovery” is gericht op het automatisch construeren van een model op basis van een event log. “Conformance” daarentegen gaat uit van een event log en een model en laat zien waar de grootste afwijkingen tussen model en werkelijkheid zitten. “Extension” probeert het model te verrijken met behulp van kennis afgeleid uit de log met historische informatie [AALST-5].
Voor het toepassen van process mining is het belangrijk dat er een koppeling plaatsvindt tussen het procesmodel en een event log. Hierdoor is het mogelijk de werkelijkheid af te spelen op het procesmodel. Eventuele afwijkingen tussen procesmodel en event log worden hierdoor direct zichtbaar. Dit kan belangrijk zijn voor compliance en auditing. Door het gebruik van tijdsaanduidingen (time stamps) van event logs kunnen eventuele knelpunten worden opgespoord. Het signaleren van deze knelpunten kan weer aanleiding zijn voor procesverbetering.
Figuur 4 laat alleen de “control flow” zien. Van der Aalst [AALST2011-2] onderscheidt naast de drie typen van process mining (discovery, conformance en enhancement) ook een aantal verschillende perspectieven van processen. Van der Aalst onderscheidt hierbij de volgende perspectieven: (1) het control-flow perspective, (2) het organizational perspective, (3) het case perspective en (4) het time perspective.
Het control flow perspective richt zich op het ordenen van activiteiten. Het doel is het vinden van een goede beschrijving van alle mogelijke paden. Het organizational perspective richt zich op informatie van middelen verborgen in de event log. Bijvoorbeeld welke mensen, systemen of afdelingen zijn betrokken en hoe zijn ze aan elkaar gerelateerd. Het doel van dit perspectief is zowel het structureren van de organisatie door middel van het classificeren van mensen in functies als het zichtbaar maken van het sociale netwerk. Het case perspective richt zich op de eigenschappen van specifieke gevallen. Bijvoorbeeld als het gaat om een aanvullende order is het interessant om te weten wie de leverancier is geweest of het aantal artikelen dat is besteld. Bij het time perspective tenslotte gaat het om de timing en frequentie van gebeurtenissen. Als een gebeurtenis namelijk een tijdstempel met zich meedraagt dan is het mogelijk om knelpunten te ontdekken.
Opgemerkt dient te worden dat de verschillende perspectieven elkaar gedeeltelijk overlappen. Niettemin geven ze een goede beschrijving van de aspecten die process mining wil analyseren.
2.4.
Petri net modellen
Voor het visueel weergeven van processen wordt veelal gebruik gemaakt van Petri net modellen (zie figuur 5). In Lectures on Petri nets I [REIS1998] wordt een Petri net gedefinieerd als een graaf waar transities (activiteiten of taken) en plaatsen (places) verbonden zijn door middel van pijlen. Een transitie kan worden uitgevoerd als alle input places voorzien zijn van een token.
Een place is derhalve geen state. De marking van het net is de state (dus de combinatie van places die een token hebben). Een transition fires en is atomic van aard. Daarbij consumeert het een token van alle input places en produceert het een token voor alle output places.
Figuur 5: Petri net
In de getoonde Petri net [HAKV2008] wordt de workflow vastgelegd door de verschillende paden die kunnen worden gelegd tussen de verschillende “plaatsen” (A tot en met A). Een voorbeeld van een workflow zou de volgende volgorde van stappen kunnen hebben A C (D || G H ) F A.
Nader toegelicht: C heeft twee output places, namelijk één naar D en één naar G. Zowel D als G zijn “enabled” en de transitie F vereist een token in beide input places. H moet dus ook worden uitgevoerd (hetgeen vereist dat G wordt uitgevoerd).
Door nu vooraf de workflow te definiëren kan met behulp van conformance checking zichtbaar worden gemaakt wat de mate van conformance is. Met conformance checking bekijk je of het proces zoals uitgevoerd overeenkomt met het model van het proces zoals het bedoeld is. Als blijkt dat de workflow een process volgorde weergeeft van ACDFA dan is dit in overeenstemming met het vooraf gedefinieerde model. Een workflow met de stappen ACHDFA behoort niet tot de mogelijkheden.
2.5.
Voorwaarden voor het toepassen van
process mining
Om process mining toe te kunnen passen is het van belang dat de gebruiker bekend is met de voorwaarden voor het gebruik van de logbestanden en de transactiegegevens. In deze paragraaf worden de verschillende voorwaarden nader worden toegelicht.
De eerste voorwaarde betreft het bestaan van een adequaat procesmodel, die als norm dient voor conformance analyse. Als tweede voorwaarde geldt dat het onttrekken van event logs aan een informatie systeem mogelijk is om de process mining analyse uit te voeren. Daarvoor dienen deze logs te bestaan uit gebeurtenissen (events) die verwijzen naar een activiteit (activity, bijvoorbeeld het autoriseren van een inkooporder), waarbij de activiteit verwijst naar een subject (case of process instance, bijvoorbeeld een inkooporder) en waarbij de gebeurtenissen geordend zijn [HAKV2008].
Wanneer events worden gelogd in een informatiesysteem dient aan de volgende voorwaarden te worden voldaan om zodoende bruikbaar te zijn voor de toepassing van process mining [DONGEN2005] :
1. Ieder gelogd aspect moet een gebeurtenis zijn die op zeker moment heeft plaatsgevonden. De gebeurtenis moet niet verwijzen naar een periode. Bijvoorbeeld de start van een activiteit is een gebeurtenis evenals het beëindigen van de activiteit (kort gezegd: een event log legt een state change vast). Het bezig zijn met de activiteit dient niet te worden gezien als een gebeurtenis;
2. Ieder gelogd aspect dient te verwijzen naar slechts één activiteit en deze activiteiten dienen uniek te zijn;
3. Ieder gelogd aspect moet een beschrijving bevatten van de gebeurtenis die heeft plaatsgevonden in relatie tot de activiteit (bijvoorbeeld de activiteit start of einde); 4. Ieder gelogd aspect dient te verwijzen naar een subject. Bijvoorbeeld voor welke
factuur is het betalingsproces in gang getreden;
5. Ieder event moet verwijzen naar een process instance (en waarbij ieder process instance behoort bij een zeker proces).
Naast de event log dient ook het procesmodel dat voor de conformance checking wordt gebruikt te voldoen aan een aantal voorwaarden. Het is belangrijk dat het proces model alle mogelijke en toegestane proces stappen bevat. Als het proces model alleen de ideale proces stap bevat dan zal dit er toe leiden dat veel subjecten niet door proces model worden weergegeven. Hierbij dient opgemerkt te worden dat dataprocessen in werkelijkheid niet noodzakelijk volledig zijn. Er zijn uitzonderingsgevallen die niet worden gemodelleerd, maar wel mogelijk zijn.
Afsluitend kan worden opgemerkt dat het voor het toepassen van conformance checking het gebruik van een Petri net model zoals beschreven in paragraaf 2.4. een van de mogelijkheden is. Hiervoor is echter wel een formeel procesmodel nodig voor automatische analyse. Een Petri net is daar een voorbeeld van. De tools die dit ondersteunen werken op basis van Petri nets, BPMN (Business Process Model and Notation), EPC (Event-Driven Process Chain modellen) et cetera.
2.6.
Gerelateerd werk over process mining
Bij de selectie van het gerelateerd werk over process mining is rekening gehouden met het feit of de betreffende artikelen onderwerpen beschrijven die (zijdelings) gerelateerd zijn aan process mining en dan in het bijzonder op de tweede onderzoeksvraag “Wat is nodig aan informatie voor de accountant in het kader van de jaarrekening controle”.
In de hierna behandelde artikelen wordt ingegaan op de kansen die process mining biedt in het kader van de jaarrekening controle maar ook op de tekortkomingen van process mining waardoor toepassing van process mining in het kader van de jaarrekening controle niet zondermeer een succes is.
De afgelopen decennia zijn er veel artikelen verschenen over het onderwerp process mining. Vooral vanuit de Technische Universiteit Eindhoven worden onder supervisie van Professor Dr. Ir. Wil M.P. van der Aalst veel artikelen over het onderwerp process mining gepubliceerd. Van der Aalst wordt op het gebied van process mining gezien als een van de toonaangevende wetenschappers. In “Process Mining : Discovery, Conformance and Enhancement of Business Processes” gaat Van der Aalst uitgebreid in op de belangrijkste technieken die samenhangen met process mining [AALST2011-2]. Daarnaast laat van der Aalst in zijn boek tevens zien hoe deze technieken kunnen worden toegepast.
In “Auditing 2.0: Using process mining to support tomorrow’s auditor” [AALST2010-1] wordt een nadere uiteenzetting gegeven van het gebruik van Petri net modellen in de controle. Door het gebruik van actuele data kan de IT auditor met behulp van Petri net modellen afwijkingen achterhalen op het moment dat ze gebeuren. Zelfs de mogelijkheid om afwijkingen te voorspellen wordt in dit artikel beschreven. Van der Aalst is er van overtuigd dat het toepassen van process mining het werk van IT auditors en accountants drastisch zal veranderen. Met name de analytische vaardigheden en de IT vaardigheden van IT auditors en accountants zullen op de proef worden gesteld.
In “Process Mining” [AALST2012-3] gaat Van der Aalst in op het gebruik van process mining technieken waardoor organisaties in staat zijn om als het ware een doorlichting te maken (Van der Aalst gebruikt hiervoor het woord x-Ray) van hun business processen om zo knelpunten te signaleren. Voor deze knelpunten dienen dan oplossingen te worden gezocht. Van der Aalst geeft aan dat oplossingen kunnen worden gevonden door het gebruik van “Process Discovery” waarmee processen kunnen worden herzien en voorts het gebruik van “conformance checking” waarmee kan worden nagegaan waar processen afwijken.
Mieke Jans gaat in het artikel “Process mining of event logs in auditing: opportunities and challanges” [JANS2010-1] in op de waarde van process mining van event logs voor interne en externe accountants. In het stuk wordt het feit benadrukt dat de vastlegging van de data in een event log automatisch en onafhankelijk plaats vindt van de persoon van wie het handelen onderwerp is van het onderzoek. Voorts geeft zij aan dat de informatie in event logs tot voor kort vrijwel niet werd gebruikt door accountants. Wanneer bedrijven echter in staat zijn om event logs wel efficiënt te gaan gebruiken is de verwachting dat deze event logs als de ultieme “monitoring tool” kunnen worden gebruikt. Iedere handeling van een medewerker wordt namelijk geregistreerd zonder dat de medewerker daar invloed op uit kan oefenen.
In “Process Mining: A new research methodology for AIS” [ALLES2011] gaan Alles en Jans in op de toepassing van process mining bij veel voorkomende accounting onderwerpen zoals “continuous auditing” en het signaleren van fraude. Naast een uitgebreide beschrijving van hoe een “event log” wordt gecreëerd (waar in dit referaat zoals hiervoor opgemerkt niet verder wordt ingegaan) gaan zij ook in op de verschillende methoden van process mining zoals die paragraaf 2.3 worden onderkend. Zij vragen zich onder meer af of alle
mogelijkheden die process mining in zich heeft kunnen worden benut. Ook vragen zij zich af of er enige waarde zit in de opgeslagen data in event logs. Vragen die in het artikel overigens niet verder worden beantwoord.
Gehrke [GEHRKE2010] besteedt in zijn artikel “Basic principles of financial process mining a journey through financial data in accounting information systems” aandacht aan het gebruik van een algoritme om financiële boekingen te “process minen” om zo de process instances te reconstrueren die aanleiding hebben gegeven voor de betreffende boeking. Het doel van het artikel is om de kloof tussen de process benadering en de benadering vanuit de accountancy te slechten. Het visualiseren van het financiële proces moet accountants en process managers er toe brengen dat zij hun blik op het financiële process verruimen. Namelijk van het verwerken van boekingen in de financiële administratie naar een process georiënteerd perspectief dat is verweven met een waarde stroom van financiële informatie.
In het artikel “Business process mining and reconstruction for financial audits” wordt door M. Werner [WERN2012] ingegaan op de discrepantie die er is tussen de wijze waarop geïntegreerde en geautomatiseerde processen worden gecontroleerd door middel van handmatige controles. Door middel van een geautomatiseerde en systeem gerichte analyse, die vervolgens visueel wordt weergegeven, worden IT auditors in staat gesteld om efficiënter om te gaan met de complexiteit van geïntegreerde processen en interne controles.
In ”Process mining: conformance analysis from a financial audit perspective” [HAKV2008] gaat het om een toepassing van process mining gericht op de controle van de financiële administratie. Met name het gebruik van conformance checking kan worden gebruikt als een techniek die wordt aangewend bij het uitvoeren van een controle. Toch zijn zij van mening dat process mining niet zondermeer het “ei van columbus” is. Competentietabellen en functiescheiding zijn nog steeds noodzakelijk om een bepaald niveau van zekerheid te realiseren.
Het artikel “Lessons learned bij toepassing van process mining” van M. Haasnoot-Bezverhaya [HAAS2012-2] geeft een beschrijving van de aandachtspunten en moeilijkheden die de techniek van process mining met zich meebrengt. Als belangrijkste knelpunten ziet zij de vaak matige kwaliteit van de beschikbare data, de moeite die het kost om de juiste data te selecteren en de kosten die gemoeid zijn met het construeren van een event log vanuit de bronsystemen.
In het vervolg op het in de voorgaande alinea genoemde artikel publiceert M. Haasnoot-Bezverhaya een artikel over “Controleerbaarheid en kwaliteit van event logs” [HAAS2013-3]. Uiteindelijk komt het er volgens haar op neer dat reeds in de beginfase (de zogenaamde analyse en ontwerpfase) van de implementatie van een bedrijfsproces moet worden nagedacht over de inrichting van een event log. Vervolgens moet in de testfase worden getest of de event log conform de specificaties is gebouwd om vervolgens in de nazorgfase eventuele wijzigingen van het proces in de event log aan te passen.
Als we de hiervoor behandelde artikelen naast elkaar zetten dan blijkt dat er tussen de verschillende schrijvers uiteenlopende meningen zijn omtrent het gebruik van process mining in het kader van de jaarrekening controle.
Van der Aalst [AALST2010-1] is van mening dat door het toepassen van process mining het werk van de IT auditor in relatie tot de jaarrekening controle drastisch zal veranderen. Dat dit van invloed is op benodigde competenties van de IT auditor is helder. Hakvoort en Sluiter [HAKV2008] daarentegen zijn iets genuanceerder in hun mening over het gebruik van process mining in het kader van de jaarrekening controle. Zij zijn van mening dat het voor het toepassen van process mining nog steeds noodzakelijk is om uit te gaan van minimaal aanwezige functiescheidingen om zo een bepaald minimum niveau van zekerheid te realiseren.
2.7.
Samenvatting en conclusies
Om te kunnen komen tot een beantwoording van de primaire onderzoeksvraag “Hoe kan process mining de accountant ondersteunen bij de jaarrekening controle” zijn in de inleiding een aantal deelvragen afgeleid. Voor de beantwoording van de eerste twee deelvragen is in dit hoofdstuk ingegaan in op de theorie rondom process mining.
De eerste deelvraag luidt: “Wat is process mining en welke kennis kan worden verkregen door process mining?”
Voor de beantwoording van deze deelvraag is gebruik gemaakt van een selectie van artikelen die ingaan op de betekenis van process mining. In de inleiding van dit hoofdstuk, paragraaf 2.1, is uiteengezet hoe deze selectie tot stand is gekomen.
Voor de beantwoording van de vraag “Wat is process mining” kan worden aangesloten bij de definitie zoals die wordt gehanteerd door het Business Process Management Center.
“The basic idea of process mining is to extract knowledge from event logs recorded by an information system. Until recently, the information in these event logs was rarely used to analyze the underlying processes. Process mining aims at improving this by providing techniques and tools for discovering process, control, data, organizational, and social structures from event logs. Fueled by the omnipresence of event logs in transactional information systems […] process mining has become a vivid research area”.
De schrijvers van de artikelen over process mining zijn het er over eens dat het bij process mining primair gaat om het ontdekken en analyseren van processen waarbij gebruik wordt gemaakt van event logs. Waarbij we een event log hebben gedefinieerd als een record van events in een informatiesysteem.
Hierbij kan worden gesteld dat de kracht van process mining afhankelijk is van hoe uitgebreid de event log is in de vastlegging van alle activiteiten die relevant zijn voor het te analyseren process.
Voorts blijkt dat het voor de toepassing van process mining noodzakelijk is dat aan een vijftal voorwaarden wordt voldaan [DONGEN2005]. Pas wanneer is voldaan aan deze vijf voorwaarden is een efficiënte toepassing van processing mining in de praktijk mogelijk.
Voor de beantwoording van de vraag “Welke kennis kan worden verkregen door process mining?” kan het beste worden aangesloten bij de verschillende analysetechnieken die worden beschreven in de literatuur. Met behulp van deze analysetechnieken kunnen verschillende process modellen worden gegenereerd waarna met behulp van deze process modellen en de hieruit voortvloeiende informatie de IT auditor, in samenspraak met de accountant, vervolgens gericht zijn controle werkzaamheden kan uitvoeren.
Er kan onderscheid worden gemaakt in drie verschillende analysetechnieken van process mining [AALST2011-2]. Zie paragraaf 2.3. voor een nadere toelichting van de drie verschillende analyse technieken. Naast Van der Aalst [AALST2011-2] onderschrijven ook Alles [ALLES2011], Jans [JANS2010-1], Haasnoot-Bezerhaya [HAAS2009-1] en Aalst/Koopman [AALST2015-4] het gebruik en de toepassingsmogelijkheden van deze analysetechnieken.
Door het gebruik van de analysetechnieken kunnen processen in kaart worden gebracht (process discovery). Voor de accountant die bezig is met zijn jaarrekeningcontrole zijn de bestaande processen een belangrijk uitgangspunt om zijn controle op in te richten. In het kader van de jaarrekeningcontrole (beoordelen van de administratieve organisatie en de interne beheersing) zijn ook de afwijkingen tussen het normatief procesmodel en de
werkelijkheid van belang (conformance checking). Voor het visueel weergeven van processen wordt in de praktijkgebruik gemaakt van Petri net Modellen. Hierdoor is het voor de IT auditor eenvoudiger om te analyseren waar er sprake is van afwijkingen van de verwachte workflow.
De hiervoor genoemde analysetechnieken en het gebruik van Petri net modellen zijn er op gericht om vanuit de beschikbare event logs te komen tot een beschrijving en/of visuele vastlegging van de processen zoals die in werkelijkheid plaatsvinden.
Door nu de processen zoals die in werkelijkheid plaatsvinden naast de vooraf gedefinieerde process modellen te leggen kunnen eventuele afwijkingen worden gesignaleerd waarna door de IT auditor gerichte (herstel) acties kunnen worden ondernomen.
De tweede deelvraag luidt: “Wat is nodig aan informatie voor de accountant in het kader van de jaarrekening controle?”
Over het onderwerp process mining is en wordt nog steeds veel gepubliceerd. Als rode draad door de gepubliceerde artikelen loopt het feit dat process mining een belangrijke bijdrage kan leveren in het audit proces.
Zowel op het vlak van process discovery, waarbij alles er op gericht is om inzicht te krijgen in de feitelijke proces gang, als op het vlak van conformance checking waarbij de soll situatie (het vooraf gedefinieerde proces model) wordt vergeleken met de ist situatie (het werkelijke proces model). Uitgangspunt is dat de IT auditor begrip heeft van de bedrijfsprocessen van de onderneming. Op deze wijze kan de IT auditor namelijk een dergelijke analyse op een efficiënte en effectieve manier aanpakken.
Tot slot van dit hoofdstuk kan aan de hand van de meningen van de verschillende schrijvers uit paragraaf 2.6 worden geconcludeerd dat de IT auditor en de accountant voor het uitvoeren van hun werkzaamheden in het kader van de jaarrekening controle waarbij gebruik wordt gemaakt van de techniek van process mining moeten kunnen beschikken over bruikbare event logs.
Voorwaarden voor een bruikbare event log zijn dat er sprake moet zijn van logging van alle administratieve handelingen. Voorts speelt de kwaliteit (maar ook de beschikbaarheid en betrouwbaarheid) van de gegevens waar gebruik van wordt gemaakt om te komen tot een event log een belangrijke rol. Daarnaast is het samenspel tussen de IT auditor, de accountant, de data analist en de verantwoordelijke financiële man van het bedrijf eveneens van belang bij de samenstelling van de event log. Wat tenslotte van belang is, is kennis van de vastleggingen gerelateerd aan de bedrijfsprocessen, de boekingsgangen en het onderliggende datamodel van de relevante systemen [KOOPMAN2014]. Alleen wanneer is voldaan aan deze voorwaarden is het mogelijk om door analyse van het proces model in relatie tot de event log eventuele knelpunten op te sporen.
In hoofdstuk 3 wordt een praktijk onderzoek uitgevoerd. In het praktijkonderzoek wordt process mining toegepast op het inkoopproces van een productiebedrijf.
In bijlage 1 is een vereenvoudigd voorbeeld opgenomen van een inkoopproces zoals dat gebruikelijk is bij een productiebedrijf.
Uitgaande van hetgeen in hoofdstuk 2 is beschreven kan process mining worden toegepast op het gehele inkoopproces vanaf het moment van bestelling van de goederen tot en met het moment van betalen van de inkoopfactuur. Door middel van conformance checking kan worden geanalyseerd welke processtromen aansluiten (conformance) op het procesmodel en welke niet (non-conformance). Hiervoor is het noodzakelijk dat uit het ERP systeem de event logs worden onttrokken van het inkoopproces waarin de bovenstaande elementen van het inkoopproces zijn opgenomen.
3.
Praktijkonderzoek
3.1.
Inleiding
In het voorgaande hoofdstuk is op basis van literatuuronderzoek inzicht verkregen in het onderzoekdomein, is een definitie gegeven van process mining en is nader ingegaan op analysetechnieken binnen process mining. Tevens is ingegaan op Petri net modellen en de voorwaarden voor het toepassen van process mining. Het hoofdstuk is afgesloten met een vastlegging van het inkoopproces zoals dat bij een productiebedrijf gebruikelijk is.
In dit hoofdstuk wordt de methodologie nader uitgewerkt. Het uiteindelijke doel is om na te gaan of process mining bruikbaar en nuttig is om in de praktijk te gebruiken door de accountant bij zijn werkzaamheden die samenhangen met de jaarrekening controle. De bevindingen van het praktijkonderzoek worden gebruikt om een antwoord te gegeven op de laatste twee deelvragen zoals die in hoofdstuk 1 zijn geformuleerd.
De derde deelvraag luidt: In welke mate is de vereiste data die benodigd is voor process mining beschikbaar.
De vierde en tevens laatste deelvraag luidt: In welke mate zijn de mogelijkheden van process mining toepasbaar in de accountantspraktijk.
Voor de beantwoording van beide deelvragen wordt gestart met een casestudy in paragraaf 3.2. In paragraaf 3.2 wordt de keuze voor de gehanteerde methodologie nader toegelicht. In paragraaf 3.3 wordt vervolgens ingegaan op de keuze van het te onderzoeken productiebedrijf. Paragraaf 3.4 geeft een beknopte beschrijving van de mining technieken binnen het pakket perceptive software (waarmee het process mining onderzoek zal plaatsvinden). Afsluitend wordt in paragraaf 3.5 de toepassing van process mining op een aantal onderdelen van het inkoopproces van het onderzochte productiebedrijf nader uitgewerkt. Het hoofdstuk wordt afgesloten met een samenvatting van het praktijkonderzoek in paragraaf 3.6.
Naast de uitwerking van de casestudy zijn verscheidene interviews met deskundigen afgenomen. De uitkomsten van deze interviews zijn eveneens gebruikt bij de beantwoording van de laatste 2 deelvragen. De opzet en de uitvoering van de interviews zijn uitgewerkt in hoofdstuk 4 Expert Interviews.
3.2.
Case study onderzoeksmethodologie
Yin [Yin1994] stelt dat de onderzoeksmethodologie afhankelijk is van het type onderzoeksvraag. Yin onderscheidt de volgende type onderzoeksvragen: een wie-vraag, een wat-vraag, een waar-vraag, een hoe-vraag en de waaromvraag. Dit onderzoek richt zich op de hoe-vraag: “Hoe kan process mining de accountant ondersteunen bij de jaarrekening controle”.
Yin stelt voor om bij de beantwoording van de hoe-vraag een case study uit te voeren. Daarom is bij dit onderzoek gekozen voor door een kwalitatieve empirische aanpak in plaats van een kwantitatieve aanpak. Een kwalitatieve case studie heeft een aantal voordelen. Eén van de voordelen is dat het rekening houdt met de restricties waaraan een onderzoeker is gebonden. Naast voordelen heeft een kwalitatieve case studie ook een aantal nadelen. In een kwalitatief onderzoek is het lastig om de validiteit te controleren. Validiteit is de relatie tussen het theoretische paradigma en de empirische metingen. Om de validiteit in een kwalitatief onderzoek te waarborgen heeft Yin [Yin1994] een aantal richtlijnen opgesteld. Het onderzoek
moet gericht zijn op het gebruik van meerdere, verschillende bronnen. Daarnaast moet een onderzoek transparant zijn om achteraf de stappen die genomen zijn en die tot de conclusie hebben geleid, te evalueren.
De derde richtlijn die Yin [Yin1994] heeft opgesteld, is om het onderzoek te laten herzien door mensen (experts) die daar bij betrokken zijn. Tot slot beveelt Yin [Yin1994] aan om meerdere case studies naast elkaar te analyseren, dit om de externe validiteit te vergroten. De bovenstaande richtlijnen van Yin zijn bij het uitvoeren van het onderzoek zoveel mogelijk in acht genomen.
Daarnaast is er gekozen voor het interviewen van ervaringsdeskundigen die ervaring hebben met de toepassing van process mining in de accountants- en/ of de IT-praktijk.
Voor een nadere uitwerking van de interviews wordt verwezen naar hoofdstuk 4.
3.3.
Dataverzameling
Het heeft enige moeite gekost om een bruikbare database te verkrijgen. De database die vanuit de praktijk was aangeleverd door een handelsbedrijf (zakelijke relatie van M. Karel) bleek niet bruikbaar. In de betreffende database waren onder andere de inkopen vastgelegd die door het handelsbedrijf waren gedaan bij haar leveranciers. Het bleek niet mogelijk om een bruikbare event log uit het systeem te verkrijgen tegen acceptabele kosten. Om toch een database te kunnen hanteren van waaruit een bruikbare eventlog kon worden gegenereerd is contact gezocht met Coney uit Halfweg. Coney is een middelgroot accountantskantoor die zich bezig houdt met de controle van middelgrote en grote MKB bedrijven. Bij de uitvoering van haar controlewerkzaamheden maakt Coney gebruik van process mining door het toepassen van perceptive process mining. Coney is bereid gevonden een database beschikbaar te stellen van een productiebedrijf met de gefingeerde naam Cool Products BV. (hierna Cool). In deze database zijn opgenomen de gegevens met betrekking tot de inkopen van de materialen. In bijlage 2 is een nadere toelichting gegeven op het inkoopproces van Cool. Het spreekt voor zich dat de informatie van Cool voor publicatiedoeleinden is bewerkt. Het is echter wel een weergave van een situatie zoals die in de controle praktijk voorkomt. Door Coney is tevens de event log beschikbaar gesteld met behulp waarvan de casestudy kon worden uitgevoerd.
3.4.
Beknopte beschrijving van de mining
technieken binnen het pakket perceptive
software (Lexmark)
Perceptive software ontwikkelt proces management en content management software die de leemtes in organisatie informatie dicht (http://www.lexmark.com/nl). Perceptive is onderdeel van Lexmark International. Perceptive Process mining is een van de tools die worden geleverd door Lexmark International. Hierbij dient ‘Perceptive’ te worden gezien als een productnaam. Het product is het toepassen en het gebruik van de techniek van process mining. Vergelijk de boekhoudpakketen Exact, Visma, Twinfield, Reeleezee et cetera. Allemaal productnamen die staan voor een boekhoudpakket met het doel te boekhouden. Perceptive Process Mining bevat twee mining technieken voor het “verzamelen” van informatie. Dit zijn respectievelijk de fast miner en de thorough miner. De thorough miner bevat een complexe algoritme en valt buiten de scope van dit referaat. De fast miner kijkt welke mogelijke paden belopen worden door de cases in de event log. Vervolgens classificeert de tool de paden door het ‘meest belopen’ pad boven aan te plaatsen, dan het
pad dat daarna het meest gevolgd wordt et cetera. Door de vastlegging van deze paden worden interacties binnen een bedrijfsproces gevisualiseerd, knelpunten worden gesignaleerd en effectiviteit van medewerkers wordt geëvalueerd [PERC2014]. In het uitgevoerde praktijk onderzoek is alleen gebruik gemaakt van de hierboven beschreven fast miner.
3.5.
Process mining toegepast op het
inkoopproces van het productiebedrijf Cool
Products BV
Uitgangspunt voor de casestudy zijn de gegevens met betrekking tot het inkoopproces die zijn “opgeslagen” in de database zoals die ontvangen is van Coney. Door een data-analist in dienst van Coney is een eventlog ter beschikking gesteld waarmee het inkoopproces van Cool is op te vragen met behulp van perceptive.
In bijlage 1 is het overzicht weergegeven van de “Soll-positie” van het inkoopproces bij Cool. Het uiteindelijke doel van het onderzoek van de accountant is om de “Ist-positie” (de subsidiaire gegevens) te toetsen aan de “Soll-positie” (de primaire vastlegging) [KLOOS2013]. In bijlage 3 is het overzicht weergegeven van de “Ist-positie” van het inkoopproces bij Cool. Bij nadere bestudering van dit overzicht blijkt dat er sprake is van een aantal afwijkingen van de gewenste procedure. Bij elke activiteit is het aantal transacties vermeld en bij de pijlen is de doorlooptijd van de ene activiteit naar de andere vermeld.
De “normale” procedure vanaf het moment dat de inkoopfactuur is ontvangen is dat er een Three-way match wordt uitgevoerd waarbij de inkooporder en de inkoopfactuur met elkaar worden “gematcht” en voorts wordt er volgens de procedure een controle uitgevoerd op de geboekte ontvangsten ten opzichte van de inkoopfactuur en de eerder aangemaakte inkooporder. Na akkoord van de inkoopfactuur vindt er dan betaling plaats.
De geconstateerde afwijkingen bestaan eruit dat er in een aantal situaties na de factuur ontvangst geen Three-way match plaats vindt. De factuur wordt dus feitelijk zonder controle goedgekeurd. Daarnaast blijkt dat er in een aantal gevallen direct na de Three-way match de betaling plaatsvindt zonder accordering van de betreffende inkoopfactuur. Deze afwijkingen van de normale werkprocessen noemen we ook wel de zogenaamde “olifantenpaadjes” (feitelijk de transacties die buiten het gewenste pad zijn gegaan), zie figuur 6.
Deze situaties zullen hierna met behulp van het toepassen van process mining via perspective nader worden onderzocht.
Het eerste werkproces dat met process mining nader onderzocht wordt is het proces waarbij de ontvangen inkoopfacturen onderworpen dienen te worden aan een Three-way match. Met perceptive is het mogelijk om met gebruikmaking van filters nader in te zoomen op het hiervoor genoemde “olifantenpaadje”. We spreken ook wel van het “minen” van een proces.
Wanneer we het filter zo instellen dat er ingezoomd kan worden op de situatie dat de Three-way match wordt overgeslagen dan blijkt dat er in totaal 2.084 inkoopfacturen worden aangeboden. Zie bijlage 3. Van deze inkoopfacturen lopen 299 inkoopfacturen niet via de Three-way match. Zie bijlage 4. Van belang is dan uiteraard om te weten welke functionarissen deze inkoopfacturen hebben goedgekeurd zonder gebruikmaking van de Three-way match.
Vanuit perceptive is het mogelijk om naast de transacties ook in te zoomen op de zogenaamde “rollen”. Aan deze “rollen” zijn de functionarissen gekoppeld die de betreffende
