Het interviewschema

Interview gebruik process mining - conformance checking bij een inkoopproces Naam geïnterviewde: Functie geïnterviewde: Datum: Tijd: Plaats: Vragen

(uitleg fasering van het interview: algemeen, samenstelling event log, IT-general controls, data- kwaliteit event log, slot vragen)

Algemeen

1. a. Wat is de aanleiding dat u process mining - conformance checking gebruikt? b. Op welke wijze gebruikt u process mining - conformance checking bij een interim-

controle?

c. Welke process mining tool gebruikt u hiervoor?

Samenstelling proces model en event log

Geschiktheid van het proces model

2. a. Hoe wordt de geschiktheid van het toegestane gedrag (behavorial appropriateness) in het model bepaald?

b. Hoe wordt de geschiktheid van de presentatie van het model bepaald (structural appropriateness)?

c. Wordt er gebruik gemaakt van declarative models of procedural models?

d. Zijn er verschillen in aandachtspunten voor de bepaling van de geschiktheid tussen deze twee type modellen? Zo ja, welke?

e. In welke fase (tijdstip) van de jaarrekeningcontrole moet het proces model worden opgesteld?

f. Wat zijn verder belangrijke aandachtspunten bij de bepaling van de geschiktheid van het proces model?

Geschiktheid van het event log

3. a. Hoe wordt de geschiktheid van een event log bepaald?

b. In welke fase (tijdstip) van de jaarrekeningcontrole moet het event log worden opge- steld?

c. Wat zijn verder belangrijke aandachtspunten bij de bepaling van de geschiktheid van het event log?

Betrokken mensen

4. a. Welke medewerkers dienen er betrokken te zijn bij de totstandkoming van een pro- cesmodel?

b. Welke medewerkers dienen er betrokken te zijn bij de samenstelling van een event log?

c. In welke fase (tijdstip) van de jaarrekeningcontrole dienen deze mensen betrokken te worden voor de totstandkoming van het proces model en het event log?

47

IT general controls

5. Welke IT general controls zijn relevant voor het gebruik van process mining?  Logische toegangsbeveiliging

 Changemanagement  Procesbeheer

 Probleembeheer

 Management- en organisatiebeleid

6. Op welke wijze zijn de hierboven genoemde IT general controls relevant?

7. Welke werkzaamheden moet de (IT) auditor verrichten ten aanzien van deze IT ge- neral controls?

8. Wat voor gevolgen heeft een niet effectieve ITGC op het gebruik van process mi- ning (per ITGC te bepalen)?

9. Wat zijn verder belangrijke aandachtspunten bij de ITGC's?

Data-kwaliteit event log

9. a. Welke kwaliteitsaspecten zijn relevant ten aanzien van de data? b. Hoe wordt de kwaliteit van het event log gemeten?

c. Wordt hierbij gebruik gemaakt van een maturity model? d. Wie dient de data-kwaliteit van een event log vast te stellen?

10. Wat zijn verder belangrijke aandachtspunten bij de bepaling van de data-kwaliteit van het event log?

11. In hoeverre zijn de samenstelling van het event log en de IT general controls van invloed op de kwaliteit van het event log?

Slotvragen

12. Hoe wordt het kwaliteitsaspect 'betrouwbaarheid' van de totstandkoming van het proces van conformance checking gewaarborgd?

13. Hoe wordt hierbij omgegaan met de dossiervorming en de relevante bepalingen uit NV COS ten aanzien van dossiervorming?

14. Wat zijn volgens u de belangrijkste uitdagingen voor het gebruik van conformance checking als audittool voor de interim-controle van het inkoopproces?

15. Heeft u nog bepaalde zaken die u aan mij kwijt wilt?

16. Hoe ziet u de toekomst rondom het gebruik van process mining - conformance checking bij jaarrekeningcontroles?

48 9.6.2 Gespreksverslagen interviews Gespreksverslag P. Kromhout Datum: 15 juli 2015 Tijd: 14:00 – 15:30 Algemeen

Kromhout gebruikt process mining bij de risk assesment in de planningsfase en bij de inte- rim-controle in de jaarrekeningcyclus. Bij de risk assesment toetst Kromhout of het proces loopt zoals het loopt. Veelal zie je dat een proces anders loopt dan je denkt. Dit betekent ook dat de risico's op een andere plek kunnen zitten in het proces en dat je ook de controls op een andere plek moet gaan testen, wat je in de interim-controle gaat doen. De klant zegt dat het proces op een bepaalde manier loopr en in de risk assesment checken we of het proces ook daadwerkelijk zo loopt. Tijdens de interim-controle testen we de controls middels pro- cess mining. Deze testen we op basis van de risk assesment. Als je in plaats van 1 hoofd- stroom, 3 hoofdstromen hebt, dan zul je ook controls op andere plekken moeten gaan testen (uitzonderingen in de processen). Met process mining checken we of we nu de goede con- trols testen of dat er nog meer controls aanwezig zijn in het proces en hoe het zit met de uit- zonderingen.

Hierbij speelt materialiteit ook een rol. Je hoeft niet alles te testen. Je pakt alle data en kijkt naar de omvang van de verschillende stromen (kanalen). Met process mining kun je alle pro- cessen zien. Je kunt daarom in de planmingsfase een risk based benadering maken van de stromen. In bepaalde workflows in het inkoopproces zit minder risico en daarom ga je als auditor hier minder controls testen.

Doormiddel van het uitlezen van data middels process mining kun je zien welke flows er zijn, maar ook andere relevante informatie zoals de waarde van de gemiddelde inkoop en hoe vaak de workflow wordt gebruikt. Hiermee kun je een risk based audit approach maken op basis van alle data.

Het voordeel van process mining ten opzichte van de oude audit aanpak is dat er inzicht wordt verkregen in hoe het proces daadwerkelijk door het systeem loopt. Dat wijkt veelal af van wat men denkt en wat men zegt op basis van interviews. In de audit kan er doelgericht lijnen in het inkoopproces worden uitgezet voor de controltesting bij de interim-controle. Als er geen controls in de workflow zitten in het systeem betekent het dus dat er controls aan de buitenkant moeten zitten en dat je die moet testen.

Voor de advieskant van de IT auditor kan process mining gebruikt worden voor operational effectiveness. Vanuit advieskant kan het heel interessant zijn om de interne procesflow zoals mensen denken dat het proces gaat naast deze flow uit het systeem te leggen en met de directie de verschillen te bespreken. Dit veelal gericht op risico's, efficiency en operational excellence. Vanuit de auditkant is deze analyse gericht op risico's in de procesflow (IST). Afwijkingen in de workflow zijn inzichtelijk. Deze afwijkingen zijn veelal door de klant niet ge- documenteerd in hun interne processtromen, maar kunnen in de praktijk blijkbaar wel plaats- vinden. Daarnaast kun je bijvooreeld processen in meerdere landen van een organisatie ver- gelijken. Mooi is om te zien dat dezelfde systeem worden gebruikt in de landen maar er veelal anders wordt gewerkt. Vanuit de event log wordt ingezoomed op de uitzonderingen en de stappen in het proces bij de uitzonderingen (afwijkende paden). Zijn deze stappen nodig, mogen deze stappen? Als deze stappen niet nodig zijn of niet mogen dan moet het systeem aangepast worden. Naast het in kaart brengen van de workflow kun je ook de timing en de kwaliteit van de processtappen in kaart brengen. Hoelang duurt het nu voor een processtap uitgevoerd wordt? Als een processtap atijd binnen drie seconden gebeurt kun je je afvragen of de kwaliteit van de control wel goed is.

De eerste sponsor om process mining te gebruiken bij het inkoopproces was een auditper- soon. Accountant zag door de bomen het bos niet meer in het proces. De vraag die rees was

49 of we het gewoon niet een keer uit het systeem kunnen halen om te kijken hoe het proces echt loopt.

Kromhout gebruikt de process mining tool 'Disco'. Samenstelling proces model en event log

Disco heeft geen proces model nodig om in te voeren. Alle data wordt uit het systeem ge- trokken in de vorm van een event log en die wordt in Disco geladen. Dat is de 'ist' van het inkoopproces. Er wordt geen soll naast gelegd vanuit de tool Disco. De soll is gebaseerd op de audit approach waar een standaard workflow wordt geacht aanwezig te zijn met minimaal een aantal functiescheidingen en controls. Deze soll positie wordt bepaald in samenwerking met de financial auditor. Deze soll positie leg je tegen de ist aan en vervolgens stel je vast waar in het proces (obv event log) nu die functiescheiding en die control zit die je op basis van je soll verwacht. De norm (soll) is dus niet visueel in het process mining tool Disco. Je redeneert wel vanuit controlenormen. Welke controls verwacht je minimaal in de sys- temen/proces.

De tool bouwt zelf de ist op in de vorm van een visuele workflow. Samenstelling event log:

Event log wordt samengesteld op basis van het proces model. Wat hebben we nodig om de workflow te genereren. Welke tabellen moeten we hebben vanuit het systeem.

Technische statussen in het systeem zijn soms anders dan die de mensen zelf zien. Hier- door moet in het event log een vertaalslag worden gemaakt tussen de technische status en de operationele status om de workflow bruikbaar te maken. Dit maakt het genereren van het event log complexer. Op systemen van bijvoorbeeld grote banken en leasemaatschappijen lukt het maken van een event log wel gemakkelijk. Als je naar systemen gaat waarbij histo- risch gezien een workflow minder belangrijk is dan wordt het lastig deze gegevens uit de systemen te krijgen in een kant en klare event log. Leasing is bijvoorbeeld van oudsher work- flow gedreven. Er is sprake van veel standaardisatie en daarom sterk workflow gedreven. Daar waar je veel manuele acties krijgt of waar je minder geautomatiseerde processen hebt dan wordt het moeilijker om een event log te genereren uit het systeem. Dat is ook een van de randvoorwaarden. Het moet een behoorlijk automatisch proces zijn en het systeem moet het wel loggen. Anders zegt het ook te weinig.

De IT auditor is betrokken bij de data uitvraag en doet deze uitvraag bij de IT afdeling en soms zelfs service desk. Het komt voor dat een deel van het inkoopproces is uitbesteed en de data bijvoorbeeld daarom niet in de standaard set van de eigen data zit (datawarehouse). Gezien de specifieke kant van de data uitvraag wordt dit gedaan door de IT auditor die meer kennis heeft van data.

Na ontvangst van het event log wordt het ingelezen in Disco.

Het is niet direct essentieel om vroegtijdig in het jaarrekeningproces betrokken te zijn als process mining expert. Het is echter wel handig omdat je veel data wil analyseren. Als je het aan het eind van het jaar doet moet je veel data analyseren. Omdat je een risk assesment doet is het goed om vroegtijdig betrokken te zijn en in dit stadium al betrokken bent. Bijvoor- beeld eerst data analyseren van Q1 en Q2 en aan het eind van het jaar nog een keer maar dan voor Q3 en Q4. Als je het hele jaar in Q4 doet en je komt dan zaken tegen die niet goed zijn, dan moet je extra manuele controls/werkzaamheden uitvoeren.

IT general controls

Functiescheidingen kun je testen met process mining. Process mining is detectief en niet preventief. Preventieve controles zijn beter dan detectief. Juist als de ITGC’s niet effectief zijn is process mining een goed controlemiddel om vast te stellen of dit gevolgen heeft ge- had. In de praktijk zie je veelal dat de ITGC logische toegangsbeveiliging niet effectief is. De

50 vraag de speelt: Is het nu fout gegaan of niet? Dat kun je vaststellen met process mining. Middels process mining kun je bijvoorbeeld vaststellen dat bij niet effectieve ITGC's, er geen issues zijn waargenomen die een verhoogd risico ten aanzien van de jaarrekening veroor- zaakt. Bijvoorbeeld dan middels process mining vast kunnen stellen dat functiescheiding in alle gevallen is gewaarborgd. Anderzijds als iets niet gebeurd is wil dit niet zeggen dat het niet kan. Op basis van risk assesment worden de ITGC's daarom wel getest. Daarnaast moet vastgesteld worden of het event log niet gemanipuleerd kan worden. Manipulatie van een event log kan alleen in de applicatie plaatsvinden. Bij de ITGC's zal er specifiek gekeken worden naar de toegang binnen de applicatie en toegang tot de applicatie. Kan IT direct in de applicatie? Meestal alleen in database of operating systeem.

Process mining is een transaction logging en geeft aan wat de personen kunnen en hebben gedaan (gedrag). Bij grote klanten is logische toegangsbeveiliging een issue om effectief te krijgen. Je kunt zeggen dat de ITGC's niet effectief zijn maar door middel van process mining het risico is gemitigeerd doordat je kunt zeggen dat er geen doorbrekingen van functieschei- ding heeft plaatsgevonden. Hierdoor kun je wel zeggen of het proces in control is.

Data-kwaliteit event log

Bij de ontvangst van het event log is het essentieel om vast te stellen dat het event log juist en volledig is. De volledigheid wordt vastgesteld door aansluiting te maken met andere bron- documentatie. Een integrale aansluiting met de database van het systeem. Daarnaast wordt de juistheid en volledigheid gecontroleerd door kritisch te kijken naar de workflow die gege- nereerd is. Als je stappen mist dan kan het een vertekend beeld geven van het proces en de controls. Stel je hebt zes stappen maar je logt er maar drie dan zegt dat niet voldoende over het hele proces. Je komt daar vanzelf wel achter want bij de visualisatie krijg je anders een onlogisch proces. Kromhout noemt een voorbeeld waarbij een interface niet goed heeft ge- werkt waardoor de datawarehouse niet volledig is gevuld en daardoor de verkregen data in het event log ook niet volledig was. Dit zul je moeten toetsen door de workflow op basis van het event log te bespreken met de proceseigenaar. Daarnaast is een belangrijke kwaliteits- criteria van het event log de kwaliteit van de 'timestamp'. Het komt veel voor dat de kwaliteit van de timestamp ontoereikend is. Zo komt het voor dat bijvoorbeeld processtappen eerder eindigen dan dat ze beginnen doordat de logging vervuild was. Je hebt voldoende datakwali- teit nodig maar ook unieke identifiers. Dit is één van de problemen waardoor SAP niet goed werkt. Bij SAP krijgt een event in elke module een andere code. Dus geen unieke identifier die je door het hele proces kunt halen. Hierdoor kan je niet alle stappen op elkaar aansluiten. Event log moet qua timestamp en user bruikbaar zijn. Juistheid en volledigheid checks op de data in het event log zijn nodig om de betrouwbaarheid en bruikbaarheid te waarborgen. Er wordt geen maturity/meetinstrument gebruikt om de kwaliteit van event log te meten. Er wordt juist andersom geredeneerd. Wat hebben we minimaal nodig om een goed event log op te bouwen? In dit geval de minimale data die de tool Disko nodig heeft. Hoe minimaler je het houd hoe makkelijker het voor de klant wordt om op te leveren. Eerst proberen het pri- maire proces eruit te halen. De bereidheid om mee te doen met een pilot van process mining is groter bij de klant als er gericht wordt gevraagd naar datavelden dan een complete export van alle data.

Betrouwbaar proces:

Belangrijk om de betrouwbaarheid te waarborgen van het proces rondom process mining is het proces stap voor stap te documenteren. Aansluitingen maken met andere bronbestan- den. Aansluitingen maken met de informatie die de accountant ook heeft in zijn te controle- ren cijfers/data van de processen (bijvoorbeeld grootboek). Kloppen de workflows? Commu- niceren met de proceseigenaar. Als de timestamps niet kloppen dan krijg je ook gekke pro- cessen. Is het logisch wat je ziet en valideer de workflow met de klant. Dat moet uiteindelijk ook de kwaliteit waarborgen dat het juist en volledig is. Je laat de data door de tool lopen en bouwt een procesflow op. Je valideert vervolgens de procesflow met de klant. Controle op manipulatie van de logging op alle transacties is teveel werk. Dit ligt meer op ITGC's niveau.

51 Als je niet kunt steunen op logging zou je in theorie geen gebruik kunnen maken van process mining. Kan de operationeel medewerker direct de timestamps manipuleren? Met welk doel dan? Risk based benaderen en bruikbaarheid van het event log bepalen.

Slot

Process mining hoeft niet complex te zijn. Je kan met een paar velden data (timestamp, acti- viteit, user) een behoorlijke flow opbouwen. Je hebt business kennis nodig om process mi- ning toe te passen.

Stapsgewijs documenteren en overwegingen vastleggen. Waarom ga je naar uitzonderingen kijken etc. Betrouwbaarheid vastleggen van process mining (documenteren). Ook verbanden leggen tussen transacties in de flow. Mis ik niks?

Accountant stopt de risk assesment in het dossier en toetst de functiescheiding in het in- koopproces middels process mining. Waar zitten de controls? Toegevoegde waarde is het snel kunt doorgronden hoe processen lopen en niet hoe men denkt en zegt dat het loopt op basis van interviews.

De accountant zal steeds meer gaan werken met data-analyse. Business Intelligence of IT- auditor zal meer gaan verweven met een accountant. Als controls die vooraf zijn gedefini- eerd niet in inkoopproces dan minder interessant voor process mining. Als het geen groot core proces is zoals bij banken en verzekeringsmaatschappijen dan ook minder interessant voor process mining vanuit auditperspectief. Kromhout denkt dat op den duur alleen maar data-analyse wordt gebruikt bij audits. Process mining is een vorm van data-analyse: Binnen de organisatie van Kromhout worden de volgende soorten van data-analyse onder- scheiden:

- Process mining: op processen gericht (geen financiële aspecten alleen op workflow); - Facts and value: transactie-analyse. Gericht op de transactie (financieel);

- Portefeuille analyse: momentopname van een portefeuille;

- Aansluitingen: verbandscontroles (reperformance om interfaces te testen).

Belangrijkste uitdagingen: Nieuwe systemen wel, maar legacy systemen nog niet workflow gedreven. SAP of Oracle nog lastig om kant en klaar event log te genereren. Process mining meer integreren in de audit. Ideaal zou zijn dat de klant een database heeft die is gekoppeld met de accountant. Periodieke extracties naar server van accountant. Zonder handmatige actie periodiek rapporten genereren. Waarom nog naar de klant toe met de USB stick? Daarnaast wil je een standaard auditaanpak en niet elke keer iets nieuws gaan opvragen. We hebben data, risico’s onderkend en controls vastgesteld. Alleen bij wijzigingen controle aanpak aanpassen. Draagt bij aan efficiency. Standaard uitvraag en tooling voor nodig. De bron (database) moet bij de gehele audit hetzelfde zijn voor een betrouwbaar proces. Waar de financial audit haar gegevens uithaalt en de IT auditor voor process mining. Uitdaging is dat dit uit dezelfde database komt. Veel zie je nog dat er iemand weer een SQL aan het bouwen is en hierdoor je veel meer aansluitingen moet maken met bronbestanden om de betrouwbaarheid vast te stellen. MKB heeft een wildgroei van systemen.

Per systeem afhankelijk wat wordt gelogd. Oude systemen zie je vaak alleen datum en tijd tot de minuut. Je hebt tijd tot op de seconde nodig. Binnen 1 minuut kun je best twee stap- pen doorlopen en bij visualisatie middels process mining krijg je dan teveel stappen op el-

In document Process mining : het gebruik van conformance checking bij de jaarrekeningcontrole (pagina 46-65)