Dit hoofdstuk geeft een verdere uitwerking van het AGIT+ Controle raamwerk en resulteert in een voorstel voor controledoelstellingen. In dit onderzoek wordt het model niet uitgewerkt tot het niveau van specifieke beheersingsmaatregelen. Dit zou een te specifiek raamwerk opleveren en het daarmee minder toepasbaar maken bij andere organisaties. Het gecreëerde model biedt een basis voor een verdere gedetailleerde uitwerking in andere onderzoeken en/of audit afdelingen. Ter illustratie worden een aantal voorbeelden van beheersingsmaatregelen uitgewerkt.
5.2 Bouwstenen
Zoals beschreven in de vorige paragraaf bestaat het AGIT+ Controle Raamwerk uit de volgende 3 bouwstenen:
1. AGIT;
2. Governance; en 3. IT Foundation.
De vraag die zich nu aandient is hoe de bovenstaande bouwstenen vertaald kunnen worden naar controledoelstellingen. De uitwerking naar controledoelstellingen van de bouwstenen wordt hieronder per bouwsteen beschreven:
AGIT
Zoals in paragraaf 4.3 is beschreven, bestaat AGIT uit de volgende aandachtsgebieden die beheerst moeten worden:
IT Management;
Teamleden;
Scrummaster; en
Product owner.
Bovenstaande aandachtsgebieden zullen worden opgenomen in de bouwstenen van het
controleraamwerk. De controledoelstellingen zijn gebaseerd op de geformuleerde doelen van het AGIT Model (zie ook tabel 4.1).
Governance:
In de interviews worden met name de volgende op governance gerichte controledoelstellingen genoemd :
Juiste rollen en verantwoordelijkheden;
Betrokkenheid van Senior Management, hoe dragen agile software ontwikkelmethoden zoals Scrum bij aan de IT Strategie en hoe wordt Scrum scalability beheerst.
IT Foundation:
Bij IT foundations gaat het om minimale vereisten aan controles die betrekking hebben op kwaliteitsaspecten als betrouwbaarheid, integriteit en beschikbaarheid. IT foundation betreft aspecten die indien ze niet worden ontwikkeld, nog steeds tot een oplossing leiden die kan functioneren op korte termijn, maar die op de midden-lange termijn tot betrouwbaarheids- en continuïteitsproblemen zal leiden. IT foundation is toegevoegd, omdat Scrum hierover geen
terecht komen, is via het kennis- en ervaringsniveau van het Scrum team. Om te voorkomen dat minimale controles over het hoofd worden gezien is het noodzakelijk om de IT Foundation mee te nemen in de audit en niet alleen te steunen op proces controles. De ontwikkelaars kunnen de spelregels van Scrum op de juiste manier toepassen, maar fundamentele, op de kwaliteit van de software gerichte functionaliteit (controles) missen. Belangrijke controledoelstellingen om te adresseren zijn: architectuur, change management (met alle fasen daarbinnen) en
gebruikerstoegang.
5.3 AGIT+ Controle raamwerk
Op basis van bovenstaande analyse kan het controleraamwerk verder worden vormgegeven. In paragraaf 5.3.1 wordt stilgestaan bij de onderzoeksvraag (binnen de scope van dit onderzoek). In paragraaf 5.3.2 worden nog twee additionele aandachtspunten benoemd die binnen het vakgebied van de IT auditor vallen, maar formeel buiten de scope van dit onderzoek vallen.
5.3.1 “In scope” analyse
De eerdere analyse kan als volgt visueel worden weergegeven in Figuur 5.1. Het is een handreiking in de vorm van een controleraamwerk (met voorbeelden van controledoelstellingen). In het blauw zijn de bouwstenen weergegeven. In het grijs de aandachtsgebieden met daaronder mogelijke
controledoelstellingen.
Figuur 5.1: Controle raamwerk AGIT+
Bovenstaand model wordt in bijlage V verder in detail uitgewerkt met controledoelstellingen en verdergaande voorbeelden tot op controle niveau.
AGIT+ Controle Raamwerk Agile Scrum Software Development
Governance AGIT IT Foundation - IT Management o Project rapportage o Kwaliteitsnormen implementatie - Teamleden o Werknemerstevredenheid rapportage - Scrummaster o Belemmeringen management - Product owner/klant o Doorlooptijd en kosten reductie
- Agile Scrum Strategie o Project methode beslissing o Duidelijke rollen en verantwoordelijkheden o Support Senior Management
o Agile scrum draagt bij aan IT Strategie
- Agile Scrum scalability aanpak
o Heldere overkoepelende structuur Scrum projecten zorgt voor afhankelijkheden management - Architectuur o Comptabiliteit applicatie landschap
o Ontwerp logische data modellen
o Scheiding van omgevingen - Agile Change management o Management vereisten o Test management o Implementatie management - Gebruikers toegang o Gecontroleerde gebruikers toegang omgevingen
Onderzoeksvraag 5:
Wat verandert er in de rol van de IT auditor bij toepassing van agile methoden (zoals Scrum) om de faalkans te mitigeren?
Aangezien er een trend is dat agile projecten steeds vaker worden toegepast in organisaties, moet de IT auditor mee bewegen om toegevoegde waarde te kunnen leveren met ter zake doende oordelen en adviezen en te ondersteunen in het voorkomen van schade door projectfalen. De vraag dient zich nu aan: “maar hoe”? De belangrijkste verandering zit in de constatering dat agile op een andere manier wordt georganiseerd dan de traditionele projecten. Dit aspect moet worden meegenomen in het controle programma op basis van het AGIT Model. Het voorgestelde model staat stil bij de analyse van het Scrum project zelf en de neemt tevens de belangrijke mens en omgevingsfactoren mee.
Op basis van de interviews kan worden geconcludeerd dat bij de toepassing van agile software ontwikkelmethoden zoals Scrum nieuwe faalfactoren ontstaan. Projecten in omgevingen als de overheid/financiële dienstverlening zijn overwegend groot en complex, waardoor direct tegen de schaalbaarheid van de agile ontwikkelmethoden zoals Scrum wordt aangelopen. Hierdoor is het AGIT Model zelf te beperkt/eenzijdig om als effectief controle programma te kunnen functioneren en is het door mij uitgebreid tot: AGIT+ Controle Raamwerk (zie ook figuur 5.1 en bijlage V).
5.3.2 “Out of Scope” analyse
Naast bovenstaande analyse die antwoord geeft op de onderzoeksvragen en daarnaast een voorstel doet tot een controleraamwerk, zijn uit het onderzoek ook nog twee andere aandachtspunten naar bovengekomen waar een organisatie mee kan worstelen bij de implementatie van agile software ontwikkelmethoden zoals Scrum. Deze twee punten zijn niet in dit onderzoek specifiek geraakt, maar deze zijn wel van belang om te benoemen om mogelijk mee te nemen als aandachtspunten. Deze twee aandachtspunten zijn:
1. Implementatie in de organisatie: dit staat stil bij het vraagstuk op welke manier agile software ontwikkelmethoden zoals Scrum geïmplementeerd zou moeten worden (dit is dus een eenmalig vraagstuk voor een organisatie bij het begin van een Scrum implementatie). Er zijn overwegingen voor ofwel top-down als bottom-up;
2. Samenwerking met derden (outsourcing): uit de interviews werd duidelijk dat er nieuwe uitdagingen ontstaan bij samenwerking met derden. Dit staat mogelijk op gespannen voet met agile software ontwikkelmethoden zoals Scrum.
Aangezien bovenstaande aandachtspunten formeel niet tot de scope van dit onderzoek behoren, worden bovenstaande elementen geadresseerd in hoofdstuk “6.4 onderwerpen vervolg onderzoek”. Nu beschreven is hoe de veranderende handreiking tot een controleraamwerk eruit ziet, wordt in de volgende paragraaf onderzocht hoe stakeholders deze aanpak waarderen.
5.4 Analyse toegevoegde waarde controleraamwerk
In deze paragraaf wordt beschreven in hoeverre de (project) verantwoordelijken en/of stakeholders de veranderende aanpak/instrumentarium herkenbaar vinden en er toegevoegde waarde aan toekennen.
Dit brengt ons tot de laatste onderzoeksvraag:
Onderzoeksvraag 6:
Zullen de projectverantwoordelijken (programma managers en projectleiders) alsook
projectopdrachtgevers de veranderende aanpak en/of instrumentarium van de IT auditor, om reden van faalkansvermindering, van toegevoegde waarde vinden?
Om antwoord te geven op bovenstaande vraag, worden de volgende stappen genomen:
5.4.1 Profiel voorwaarden
Om tot een juiste keuze te komen welke professional de bovenstaande vraag, over de toegevoegde waarde van het raamwerk, objectief zou kunnen beantwoorden is gekeken naar de volgende voorwaarden:
Hij/zij moet brede ervaring hebben met het toepassen van agile software
ontwikkelmethoden zoals Scrum binnen een organisatie en daarbij ook oog hebben voor de dagelijkse praktijk, met alle voor- en nadelen van agile software ontwikkelmethoden; Hij/zij moet met een Senior Management niveau naar de vraagstelling kunnen kijken, gezien
de antwoorden op vraagstellingen bedoeld zijn voor Toezichthouders, Audit Commissie en Algemeen Bestuur;
Hij/zij moet vanuit meerdere stakeholders geabstraheerd kunnen analyseren en vanuit verschillende invalshoeken naar het vraagstuk kunnen kijken; en
Hij/zij moet onafhankelijk zijn t.o.v. van andere geïnterviewden.
5.4.2 Chief Information Officer
Het uitgangspunt voor het onderzoek is dat het profiel van een Chief Information Officer (CIO) aan de hiervoor genoemde punten voldoet. Een CIO is verantwoordelijk voor succesvolle en brede implementatie van agile software ontwikkelmethoden (bijvoorbeeld Scrum) in zijn/haar IT organisatie. Een CIO bekijkt de problematiek vanuit senior management perspectief en is zich bewust van de informatiebehoefte van de toezichthoudende organen. Daarnaast is een CIO als geen ander in staat om vanuit verschillende stakeholders te denken (klant/opdrachtgever en IT
management).
Om deze redenen is de CIO van ING Bank NL (Domestic Bank NL), Peter Jacobs, benaderd voor een extra interview. Er kan ook worden gesteld dat CIO onafhankelijk is van de andere geïnterviewden aangezien zij allen actief zijn voor Commercial Banking (en daarmee niet voor Domestic Bank NL). In het gesprek met de CIO is de aanleiding van het onderzoek besproken, wat de bekende
faalfactoren zijn voor IT projecten, in hoeverre Scrum hiermee omgaat en vervolgens waar er nieuwe faalfactoren ontstaan bij het toepassen van agile software ontwikkelmethoden zoals Scrum. Het AGIT+ Raamwerk is aan de CIO ING Bank NL voorgelegd met de benoemde controledoelstellingen om te toetsen of dit herkenbaar is, toegevoegde waarde kan bieden en/of welke zaken er nog in missen.
Zoals ook al beschreven in hoofdstuk 4 bij de scope van het AGIT+ Raamwerk, betreft het een raamwerk tot op beheersings-doelstellingenniveau. De validatie tot op beheersings-
maatregelenniveau zou een te grote complexiteit opleveren. De beoordeling van de beheersings- maatregelen moet door de IT audit professionals bij klantgerichte implementaties zelf worden
uitgevoerd. Dit is situatie afhankelijk; in een raamwerk kunnen dan ook alleen voorbeelden worden gegeven.
5.4.3 Conclusie
De CIO ING Bank NL herkent ten eerste dat het meetbaar maken van de prestaties voor Scrum projecten verder kan verbeteren en dat het goed is dat auditors aandacht hebben voor de prestatie van agile software ontwikkelmethoden en hun mogelijke issues daaromtrent. Hij geeft aan de toegevoegde elementen aan het AGIT Model te herkennen als onderwerpen van toegevoegde waarde bij een review en advies door de IT auditor:
1. Governance, waarbij vooral aandacht zou moeten zijn voor hoe de verschillende Scrum projecten moeten worden beheerst. De technische en organisatorische afhankelijkheden tussen de teams blijft een risico en een uitdaging en is daarom een belangrijk
aandachtsgebied;
2. IT controles (IT foundation) inhoudelijk beoordelen: De auditor zou niet alleen naar het proces moeten kijken, maar juist ook naar de inhoudelijke IT aspecten. De auditor moet in zijn onderzoek betrekken of aan de minimale technische vereisten wordt voldaan. Hierbij moet de auditor niet alleen de procescontroles meenemen, maar juist naar de inhoudelijk op de beheersing gerichte functionaliteit.
Op basis van het bovenstaande interview kan worden geconcludeerd de CIO NL nog de meeste toegevoegde waarde ziet in de toegevoegde elementen op AGIT: 1. Governance en 2. IT Foundation. Dit gezien de inhoudelijke risico’s die daarmee worden geadresseerd.
Hiermee trek ik de conclusie dat de voorgestelde aanpak van het AGIT+ Raamwerk een
aanvliegroute is voor beoordelingen van en advisering over een agile project omgevingen (in dit geval Scrum). De volgende validatie stap is een praktijk toepassing. Dit gaat de scope van het onderzoek te buiten. Het model biedt gronden om uitgewerkt te worden voor verschillende type organisaties. Het is een kapstok om de juiste aspecten mee te nemen in het onderzoek. De effectiviteit van een uitgewerkt programma kan worden onderzocht in mogelijke
vervolgonderzoeken.
5.5 Samenvatting
Dit hoofdstuk heeft een verdere uitwerking van het AGIT+ model gegeven dat uitmondt in een controle raamwerk met daarbij een handreiking voor controledoelstellingen, uitgewerkt per bouwsteen. Het hoofdstuk wordt afgesloten door een validatie in de praktijk op basis van een interview met de Chief Information Officer van ING Bank. In het volgende hoofdstuk wordt het gehele onderzoek resumerend beschreven in de vorm van conclusies en aanbevelingen voor de volgende stappen die genomen kunnen worden.
Hoofdstuk 6. Conclusies en aanbevelingen