6 Praktijkonderzoek in de vorm van expertvalidatie
6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie
Stakeholdermapping - △ ⎷ △ △ ⎷ △ △
Demo/review Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team Langere doorlooptijd en/of omvangrijke scope ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel Langere doorlooptijd en/of omvangrijke scope △ △ △ △ △ △ △
Persoonlijke kanban - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) - △ △ △ △ ⎷ △ △
Fysiek op een locatie werken - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane - △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet - △ △ △ △ △ △ △
Heartbeats - △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 6.7: Verrijkende werkwijzen per situatie: resultaten uit literatuuranalyse, empirisch onderzoek en conclusies
⎷= verrijkend
△ = verrijkend, maar onzeker voor de desbetreffende situatie
6.6 Samenvatting: verrijkende werkwijzen voor auditmethodologie per auditcategorie
In dit hoofdstuk zijn de resultaten uit de expertvalidatie weergegeven. Vanuit de expertvalidatie zijn vijf van de zeven werkwijzen die zijn aangedragen vanuit de literatuurstudie bevestigd als verrijkend.
Daarnaast zijn door de experts twaalf aanvullende werkwijzen aangedragen als verrijkend. Experts hebben daarbovenop gestemd over de situaties waarvoor de agile-werkwijze als verrijkend kan worden aangemerkt.
In totaal zijn vanuit de analyse van de resultaten zeventien agile-werkwijzen als verrijkend voor auditmethodologie aangenomen. Deze werkwijzen kunnen overwogen worden in verschillende situaties. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties waarvan met zekerheid kan worden gesteld dat de agile-werkwijzen verrijkend zijn, is opgenomen in Tabel 6.8.
46
Werkwijzen Situaties waarin de werkwijzen verrijkend zijn
Belanghebbende is verantwoordelijke Belanghebbende wil zekerheid Doorlooptijd <2 weken Doorlooptijd >2 weken < 6 weken Doorlooptijd > 6 weken Opdracht beperkte scope Opdrachten omvangrijke scope
Backlog per audit ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams △ △ △ △ △ △ △
Stakeholdermapping △ ⎷ △ △ ⎷ △ △
Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel △ △ △ △ △ △ △
Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) △ △ △ △ ⎷ △ △
Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet △ △ △ △ △ △ △
Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 6.8: Verrijkende werkwijzen voor auditmethodologie per situatie
⎷= verrijkend
△ = verrijkend, maar onzeker voor de desbetreffende situatie
47 7 Conclusie
In dit onderzoek is nagegaan hoe auditmethodologie eruitziet wanneer de methodologie is verrijkt met werkwijzen uit methoden gebaseerd op agile.
Uit de literatuurstudie over auditmethodologie zijn de belangrijkste kenmerken van bestaande auditmethodologie gebleken. Door de kenmerken te kruisen met de belangrijkste kenmerken uit agile, is een overzicht ontstaan met beperkingen van auditmethodologie vanuit agile-perspectief. De resultaten zijn gevalideerd door een expert op het gebied van auditmethodologie. In een
literatuurstudie is onderzocht welke werkwijzen invulling bieden voor die beperkingen. Het overzicht met verrijkende werkwijzen is vervolgens gevalideerd en aangevuld door experts met behulp van een Delphi-studie.
Op basis van het uitgevoerde onderzoek is bevestigd dat auditmethodologie verrijkt kan worden met agile-werkwijzen. Methodologie houdt in dat de methode die wordt toegepast per situatie geschikt wordt gemaakt (hoofdstuk 2). Bestaande werkwijzen uit auditmethodologie blijven derhalve gehandhaafd (Tabel 7.1).
Methoden/werkwijzen opzetten en uitvoeren audit Methoden/werkwijzen beheersen audit Risicoanalyse voor selectie opdrachten Strokenplanning
Contextanalyse voor bepalen type audit en haalbaarheid van de opdracht
Capaciteitsplanning
Auditontwerp (conceptueel en technisch Kosten/baten-afweging voor inzet capaciteit
Veldwerk voor verzamelen van data Informatiebeheersing door vooraf vastleggen hoe toegang tot documenten wordt geborgd
Scoren van criteria Voortgangsbewaking op kwaliteit, tijd, kosten en organisatie en informatie door auditmanager
Hoor en wederhoor Teamevaluatie
Rapporteren Evaluatie door de opdrachtgever
Tabel 7.1: Bestaande werkwijzen auditmethodologie
Aanvullend zijn zeventien agile-werkwijzen als verrijkend aangenomen (Tabel 7.2). Aan de hand van een indeling in auditcategorieën is tevens nagegaan in welke situaties deze zeventien werkwijzen verrijkend zijn. Daaruit is gebleken dat niet voor elke situatie met zekerheid kan worden gesteld dat de werkwijze verrijkend is. Een overzicht van de zeventien verrijkende werkwijzen, gelinkt aan de situaties (auditcategorieën) waarvan met zekerheid kan worden gesteld dat de werkwijzen verrijkend zijn, is opgenomen in Tabel 7.2.
48
Werkwijzen vanuit methoden gebaseerd op agile
Situaties waarin de werkwijzen verrijkend zijn
Belanghebbende is verantwoordelijke Belanghebbende wil zekerheid Doorlooptijd <2 weken Doorlooptijd >2 weken < 6 weken Doorlooptijd > 6 weken Opdracht beperkte scope Opdrachten omvangrijke scope
Backlog per audit ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams △ △ △ △ △ △ △
Stakeholdermapping △ ⎷ △ △ ⎷ △ △
Demo/review ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel △ △ △ △ △ △ △
Persoonlijke kanban ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) △ △ △ △ ⎷ △ △
Fysiek op een locatie werken ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet △ △ △ △ △ △ △
Heartbeats △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 7.2: Verrijkende werkwijzen voor auditmethodologie per situatie
⎷= verrijkend
△ = verrijkend, maar onzeker voor de desbetreffende situatie
De bestaande werkwijzen (Tabel 7.1) en agile-werkwijzen (Tabel 7.2) vormen samen
auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile. Zoals beschreven is methodologie de methode per situatie geschikt maken; keuzes uit de werkwijzen zullen derhalve per situatie moeten worden gemaakt.
49 8 Implicaties van het uitgevoerde onderzoek voor de praktijk
8.1 Betrouwbaarheid en validiteit van het uitgevoerde onderzoek
Auditmethodologie verrijkt met werkwijzen uit methoden gebaseerd op agile is tot stand gekomen door middel van literatuurstudie en expertvalidatie. De beperkingen van auditmethodologie vanuit agile-perspectief zijn onderzocht, waarna de beperkingen zijn ingevuld met agile-werkwijzen. Voor de uitvoering van het onderzoek zijn diverse maatregelen getroffen ten behoeve van de
betrouwbaarheid en validiteit (paragraaf 1.4).
Tijdens het onderzoek is gebleken dat in het negende interview geen nieuwe informatie meer werd verkregen (theoretische saturatie). De omvang van het panel is daarmee representatief voor de populatie. Sociaal wenselijk gedrag van panelleden is door middel van separaat interviewen van experts voorkomen. De experts hebben een overzicht ontvangen met daarin een korte
toelichting per agile-werkwijze om begripsverwarring te voorkomen. Primaire data uit het onderzoek is beschikbaar gesteld in de bijlagen waardoor resultaten kunnen worden geverifieerd. Op basis van de uitgevoerde werkzaamheden en de maatregelen die zijn getroffen ten aanzien van de
betrouwbaarheid kan worden gesteld dat bij herhaling van dit onderzoek de resultaten hetzelfde zouden zijn. Het onderzoek is daarmee betrouwbaar.
Belangrijke maatregel die is getroffen om de validatie van het onderzoek te borgen is het testen van de vragen voor de interviews en vragenlijst. Beide instrumenten zijn vooraf door
professionals uit het vakgebied getest. Echter, bij de analyse van de resultaten uit de Delphi-studie is gebleken dat de antwoordcategorieën voor ‘backlog als auditjaarplan’ in de vragenlijst niet passen bij de desbetreffende vraag. De resultaten uit het onderzoek voor ‘backlog als auditjaarplan’ zijn
derhalve niet valide. Voor de overige resultaten kan worden gesteld dat zich geen systematische fouten hebben voorgedaan; het onderzoek is derhalve voor de overige resultaten valide.
8.2 Verwachtingen versus de resultaten
Op basis van eerder onderzoek en de literatuurstudie bestonden bepaalde verwachtingen ten aanzien van de resultaten van dit onderzoek. Niet alle verwachtingen zijn uitgekomen.
Op basis van de uitgevoerde literatuurstudie werd verondersteld dat zeven agile-werkwijzen auditmethodologie zouden kunnen verrijken. Tijdens de expertvalidatie zijn de resultaten uit de literatuurstudie voor de ‘scrummeester’ niet zijn bekrachtigd. Het verschil in de resultaten kan zijn veroorzaakt doordat in de literatuur over auditmethodologie werkwijzen niet altijd als zodanig worden benadrukt. De theorie is daarmee minder concreet dan vooraf was verwacht. Experts
50 hebben vanuit de praktijk andere ervaringen met auditmethodologie dan vanuit het
literatuuronderzoek werd verondersteld. Experts hebben dan ook aangeven dat een ‘scrummeester’
binnen auditmethodologie reeds bestaat. Een van de agile-experts gaf daarnaast te kennen dat deze werkwijze reeds is achterhaald en experts hierop terugkomen. De resultaten voor ‘scrummeester’
zijn dan ook verworpen.
Naast de zes agile-werkwijzen die voortkwamen uit de literatuurstudie en zijn bekrachtigd door de experts, zijn aanvullend elf agile-werkwijzen als verrijkend aangenomen. Deze agile-werkwijzen (‘multidisciplinair team’, ‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’,
‘werkafspraken’, ‘fysiek op een locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) zijn niet onderkend tijdens de literatuurstudie. Oorzaak hiervan is dat de literatuurstudie is afgebakend op vijf methoden die zijn gebaseerd op agile. Daarnaast zijn alleen die werkwijzen in de literatuurstudie meegenomen, die in de literatuur expliciet zijn onderkend als werkwijze van een van deze vijf methoden. De elf werkwijzen die door experts als verrijkend voor auditmethodologie zijn aangedragen, komen niet als dusdanig voor binnen deze vijf methoden. Het kan echter wel zijn dat ze worden toegepast binnen de desbetreffende vijf methoden.
8.3 Betekenis resultaten voor de theorie en praktijk
Met het uitgevoerde onderzoek zijn nieuwe inzichten verkregen voor de theorie en praktijk. Eerdere onderzoeken toonden aan dat meer flexibiliteit en aanpassingsvermogen noodzakelijk zijn voor de uitvoering van een audit, maar zij gaven hiervoor geen suggesties. In dit onderzoek is aangetoond dat agile-werkwijzen wel degelijk een verrijking vormen voor auditmethodologie, en bijdragen aan flexibiliteit en aanpassingsvermogen. IAF’s kunnen op basis van dit onderzoek gaan experimenteren met werkwijzen waarvan is aangetoond dat zij een verrijking vormen voor auditmethodologie. De verwachting is dat, door deze werkwijzen toe te passen, een IAF beter kan inspelen op de
veranderende organisatie en meer flexibiliteit kan tonen. De verwachting is tevens dat de opdrachtgever hierdoor meer toegevoegde waarde ervaart.
Echter, met uitvoeren van de werkwijzen alleen is de auditor er (nog) niet. Het uitvoeren van werkwijzen is relatief gemakkelijk. Het creëren van een mindset en het naleven van agile-waarden is niet van vandaag op morgen gerealiseerd. De auditor moet vooruit leren kijken, innoveren en heeft een veilige werkomgeving nodig waarin hij of zij mag leren. Daar waar een IAF gewend is een meerjarenplan te maken, is dit niet meer passend wanneer bij agile-mindset.
Wanneer de IAF te maken heeft met een traditioneel ingestelde manier van werken in de top van de
51 organisatie, is het van belang dat ook hier support wordt verkregen. Traditioneel aansturen van de IAF zal anders confronteren met de agile-mindset van de auditors.
In dit onderzoek is niet expliciet stilgestaan het IPPF. Het IPPF heeft een belangrijke invloed op de wijze waarop een IAF haar werkzaamheden uitvoert. In interviews is hier meerdere malen naar gerefereerd. Hoewel het IPPF vrijheid geeft voor interpretatie, wordt het veelal strikt opgevat. IAF’s zullen zich daarom moeten afvragen of het IPPF nog passend is. Alleen auditmethodologie
aanpassen zal niet de volledig oplossing bieden voor het beperkte aanpassingsvermogen van de IAF.
Ook het IPPF zal hier meer richting voor moeten geven. Het gehele auditvakgebied zal moeten groeien op het vlak van aanpassingsvermogen.
Op deze plek is het eveneens van belang te benoemen dat de agile-werkwijzen niet het redmiddel zijn of een universele oplossing voor iedere IAF. Wanneer de IAF niet openstaat voor agile, agile ziet als een hype of het niet past bij de waarden van de organisatie zal er geen verandering ontstaan.
8.4 Beperkingen van het uitgevoerde onderzoek
Vanuit het onderzoek zijn enkele beperkingen geconstateerd. Bij de invulling van de vragenlijst hebben enkele experts te kennen gegeven dat zij het moeilijk vonden een antwoord te kiezen. De indeling in auditcategorieën zorgde ervoor dat veel keuzemogelijkheden waren gecreëerd. Het is aan te bevelen voor soortgelijk (vervolg)onderzoek in de vragenlijst enkel ‘ja’ en ‘nee’ als antwoorden op te nemen, aangevuld met de mogelijkheid ‘ja, tenzij’. Op deze manier hebben de experts meer keuzevrijheid in hun antwoorden, en hebben zij niet de indruk dat sprake is van auditcategorieën die mogelijk in hun ogen niet bestaan.
In de uitkomsten van het onderzoek zijn elf werkwijzen (‘multidisciplinair team’,
‘stakeholdermapping’, ‘retro met de klant’, ‘persoonlijke kanban’, ‘werkafspraken’, ‘fysiek op een locatie werken’, ‘backlog als auditjaarplan’, ‘fastlane’, ‘onderhanden-werk-limiet’ en ‘heartbeats’) als verrijkend aangenomen enkel op basis van de expertvalidatie. Van deze werkwijzen zijn het effect en resultaat niet bekend, en is niet duidelijk aan welke agile-kenmerken zij een bijdrage leveren. Om deze reden kan geen uitspraak worden gedaan in hoeverre de werkwijzen bijdragen aan de verbetering van de flexibiliteit en het aanpassingsvermogen in een audit.
52 8.5 Aanbevelingen voor vervolgonderzoek
In dit onderzoek is enkel gefocust op de theorie, die vervolgens is gevalideerd door experts.
Vervolgonderzoek is noodzakelijk om na te gaan of de agile-werkwijzen in de praktijk daadwerkelijk een verrijking vormen voor auditmethodologie. In vervolgonderzoek is het mogelijk te
experimenteren met de werkwijzen die als verrijkend zijn aangenomen. Daarmee kan worden onderzocht of daadwerkelijk meer flexibiliteit en aanpassingsvermogen in een audit wordt
gerealiseerd. Het is daarbij van belang na te gaan of de elf werkwijzen aangedragen door de experts daadwerkelijk bijdragen aan deze agile-kenmerken. Vervolgonderzoek zou zich ook kunnen focussen op de toegevoegde waarde die een opdrachtgever ervaart wanneer de voorgestelde werkwijzen worden toegepast. Tot slot kan worden onderzocht of het mogelijk is binnen de IAF meer agile toe te passen, naast de toepassing van werkwijzen binnen audits.
53 Bibliografie
Abrahamsson, P., Conboy, k., & Wang, X. (2009). Lots done, more to do': the current state of agile systems development research. European Journal of Information Systems, 18(4), 281-284.
Abrahamsson, P., Warsta, B., Siponen, M. T., & Ronkainen, j. (2003). New Directions on Agile Methods: A comparative Analysis. 25th International Conference on Software Engineering, (pp. 244-254).
Alqudah, M., & Razali, R. (2017). Key Factors for Selecting an Agile Method: A Systematic Literature Review. International Journal on Advanced Science Engineering Information Technology, 7(2), 526-537.
Al-Zewairi, M., Biltawi, M., Etaiwi, W., & Shaout, A. (2017). Agile Software Development Methodologies:Survey of Surveys. Journal of Computer and Communications, 5, 74-97.
Ayed, H., Vanderose, B., & Habra, N. (2014). Supported Approach for Agile Methods Adaptation:An Adoption Study. Proceedings of the 1st International Workshop on Rapid Continuous Software Engineering, (pp. 36-41). Hyderabad, India.
Beck, K., Beedle, M., Bennekum, A. v., Cockburn, A., Cunningham, W., . . . Thomas, D. (2001).
Manifesto for Agile Software Development. Opgeroepen op juni 20, 2017, van agilemanifesto: http://agilemanifesto.org/
Blom, M. (2010). Is Scrum and XP suitable for CSE Development? Procedia Computer Science, 1(1), 1511-1517.
Bos, P., De Korte, R., & Otten, J. (2017). Management Control Auditing: bijdragen aan doelrealisatie en verbetering. Driebergen, Nederland: Auditing.nl.
Bowers, A., Sangwan, R., & Neill, C. (2007). Adoption of XP Practices in the Industry – A Survey.
Software Process: Improvement and Practice, 12(3), 283-294.
Burch, S. (2011). Building an internal audit function: whether creating or transforming an audit function, CAEs need to understand all of the critical components-from stakeholder support to the audit methodology. Internal Auditor, 68(1), 46-51.
Cervone, H. F. (2011). Understanding agile project management methods using Scrum. OCLC Systems
& Services: International digital library perspectives, 27(1), 18-22.
Chirouze, O., Cleary, D., & Mitchell, G. (2005). A software methodologyfor applied research:eXtreme Researching. Software: Practice and Experience, 35(15), 1441-1454.
Chowdhury, A., & Huda, M. N. (2011). Comparison between Adaptive Software Development and Feature Driven Development. Proceedings of 2011 International Conference on Computer Science and Network Technology,, (pp. 363-367).
Conforto, E. C., Salum, F., Amaral, D. C., Silva, S. L., & Almeida, L. F. (2014). Can agile project management be adopted by industries other than software development. Project Mananagement Journal, 45(3), 21-34.
De Korte, R., & Otten, J. (2003). Operational audit: Van ‘containerbegrip’ naar een methodologisch ondersteunde auditvorm. Opgehaald van Auditing.nl.
Dikert, K., Paasivaara, M., & Lassenius, C. (2016). Challenges and success factors for large-scale agile transformations: A systematic literature review. The Journal of Systems and Software, 119, 87-108.
Dingsøyr, T., Nerur, S., Balijepally, V., & Moe, N. (2012). A decade of agile methodologies: Towards explaining agile software development. The Journal of Systems and Software, 85, 1213-1221.
Driessen, A., & Molenkamp, A. (2012). Internal auditing : een managementkundige benadering (5e, (herz) ed.). Deventer: Kluwer.
Drury, M., Conboy, K., & Power, K. (2012). Obstacles to decision making in Agile software development teams. The Journal of Systems and Software, 85, 1239-1254.
Dybå, T., & Dingsøyr, T. (2008). Empirical studies of agile software development: A systematic review.
Information and Software Technology(50), 833-859.
54 Fernandes , J., & Almeida, M. (2010). Classification and Comparison of Agile Methods. 2010 Seventh
International Conference on the Quality of Information and Communications Technology (pp.
391-396). IEEE Computer society.
Ghosh, G. (2012). Challenges in Distributed Scrum. 2012 IEEE Seventh International Conference on Global Software Engineering, (pp. 200-220).
Hamed, A., & Abushama, H. (2013). Popular Agile Approaches in Software Development: Review and Analysis. International confrence on computing, electrical an electronic engineering (pp. 160-166). Khartoum, Sudan: University of Khartoum.
Henderson-Sellers, B., & Serour, M. K. (2005). Creating a Dual-Agility Method: The Value of Method Engineering. Journal of Database Management, 16(4), 1-26.
Hoogveld, M. (2016). Agile managen. Culemborg, Nederland: Van Duuren Media.
Hu, Z., Yuan, Q., & Zhang, X. (2009). Research on Agile Project Management with Scrum Method. IITA International Conference on Services Science, Management and Engineering, (pp. 26-29).
Zhangjiajie, China.
Inayat, I., Salim, S., Marczak, S., & Daneva, M. (2015). A systematic Literature review on agile requirements engineering practices and challenges. Computers in Human Behavior, 51, 915-929.
Ionel, N. (2008). Critical analysys of the scrum project. Annals of the University of Orade, 435-441.
Jalali, S., Wohlin, C., & Angelis, L. (2014). Investigating the applicability of Agility assessment surveys:
A case study. The Journal of Systems and Software(98), 172-190.
Koch, A. S. (2005). Agile Software Development, Eveluating the Methods for your Organisation.
Norwood: Artech House.
Kongyai, B., & Edi, E. (2011). Adaptation of Agile Practices: A Systematic Review and
Survey-Adaptation of Agile Practices: A Systematic Review and Survey. Dr. Jürgen Blekinge Tekniska Högskola, Sektionen för datavetenskap och kommunikation.
Lee, G., & Xia, W. (2010). Toward Agile: An integrated analysis ofquantative and qualitive field data on software development agility. MIS Quarterly, 34(1), 87-114.
Llamas, V., Coudert, T., Geneste, L., Romero-Bejarano, J., & de Valroger, A. (2016). Proposition of an agile knowledge-based process model. IFAC PapersOnLine, 49(12), 1092-1097.
Lyytinen, K., & Rose, G. M. (2006). Information System Development Agility as Organizational Learning. European Journal of Information Systems, 15(2), 183-199.
Mahadevan, D. (2017, Januari). ING’s agile transformation. Opgeroepen op februari 13, 2017, van www.mckinsey.com:
http://www.mckinsey.com/industries/financial-services/our-insights/ings-agile-transformation
Mann, C., & Maurer, F. (2005). A Case Study On The Impact of Scrum On OvertimeAnd Customer Satisfaction. Agile 2005 Conference, (pp. 70-79).
Matharu, G., Mishra, A., Singh, H., & Upadhyay, P. (2015). Empirical Study of Agile Software
Development Methodologies: A Comparative Analysis. ACM SIGSOFT Software Engineering Notes, 40(1), 1-6.
Munteanu, V., & Berechet, M. (2016). Challenges of the Audit Profession in the Globalization Era.
Academic Journal of Economic Studies, 2(2), 169-178.
Nuijten, A., Van Twist, M., & Van der Steen, M. (2015). Auditing Interactive Complexity: Challenges for the Internal Audit Profession. International Journal of Auditing, 19, 195-205.
Otten, J., Hartog, P. A., & Babeliowsky, A. (2002, December). Auditmethodologie, meta-tool voor klantgericht auditen. Opgehaald van Docplayer:
http://docplayer.nl/1516917-Auditmethodologie-meta-tool-voor-klantgericht-auditen.html
Overhage, S., & Schlauderer, S. (2012). Investigating the Long-Term Acceptance of Agile
Methodologies:An Empirical Study of Developer Perceptions in Scrum Projects. 45th Hawaii International Conference on System Sciences, (pp. 5453-5461).
Paterson, J. C. (2015). Lean Auditing: Driving Added Value and Efficiency in Internal Audit. Chichester:
John Wiley & Sons.
55 Pino, F., Pedreira, O., García, F., Luaces, M., & Piattini, M. (2010). Using Scrum to guide the execution
of software process improvement. The Journal of Systems and Software, 83, 1662-1677.
Qumer, A., & Henderson-Sellers, B. (2006). Measuring agility and adoptability of agile methods; a 4-dimensional analytical tool. IADIS International Conference Applied Computing, (pp. 503-507).
Qumer, A., & Henderson-Sellers, B. (2008a). An Evaluation of the Degree of Agility in Six Agile
Methods and its Applicability for method engineering. Information and Software Technology, 50(4), 280-295.
Qumer, A., & Henderson-Sellers, B. (2008b). A framework to support the evaluation, adoption and improvement of agile methods in practice. The Journal of Systems & Software, 81(11), 1899-1919.
Qureshi, R., & Hussain, S. (2008). An adaptive software development process model. Advances in Engineering Software, 39(8), 654-658.
Ribeiro, F. L., & Fernandes, M. T. (2009). Exploring agile methods in construction small and medium enterprises: a case study. Journal of Enterprise Information Management, 23(2), 161-180.
Riehle, D. (2000). A Comparison of the Value Systems of Adaptive Software Development and Extreme Programming: How Methodologies May Learn from Each Other. SKYVA International.
Rising, L., & Janoff, N. (2000). The SCRUM software development process for small teams. IEEE Software, 26-32.
Sarens, G., & Lamboglia, R. (2014). The (mis)fit between the profile of internal auditors and internal audit activities. Accounting and Business Research, 44(1), 41-62.
Scheffield, J., & Lemétayer, J. (2013). Factors associated with the software development agility of succesful projects. International Journal of Project Management, 31(3), 459-472.
Sherehiy, B., Karwowski, W., & Layer, J. K. (2007). A review of enterprise agility: Concepts, frameworks, and attributes. International Journal of Industrial Ergonomics, 37, 445-460.
Stray, V., Lindsjørn, Y., & Sjøberg, D. (2013). Obstacles to Efficient Daily Meetings in Agile
Development Projects: A Case Study. IEEE International Symposium on Empirical Software Engineering and Measurement, (pp. 95-102).
Sutherland, J. (2014). Scrum, Tweemaal zoveel doen in de helft van de tijd. Amsterdam: Maven Publishing.
Taromirad, M., & Ramsin, R. (2008). CEFAM: Comprehensive Evaluation Framework for Agile Methodologies. 32nd Annual IEEE Software Engineering Workshop, (pp. 195-204).
The institute of Internal Auditors. (2016, 12). Implementation Guide 2200.
The institute of Internal Auditors. (2017). International Standards for the Professional Practice of
The institute of Internal Auditors. (2017). International Standards for the Professional Practice of