6 Praktijkonderzoek in de vorm van expertvalidatie
6.5 Analyse van de resultaten: verrijkende werkwijzen voor auditmethodologie
auditmethodologie, dienden minimaal vijf van de deelnemende acht panelleden een bruikbaar (oftewel eenduidig te interpreteren) antwoord te geven tijdens invulling van de vragenlijst. Een agile-werkwijze is als verrijkend aangenomen indien uit de meerderheid van de (minimaal vijf) bruikbare antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend (paragraaf 6.5.1).
Indien uit exact vijftig procent van de bruikbare antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend, heeft de onderzoeker een afweging gemaakt in het aannemen van de agile-werkwijze als verrijkend of niet-verrijkend. Deze afweging heeft plaatsgevonden op basis van de voor- en nadelen van de werkwijzen vanuit de literatuur en aangedragen door de experts tijdens interviews.
Van de agile-werkwijzen waarvan is aangenomen dat deze verrijkend zijn voor
auditmethodologie, is tevens nagegaan of er situaties (auditcategorieën) zijn waarvoor deze agile-werkwijzen als verrijkend kunnen worden beschouwd. Hiervoor is eveneens aangehouden dat een agile-werkwijze als verrijkend is aangenomen indien uit de meerderheid van de bruikbare
antwoorden bleek dat een agile-werkwijze als verrijkend mag worden onderkend. De agile-werkwijze is als verrijkend maar onzeker in de desbetreffende situatie aangemerkt, wanneer minder dan 51 procent van de experts de werkwijze voor de auditcategorie als verrijkend heeft herkend en erkend (paragraaf 6.5.2).
6.5.1 Verrijkende werkwijzen voor auditmethodologie
Van de zeven werkwijzen die vanuit de literatuur als verrijkend zijn onderkend, zijn er vijf door een meerderheid van de experts als verrijkend bekrachtigd: ‘backlog per audit’, ‘dagstart’, ‘werken en iteraties’, demo/review’ en ‘retro met het team’. Deze zijn als verrijkend aangenomen. De
‘scrummeester’ is als enige van de zeven werkwijzen niet als verrijkend door de experts aangedragen (Tabel 6.5). Het resultaat uit de literatuurstudie voor de ‘scrummeester’ is derhalve verworpen.
43 Het ‘planningsspel’ kent vanuit de expertvalidatie een onduidelijk resultaat. Drie experts stemden verrijkend en drie experts stemden niet-verrijkend. Van de drie experts die niet-verrijkend stemden, heeft een aangegeven dat de werkwijze reeds in auditmethodologie bestaat. Echter, de werkwijze wordt niet expliciet binnen auditmethodologie benadrukt (bijlage 19). In de interviews gaven de experts aan dat de werkwijze zou leiden tot een realistische planning (bijlage 13). Vanuit de
literatuurstudie (hoofdstuk 2) is gebleken dat een planningsspel meer inzicht biedt in wat opgeleverd kan worden aan het einde van een sprint, bijdraagt aan het stellen van de juiste prioriteiten en maakt dat het team flexibel kan inspelen op een veranderende omgeving. Vanuit zowel de interviews als de literatuurstudie zijn er geen nadelen geconstateerd die een negatieve invloed hebben op het
realiseren van een audit. Derhalve lijkt het zinvol het planningsspel expliciet te benadrukken binnen auditmethodologie; het ‘planningsspel’ is als verrijkend voor auditmethodologie aangenomen.
Verrijkende agile-werkwijze op basis van literatuuranalyse
Resultaat expertvalidatie Conclusie
Backlog per audit Verrijkend (6/8) Verrijkend
Dagstart Verrijkend (7/8) Verrijkend
Werken in iteraties Verrijkend (8/8) Verrijkend
Planningsspel Onduidelijk (3/6) Verrijkend
Demo/review Verrijkend (7/8) Verrijkend
Retro met het team Verrijkend (6/8) Verrijkend
Scrummeester Niet verrijkend (3/8) Niet verrijkend
Tabel 6.5: Literatuurstudie en resultaten uit expertvalidatie
Vanuit het eerste deel van de Delphi-studie zijn, aanvullend op de literatuurstudie, twaalf werkwijzen aangedragen als potentieel verrijkend. Negen van de agile-werkwijzen die door de experts zijn aangedragen worden door de experts als verrijkend herkend en erkend. De negen werkwijzen zijn dan ook als verrijkend aangenomen (Tabel 6.6).
Tabel 6.6: Verrijkende werkwijzen volgens experts Verrijkende agile-werkwijzen vanuit
interviews
Resultaat expertvalidatie Conclusie
Dagstart zoals in krimi’s Onvoldoende stemmen (3/3) Onduidelijk
Multidisciplinair team Verrijkend (6/8) Verrijkend
Meedraaien in agile-businessteams Onduidelijk (4/8) Verrijkend
Stakeholdermapping Verrijkend (5/7) Verrijkend
Retro met de klant Verrijkend (7/8) Verrijkend
Persoonlijke kanban Verrijkend (6/7) Verrijkend
Werkafspraken (foundations) Verrijkend (4/7) Verrijkend
Fysiek op een locatie werken Verrijkend (5/7) Verrijkend
Backlog als auditjaarplan Verrijkend (5/7) Verrijkend
Fastlane Verrijkend (4/7) Verrijkend
Onderhanden-werk-limiet Onduidelijk (4/8) Verrijkend
Heartbeats Verrijkend (6/7) Verrijkend
44 Twee agile-werkwijzen die zijn aangedragen door de experts, ‘meedraaien in agile-businessteams’ en
‘onderhanden-werk-limiet’, kennen een onduidelijk resultaat. Voor beide agile-werkwijzen geldt dat vier experts de werkwijze als verrijkend erkennen en herkennen, en vier experts niet. In beide gevallen heeft een van de experts aangegeven de desbetreffende agile-werkwijze niet als verrijkend te zien, omdat deze reeds aanwezig is binnen auditmethodologie. Echter, de agile-werkwijzen worden volgens de expert niet expliciet benadrukt in de literatuur over auditmethodologie. Het
‘meedraaien in agile-businessteams’ levert volgens de experts direct meerwaarde voor de klant. Een agile-businessteam hoeft haar werkzaamheden na een audit niet te herzien, omdat tijdens de reguliere (project)werkzaamheden direct advies wordt verschaft en kan worden opgevolgd. Ook kan tijdens een ‘sprint’ het ontwerp direct worden getoetst door de auditor. Een ‘onderhanden-werk-limiet’ draagt volgens de experts bij aan focus en het afronden van werkzaamheden. Op basis van argumentatie aangedragen door de experts is ervoor gekozen de werkwijzen ‘meedraaien in agile-businessteams’ en de ’onderhanden-werk-limiet’ als verrijkend aan te nemen. Op basis van de aangedragen argumentatie mag verwacht worden dat de agile-werkwijzen bijdragen aan een relevant (snel) auditresultaat voor de opdrachtgever, een van de doelstellingen van
auditmethodologie.
Voor de ‘dagstart zoals in krimi’s hebben slechts drie experts een geldig antwoord gegeven.
Dit betreft derhalve een onduidelijk resultaat.
6.5.2 Verrijkende werkwijzen voor auditmethodologie per situatie
Van de werkwijzen die als verrijkend zijn aangedragen, is nagegaan of dit in alle situaties geldt.
Vanuit de literatuurstudie bleek dat de werkwijzen vooral toepasbaar zouden zijn bij opdrachten met een langere doorlooptijd en omvangrijke scope. Uit de validatie door experts zijn de resultaten uit de literatuurstudie bevestigd voor de werkwijzen ‘backlog’, ‘werken in iteraties’, en ‘demo/review’. De
‘dagstart en ‘retro met het team’ is volgens een meerderheid van de experts in alle gevallen verrijkend. Voor ‘planningsspel’ is geen meerderheid voor een bepaalde auditcategorie. Er is voor gekozen de resultaten uit de expertvalidatie aan te nemen (Tabel 6.7).
45
Werkwijze Resultaten literatuurstudie: situaties waarin de werkwijze verrijkend is
Resultaten expertvalidatie en conclusie: situaties waarin de werkwijzen verrijkend is
Belanghebbende is verantwoordelijke Belanghebbende wil zekerheid Doorlooptijd <2 weken Doorlooptijd >2 weken < 6 weken Doorlooptijd > 6 weken Opdracht beperkte scope Opdrachten omvangrijke scope
Backlog per audit Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ △ ⎷ △ ⎷
Werken in iteraties Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ ⎷ ⎷ △ ⎷
Dagstart Langere doorlooptijd en/of omvangrijke scope ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Multidisciplinair team - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Meedraaien in agile-businessteams
- △ △ △ △ △ △ △
Stakeholdermapping - △ ⎷ △ △ ⎷ △ △
Demo/review Langere doorlooptijd en/of omvangrijke scope ⎷ △ △ ⎷ ⎷ △ ⎷
Retro met klant - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Retro met team Langere doorlooptijd en/of omvangrijke scope ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Planningsspel Langere doorlooptijd en/of omvangrijke scope △ △ △ △ △ △ △
Persoonlijke kanban - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Werkafspraken (Foundations) - △ △ △ △ ⎷ △ △
Fysiek op een locatie werken - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Backlog als auditjaarplan - ⎷ ⎷ ⎷ ⎷ ⎷ ⎷ ⎷
Fastlane - △ △ △ △ ⎷ △ △
Onderhanden-werk-limiet - △ △ △ △ △ △ △
Heartbeats - △ △ ⎷ ⎷ ⎷ △ ⎷
Tabel 6.7: Verrijkende werkwijzen per situatie: resultaten uit literatuuranalyse, empirisch onderzoek en conclusies
⎷= verrijkend
△ = verrijkend, maar onzeker voor de desbetreffende situatie