Samenvatting en discussie onderzoeksresultaten

6 Discussie en conclusie

In dit hoofdstuk worden de resultaten van het onderzoek besproken. Er wordt een conclusie getrokken ten aanzien van de centrale onderzoeksvraag en vervolgens worden theoretische en praktische implicaties van het onderzoek beschreven. Het hoofdstuk besluit met het aangeven van beperkingen van dit onderzoek.

6.1 Samenvatting en discussie onderzoeksresultaten

In deze paragraaf wordt aan de hand van de opbouw van de deelvragen een antwoord geformuleerd op de centrale onderzoeksvraag. De centrale onderzoeksvraag was: Welke samenstelling van beheersinstrumenten moet een organisatie in acht nemen voor effectieve beheersing van risico-identificatie en –beoordeling in een programmaorganisatie?

6.1.1 Betekenis van beheersing van risico-identificatie en -beoordeling

De eerste twee deelvragen zijn gericht op betekenis geven aan beheersing van risico-identificatie en –beoordeling. Beheersing is geformuleerd als het vermijden van beheersproblemen. Deze beheersproblemen hebben betrekking op het behalen van doelstellingen. Doelstellingen voor beheersing bestaan uit strategische, tactische en operationele doelstellingen. Daarnaast kan er ten aanzien van risico-identificatie en –beoordeling een subdoelstelling worden afgeleid. In de praktijk blijkt de omschrijving van de doelstelling voor risico-identificatie en beoordeling te variëren tussen verschillende belanghebbenden in een programmaorganisatie. Op basis van het onderzoek kan de doelstelling worden uitgedrukt op drie manieren:

- Het in kaart brengen van gebeurtenissen die het behalen van programmadoelstellingen beïnvloeden.

- Het beoordelen van de impact van deze gebeurtenissen op programmaresultaten. - Het creëren van awareness door het delen van risico informatie.

Het blijkt dat de variatie van doelstellingen tot stand komt in de omgeving waarin risico’s worden geïdentificeerd en beoordeeld. Deze omgeving bestaat uit de fase waarin een programma zich bevindt, de samenstelling van programmateams en uit institutionele actoren zoals klanten en management.

6.1.2 Kenmerken van de transactie van risico informatie

De doelstelling, gecombineerd met de kenmerken van risico-identificatie en –beoordeling, is uitgangspunt voor het formuleren van beheersproblemen. De derde en vierde deelvraag zijn gericht op het vinden van kenmerken van de transactie van risico informatie. De kenmerken worden hieronder uitgedrukt in de dimensies van de transactie van risico informatie. Deze dimensies zijn

62 onzekerheid over de gewenste bijdrage, specificiteit van de activiteit en ex post informatie asymmetrie (Speklé, 2001).

6.1.2.1 Hoge onzekerheid over de gewenste bijdrage van risico-identificatie en -beoordeling

Risico-identificatie en –beoordeling kenmerken zich door hoge onzekerheid en lage voorspelbaarheid van de bijdrage van de activiteiten. Dit blijkt uit de complexiteit van het proces, de onzekerheid van de te identificeren gebeurtenissen en de variatie in doelstelling van risico-identificatie en beoordeling. Het proces van identificeren en beoordelen is complex door de brede definitie van risico’s. Dat zorgt voor verschillende interpretaties door individuen waardoor het bereiken van overeenstemming over te identificeren gebeurtenissen tijd kost. De onzekerheid over te identificeren gebeurtenissen is verder direct gerelateerd aan de aard van risico’s. Maar ook de manier waarop risico informatie moet worden gedeeld kan onzekerheid opleveren. Dit betekent dat de onzekerheid mede wordt bepaald door de soort gevraagde informatie. In theorie is het typeren van het risico vanuit de aard van de gebeurtenis minder relevant dan het identificeren en beoordelen van de uitkomst van de gebeurtenis. In de praktijk blijkt dat bijvoorbeeld, doordat de zekerheid over de gewenste bijdrage wordt vergroot door het uitdrukken van de impact van alle gebeurtenissen in financiële informatie, ongeacht de aard van de gebeurtenis.

6.1.2.2 Specificiteit van de activiteiten voor risico-identificatie en -beoordeling

De benodigde kennis voor het identificeren en beoordelen van risico’s, de betrokkenheid van meerdere functionele assen in een programmaorganisatie, en de verwevenheid van risico informatie in andere bedrijfsprocessen dan risicomanagement, duiden de hoge asset specificiteit van de transactie van risico informatie. In theorie is gebleken dat opportunisme deelnemers aan risk assessments kan bewegen een vermoeden van het optreden van een bepaalde gebeurtenis wel, of niet uit te spreken. De specifieke kennis die hij of zij heeft van de betreffende gebeurtenis kan daarbij worden ingezet. In de praktijk van dit onderzoek is dit mechanisme echter niet aangetroffen. De multidisciplinaire samenstelling van programmateams in een programmaorganisatie zorgt juist voor transparantie en delen van informatie tussen functionele assen. Asset specificiteit van risico informatie in de programmaorganisatie is daardoor lager dan in theorie werd verwacht.

6.1.2.3 Ex post informatie asymmetrie: de beoordeling van de uitkomst achteraf

Gezien de onzekerheid over de bijdrage van risico-identificatie en –beoordeling, lijkt het achteraf beoordelen van de bijdrage niet goed mogelijk. In de praktijk blijken een aantal verschijnselen deze beoordeling echter beter mogelijk te maken dan op basis van de theorie zou worden verwacht. Verschijnselen die in de praktijk de beoordeling van risico-identificatie en –beoordeling achteraf

63 duiden zijn de toepassing van lessons learned, het gebruiken van kennis en ervaring in een programmaorganisatie, en documentatie en monitoring van risico’s.

6.1.3 Samenstelling van beheersinstrumenten voor risico-identificatie en -beoordeling

De vijfde deelvraag is gericht op de confrontatie van de in theorie geformuleerde samenstelling van beheersinstrumenten met de samenstelling in een programmaorganisatie in de praktijk. Op basis van de eigenschappen van risico informatie en de verwachte beheersproblemen, is de volgende samenstelling van beheersinstrumenten voor risico-identificatie en –beoordeling in een programmaorganisatie geformuleerd.

6.1.3.1 Doelstelling en procedures

De variatie in doelstellingen en procedures in een programmaorganisatie kan ingezet worden voor beheersing van identificatie en beoordeling van risico’s. De verschillende procedures versterken elkaar bij het afdwingen van uitvoering van de activiteiten. Van belang hierbij is dat de programmaorganisatie door middel van een centraal orgaan – bijvoorbeeld een Program Management Office- ondersteuning biedt aan programmateams bij de prioritering van doelstellingen en bij de toepassing van procedures en tools voor risicomanagement.

6.1.3.2 Integratie van risico-identificatie in de planning en control cyclus

Integratie van risico-identificatie en –beoordeling werd in theorie ondervangen door de term continue identificatie en beoordeling van gebeurtenissen. De instrumentele waarde van deze formulering is laag en laat ruimte voor interpretatie over. In het onderzoek in de programmaorganisatie is gebleken dat het doel van een planning en control cyclus in een programmaorganisatie verweven is met de doelstelling van risico-identificatie en –beoordeling. De samenstelling van beheerinstrumenten voor risico-identificatie en –beoordeling kan dan ook worden afgestemd op de onderdelen van de planning en controlcyclus. Dat betekent dat risico-identificatie en –beoordeling onderdeel moet uitmaken van elk onderdeel van planning en control cyclus. Door risico-identificatie en –beoordeling te integreren in de planning en control cyclus, wordt invulling gegeven aan continue identificatie en beoordeling van gebeurtenissen.

6.1.3.3 Continue identificatie en beoordeling van gebeurtenissen

Integratie van continue identificatie en beoordeling in de planning en control cyclus van een programma organisatie is hierboven als beheersinstrument genoemd. Daarnaast wordt aan continue identificatie en beoordeling van gebeurtenissen invulling gegeven door documentatie van risico’s en door risk assessments. Consequent toepassen van documentatie in alle fases die een programma doorloopt draagt bij aan de mogelijkheid tot beoordelen van het risicoprofiel door mensen buiten

64 een programma (een peer review). Beoordeling van risico’s kan zowel ongestructureerd als gestructureerd plaats vinden. Ongestructureerd betekent dat verschillende functionele disciplines binnen een programmaorganisatie op interactieve wijze risico’s met elkaar delen. Om dit te bereiken worden programmateams geselecteerd en samengesteld op basis van kennis en ervaring. Een gestructureerd risk assessment wordt geïnitieerd door een procedure en vindt plaats met behulp van bijvoorbeeld een risk assessment tool. Zowel gestructureerd als ongestructureerd risk assessment zijn beheersinstrumenten voor het verlagen van informatie asymmetrie. Van een gestructureerd, gepland assessment gaat een vragende werking uit. In een risk assessment wordt elke deelnemer namelijk gedwongen structureel na te denken over risico’s. Het blijft per definitie zo dat pas achteraf kan worden beoordeeld of risico’s voldoende zijn geïdentificeerd.

6.1.3.4 Beoordeling van de kwaliteit van risico profielen

In de samenstelling van beheersinstrumenten past beoordeling van de kwaliteit van risico profielen bij de geringe mogelijkheid tot beoordeling van de bijdrage van activiteiten achteraf. De volgende bevindingen illustreren dit. Uit het literatuuronderzoek blijkt dat volledige scheiding tussen risico eigenaarschap en de beoordeling van risico’s niet wenselijk is. Het belangrijkste argument hiervoor is dat de invloed van expertise en gevoeligheid voor politieke effecten gewenst is bij de bepaling van de exacte impact van een gebeurtenis. Toch moet de kwaliteit van risicoprofielen onafhankelijk worden beoordeeld. Hiervoor kunnen peer reviews worden ingezet. Om peer reviews mogelijk te maken, moeten risicoprofielen begrijpelijk zijn. De begrijpelijkheid van een risicoprofiel wordt vergroot als de gevolgen van de gebeurtenissen in het profiel vertaald zijn in nominale waarden. Deze waarden kunnen bijvoorbeeld worden uitgedrukt in bandbreedtes in financiële rapportages.

6.1.3.5 Terugkoppeling van risico informatie

De relatie tussen ex post informatie asymmetrie en beheersinstrumenten kan vanuit een principaal-agent paradigma (Eisenhardt, 1989) worden geduid. In het onderzoek zijn vooral beheersinstrumenten geformuleerd vanuit het perspectief van de gebruikers van risico informatie. Wanneer de gebruikers van informatie als principaal worden beschouwd, dan kunnen vervolgens de producenten van informatie als agenten kunnen beschouwd. Als principalen de beheersinstrumenten samenstellen dan zijn ze geneigd dat te doen vanuit een begrensde – boundary- benadering (Speklé, 2001), terwijl het vanuit de agenten gezien juist belangrijk is om een exploratieve –exploratory- benadering (Speklé, 2001) te hanteren bij het samenstellen van beheerinstrumenten. Uit het literatuuronderzoek bleek immers dat het actief delen van informatie en het gezamenlijk tot overeenkomst komen over doelstellingen van risico-identificatie en – beoordeling voorwaarden zijn voor beheersing. Deze voorwaarden komen het best tot hun recht in

65 een exploratieve beheersvorm (Speklé, 2001). Dit betekent voor de samenstelling van beheersinstrumenten dat de nadruk moet liggen op de uitvoering van het proces voor risico informatie. In een programmaorganisatie betekent dat bijvoorbeeld dat het delen van lessons learned niet zozeer betekent dat lijsten met risico’s worden gereproduceerd, maar dat programmateams van andere projecten leren hoe en wanneer risico’s te identificeren en beoordelen.

6.2 Conclusies

Op basis van de resultaten worden in deze paragraaf conclusies getrokken ten aanzien van de beantwoording van de centrale onderzoeksvraag.

Op basis van dit onderzoek kan niet één unieke samenstelling van beheersinstrumenten worden beschreven die bijdraagt aan beheersing van risico-identificatie en –beoordeling in een programmaorganisatie. Er is wel een gemeenschappelijk begrip te ontwikkelen over beheersing van risico-identificatie en –beoordeling. Op basis van dit onderzoek kan worden geconcludeerd dat de samenstelling van beheersinstrumenten effectief is als deze wordt afgestemd op de doelstellingen van het proces en de eigenschappen van de transactie van risico informatie. Daarnaast kan worden geconcludeerd dat een samenstelling van beheersinstrumenten voor risicoidentificatie en -beoordeling in theorie op zichzelf staand is te formuleren, maar dat deze samenstelling in de praktijk onlosmakelijk is verbonden met andere beheersinstrumenten in een programmaorganisatie.

Het gemeenschappelijk begrip van wat risico-identificatie en –beoordeling betekent, is één van de belangrijkste middelen om beheersing vorm te geven en individuen te bewegen bij te dragen aan risico-identificatie en –beoordeling. Dit begrip kan worden versterkt door het gebruik van formele mechanismen, zoals procedures en rapportages.

Verder kan geconcludeerd worden dat samenstelling van beheersinstrumenten voor risico-identificatie en beoordeling niet enkel gebonden is aan risicomanagement activiteiten of methoden zoals het gebruik van een risk assessment tool. De typische beheersproblemen die op basis van de kenmerken van risico informatie geïdentificeerd zijn in het theoretisch onderzoek, kunnen in de praktijk worden vermeden door risico-identificatie en –beoordeling te verankeren in bestaande planning en control cycli. Daarnaast kan risico-identificatie en –beoordeling worden geïntegreerd in processen en methoden die door klanten aan een programma worden opgelegd. De samenstelling van beheersinstrumenten moet dan ook in samenhang met deze cycli en klantmethodes worden beschouwd en beoordeeld. De aanvulling van beheersinstrumenten op de bestaande planning en control cyclus moet zich vooral richten op de specifieke beheersproblemen die per definitie horen bij

66 risico informatie en die niet worden ondervangen in de bestaande planning en control cyclus. Deze aanvulling kan worden uitgedrukt in exploratieve beheersing. Uit het onderzoek is gebleken dat exploratieve beheersing in de programmaorganisatie zich manifesteert in gezamenlijke overtuiging van risico terminologie, training en kennis van programma specifieke risico’s en methodes voor identificatie en beoordeling. De samenstelling van beheerinstrumenten wordt vervolgens effectief als de gezamenlijke overtuiging verandert in formele standaarden.

6.2.1 Theoretische implicatie

De resultaten van het onderzoek hebben implicaties voor de gebruikte theorie. In hoofdstuk 3 werd een exploratieve vorm van samenstelling van beheersinstrumenten voorgesteld. Deze vorm is afgeleid van de kenmerken die in theorie worden toegedicht aan de transactie van risico informatie. Daarnaast is de tekortkoming van enterprise risk management als beheersconcept aangegeven. De implicatie van dit onderzoek is dat er in theorie een aparte vorm van beheersing kan worden toegedicht aan risicomanagement activiteiten voor identificatie en beoordeling van risico’s. Het is echter moeilijk om deze vorm in theorie te duiden, doordat de vorm kenmerken heeft die in theorie onverenigbaar zijn verklaard. Dit betekent bijvoorbeeld dat actief zoeken en ongestructureerd informatie delen als kenmerken voor beheersing worden beschouwd, terwijl tegelijkertijd de noodzaak voor actiegerichte beheersing door bijvoorbeeld documentatie en risk assessments wordt erkend. De vraag is dan hoe deze combinatie van ongestructureerde en actiegerichte vormen⁶⁸ van beheersing van risico-identificatie en –beoordeling past binnen bestaande paradigma van management control.

De variabelen die gebruikt zijn om de kenmerken van de transactie van risico informatie te duiden hebben in theorie bijgedragen aan het samenstellen van beheersinstrumenten. Vooral de variabele ex post informatie asymmetrie blijkt echter moeilijk te duiden. De theoretische betekenis van deze variabele is uitgewerkt in ruime dimensies. Binnen deze dimensies is in theorie ruimte voor het definiëren van een sterkere variabele voor het duiden van de kenmerken van risico informatie. Juist risico informatie correspondeert per definitie met de mate waarin een bijdrage achteraf kan worden beoordeeld. Risico informatie is immers de uitkomst van de uitgekomen werkelijkheid met de bijbehorende impact van die werkelijkheid. De beoordeling van de bijdrage van risico-identificatie en –beoordeling wordt in theorie dan de vergelijking tussen deze uitkomst en werkelijke impact met de vooraf geschatte kans en impact.

68

Ongestructureerd en actiegerichte beheersing zijn in deze context ook te lezen als respectievelijk loose of cultural control en tight of action control (Merchant en van der Stede, 2003)