In deze paragraaf wordt het ontwerp van het onderzoek besproken. Voor het zoeken naar antwoorden op de onderzoeksvragen is gekozen voor een kwalitatieve onderzoeksmethode. De gebruikte methode kan worden beschreven als een kwalitatieve case studie (Yin, 1994). De verschijnselen binnen de case worden onderzocht door middel van interpretatie van verschijnselen (Baker, 1997). Dit betekent dat gebruik wordt gemaakt van een kwalitatief beeld van de onvoorspelbare bijdragen van een selecte groep individuen binnen de organisatie. In dit onderzoek is dat de bijdrage van beheersinstrumenten aan beheersing van risico-identificatie en -beoordeling. Omdat het theoretisch raamwerk is opgesteld op basis van interpretatie van de theorie, wordt het onderzoek uitgevoerd op basis van vraagstelling in plaats van het opstellen van hypothesen. Het onderzoek betreft verschijnselen in de werkelijkheid van een organisatie. De grens tussen de verschijnselen, namelijk beheersinstrumenten voor identificatie en beoordeling van risico’s, en de te onderzoeken activiteiten is echter niet eenduidig. Dat is een voorwaarde voor het uitvoeren van case studie onderzoek (Yin, 1994). De dataverzameling heeft plaatsgevonden middels literatuuronderzoek en empirisch onderzoek.
4.2 Dataverzameling
In deze paragraaf worden de gebruikte methoden voor dataverzameling voor zowel het theoretisch deel als het praktisch deel van het onderzoek beschreven.
4.2.1 Literatuuronderzoek
De lens waardoor beheersing van risico-identificatie en –beoordeling wordt onderzocht, is zoals uitgelegd een ‘TCE lens’ van beheersing van activiteiten. In de tweede helft van hoofdstuk 3 is de totstandkoming van deze lens verantwoord. Op basis van een thema analyse en sneeuwbal methode is in de literatuur gezocht naar de transactiekenmerken van risico-identificatie en -beoordeling. Omdat er nog weinig onderzoek is gedaan naar de verwerking en het gebruik van risico informatie, is dit literatuuronderzoek in eerste instantie op basis van thema analyse uitgevoerd. In de EBSCO host database is gestart met zoeken op basis van de zoektermen ´factors affecting risk identification’ en ‘factors affecting risk assessment’. Vervolgens is met behulp van de sneeuwbalmethode verder gezocht met de termen ‘management control’ en ‘risk information transaction’. De reden hiervoor is
33 dat zonder management control geen onderzoeksresultaten over gedragsmatige aspecten van risicomanagement zijn gekomen. Echter, ook met inbegrip van management control werden geen onderzoeksresultaten over beheersmaatregelen voor risicomanagement gevonden. Uiteindelijk resteerde een lijst van artikelen waarin risico-identificatie en -beoordeling direct dan wel indirect worden onderzocht. De validatie van deze lijst schuilt in het wetenschappelijk gehalte dat wordt toegedicht aan de gebruikte wetenschappelijke tijdschriften, waaronder Risk Analysis, Journal of Risk Research en Journal of Risk and Uncertainty.
4.2.2 Empirisch onderzoek
Het empirisch deel van het onderzoek is uitgevoerd in de praktijk van een programmaorganisatie. Het eerste deel van het empirisch onderzoek heeft als doel het in kaart brengen van de wijze waarop activiteiten voor risico-identificatie en –beoordeling zijn georganiseerd in de programmaorganisatie. Het doel hiervan is vast te stellen hoe de basisstructuur van doelstelling en procesinrichting zich verhoudt tot het beeld van risico-identificatie en –beoordeling in een programmaorganisatie. Het tweede deel van het empirisch onderzoek heeft als doel het in kaart te brengen hoe beheersproblemen en -instrumenten zich ontwikkelen rond de specifieke transactie van risico informatie in een programmaorganisatie. Hier wordt ook de link gelegd tussen het eerste en het tweede doel van het empirisch onderzoek. De samenstelling van beheersinstrumenten kan namelijk niet los worden gezien van de organisatie van risicomanagement: het ontbreken van elementen in de programmaorganisatie kan de keuze van bepaalde beheersinstrumenten verklaren en vice versa. De methode van onderzoek is gebaseerd op ‘Bedrijfskundige Methodologie’ van de Leeuw (2003) en ‘Basisboek Kwalitatief Onderzoek’ van Baarda e.a. (2009).Een kwalitatief exploratief onderzoek biedt de mogelijkheid diep in te gaan op het onderwerp van onderzoek (Yin, 1994). In dit onderzoek is ervoor gekozen eerst een grondig beeld te vormen van de organisatie van risicomanagement op basis van observatie, gesprekken en documentatie. Vervolgens is de geformuleerde verwachting ten aanzien van de samenstelling van beheersinstrumenten voor risico-identificatie en –beoordeling getoetst in interviews, documentatie en observatie. Het interviewschema dat gebruikt is, is terug te vinden in appendix E. Doordat eerst een grondig beeld van de organisatie is gevormd, kunnen de algemene onderwerpen worden overgeslagen en de interviews met veel meer verdieping worden gevoerd (Yin, 1994). De interviews konden daardoor het stadium van open interview passeren en semigestructureerd worden gehouden. Naast het interview had ook een survey gebruikt kunnen worden (Baarda e.a., 2009). Dat is niet gedaan. De reden hiervoor is dat uit oriëntatie voorafgaande het onderzoek bleek dat de kennis en het gebruik van risicomanagement binnen de programmaorganisatie te heterogeen is. Een survey zou dan data op kunnen leveren waarvan met
34 onvoldoende zekerheid gesteld kan worden of deze afkomstig is van respondenten met een min of meer gelijk beeld van risicomanagement.
4.3 Analyse
Voor de analyse van de kwalitatieve data wordt een formatief referentiemodel gebruikt. De reden voor een formatief model is dat voor het gebruik van een reflectief model een volledig beeld moet bestaan van de indicatoren van de constructen (Bisbe e.a., 2007). Eén van de constructen in het onderzoek is de vorm van beheersing van risico-identificatie en –beoordeling. Onderdeel van de probleemstelling is juist dat er nog geen eenduidig overzicht is van indicatoren van beheersing van risico-identificatie en –beoordeling. Op basis van het literatuuronderzoek is vanwege dit gebrek aan overzicht in hoofdstuk 3 een verkenning van indicatoren verantwoord.
4.3.1 Opstellen van referentiemodel
Voor het onderzoeken van de constructen van de beheersvorm van risico-identificatie en – beoordeling is gezocht naar indicatoren, die samen de te onderzoeken constructen definiëren. Indicatoren zijn in dit onderzoek observeerbare factoren. De te duiden constructen zijn de kenmerken van de transactie van risico informatie en de beheersinstrumenten. Voor het operationeel maken van de transactiekenmerken van de activiteiten waren geen indicatoren in de literatuur voorhanden. De meest gebruikte constructen in empirisch onderzoek naar TCE (Shelanski en Klein, 1995) worden gemeten via schalen in surveys, zoals complexiteit en arbeid specifieke kennis. De variabelen in een transactie zijn echter moeilijk te generaliseren door hun case specificiteit. Daarnaast is de definitie van transactiekenmerken niet eenduidig, wat voor verwarring bij respondenten kan zorgen (Shelanski en Klein, 1995). Dat laatste is in dit onderzoek voorkomen, door in interviews eerst de definitie van risicomanagement te bespreken en zotot overeenkomstige interpretatie van de definitie te komen.
Op basis van het bovenstaande is voor het onderzoek naar de beheersvorm een andere aanpak gekozen (effectief gehanteerd door onder andere Kirsch (1996)), gericht op het duiden van de vorm van een verschijnsel. Dit betekent dat de aanpak is gericht op herkenning van de – meestal - tweedimensionale aard van beheersinstrumenten. Voor gebruik van een bepaald beheersinstrument zijn voorwaarden geïdentificeerd. De aanwezigheid van deze voorwaarden wordt vervolgens geassocieerd met het gebruik van het beheersinstrument. Het meten van de maat van het verschijnsel is daardoor niet van belang. Voor het duiden van de variabelen is er eerst gezocht naar overzicht van voorwaarden. Dit overzicht is gezocht in de literatuur. In de volgende paragraaf wordt dit overzicht beschreven.
35 De verkregen data zijn vervolgens geordend naar thema’s. Deze thema’s zijn geformuleerd zowel op basis van het theoretisch raamwerk als op thema’s die zich hebben gevormd tijdens het praktijkonderzoek.
4.3.2 Indicatoren voor transactiekenmerken van risico-identificatie en -beoordeling
Voor het duiden van de kenmerken van risico-identificatie en –beoordeling in termen van de transactiedimensies worden de volgende indicatoren gebruikt. Deze indicatoren zijn afgeleid uit het literatuuronderzoek in hoofdstuk 3.
Indicatoren voor het duiden van onzekerheid en complexiteit, ofwel de mate waarin de bijdrage van de activiteit voorspelbaar en programmeerbaar is:
- De eenduidigheid van de doelstelling van het proces
- De verschillen in waardering van kans en impact per individu of groep in de organisatie - De verschillen in ontstaansgronden van risico’s
Indicatoren voor het duiden van asset specificiteit:
- Variatie in waardering van kans en impact per individu of groep in de organisatie
- Een relatie tussen risico’s en specifieke individuen met hun verantwoordelijkheidsgebied - Variatie in ontstaansgronden van risico’s
- Activiteit in deling van gedeelde inzichten en kennis over gebeurtenissen - Mate van veranderende uitkomsten van risico-identificatie en –beoordeling - De verweving van risico-identificatie en –beoordeling in andere beheersprocessen Indicatoren voor het duiden van ex post informatie asymmetrie:
- Activiteit van zoeken van informatie voor risico-identificatie en –beoordeling - Inzichten en kennis over gebeurtenissen kunnen achteraf worden gedeeld - Variatie in uitkomsten van risico-identificatie en -beoordeling
4.3.3 Indicatoren voor de beheersvorm: gebruik van beheersinstrumenten
De volgende indicatoren worden gebruikt voor het duiden van gebruikte beheersinstrumenten. De indicatoren zijn per kenmerk van de transactie opgeschreven. Daardoor kunnen er per kenmerk overlappingen zijn van indicatoren. De indicatoren zijn tot stand gekomen op basis van:
- Literatuur (COSO (2004) en hoofdstuk 3) - Oriëntatie in de programmaorganisatie van FA
36 - Een analyse van de verwachte beheersproblemen. Daarbij is er vanuit gegaan dat een
beheersinstrument de inverse is van een beheersprobleem. Voor beheersinstrumenten die gerelateerd worden aan hoge complexiteit:
- Zo concreet mogelijk doelen stellen, en daar gebeurtenissen aan relateren. - Een risk assessment voor het vastleggen van de projectdoelen.
- Een proces flow analyse om alle betrokken individuen het proces te laten begrijpen. - Continue identificatie en beoordeling van gebeurtenissen.
- Onderscheid tussen inherente en residu risico’s.
- Nadruk op kwalitatieve beoordeling: Beoordeling op basis van nominale en ordinale waarden omwille van begrijpelijkheid van kans en impact.
- Geen expliciete opdracht tot risico-identificatie en –beoordeling. - Frequente ad hoc informatie.
Voor beheersinstrumenten die gerelateerd worden aan hoge asset specificiteit:
- Een procedure of in ieder geval een aanwezigheidsplicht bij georganiseerde risk assessments, ter beperking van opportunisme.
- Samenstellen van een multidisciplinair kernteam.
- Een gefaciliteerde workshop waarbij individuen cross functioneel samenwerken.
- Een consistente manier voor de administratie van industrie specifieke gebeurtenissen en uit deze database kunnen putten.
- Continue identificatie van gebeurtenissen. - Nadruk op kwalitatieve beoordeling:
o Beoordeling op basis van nominale en ordinale schalen omwille van de eenvoud. o En de kwaliteit van de beoordeling hangt af van de specifieke kennis van
betrokken individuen.
- Onderbrengen in budgettering met nadruk op allocatie van budget.
Voor beheersinstrumenten die gerelateerd worden aan lage post hoc informatieasymmetrie:
- Een questionnaire zoals export compliance training waarbij deelname wordt geadministreerd en niet vrijblijvend is.
- Gebruik van leading event indicators, of key risk indicators.
- Loss event data tracking voor de informatievoorziening aan individuen. - Continue identificatie van gebeurtenissen.
- Terugkoppeling over de mate waarin inherente en resterende risico’s waarheid zijn geworden.
37 - Documentatie van ontstaan en ontwikkelingen van geïdentificeerde risico’s.