programmaorganisatie in de praktijk
6.3 Beperkingen van het onderzoek
6.2.2 Praktische implicatie
De consequenties van de onderzoeksresultaten voor het samenstellen van beheersinstrumenten in de praktijk van een programmaorganisatie kunnen als volgt worden beschreven.
Doelstellingen waaraan risico’s worden gerelateerd zijn leidend voor het bepalen van risico’s. De doelstellingen van verschillende belanghebbenden in de programmaorganisatie moeten daarom in kaart worden gebracht. Daarnaast moet bepaald worden welke prioriteit de verschillende doelstellingen hebben onder welke omstandigheden en in welke fase van een programma.
De aard van risico’s is complex. Om identificatie en beoordeling te beheersen is gezamenlijk begrip van de definitie, van methodes en van het gebruik van risico informatie nodig. Uit het onderzoek blijkt dat een centraal orgaan in een programmaorganisatie hierin een coördinerende en ondersteunende rol speelt.
Risico-identificatie en –beoordeling staan niet op zichzelf. De activiteiten zijn verweven met andere activiteiten. De bestaande planning en control cyclus in een programmaorganisatie is daarom geschikt om activiteiten en informatie die horen bij identificatie en beoordeling in onder te brengen. Beheersing van risico-identificatie en –beoordeling is van groot belang voor het voortbrengen van risico informatie. Dit belang gaat verder dan bijdrage aan besluitvorming. De kwaliteit van risico informatie moet daarom worden vastgelegd in documentatie, en vastgesteld worden door structurele peer reviews.
6.3 Beperkingen van het onderzoek
De beperkingen van het onderzoek betreffen het gebruikte theoretische perspectief en de methode van onderzoek.
De theoretische lens waardoor de samenstelling van beheersinstrumenten is bestudeerd, is geformuleerd vanuit een transaction cost economics perspectief. Dit is een van oorsprong institutioneel economisch perspectief. In dit perspectief wordt de zachtere, ‘menselijke’ kant van management control gedeeltelijk buiten beschouwing gelaten. Dat betekent dat factoren zoals gevoel van eigenwaarde en sociale netwerken buiten beschouwing zijn bij het samenstellen van beheersinstrumenten. Dit is een beperking bij het gebruik van de uitkomsten van het onderzoek voor bijvoorbeeld het doorvoeren van veranderingen. De beperking is echter wel verklaarbaar. De focus van het onderzoek was namelijk op de aard van risico’s en de consequentie daarvan voor de samenstelling van beheersinstrumenten en niet zozeer op de consequenties van zachte, menselijke factoren voor de beheersing van risico-identificatie en –beoordeling.
68 De gebruikte methodologie heeft ook een aantal beperkingen opgelegd aan dit onderzoek. Een case studie methodologie brengt een risico van vooringenomenheid van de onderzoeker met zich mee. Door participatie in risk assessments, PRM’s en in informele gesprekken bestaat de kans dat de onderzoeker mensen en processen heeft beïnvloed en daarmee de authenticiteit van onderzoeksresultaten aantast. Daarnaast is observatie als methode gevoelig voor subjectiviteit van de onderzoeker. Het risico bestaat daarbij dat hij zijn eigen mening als waarheid beschouwt. In dit onderzoek is dit probleem ondervangen door de beschreven onderzoeksresultaten te laten verifiëren door andere personen in de organisatie.
Het empirisch gedeelte van dit onderzoek heeft plaats gevonden in één programmaorganisatie. Dit betekent dat de gecombineerde resultaten van het literatuur- en empirisch onderzoek niet kunnen worden gegeneraliseerd. De resultaten dragen echter wel bij aan het begrip van en inzicht in samenstelling van beheersinstrumenten in een programmaorganisatie.
69 Referenties
Altavilla, A., Garbellini, L. (2002) Risk assessment in the aerospace industry, Safety Science, vol. 40, p271–298.
Anthony, R. (1965) Planning and control systems: a framework for analysis, Boston: Division of Research, Graduate School of Business Administration, Harvard University.
Argyris, C. (1999) Tacit knowledge and management. In R. Sternberg & J. A. Horvath (Ed.), Tacit knowledge in professional practice: Researcher and practitioner perspectives, p123-152, Mahwah, NJ: Lawrence Erlbaum Associates.
Arvai, J.L. (2003) Using risk communication to disclose the outcome of a participatory decision-making process: effects on the perceived acceptability of risk-policiy decisions, Risk Analysis, Vol. 23, no 2, p281-289.
Assad, M.H.(1981) Management Report Design Considerations, Information & Management, Volume 4, issue 2, p95-104.
Baarda, D., de Goede, M. en Teunissen, J. (2009) Basisboek kwalitatief onderzoek – handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek, Noordhoff, Groningen.
Baker, C., and Bettner, M. (1997) Interpretive and critical research in accounting; a commentary on its absence from mainstream accounting research, Critical Perspectives on Accounting, Volume 8, Issue 4, p293-310.
De Bakker, K., Boonstra, A., Wortman, H. (2010) Does risk management contribute to IT project success? A meta-analysis of empirical evidence, International Journal of Project Management, Volume 28, p493–503.
Bariff, M., Galbraith, J. (1978) Intraorganizational power considerations for designing information systems, Accounting, Organizations and Society, Volume 3, Issue 1, p15-27.
Beasley, M., Clune, R., Hermanson, D. (2005) Enterprise risk management: An empirical analysis of factors associated with the extent of implementation, Journal of Accounting and Public Policy, Volume 24, p521–531.
Bisbe, J., Batista, J., Chenhall, R. (2007) Defining management accounting constructs: a
methodological note on the risks of conceptual misspecification¸ Accounting, Organizations and Society, Volume 32 p789-820.
Busby, J. (2008) Analyzing Complicity in Risk, Risk Analysis, Volume 28, no 6, p1571-1582.
Bradley, R.A. (1989) The application of risk analysis techniques to support the management decision process, in: Project Risk Analysis in the Aerospace Industry, Proceedings of the Conference of the R. Ae. Soc., 8th March, 1989.
Camerer, C., Weber, M. (1992) Recent Developments in Modeling Preferences: Uncertainty and Ambiguity, Journal of Risk and Uncertainty, Volume 5, p325-370.
70 Chapman, R. (2001) The controlling influences on effective risk identification and assessment for construction design management, International Journal of Project Management, no 19, p147-160. Chenhall, R. (2003) Management control systems design within its organizational context: findings from contingency based research and directions for the future, Accounting Organization Society, volume 23, p243-264.
Clark, R., Pledger, M., Needler (1990) Risk analysis in the evaluation of non-aerospace projects, International Journal of Project Management, Volume 8, Issue 1, p17-24.
Collier, P., Berry, A. and Burke, G. (2007) Risk and management accounting; best practice guidelines for enterprise-wide internal control procedures, CIMA Publishing, Great Britain.
Corvellec, H. (2010) Organizational Risk as it Derives from What Managers Value: A Practice-Based Approach to Risk Assessment, Journal of Contingencies and Crisis Management, Volume 18, no 3. COSO (2004) Enterprise Risk Management, Integrated Framework, Report of The Committee of Sponsoring Organizations of the Treadway Commission
Covaleski, M.A., Dirsmith, M.W., Samuel, S. (2003) Changes in the institutional environment and the institutions of governance: extending the contributions of transaction cost economics within the management control literature, Accounting, Organizations and Society, vol 28, p417–441. O’Donnell, E. (2005) Enterprise risk management: A systems-thinking framework for the event identification phase, International Journal of Accounting Information Systems, vol 6, p177– 195. Eisenhardt, M, K. (1989) Agency theory: An assessment and review, Academy of Management Review, vol 14, no1, p57-74.
Finucane, M., en Holup, J. (2006) Risk as Value: Combining Affect and Analysis in Risk Judgments, Journal of Risk Research,vol 9, no 2, p141–164.
Fischhoff, B., Watson, S., et al. (1984) Defining Risk, Policy Sciences, vol 17, p123-139, Elsevier Science Publishers B.V., Amsterdam.
Fraser, J., Schoening-Thiessen, K. en Simkins, B. (2008) Who reads what most often? A survey of enterprise risk management literature read by risk executives, Journal of applied finance, p73-91. Fukken, J., Verstegen, C., van Veldhuizen, J., Stam, D., Vrijling, J. (1999) Risicomanagement op programmaniveau, RISMAN, www.risman.nl,
Gavan, L. (2011) Enterprise Risk Managament Practice: impact on financial performance of top multinational companies in the Philippines, Dissertatie, University of the East, Manila, Phillipines (online verkrijgbaar).
Hampton, John J. (2009) Fundamentals of Enterprise Risk Management, how top companies assess risk, manage exposures, and seize opportunities, AMACOM.
71 Hwang, S. (2010) Identifying and communicating key risk indicators, in: Fraser, J. and Simkins, B.J., Enterprise Risk Management: Today’s Leading Research and Best Practices for Tomorrow’s Executives, John Wiley & Sons, Hoboken, NJ, p125-140.
Jugdev, K. en Müller, R. (2005) A Retrospective Look at Our Evolving Understanding of Project Success, Project Management Journal, vol 36, no 4, p19 – 31.
Kaplan, S., en B. J. Garrick (1981) On the quantitative definition of risk, Risk Analysis, vol 1, no 1, p11–27.
Kirsch, Laurie J. (1996) The management of complex tasks in organizations: controlling the systems development process, Organization Science, Vol. 7, no. 1, p1-21.
Kleffner, A. E., Lee, R. B. and McGannon, B. (2003) The Effect of Corporate Governance on the Use of Enterprise Risk Management: Evidence From Canada. Risk Management and Insurance Review, no 6, p53–73.
Kutsch, E., Hall, M. (2010) Deliberate ignorance in project risk management, International Journal of Project Management, vol 28, p245–255.
Lam, J. (2006) Managing Risk Across the Enterprise; Challenges and Benefits, Risk Management, Elsevier Modern Press, p 3-19.
Lawrence A. Gordon, Martin P. Loeb, Chih-Yang Tseng. (2009) Enterprise risk management and firm performance: A contingency perspective, Journal of Accounting Public Policy, vol 28, p301–327. Leeuw, de, A. (2003) Bedrijfskundige methodologie - management van onderzoek, van Gorcum, Assen.
Leeuw, De, A. (2000) Bedrijfskundig management, primair proces, strategie en organisatie, van Gorcum, Assen.
Letens, G., Van Nuffel, L., Heene, A., Leysen, J. (2008) Towards A Balanced Approach In Risk Identification, Engineering Management Journal, Vol. 20, no 3.
Levinsohn, A., Williams, K. (2004) How to manage risk enterprise-wide, Strategic Finance, vol 86 no5, p55-57.
Markus, M. L. en Pfeffer, J. (1983) Power and the design and implementation of accounting and control systems, Accounting, Organizations and Society, vol. 8, p205-218.
Maytorena, E., Graham M. Winch, Jim Freeman, and Tom Kiely (2007) The Influence of Experience and Information Search Styles on Project Risk Identification Performance, IEEE Transactions on engineering management, vol 54, no 2.
Merchant, Kenneth A. (1988) Progressing Toward a Theory of Marketing Control: A Comment, Journal of Marketing, vol 52, p40-44.
Merchant, K. en van der Stede, W. (2003) Management control systems: performance measurement, evaluation, and incentives, Pearson Eduction Limited, Essex, England.
72 Meulbroek, L. (2002) A senior manager’s guide to integrated risk management. Journal of applied corporate finance, vol 14 p.56-70.
Mikes, Anette (2005) Enterprise Risk Management in Action. Centre for the Analysis of Risk and Regulation (CARR), London School of Economics, Discussion Paper Report Series, No. 35
Monohan, G. (2008) Enterprise Risk Management: a methodology for achieving strategic objectives, John Wiley & Sons, New Yersey.
Otley, D. T. (1980) The contingency theory of management accounting: achievement and prognosis, Accounting, Organizations and Society. vol 5, no 4, p413-428.
Otley, D. T. (1994) Management control in contemporary organizations: towards a wider framework, Management Accounting Research, Vol.5, p289-299.
Ouchi, W.G. (1979) A conceptual framework for the design of organizational control mechanisms, Management Science, vol 25, p833-848.
Packendorff, J. (1995) Inquiring into the Temporary Organization: New Directions for Project Management Research, Scandinavian Journal of Management, vol 11, no 4, p319-333.
Palay, T. (1984) Comparative Institutional Economics: The Governance of Rail Freight Contracting, the Journal of Legal Studies, Vol 13, No 2, p265-287.
Palay, T. (1985) Avoiding Regulatory Constraints: Contracting Safeguards and the Role of Informal Agreements, Journal of Law, Economics, & Organization, Vol 1, No 1, p155-175.
Power, M. (2004) The risk management of everything; rethinking the power of uncertainties, DEMOS, London.
Power, M. (2008) The risk management of nothing, Risk&Regulation, financial crisis special 2008. Shelanski, H., Klein, P. (1995) Empirical Research in Transaction Cost Economics: A Review and Assessment, Journal of Law, Economics, & Organization, Vol 11, No 2, p335-361.
Simkins, J. en Fraser, J.R.S. (2007) Ten Common Misconceptions About Enterprise Risk Management, Journal of Applied Corporate Finance, vol 9, iss 4, p75-81.
Speklé, R.F. (2001) Explaining management control structure variety: a transaction cost economics perspective, Accounting, Organizations and Society, vol. 26, p419-44.
Spoor, L. (2006) COSO ERM framework, handbook management accounting.
Taleb, N., en Pilpel, A. (2007) Epistemology and risk management, Risk & Regulation, zomer 2007 Vareman, N., Persson, J. (2010) Why separate risk assessors and risk managers? Further external values affecting the risk assessor qua risk assessor, Journal of Risk Research, vol 13, no 5, p687-700. Verbano, C., en Venturini, K. (2011) Development paths of risk management: approaches, methods and fields of application, Journal of Risk Research, vol 14, no 5, p519-550.
73 Williamson, O. (1981) The Economics of Organization: The Transaction Cost Approach, American Journal of Sociology, Vol 87, No 3, p548-577.
Williamson, O. (1991) Comparative economic organization: the analysis of discrete structural alternatives, Administrative Science Quarterly, no 36, p269–299.
Yin, Robert K. (1994) Case Study Research: Design and Methods, 2nd edition.
Websites en overige geraadpleegde documentatie
http://www.coso.org/documents/COSOKRIPaperFull-FINALforWebPostingDec110_000.pdf
Beasley ea, COSO’s 2010 report on ERM, Current State of Enterprise Risk Oversight and Market Perceptions of COSO’s ERM Framework
NEN-ISO 31000, Risicomanagement- Principes en richtlijnen, Nederlandse norm, december 2009 Project Management Institute, A guide to the project management body of knowledge (PMBOK®), Newtown Square, 2008
www.risman.nl
Roland Berger European Aerospace & Defence Top Management Issues Radar (2007/08 average), GAO/DOD (2007)