5 Conclusie theorie en praktijk van internemodelaudits 1 Inleiding
5.3 Beperkingen en aanwijzingen voor nader onderzoek
Het uitvoeren van modelrisicomanagement- en modelaudits is relatief nieuw en nog sterk in ontwikkeling. De conclusies uit dit onderzoek zijn vooral gebaseerd op ervaringen en opinies van de deelnemers aan het praktijkonderzoek. Zij hebben door hun medewerking inzicht gegeven in de aanpak van internemodelaudits binnen hun bank. Het onderzoek had een verkennend karakter en was kwalitatief van aard. Interviewgegevens hebben geen hoge betrouwbaarheid en het aantal respondenten is noodzakelijkerwijs beperkt, omdat het onderzoeksobject de vier Nederlandse
77
De interviews geven veel eerste informatie. Om nader inzicht te krijgen in wat wel en niet wordt gedaan en in wat mogelijk is, zou in een vervolgonderzoek kunnen worden gekeken naar de audits zelf. Dit op basis van review van documenten. Zodoende kan een nog beter onderscheid worden gemaakt tussen wat de respondent vindt en wat hij doet, en wat wel en niet mogelijk is in de praktijk.
Het praktijkonderzoek geeft de interpretatie weer van auditors, validatie- en CRCU- experts werkzaam bij de Nederlandse grootbanken. Dit onderzoek zou nog kunnen worden uitgebreid door het ook te houden onder Europese banken die eveneens onder toezicht van de ECB staan en waarvoor dezelfde wet- en regelgeving van toepassing is. Hierdoor wordt een breder beeld verkregen van modelaudits in de praktijk hetgeen aanknopingspunten kan geven voor nadere richtlijnen over modelaudits.
Voorts blijkt uit het onderzoek dat modelaudits niet alleen gericht moeten zijn op het model maar ook op de processen die samenhangen met het model en het gebruik van het model. In een vervolgonderzoek zou bijvoorbeeld specifiek naar het auditen van internal rating based systemen kunnen worden gekeken. In het huidige onderzoek zijn auditors die risicomanagement- of modelaudits uitvoeren geïnterviewd. In een vervolgonderzoek zou specifiek kunnen worden ingezoomd op de audit van IRB-systemen en de wijze waarop de auditafdeling hierover een overall opinie vaststelt.
Het huidige onderzoek richtte zich alleen op internemodelaudits. In een
vervolgonderzoek is het interessant te kijken naar de audit van overige modellen zoals renterisico- en treasurymodellen. Is hier hetzelfde theoretisch kader en dezelfde invulling van toepassing?
De Verenigde Staten (VS) hebben algemene richtlijnen over modelrisicomanagement, waarin ook een rol voor audit is weggelegd. Het IIA heeft op basis hiervan een ‘practice guide’ gepubliceerd in maart 2018. Een vervolgonderzoek kan gaan over de
toepasbaarheid en het gebruik van deze ‘practice guide’ in Europa en in de VS om zo tot een ‘Handreiking modelaudits’ te komen.
78
Samenvattend: modelrisicomanagement en het auditen van modellen zijn relatief jonge vakgebieden, waardoor er nog veel mogelijkheden zijn voor vervolgonderzoek. Door nader onderzoek kan worden bijgedragen aan de verdere ontwikkeling van modelaudits, en daarmee aan de effectievere en efficiëntere beheersing van modelrisico’s.
79
Literatuurlijst
A. Aggarwal, M. B. (15 maart 2015). Model risk – daring to open up the black box. Opgehaald van www.actuaries.org.uk:
https://www.actuaries.org.uk/documents/sessional-paper-model-risk-daring- open-black-box
ABN AMRO. (2016). Jaarverslagen. Opgehaald van ABN AMRO:
https://www.abnamro.com/nl/images/Documents/050_Investor_Relations/Finan cial_Disclosures/2016/ABN_AMRO_Group_Annual_Report_2016.pdf
APRA. (januari 2015). Prudential practice guide (PPG) CPG 220 Risk Management. Opgehaald van APRA:
http://www.apra.gov.au/CrossIndustry/Documents/Prudential-Practice-Guide- CPG-220-Risk-Management-January-2015.pdf
APRA. (4 november 2017). About APRA. Opgehaald van Australian Prudential Regulation Authority (APRA):
http://www.apra.gov.au/AboutAPRA/Pages/Default.aspx
APRA. (juli 2017). Prudential Standard CPS 220 Risk Management. Opgehaald van APRA: http://www.apra.gov.au/CrossIndustry/Documents/Prudential-Standard- CPS-220-Risk-Management-(July-2017).pdf
Banken.nl. (29 mei 2018). Ranglijst grootste Nederlandse banken 2018. Opgehaald van www.banken.nl: https://www.banken.nl/nieuws/20909/ranglijst-grootste-
nederlandse-banken-2018
Báthory, Z. T.-V. (2017). Bank Model Risks Incorporated into the Operational Risk Management Process. (Á. Hoffmann, Ed.) Journal of Public Finance, 62(1), 101-117.
BCBS. (juni 2011). Basel III: A global regulatory framework for more resilient banks and banking systems. Opgehaald van BIS: https://www.bis.org/publ/bcbs189.pdf BCBS. (28 juni 2012). The internal audit function in banks. Opgehaald van Basel
Committee on Banking Supervision: http://www.bis.org/publ/bcbs223.pdf BCBS. (juli 2015). Guidelines Corporate governance principles for banks. Opgehaald
van Basel Committee on Banking Supervision : https://www.bis.org/bcbs/publ/d328.pdf
BCBS. (maart 2016). Reducing variation in credit risk-weighted assets – constraints on the use of internal model approaches. Opgehaald van website van Basel
Committee on Banking Supervision: http://www.bis.org/bcbs/publ/d362.pdf BCBS. (10 augustus 2017). About the Basel Committee. Opgehaald van Bank for
International Settlements:
https://www.bis.org/bcbs/about.htm?m=3%7C14%7C573
BCBS. (december 2017). Basel III: Finalising post-crisis reforms. Opgehaald van BIS: https://www.bis.org/bcbs/publ/d424.pdf
Code, M. C. (8 december 2016). De Nederlandse Corporate Governance Code. Opgehaald van Monitoring Commissie Corporate Governance Code: https://www.mccg.nl/?page=3763
COSO. (juni 2017). Welcome to COSO. Opgehaald van The Committee of Sponsoring Organizations of the Treadway Commission (COSO):
https://www.coso.org/Documents/2017-COSO-ERM-Integrating-with-Strategy- and-Performance-Executive-Summary.pdf
80
CRD IV. (26 juni 2013). Richtlijn 2013/36/eu van het Europees Parlement en de Raad. Opgehaald van EUR-Lex: http://eur-lex.europa.eu/legal-
content/NL/TXT/PDF/?uri=CELEX:32013L0036&from=NL
CRR. (26 juni 2013). Verordening (EU) No 575/2013. Opgehaald van Official Journal of the European Union: http://eur-
lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2013:321:0006:0342:EN:P DF
Deloitte. (april 2017). Model Risk Management - Driving the value in modelling. Opgehaald van www.Deloitte.com:
https://www2.deloitte.com/content/dam/Deloitte/fr/Documents/risk/deloitte_mo del-risk-management_plaquette.pdf
DNB. (januari 2005). Algemene Aanwijzingen voor het gebruik van het Handboek WTK. Opgehaald van DNB: http://www.toezicht.dnb.nl/binaries/50-211731.pdf DNB. (19 juni 2015). Halfjaarlijkse en jaarlijkse prudentiële rapportages veranderen
voor betaalinstellingen . Opgehaald van www.dnb.nl: https://www.dnb.nl/nieuws/dnb-nieuwsbrieven/nieuwsbrief-
betaalinstellingen/nieuwsbrief-betaalinstellingen-juli-2015/dnb323414.jsp EBA. (19 december 2014). Guidelines on common procedures and methodologies for
the supervisory review and evaluation process (SREP). Opgehaald van Regulation and Policies:
https://www.eba.europa.eu/documents/10180/935249/EBA-GL-2014- 13+(Guidelines+on+SREP+methodologies+and+processes).pdf
EBA. (3 juni 2015). Final Draft Regulatory Technical Standards on the specification of the assessment methodology under which competent authorities permit
institutions to use Advanced Measurement Approaches (AMA) for operational risk in accordance with Article 312 of Regulat. Opgehaald van EBA:
http://www.eba.europa.eu/documents/10180/1100516/EBA-RTS-2015- 02+RTS+on+AMA+assesment.pdf
EBA. (22 november 2016). EBA FINAL draft Regulatory Technical Standards on the specification of the assessment methodology for competent authorities regarding compliance of an institution with the requirements to use internal models for market risk and assessment of significant s. Opgehaald van EBA:
http://www.eba.europa.eu/documents/10180/1669525/Final+draft+RTS+on+the +IMA+assessment+methodology+%26+significant+shares+%28EBA-RTS- 2016-07%29.pdf
EBA. (21 juli 2016). Final Draft Regulatory Technical Standards on the specification of the assessment methodology for competent authorities regarding compliance of an institution with the requirements to use the IRB Approach in accordance with Articles 144(2), 173(3) and 180. Opgehaald van EBA:
http://www.eba.europa.eu/documents/10180/1525916/Final+Draft+RTS+on+As sessment+Methodology+for+IRB.pdf
EBA. (3 november 2016). Final Report Guidelines on ICAAP and ILAAP information collected for SREP purposes. Opgehaald van EBA:
http://www.eba.europa.eu/documents/10180/1645611/Final+report+on+Guideli nes+on+ICAAP+ILAAP+%28EBA-GL-2016-10%29.pdf
EBA. (2016). The European Banking Authority at a glance. Opgehaald September 24, 2017, from EBA:
http://www.eba.europa.eu/documents/10180/1401372/EBA+AT+A+GLANCE.p df/e8686db2-6390-4c52-ad06-bc8d24b7aeb5
81
EBA. (31 oktober 2017). Consultation Paper on the Draft Guidelines on the
Management of Interest Rate Risk. Retrieved from EBA Policy and Regulations: https://www.eba.europa.eu/documents/10180/2006934/Consultation+Paper+on+ Guidelines+on+technical+aspects+of+the+management+of+interest+rate+risk+ %28EBA-CP-2017-19%29.pdf
EBA. (26 september 2017). Draft guidelines on internal governance. Retrieved from EBA:
http://www.eba.europa.eu/documents/10180/1972987/Final+Guidelines+on+Int ernal+Governance+%28EBA-GL-2017-11%29.pdf
EBA. (31 oktober 2017). Regulation and Policy. Retrieved from EBA:
https://www.eba.europa.eu/documents/10180/2006934/Consultation+Paper+on+ Guidelines+on+technical+aspects+of+the+management+of+interest+rate+risk+ %28EBA-CP-2017-19%29.pdf
ECB. (november 2014). Guide to Banking Supervision. Opgehaald van website van ECB Banking Supervision:
https://www.bankingsupervision.europa.eu/ecb/pub/pdf/ssmguidebankingsuperv ision201411.en.pdf
ECB. (24 september 2017). Gemeenschappelijk toezichtsmechanisme. Retrieved September 24, 2017, from Europese Centrale Bank Bankentoezicht:
https://www.bankingsupervision.europa.eu/about/thessm/html/index.nl.html ECB. (17 februari 2017). The guide to the Targeted Review of Internal Models (TRIM).
Retrieved from ECB Banking Supervision:
https://www.bankingsupervision.europa.eu/ecb/pub/pdf/trim_guide.en.pdf ECB. (28 maart 2018). Public consultation on the draft ECB guide to internal models –
General topics chapter. Retrieved from ECB Banking Supervision - Legal Framework:
https://www.bankingsupervision.europa.eu/legalframework/publiccons/html/inte rnal_models.en.html
ECB. (16 april 2018). What is the targeted review of internal models? Opgehaald van website vanECB Banking Supervision:
https://www.bankingsupervision.europa.eu/about/ssmexplained/html/trim.en.ht ml
Fed. (4 april 2011). Board of Governors of the Federal Reserve System. Retrieved from The Federal Reserve: https://www.federalreserve.gov/aboutthefed.htm
Gleim, I. N. (2015). CIA review part 1 Internal Audit Basics (2016 ed., Vol. 1). Gainesville, Florida, USA: Gleim Publications Inc.
Gleim, I. N. (2015). CIA review part 3 Internal Audit Knowledge Elements (2016 ed., Vol. 3). (I. N. Gleim, Ed.) Gainesville, Florida, USA, Florida, USA: Gleim Publications, Inc.
Grant Thornton. (2015). Identifying and Managing Model Risk. Opgehaald van www.GrantThornton.com: https://www.grantthornton.com/~/media/content- page-files/financial-services/pdfs/2015/INS/Identifying-and-managing-model- risk.ashx
Husbands, D. (2015, November). Model Risk Management (MRM). Opgehaald van www.ey.com:
http://www.seactuary.com/files/handouts/201511%203%20GS%201%20D%20 SEAC%20Model%20Risk%20Management%20-%20Final.pdf
IFAC. (december 2013). International Standard on Assurance Engagements (ISAE) 3000 Revised, Assurance Engagements Other than Audits or Reviews of
82
Historical Financial Information . Retrieved from IFAC:
https://www.ifac.org/publications-resources/international-standard-assurance- engagements-isae-3000-revised-assurance-enga
IIA. (januari 2013). The Three Lines of Defense in Effective Risk Management and Control. Opgehaald van Institute of Internal Auditors:
https://na.theiia.org/standards-
guidance/Public%20Documents/PP%20The%20Three%20Lines%20of%20Defe nse%20in%20Effective%20Risk%20Management%20and%20Control.pdf IIA. (2017). International Professional Practices Framework (IPPF). Opgehaald van
IIA Bookstore: https://na.theiia.org/standards-guidance/mandatory- guidance/Pages/Code-of-Ethics.aspx
IIA. (4 maart 2018). About the IIA. Opgehaald van IIA: https://na.theiia.org/about- us/Pages/About-The-Institute-of-Internal-Auditors.aspx
IIA. (maart 2018). Auditiing Model Risk Management. Opgehaald van IIA Practice Guides — Financial Services: https://global.theiia.org/standards-
guidance/Member%20Documents/PG-Auditing-Model-Risk-Management.pdf IIA. (4 maart 2018). Beroepsnormen IPPF. Opgehaald van IIA:
https://www.iia.nl/vaktechniek/beroepsnormen#mission
IIA. (4 maart 2018). Code of ethics. Opgehaald van IIA: https://na.theiia.org/standards- guidance/mandatory-guidance/Pages/Code-of-Ethics.aspx
ING. (2016). Jaarverslagen. Opgehaald van ING: https://www.ing.com/Investor- relations/Annual-Reports.htm
ING. (13 maart 2018). Annual reports - ING group additional pillar III report 2017. Opgehaald van ING.com: https://www.ing.com/Investor-relations/Annual- reports.htm
Jon Danielsson, K. R. (2016). Model risk of risk models. Journal of Financial Stability, 79–91.
Lingenfelder, R. (2015). Internal auditing of model risk within banking institutions. Southern African Journal of Accountability and Auditing Research Vol 17, 19- 31.
Luther Klein, M. J. (2015). Emerging Trends in Model Risk Management - High Performance. Delivered. Opgehaald van www.Accenture.com:
https://www.accenture.com/_acnmedia/Accenture/Conversion-
Assets/DotCom/Documents/Global/PDF/Industries_19/Accenture-Emerging- Trends-Model-Risk-Management.pdf
McKinsey and Company. (februari 2017). The evolution of model risk management. Opgehaald van McKinsey and Company: http://www.mckinsey.com/business- functions/risk/our-insights/the-evolution-of-model-risk-management
Ni, A. (2016). Model Risk Management - a sound practice for meeting challenges. Opgehaald van www.KPMG.com:
https://assets.kpmg.com/content/dam/kpmg/pdf/2016/06/KPMG-Whitepaper- Model-Risk-Management-2016.pdf?logActivity=true
NVB. (9 september 2010). Code Banken. Opgehaald van NVB:
https://www.nvb.nl/publicaties/gedragscodes/1241/code-banken.html NVB. (2015). Toekomstgericht bankieren. Opgehaald van NVB:
https://www.nvb.nl/publicaties/gedragscodes/1241/code-banken.html Over IIA Vakgebied. (4 maart 2018). Opgehaald van IIA Nederland:
83
PRA. (11 maart 2016). The Prudential Regulation Authority’s approach to banking supervision. Opgehaald van Bank of England Prudential Regulation Authority: http://www.bankofengland.co.uk/publications/Documents/praapproach/bankinga ppr1603.pdf
PRA. (6 december 2017). Model risk management principles for stress testing. Opgehaald van Bank of England Prudential Regulation Authority: https://www.bankofengland.co.uk/prudential-
regulation/publication/2017/model-risk-management-principles-for-stress- testing
PRA. (december 2017). Prudential Regulation Authority (PRA). Opgehaald van Bank of England: https://www.bankofengland.co.uk/-/media/boe/files/prudential-
regulation/consultation-paper/2017/cp2617.pdf
Princy Jain, C. C., Harvey, K., & Rita Thakkar, C. e. (april 2011). De kleine IAF en de IIA Standaarden. Opgehaald van IIA:
https://www.iia.nl/SiteFiles/vakpub/2011_IIA_De_kleine_IAF_en_de_IIA_Stan daarden.pdf
R. Black*, A. T. (2017). Model risk: illuminating the black box. British Actuarial Journal, 1-58. Opgehaald van https://www.cambridge.org/core/services/aop- cambridge-
core/content/view/FD2FD9F9DD86CCB611B4ECEF1421A7AA/S1357321717 000150a.pdf/model_risk_illuminating_the_black_box.pdf
Rabobank. (2016). Jaarverslagen. Opgehaald van Rabobank: https://www.rabobank.com/nl/images/jaarverslag-2016.pdf
Rabobank. (15 maart 2018). Pillar 3 report. Opgehaald van Rabobank.com: https://www.rabobank.com/en/images/pillar-3-report-2017.pdf
Scandizzo, S. (2016). The Validation of Risk Models. Luxemburg: Palgrave Macmillan. Sri Krishnamurthy CFA, C. (24 september 2017). Quantifying Model Risk. Opgehaald
van www.quantuniversity.com:
http://www.quantuniversity.com/Quantifying%20Model%20Risk.pdf; https://www.wilmott.com/?s=quantifying+model+risk
Sridhar Sourirajan, P. P. (2016). The Future of Model Risk Management for Financial Services Firms. Opgehaald van www.SAS.com:
https://www.sas.com/content/dam/SAS/en_us/doc/whitepaper1/future-model- risk-management-for-financial-services-108343.pdf
Staatscourant. (2 april 2001). Regeling organisatie en beheersing. Opgehaald van Overheid: https://zoek.officielebekendmakingen.nl/stcrt-2001-65-p23- SC28685.html
Veltman, P. (2011). Inleiding IT-Auditiing. In E. R. Rob Fijneman, Grondslagen IT- auditing (pp. 79-94). Den Haag: SDU.
Volksbank. (2016). Jaarverslagen. Opgehaald van Volksbank:
https://www.devolksbank.nl/investor-relations/jaarverslagen.html
Wilken, D. K. (2017). The evolution of Model Risk Management. Jaarboek Frankfurter Institut für Risikomanagement und Regulierung, 174-176.
84
Bijlage 1 Interviewvragen
Nr. audit validatie CRCU