Het auditen van interne modellen : een theoretisch en praktisch onderzoek bij de vier Nederlandse grootbanken

Het auditen van

interne modellen.

Een theoretisch en praktisch onderzoek bij

de vier Nederlandse grootbanken

Universiteit van Amsterdam Amsterdam Business School

Van: Drs. Tjarko Schuring RC CIA Studentnummer: 11277696

Datum: 31 augustus 2018

Programma: Executive Msc of Internal Auditing Aan: Dr. Susanne van Hoek-Gerritsen

Dr. Walter Swinkels RO Drs. Huck Chuah RA RO

2

Inhoudsopgave

2 Theoretisch kader voor het auditen van interne modellen 11

2.1 Inleiding 11

2.2 Audit bij banken 11

2.2.1 De wettelijke basis van modelaudits 11

2.2.2 Definitie van audit en toelichting op auditstandaarden 12

2.2.3 Samenvatting audit bij banken 13

2.3 Modelrisicomanagement bij banken 14

2.3.1 Eerste lijn: modelgebruikers en -ontwikkelaars 15

2.3.2 Tweede lijn: validatie- en controlfuncties 16

2.3.3 Tweede lijn: modelrisicorapportage en modelrisicomanagement 17

2.3.4 Derde lijn: audit 18

2.3.5 Samenvatting 18

2.4 Wet- en regelgeving auditing van interne modellen 18

2.5 Wettelijke eisen aan audit met betrekking tot beoordeling van interne modellen 20

2.6 Samenvatting hoofdstuk 2 25

3 Het auditen van interne modellen in de praktijk 26

3.1 Inleiding 26

3.2 Opzet van het praktijkonderzoek 26

3.3 Resultaten jaarlijkse algemene beoordeling van interne modellen 29

3.4 Resultaten governance 33

3.5 Resultaten ‘deep dives’ 35

3.6 Resultaten IRB-systeemaudits 40

3.7 Resultaten IMA-marktrisicoaudits 43

3.8 Resultaten modelontwikkelingsaudits 45

3.9 Resultaten overige onderwerpen bij modelaudits 48

3.9.1 Gesprekspunten modelaudits 48

3.9.2 Aanbevelingen van respondenten over modelaudits 51

3.9.3 Vragen die respondenten hebben gemist 53

3.9.4 Samenvatting 55

3.10 Samenvatting resultaten 55

4 Analyse: adviezen voor internemodelaudits 57

4.1 Inleiding 57

4.2 Adviezen voor de jaarlijkse algemene beoordeling van interne modellen 57

4.3 Advies voor governance 61

4.4 Adviezen voor ‘deep dives’ 63

4.5 Adviezen voor IRB-systeemaudits 66

4.6 Adviezen voor IMA-marktrisicoaudits 68

4.7 Adviezen voor modelontwikkelingsaudits 70

4.8 Samenvatting adviezen voor internemodelaudits 72

5 Conclusie theorie en praktijk van internemodelaudits 74

5.1 Inleiding 74

5.2 Onderzoeksresultaten 74

5.3 Beperkingen en aanwijzingen voor nader onderzoek 76

Literatuurlijst 79

Bijlage 1 Interviewvragen 84

3

Voorwoord

Met veel plezier heb ik onderzoek gedaan naar het auditen van modellen. Een

interessant onderwerp waarover nog genoeg te zeggen valt. Het gebruik van modellen binnen de banken neemt fors toe en dus ook het risico dat modellen fout zijn of fout worden gebruikt. Geen wonder dat toezichthouders en management audit, de ‘assurance providers’, vragen onderzoeken te doen naar modelrisico en modelrisicomanagement, een geheel nieuw terrein voor audit.

Ik was nieuwsgierig hoe audit modellen moet gaan evalueren. Ik vond hierover echter verrassend weinig literatuur. Wel geeft de wet- en regelgeving in brede zin aan wat van audit wordt verwacht bij het beoordelen van interne modellen. Ik besloot om op

verkenning te gaan en me te verdiepen in deze wetgeving en vervolgens veldwerk te gaan doen bij ING, Rabobank, ABN AMRO, de Volksbank en financiële consultants. Mijn doel was om een beeld te schetsen hoe deze Nederlandse banken interne modellen auditen en om adviezen te geven voor verbeteringen. Deze scriptie is het eindresultaat.

Graag wil ik een aantal mensen bedanken die ervoor gezorgd hebben dat ik niet ben verdwaald. In de eerste plaats mijn baas Klaas Leendert Leijendekker, hem wil ik ook bedanken voor de aanmoediging om de Executive Msc Internal Auditing te gaan volgen. Mijn collega’s van de Expertise Pool Risk Management en Treasury van Audit Rabobank en dan speciaal heel de modellenclub. De vele discussies over de modelaudits brachten me nieuwe inzichten en gezichtspunten die ik onderweg goed kon gebruiken. En een heel groot woord van dank aan alle experts die ik heb geïnterviewd. Hun

bereidheid, enthousiasme, interesse en deskundigheid hebben me enorm geholpen in dit onderzoek. Ook wil ik mijn begeleidster Susanne van Hoek-Gerritsen heel erg

bedanken. Haar tips, haar snelle feedback en haar opgewektheid motiveerden mij en zorgden ervoor dat ik er de vaart in hield.

En ten slotte bedank ik met liefde degenen met wie ik niet zoveel over modellenaudits praat maar die altijd voor mij klaar staan: mijn lieve vrouw Eugénie en onze geweldige kinderen Pauline, Margot en Jurriaan.

4

Samenvatting

Het management van de bank en de ECB doen in toenemende mate een beroep op auditafdelingen om interne modellen, die banken gebruiken voor het berekenen van vereist kapitaal, te auditen. Het probleem hierbij is dat onduidelijk is waaraan een modelaudit inhoudelijk moet voldoen en hoe deze moet worden uitgevoerd. Om auditafdelingen van banken beter in staat te stellen hun meerwaarde te leveren bij de beheersing van modelrisico’s, is dit onderzoek gedaan naar het auditen van interne modellen.

De centrale onderzoeksvraag luidde: ‘Welke adviezen zijn te geven voor de uitvoering van internemodelaudits op basis van de wet- en regelgeving en de huidige praktijk bij de vier Nederlandse grootbanken?’ Het onderzoek is uitgevoerd door een combinatie van literatuuronderzoek en een praktijkonderzoek bij de vier grootste commerciële banken van Nederland: ING, Rabobank, ABN AMRO en de Volksbank.

Het literatuuronderzoek heeft geresulteerd in een theoretisch kader dat bestaat uit zes componenten. Drie componenten beschrijven de wijze waarop audit interne modellen dient te beoordelen. De drie andere componenten gaan over de elementen die audit bij modellen en modelontwikkeling behoort te beoordelen. Het praktijkonderzoek laat zien dat de banken in Nederland de wet- en regelgeving verschillend interpreteren en

daarnaast dat zij niet volledig voldoen aan de wet- en regelgeving. Dit betreft onder meer de eis een jaarlijkse algemene beoordeling van alle interne modellen op te stellen.

Op basis van een analyse van de resultaten uit de theorie en de praktijk zijn veertien adviezen geformuleerd. Deze zijn onderverdeeld in de categorieën ‘beter voldoen aan regelgeving’, ‘vergroten van effectiviteit van internemodelaudits’ en ‘efficiënt gebruik van de beschikbare middelen’.

Het onderzoek laat zien dat het auditen van interne modellen sterk in ontwikkeling is en dat er veel verbeteringen mogelijk zijn. Daarnaast biedt het onderzoek, het eerste over dit onderwerp, veel aanknopingspunten voor vervolgonderzoek.

5

1 Inleiding

1.1 Aanleiding

De banken maken in hun processen gebruik van modellen. Modellen worden toegepast bij het berekenen van de verkoopprijs of waarde van een financieel instrument, bij de uitvoering van het risicomanagement en bij de berekening van het vereiste kapitaal voor krediet-, markt- en operationeel risico (EBA, 2014, artikel 264).

Het gebruik van modellen leidt tot modelrisico's. Onder modelrisico wordt verstaan de kans op nadelige gevolgen van beslissingen op basis van onjuiste of verkeerd gebruikte modeluitkomsten (Fed, 2011, p. 3). Het managen van modelrisico's is van groot belang. Als er iets misgaat, kunnen de gevolgen ernstig zijn. Met digitalisering en

automatisering worden meer modellen geïntegreerd in bedrijfsprocessen, waardoor instellingen worden blootgesteld aan een groter modelrisico en daaruit voortvloeiende operationele verliezen (McKinsey and Company, 2017, p. 30). Incidenten uit de recente geschiedenis laten zien dat het om grote financiële schades kan gaan (A. Aggarwal, 2015, p. 14-16). Een voorbeeld is een incident bij JP Morgan in 2012 bekend onder de name ‘London Whale’. Door gebrekkig risicomanagement en een fout in een

spreadsheet, zijn posities opgebouwd die uiteindelijk tot een verlies van £ 6 miljard en een boete van £ 1 miljard hebben geleid.

Het onderkennen van modelrisico als een apart risicotype, heeft ertoe geleid dat de banken veel hebben geïnvesteerd in het ontwikkelen van een

modelrisicomanagementraamwerk in de afgelopen jaren (McKinsey and Company, 2017, p. 29). Daarnaast zien toezichthouders, zoals de ECB en de FED, en de top van het bankwezen een grotere rol voor audit in het geven van zekerheid over de effectiviteit en efficiency van modelrisicomanagement en modellen.1

Het auditen van modelrisicomanagement en modellen is in ontwikkeling. De vakliteratuur over dit onderwerp is echter miniem. Er zijn wel wetenschappelijke

6

artikelen2 _{en veel presentaties van adviesfirma’s}3 _{over modelrisicomanagement waarin} zijdelings de functie van audit wordt behandeld. Alle artikelen en presentaties refereren daarbij aan de SR 11-07: Supervisory Guidance on Model Risk Management van de Amerikaanse toezichthouder (Fed, 2011). Een van de weinige artikelen over het auditen van modelrisico binnen banken is van Lingenfelder. Hij concludeert op basis van zijn onderzoek dat de auditfuncties van banken zullen moeten investeren in kennis en vaardigheden om assurance te kunnen geven op ‘conceptual soundness’ van een model, op de kwaliteit van het model en op het gebruik van het model (Lingenfelder, 2015, p. 29). Daarnaast heeft het ‘Institute of Internal Auditors’ in maart 2018 een ‘practice guide’ uitgebracht, getiteld Auditing Model Risk Management (IIA, 2018). Hierin staat een beschrijving van het modelrisicomanagementproces en een raamwerk voor het auditen hiervan.

Dit onderzoek richt zich op het auditen van de interne modellen die de vier Nederlandse grootbanken gebruiken voor het berekenen van kapitaal voor krediet- en marktrisico. De vier Nederlandse – commerciële - grootbanken, ING, Rabobank, ABN AMRO en de Volksbank vertegenwoordigen, naar balanstotaal gemeten, 87% van de Nederlandse bankensector in 2017 (Banken.nl, 2018). De reden om de audit van interne

kapitaalmodellen te onderzoeken is omdat deze internemodellenaudits sterk in de belangstelling staan. De ECB voert in 2017-2019 TRIM-onderzoeken uit bij de grote Europese banken (ECB, 2018).4 _{Dit ECB-onderzoeksprogramma heeft als doel na te} gaan of de interne modellen bij de banken voldoen aan de regelgeving en of de modelresultaten betrouwbaar en vergelijkbaar zijn. Een onderdeel van het TRIM-onderzoek is een beoordeling van de auditfunctie met betrekking tot de uitvoering van internemodelaudits.

Hierbij ervaren banken het probleem dat niet duidelijk is wat de scope en diepgang van internemodelaudits behoort te zijn. De Amerikaanse toezichthouder geeft hierover zeer

2_{Relevante publicatie zijn: Bank model risks incorporated into the operational risk maangement process (Báthory, 2017), Model}

risk: illuminating the black box (R. Black*, 2017), Quantifying model risk (Sri Krishnamurthy CFA, 2017), The evolution of Model Risk Management (Wilken, 2017)

3_{Alle grote adviesfirma’s publiceren over modelrisicomanagement, bijvoorbeeld: McKinsey (McKinsey and Company, 2017), EY}

(Husbands, 2015), KPMG (Ni, 2016), Deloitte (Deloitte, 2017), Accenture (Luther Klein, 2015), SAS (Sridhar Sourirajan, 2016), Grant Thornton (Grant Thornton, 2015).

7

algemene richtlijnen voor alle mogelijke modellen. In de recente Europese wet- en regelgeving staan wel specifieke bepalingen voor de audit van interne modellen maar ook in algemene zin. Daarbovenop lijkt de ECB in de ECB Guide for Internal Models (ECB, 2018, p. 30-32) een grotere rol van audit bij internemodelaudits te verwachten dan in deze wet- en regelgeving staat.

De aanleiding voor het onderzoek naar het auditen van interne modellen is het probleem dat voor audit onduidelijk is waaraan een modelaudit inhoudelijk moet voldoen en hoe deze moet worden uitgevoerd. Dit onderzoek wil bijdragen aan de verdere ontwikkeling van het auditen van interne modellen, zodat auditafdelingen van banken beter in staat zijn meerwaarde te leveren bij de beheersing van modelrisico’s.

1.2 Probleemstelling

In dit onderzoek is nagegaan welke eisen de wet- en regelgeving stellen ten aanzien van internemodelaudits en hoe de vier Nederlandse grootbanken hieraan invulling geven. Het doel van het onderzoek was adviezen op te stellen voor het auditen van interne modellen zodat beter wordt voldaan aan wet- en regelgeving en bij te dragen aan de ontwikkeling van ‘best practices’.

De centrale onderzoeksvraag luidde:

‘Welke adviezen zijn te geven aan audit voor de uitvoering van internemodelaudits op basis van de wet- en regelgeving en de huidige praktijk bij de vier Nederlandse

grootbanken?’

Hierbij zijn twee deelvragen geformuleerd:

1. Aan welke wettelijke eisen dienen internemodelaudits te voldoen?

2. Welke aanpak volgen de auditafdelingen van de vier Nederlandse grootbanken bij internemodelaudits?

Om de onderzoeksvragen te beantwoorden is het onderzoek uitgevoerd in drie delen. Het eerste deel bestond uit het opstellen van een theoretisch kader. Het doel was om te bepalen welke eisen de wet- en regelgeving stelt aan audits van interne modellen.

8

Allereerst zijn beschreven de uitgangspunten voor een modelaudit en de wijze waarop banken modelrisico beheersen. Vervolgens is de wet- en regelgeving in kaart gebracht die geldt voor interne kapitaalmodellen. Ten slotte is geïnventariseerd op welke componenten audit interne modellen dient te beoordelen. Dit laatste heeft geresulteerd in een overzicht van zes componenten die van belang zijn bij het auditen van interne modellen.

Het tweede deel is een praktijkonderzoek bij de vier Nederlandse grootbanken. Het doel van het praktijkonderzoek was na te gaan hoe Nederlandse grootbanken de wet- en regelgeving, die geldt voor audits naar interne modellen, interpreteren en in praktijk brengen. Het praktijkonderzoek bestond uit dertien semigestructureerde interviews. De interviews gingen over de zes componenten uit het theoretisch kader.

In het derde deel zijn de resultaten van de interviews geanalyseerd en gerelateerd aan het theoretisch kader. Hieruit blijkt hoe de vier Nederlandse grootbanken het auditen van interne modellen uitvoeren in de praktijk. Daarnaast zijn adviezen geformuleerd om bij te dragen aan de verdere ontwikkeling van het auditen van interne modellen.

1.3 Onderzoeksmethode

Het onderzoek is uitgevoerd door een combinatie van literatuuronderzoek en een praktijkonderzoek bij de vier grootste commerciële banken van Nederland: ING, Rabobank, ABN AMRO en de Volksbank.

Bij het literatuuronderzoek zijn artikelen over de inrichting van het

modelrisicomanagementraamwerk binnen banken geraadpleegd en is een inventarisatie gemaakt van relevante wet- en regelgeving over het auditen van interne krediet- en marktrisicomodellen. De wet- en regelgeving over het auditen van interne modellen is gerelateerd aan de auditstandaarden. Vervolgens zijn zes componenten uit de wet- en regelgeving beschreven die specifiek voor het auditen van interne modellen gelden.

Het praktijkonderzoek is uitgevoerd door het houden van semigestructureerde

9

interviews gingen over de zes componenten uit het theoretisch kader. De reden om te kiezen voor een interview was dat de vragen ingewikkeld kunnen zijn en het – om goede resultaten te verkrijgen - belangrijk is dat bij onduidelijkheden deze meteen kunnen worden toegelicht.

In figuur 1.1 staat een schematische weergave van het onderzoek.

Figuur 1.1 Onderzoeksmodel

Dit model kan als volgt worden toegelicht. Het theoretisch kader van het auditen van interne modellen (A) is uitgewerkt door te beginnen met het belang van en de inhoud van audit kort te schetsen. Belangrijk hierbij is dat de basis voor een audit de IIA standaarden zijn. Daarna is het modelrisicomanagementraamwerk binnen een bank onderzocht en is gekeken naar de relevante wet- en regelgeving voor het auditen van interne modellen. Op basis van bestudering van deze wet- en regelgeving versus de IIA standaarden zijn tot slot zes componenten geformuleerd die een theoretisch kader

vormen voor internemodelaudits. Vervolgens is door middel van een semigestructureerd interview met relevante bankexperts in beeld gebracht hoe de grootbanken de zes

componenten in de praktijk invullen (B). De interviewgegevens zijn daarna

geanalyseerd (C) door deze te vergelijken met het theoretisch kader. Zo is een nadere inkleuring van het theoretisch kader verkregen, op basis waarvan adviezen zijn geformuleerd voor de verdere ontwikkeling van het auditen van interne modellen.

D ABN AMRO EY Risk Quest ING Volksbank M o d el au d it p ra k ti jk e n a d v ie ze n Analyse resultaten Analyse resultaten Analyse resultaten A B C

Theoretisch kader voor het auditen van interne modellen

Analyse resultaten Analyse resultaten Analyse resultaten Audit Regelgevers en toezichthouders Wet- en regelgeving Modelrisicomanagement Rabobank

10

1.4 Leeswijzer

In hoofdstuk 2 staat een uitwerking van het theoretisch kader naar zes componenten. In hoofdstuk 3 staat een verslag van de interviews die zijn gehouden. Hoofdstuk 4 bevat een analyse van de resultaten van de interviews gerelateerd aan het theoretisch kader en adviezen voor de verdere ontwikkeling van het auditen van modellen. Ten slotte geeft hoofdstuk 5 een korte samenvatting en suggesties voor verder onderzoek.

11

2 Theoretisch kader voor het auditen van interne modellen

2.1 Inleiding

In dit hoofdstuk wordt de eerste deelvraag: ‘Aan welke wettelijke eisen dienen

internemodelaudits te voldoen?’ beantwoord. Het resultaat is een theoretisch kader voor het auditen van interne modellen. In paragraaf 2.2 staat een kort overzicht van algemene uitgangspunten voor modelaudits bij banken. Daarna staat in paragraaf 2.3 een uitleg over hoe banken modelrisico beheersen door een modelrisicomanagementraamwerk. Vervolgens komen de relevante regelgevers en toezichthouders aan de orde in paragraaf 2.4. In paragraaf 2.5 volgt een overzicht van eisen aan internemodelaudits waarbij zes componenten worden onderscheiden. Ten slotte vat paragraaf 2.6 het theoretisch kader samen.

2.2 Audit bij banken

Deze paragraaf geeft algemene uitgangspunten van audit bij banken. Zo komt het belang van audit bij banken aan de orde, de definitie van audit en de auditstandaarden. Deze standaarden gelden ook voor modelaudits en zijn onderdeel van de wet- en regelgeving.

2.2.1 De wettelijke basis van modelaudits

Banken hebben verplicht een auditafdeling. Dit is vastgelegd in artikel 22 van de Regeling Organisatie en Beheersing van De Nederlandsche Bank als onderdeel van de Wet toezicht Kredietwezen (Staatscourant, 2001), (DNB, 2005).

Behalve deze wettelijke verplichting staat audit bij banken in toenemende mate in de belangstelling. Als gevolg van de financiële crisis van 2007/2008 is regelgeving en het toezicht aangescherpt. Zo heeft het Bazels Comité voor Bankentoezicht in 2012 een herziene versie van richtlijnen over audit uitgebracht (BCBS, 2012).5

12

Voorts is relevant de in september 2017 herziene EBA-guidelines Internal Governance bij banken (EBA, 2017). Hierin staat de functie van audit binnen de interne besturing van de bank beschreven. Artikel 202 van deze guidelines gaat specifiek over het auditen van interne modellen. Er staat dat audit de interne modellen moet beoordelen op de integriteit van het modelleringsproces en of hierin voldoende waarborgen zijn

opgenomen over de betrouwbaarheid van (1) de gebruikte methoden en technieken, (2) de gebruikte veronderstellingen en (3) de gebruikte data.

2.2.2 Definitie van audit en toelichting op auditstandaarden

De definitie van audit vat samen welke activiteiten, hoe en waarvoor audit verricht en is de basis voor audits van interne modellen.

De gehanteerde definitie van audit in dit onderzoek komt van het Instituut van Internal Auditors (IIA) en de definitie luidt als volgt:

‘Interne audit is een onafhankelijke en op objectieve wijze zekerheid

verstrekkende en raadgevende activiteit. Deze is in het leven geroepen om een meerwaarde te bieden en een verbetering te bewerkstelligen van de werking van een organisatie. Zij helpt een organisatie bij het realiseren van haar doelstellingen door, via een systematische en gedisciplineerde aanpak, de doeltreffendheid van het risico- en controlebeheer en de beleidsprocessen te evalueren en te

verbeteren.’ (IIA, 2018)

Audit is gehouden aan de richtlijnen zoals vastgelegd in het IPPF (International Professional Practices Framework) dat wordt onderhouden door het IIA (IIA, 2018). Een belangrijk onderdeel van het IPPF zijn de ‘standards’. Dit zijn ‘principle based’ richtlijnen over de inrichting van de auditfunctie en de uitvoering van auditopdrachten. In figuur 1 staan de hoofdcategorieën van de verplichte IIA standaarden in het IPPF. De 1000 serie gaat over de plaats en het karakter van audit binnen de organisatie en de 2000 serie gaat over de uitvoering van een auditopdracht en de opvolging daarvan.

13

Figuur 2.1 Verplichte IIA standaarden6

In de wet en regelgeving over het auditen van interne modellen staan bepalingen zoals in de standaarden 1000, 1100, 1200, 2400 en 2500. Daarnaast heeft de wet- en

regelgeving specifiekere bepalingen op basis van de 2000 en 2100 standaarden.

In maart 2018 heeft het IIA een ‘practice guide’ uitgebracht over

modelrisicomanagement (IIA, 2018). Een ‘practice guide’ bevat aanvullende richtlijnen op de verplichte richtlijnen zoals de auditstandaarden. In de ‘guide’ staat een

beschrijving van modelrisicomanagement en wordt aan de hand van standaarden 2200, 2300 en 2400 een modelrisicomanagementaudit uitgewerkt inclusief een

testprogramma.

2.2.3 Samenvatting audit bij banken

In deze paragraaf zijn de algemene uitgangspunten voor modelaudits bij banken behandeld. Banken zijn bij wet verplicht een auditafdeling te hebben en een verplicht onderdeel is het auditen van interne modellen. De werkwijze bij modelaudits volgt uit de algemene definitie van audit, welke is uitgewerkt in auditstandaarden. Specifiek voor modelrisicomanagementaudits is door het IIA een ‘practice guide’ ontwikkeld.

6_{Tabel ontleend aan “Praktijkgids De kleine IAF en de IIA Standaarden” (Princy Jain, Harvey, & Rita Thakkar, 2011)}

IIA Standaard IIA Standaard

1000 Doel, bevoegdheid en

verantwoordelijkheid

2000 Management van de internal

auditfunctie

1100 Onafhankelijkheid en

objectiviteit 2100 Aard van het werk

1200 Deskundigheid en

zorgvuldigheid 2200 Planning van de opdracht

1300 Kwaliteitsborgings-en

verbeterprogramma 2300 Uitvoering van de opdracht

2400 Communicatie van resultaten

2500 Toezicht op de opvolging

2600 Risico acceptatie door het

14

2.3 Modelrisicomanagement bij banken

In deze paragraaf staat een beschrijving van de besturing en organisatie van

modelrisicomanagement binnen banken. Het doel van modelrisicomanagement is om de omvang van het modelrisico binnen de gestelde grenzen te houden door de

modelrisico’s systematisch te identificeren, in te schatten, te classificeren, te beheersen en om over maatregelen voor het bijsturen van het modelrisico te besluiten. Banken zijn wettelijk verplicht het modelrisico te managen, dit volgt uit artikel 85 van (CRD IV, 2013).

In figuur 2.2 staat een overzicht van een modelrisicomanagementraamwerk bij banken dat is ontleend aan een presentatie (Deloitte, 2017). Deze presentatie volgt het bekende ‘Three Lines of Defense’-model (IIA, 2013).

Figuur 2.2 Besturing en organisatie van modelrisicomanagement bij een bank

Besluitvorming: raad van bestuur en senior management

↑ Modelrisicokwantificering en -bijsturing ↑ B. Onafhankelijke modelvalidatie F. Jaarlijkse modelreview E. Continue modelrisicomonitoring Audit

Tweede lijn: validatie- en controlfuncties

Modeleigenaren & -ontwikkelaars A. Modelinitiatie en -ontwikkeling C. Modelimplementatie D. Modelgebruik

Eerste lijn: modelgebruikers en modelontwikkelaars

Bron: Deloitte, Model Risk Management, Driving the value in modelling, pagina 21, April 2017, Risk Advisory

D er d e lij n : a u d it Modelrisico-management Modelreview en -validatie 1. Modelrisico-appetijt 2. Modelgovernance 3. Modelgebruik-risico escalatie Senior risico-managers Modelrisicorapportage Modelrisicoidentificatie en -meting Modelontwikkeling en -gebruik V o ld o en a an b el ei d , s ta n d aa rd en e n p ro ce d u re s 4. V as tge le gd i n be le id, s ta nda ar de n e n pr oc edur es

15

De blokjes A t/m F in figuur 2.2 staan voor de onderdelen van de model-life-cycle (MLC). De MLC begint met (A) het besluit om een model te gaan gebruiken, dat te verzamelen en op basis van deze data het model te ontwikkelen. Vervolgens dient het model intern te worden gevalideerd (B) en interne kapitaalmodellen moeten ook goedgekeurd worden door de ECB. Na goedkeuring vindt implementatie plaats (C) en kan het model in gebruik worden genomen (D). Het model wordt continu gemonitord op juist gebruik (E). Minimaal één keer per jaar worden de modelvoorspellingen gecontroleerd met de gerealiseerde waarden (F). Afhankelijk van de uitkomst van deze controle vindt eventueel bijsturing plaats.

Alle interne kapitaalmodellen die worden gebruikt, moeten verplicht onderdeel zijn van het modelrisicomanagementraamwerk. Figuur 2.2 laat zien dat de raad van bestuur en het senior management besluiten nemen (1) over de mate waarin modelrisico kan worden gelopen (‘appetijt’), (2) over de besturing van het modelrisico, (3) over de modellen zelf in het geval van escalatie en (4) over het modelrisicomanagementbeleid. De raad van bestuur en het senior management besturen dus de omvang van het

modelrisico. De volgende paragrafen beschrijven hoe het ‘three lines of defense’-model is ingericht bij modelrisicomanagement.

2.3.1 Eerste lijn: modelgebruikers en -ontwikkelaars

In deze paragraaf wordt een toelichting op de rol van de eerste lijn bij een bank gegeven. De eerste lijn is de business. De business ontwikkelt - of geeft opdracht tot ontwikkeling/aanschaf van – modellen om deze te gebruiken in de bedrijfsprocessen.

Figuur 2.2a Modelontwikkeling en - gebruik

Bijvoorbeeld de hypothekenafdeling die een model gebruikt bij de afhandeling van hypotheekaanvragen. De afdeling gebruikt dan het intern hypothekenmodel om onder

A. Modelinitiatie en -ontwikkeling

C.

Modelimplementatie D. Modelgebruik

Eerste lijn: modelgebruikers en modelontwikkelaars

16

meer te bepalen of de klant kredietwaardig genoeg is en de risico-opslag in het rentetarief te berekenen. Daarnaast wordt met hetzelfde model het vereiste kapitaal berekend.

In de groene blokjes van figuur 2.2 staan de stappen van de ‘model-life-cycle’ (MLC) bij de modeleigenaar. Dit is in bovenstaand voorbeeld het hoofd van de

hypothekenafdeling en komt overeen met het FED-uitgangspunt dat business units verantwoordelijk zijn voor het modelrisico dat zij veroorzaken (Fed, 2011, p. 18). De stap (A) modelinitiatie houdt een vooronderzoek in waarbij de voor- en nadelen van een model worden afgewogen. Deze fase leidt tot een besluit over de functionele eisen van een model en of dit model zelf wordt ontwikkeld of wordt aangeschaft.

Modelontwikkeling vindt plaats op basis van omvangrijke historische datasets. De modelontwikkeling staat bij de eerste lijn omdat de business de eerst belanghebbende is. In de praktijk – zoals bij Rabobank (Rabobank, 2018, p. 18) en ING (ING, 2018, p. 25) - vindt modelontwikkeling vanwege de vereiste technische kennis veelal plaats bij risicomanagement. (C) Modelimplementatie kan pas na (B) modelvalidatie en (3) besluitvorming in de modelgoedkeuringscommissie. Bij interne kapitaalmodellen moet ook eerst een goedkeuringsaanvraag bij de externe toezichthouder worden doorlopen. Na implementatie kan het model in (D) gebruik worden genomen.

2.3.2 Tweede lijn: validatie- en controlfuncties

De tweede lijn zorgt voor (B) een onafhankelijke modelvalidatie voordat het model wordt (C) geïmplementeerd (Fed, 2011, ‘conceptual soundness’, p. 9-11). In de validatie wordt het model op voorspelkracht en andere model technische aspecten beoordeeld. Daarnaast wordt de data en de veronderstellingen op basis waarvan het model is geconstrueerd geëvalueerd. Ten slotte wordt nagegaan of het model geschikt is voor het gebruik dat ermee wordt beoogd, zoals vastgelegd in stap (A). Deze drie onderdelen vormen samen de stap (B)‘onafhankelijke modelvalidatie’ in de MLC, figuur 2.2b.

17

Figuur 2.2b Modelrisicoidentificatie en -meting

Stap (F) ‘jaarlijkse modelreview’ houdt onder meer in ‘backtesting’. ‘Backtesting’ is dat modelvoorspellingen, bijvoorbeeld het aantal posten in betalingsmoeilijkheden, worden vergeleken met het werkelijk aantal posten in betalingsmoeilijkheden. Grote

afwijkingen moeten nader worden onderzocht (Fed, 2011, ‘outcomes analysis’, p. 13-15). Bij stap (E) ‘continue modelrisicomonitoring’ wordt bijvoorbeeld maandelijks gerapporteerd over de hypotheken die zijn verstrekt tegen andere voorwaarden dan bepaald met het model (‘model overrides’). Grote afwijkingen kunnen het gevolg zijn van slechte modelkwaliteit en dienen nader onderzocht te worden (Fed, 2011, ‘ongoing monitoring’, p. 12-13).

2.3.3 Tweede lijn: modelrisicorapportage en modelrisicomanagement

Een belangrijke voorwaarde voor de modelrisicorapportage is een actuele

modelvoorraadadministratie. De FED zegt hierover: ‘a specific party should also be charged with maintaining a firm-wide inventory of all models, which should assist a bank in evaluating its model risk in the aggregate’ (Fed, 2011, p. 20). In de

modelvoorraad staat onder meer per model de modelrisicorating, datum ingebruikname, datum laatste validatie, datum laatste review, uitkomst laatste eindbeoordeling,

modeleigenaar (verantwoordelijk voor het model), enzovoorts. Banken zijn verplicht voor interne modellen een voorraadadministratie bij te houden. Deze verplichting volgt voor kredietrisicomodellen uit artikel 33 van de EBA-RTS on assessment methodology for IRB (EBA, 2016).

B. Onafhankelijke modelvalidatie F. Jaarlijkse modelreview E. Continue modelrisicomonitoring

Tweede lijn: validatie- en controlfuncties

18

Figuur 2.2c Modelrisicorapportage

Het modelrisico wordt gemeten door kwalitatieve factoren zoals uitkomsten van

modelvalidaties en monitoringrapporten. De modelrisicorapportages moeten de raad van bestuur in staat stellen overzicht te houden op de ontwikkeling van het modelrisico (Deloitte, 2017, p. 28).

2.3.4 Derde lijn: audit

Een belangrijke taak van audit is om te beoordelen of het

modelrisicomanagementraamwerk en de modellen voldoen aan (intern en extern) beleid, standaarden en procedures dienaangaande. In paragraaf 2.5 volgt een uitwerking voor de audit van interne modellen.

2.3.5 Samenvatting

In deze paragraaf is de organisatie en besturing van het modelrisicomanagement

uiteengezet. Het modelrisicomanagementraamwerk is erop gericht dat modellen correct zijn en juist worden gebruikt en ook dat over modelrisico wordt gerapporteerd. De raad van bestuur en senior management kunnen zo tijdig – indien nodig - besluiten nemen over bijsturing van het modelrisico. Audit evalueert de efficiëntie en effectiviteit van het modelrisicomanagementraamwerk en of externe regelgeving wordt nageleefd.

2.4 Wet- en regelgeving auditing van interne modellen

De wet- en regelgeving over het auditen van interne modellen komt kort in deze

paragraaf aan de orde. Centraal staat de Capital Requirements Regulation (CRR, 2013). Dit de Europese wet over eigen vermogen, risicomanagement en kapitaalsvereisten voor

↑ Modelrisicokwantificering en -bijsturing ↑ 1. Modelrisico-appetijt 2. Modelgovernance 3. Modelgebruik-risico escalatie Modelrisicorapportage Modelrisicoidentificatie en -meting

19

de risico’s die de banken lopen. Banken zijn verplicht kapitaal aan te houden voor kredietrisico, marktrisico en operationeel risico.7 _{In deel 3 van de CRR staat welke} berekeningswijzen zijn toegestaan. In CRR artikel 191 en 368 staan de wettelijke eisen voor het audit. Dit gaat over de audit van interne krediet- en marktrisicomodellen. Deze CRR-artikelen staan weergegeven in figuur 2.3

Figuur 2.3 Wettelijke eisen audit van interne modellen

In de CRR staat bv. dat het vereiste kapitaal voor kredietrisico berekend kan worden op een standaardwijze of door middel van interne modellen (CRR, 2013, respectievelijk hoofdstuk 2 en 3 van deel 3). Banken hebben toestemming nodig van de toezichthouder om interne modellen te gebruiken.

De wet spreekt niet over interne kredietrisicomodellen maar over ‘Internal Rating Based’ (IRB) systemen. Dit zijn de interne modellen die het kredietverleningsproces in de eerste lijn ondersteunen en waarmee het vereist kapitaal wordt berekend. De wet verstaat onder IRB niet alleen het model, maar ook de processen, procedures, data en IT-systemen die gerelateerd zijn aan het model.

7_{In dit onderzoek blijven de eisen ten aanzien van operationeel risico verder buiten beschouwing. De reden is dat de mogelijkheid}

om kapitaal te berekenen voor operationeel risico met een intern model binnen enkele jaren vervalt.

CRR Eisen aan audit

Artikel 191 IRB-systemen Kredietrisico

Artikel 368 IMA-marktrisico

De afdeling interne accountantscontrole of een andere vergelijkbare onafhankelijke accountantscontroleafdeling toetst ten minste elk jaar de door de instelling toegepaste ratingsystemen en de in het kader daarvan verrichte activiteiten, met inbegrip van de activiteiten van de

kredietfunctie en de raming van PD's, LGD's, EL's en

omrekeningsfactoren. Bij de toetsing wordt onder meer gelet op de inachtneming van alle toepasselijke vereisten.

Lid 1h: Als onderdeel van het periodieke interne auditproces verricht de instelling een onafhankelijke toetsing van IMA marktrisico

Lid 2: Bedoelde toetsing heeft betrekking op zowel de activiteiten van de handelsafdelingen als de activiteiten van de onafhankelijke afdeling risicobeheersing. Ten minste eenmaal per jaar verricht de instelling een toetsing van haar algehele risicobeheerproces.

20

Behalve aan de CRR moeten banken voldoen aan de EBA Regulatory Technical

Standards (RTS).8 _{In figuur 2.4 hierna staan bij de nummers 1 tot en met 3 de relevante} EBA-standaarden. Ten slotte staat bij punt 4 de ECB interpretatie van de wet- en regelgeving op het gebied van governance bij interne modellen.

Figuur 2.4 Regelgeving op het gebied van interne kapitaalmodellen

In deze paragraaf is een overzicht gegeven van de regelgeving waaraan audit moet voldoen bij het auditen van interne modellen. Het onderzoek focust op interne modellen voor kredietrisico en marktrisico.

2.5 Wettelijke eisen aan audit met betrekking tot beoordeling van interne

modellen

Deze paragraaf geeft een overzicht van wat de besproken wet- en regelgeving inhoudt. Uit de wet- en regelgeving zijn zes componenten afgeleid die op zichzelf of in

combinatie van belang zijn bij het auditen van interne modellen. Componenten een, twee en drie hebben betrekking op welke activiteiten audit dient uit te voeren bij het evalueren van interne modellen. Componenten vier, vijf en zes betreffen wat audit dient te onderzoeken.

8_{EBA staat voor European Banking Authority. hoofdtaak bij te dragen aan de totstandkoming van een gemeenschappelijk Europees}

rulebook voor de bankensector (EBA, 2016)

Nr. Onderwerp Titel regelgeving Datum publicatie 1 Governance EBA Final Report on Guidelines on Internal Governance (EBA, 2017) september 2017

2 Kredietrisico Final Draft RTS on Assessment Methodology for IRB (EBA, 2016)

IRB staat voor Internal Rating Based kredietrisicomodellen juli 2016

3 Marktrisico RTS on Asssessment Methodology for IMA and Significant Share (EBA, 2016)

IMA staat voor Internal Model Approach, dit zijn interne modellen voor marktrisico. november 2016

21 De zes componenten zijn achtereenvolgens:

1. de verplichte jaarlijkse algemene beoordeling van het geheel aan IRB-systemen en het geheel aan IMA-marktrisicomodellen;

2. de verplichte jaarlijkse beoordeling van de internal governance met betrekking tot IRB-systemen en IMA-marktrisicomodellen;

3. het uitvoeren van ‘deep dives’ of in andere woorden ‘thorough audit missions’; 4. de elementen van een IRB-systeemaudit;

5. de elementen van een IMA-marktrisicoaudit;

6. de elementen van een modelontwikkelingsprojectaudit.

Figuur 2.5 is een visuele weergave van de zes componenten, met toelichting, zoals die aan de wet- en regelgeving zijn ontleend. Centraal uitgangspunt, in het midden, zijn de verplichte IIA-standaarden.

22

Figuur 2.5 Componenten van interne krediet- en marktrisicomodellenaudits9

De eerste drie componenten geven weer op welke wijze audit de interne modellen dient te evalueren. De eerste component is de verplichting tot een jaarlijkse algemene

beoordeling van de IRB-systemen en de IMA-marktrisicomodellen. Deze verplichting volgt uit de CRR-artikelen 191 en 368. In de interpretatie van de ECB hoort audit in ieder geval na te gaan of de interne modellen voldoen aan de regelgeving. Daarnaast verwacht de ECB volgens artikel 79 (ECB, 2018) dat audit jaarlijks een risicoanalyse uitvoert om onderdelen te identificeren met een verhoogd risico en deze in aanmerking te nemen voor het uitvoeren van een ‘deep dive’.

De tweede component gaat over governance. In de EBA-standaard over: ‘de

beoordeling van IRB systemen door toezichthouders’ staat het CRR artikel 191 nader omschreven. In artikel 17 van deze EBA-standaard (EBA, 2016) staat dat audit jaarlijks

9_{Het format van deze figuur is ontleend aan een interne Rabobank presentatie, de inhoud isdoor de onderzoeker opgesteld op basis}

van de Capital Requirements Regulation (CRR, 2013), de EBA Regulatory Technical Standards voor IRB-systemen ( (EBA, 2016) en voor IMA-marktrisicomodellen (EBA, 2016) en de ECB Guide to Internal Models (ECB, 2018) .

23

de werkzaamheden van de Credit Risk Control Unit (CRCU), de interne

validatieafdeling en het kredietgoedkeuringsproces behoort te evalueren. Daarnaast staat in artikel 33 van deze EBA-standaard dat de bank een voorraadadministratie bijhoudt van de interne modellen.10

De derde component betreft ‘deep dives’. De jaarlijkse algemene beoordeling dient volgens de EBA-standaard over IRB en over IMA-marktrisico het opstellen van een auditjaarplan voor de interne modellen te vergemakkelijken. De ECB spreekt hierbij van ‘deep dives’ of ‘thorough audit missions’ in artikel 80a van de ECB-gids voor interne modellen (ECB, 2018). Voorts stelt de ECB dat audit minimaal één keer per drie jaar een intern model dient te auditen, afzonderlijk of als onderdeel van een thema-audit.

De componenten vier tot en met zes gaan over wat audit dient te beoordelen: bestaande modellen, component vier en vijf, en het ontwikkelingsproces van modellen, component zes. Component vier uit figuur 2.5 gaat over de elementen van de IRB-systeemaudit. Het gaat om het auditen van bestaande, in productie zijnde IRB-systemen. In dit

onderzoek is de wettelijke definitie van IRB-systemen gevolgd zoals die is weergegeven in figuur 2.6.

Figuur 2.6 Definitie internal rating based systeem

Zoals blijkt uit artikel 142, lid 1.1, gaat het de wetgever dus niet alleen erom dat audit het interne model evalueert. De audit moet ook gaan over de verschillende elementen zoals de definitie van klant- en leninggroepen waarvoor het systeem is gemaakt, het onderscheiden van ratingklassen van zeer goed tot zeer slecht, het bepalen van de rating van de klant, het proces waarin het model wordt gebruikt, de definitie wanneer een klant in betalingsmoeilijkheden verkeert (‘definition of default’), de monitoring van het

10_{In dit onderzoek is de Market Risk Control Unit (MRCU) en het kredietgoedkeuringsproces verder buiten beschouwing gelaten.}

CRR Definitie IRB systeem

Artikel 142, lid 1.1

Alle methoden, processen, controlemaatregelen, gegevensverzamelings- en IT-systemen die de beoordeling van het kredietrisico, de

onderbrenging van blootstellingen in ratingklassen of -groepen en de kwantificering van ramingen betreffende wanbetalingen en verliezen ondersteunen die voor een bepaald soort blootstellingen zijn ontwikkeld.

24

model, de data die het model ingaat en de rating c.q. waarden die ermee worden berekend, de IT systemen waarop het model draait en de berekening van het vereist vermogen. De wetgever vindt dat het interne model om het vereiste kapitaal te berekenen ook moet worden gebruikt in andere processen zoals leningaanvragen en leningenbeheer. Dit wordt de ‘use test’ genoemd. De elementen waarop geaudit moet worden zijn afgeleid uit deze definitie. In de EBA-RTS Assessment Methodology for IRB Approach staan de criteria waarop de toezichthouder deze elementen behoort te beoordelen (EBA, 2016, hoofdstukken 4 tot en met 12).

Hoewel de ratingsystemen regelmatig worden geverifieerd door de validatieafdeling en de CRCU, moet ook audit de IRB-systemen beoordelen. De beoordeling door audit behoort breder te zijn dan de beoordeling van de validatie en behoort alle elementen van het IRB-systeem te omvatten.

In component vijf ‘IMA-marktrisicoaudit’, gaat het om het auditen van de ‘Internal Model Approach’-marktrisicomodellen. Hierover zegt de relevante EBA-standaard dat bij de beoordeling van audit enige input nodig kan zijn van de validatieafdeling (EBA, 2016, p. 12).

De elementen die in figuur 2.5 staan genoemd bij component vijf zijn ontleend aan CRR-artikel 368, lid 2. In dit artikel staat dat audit de volgende elementen dient te beoordelen: het dagelijkse risicomanagement, de betrouwbaarheid van de

managementinformatie, de besturing van het marktrisico, de aard en omvang van het marktrisico, de aannames, de documentatie van de marktrisicomodellen, monitoring en backtesting van de marktrisicomodellen, de datakwaliteit, de IT-systemen en de

berekening van het vereist vermogen voor het marktrisico dat de bank loopt.

Component zes gaat over het auditen van het modelontwikkelingsproces. Dit proces bestaat uit, zoals te zien was in figuur 2.2 (A) modelinitiatie en –ontwikkeling, (B) modelvalidatie en besluitvorming en (C) modelimplementatie. Interne modellen mogen pas na goedkeuring door de ECB worden geïmplementeerd.

25

In de wet- en regelgeving staan geen specifieke bepalingen over het auditen van het modelontwikkelingsproces. Echter, de ECB-guide over interne modellen (ECB, 2018) stelt in artikel 83 dat om vertraging in het goedkeuringsaanvraagproces voor nieuwe interne modellen te voorkomen, het ‘beneficial’ is een audit uit te voeren. Het doel van de audit is om vast te stellen of de bank bij de aanvraag voldoet aan alle van toepassing zijnde regelgeving. De toezichthouder verwacht dus dat audit het proces om tot een nieuw model te komen, beoordeelt.

Bij nieuwe of herontwikkelde modellen evalueert audit de betrouwbaarheid van vijf elementen:

1. methoden en technieken; 2. veronderstellingen;

3. data om het model te schatten, representativiteit data; 4. toepassing margin of conservatism (MOC);

5. de materialiteit, impact en compliance van het nieuwe interne model.

De eerste drie zijn ontleend aan artikel 202 van de EBA-guidelines Internal Governance bij banken (EBA, 2017), de vierde is ontleend aan de EBA-Regulatory technical

standard over de IRB-systemen, hoofdstuk8 en de laatste aan artikel 81c van de ECB guide uit 2018. De ECB-guide uit 2018 is dus aanleiding om ook het auditen van het modelleringsproces van interne modellen in het theoretisch kader op te nemen.

2.6 Samenvatting hoofdstuk 2

In dit hoofdstuk is een theoretisch kader opgesteld voor het auditen van interne modellen. Het theoretisch kader is te zien in figuur 2.5 en geeft weer aan welke wettelijke eisen internemodelaudits moeten voldoen. Uitgangspunt was de

auditwerkwijze zoals vastgelegd in de IIA standaarden. Het theoretisch kader bestaat uit zes componenten die relevant zijn voor het auditen van interne modellen. Componenten een, twee, drie gaan over de wijze waarop audit interne modellen dient te beoordelen. Componenten vier en vijf gaan over welke elementen audit dient te beoordelen bij bestaande interne modellen. Component zes, ten slotte, gaat over welke elementen audit dient te beoordelen bij modelontwikkeling.

26

3 Het auditen van interne modellen in de praktijk

3.1 Inleiding

Op basis van het opgestelde theoretisch kader is een praktijkonderzoek uitgevoerd. In dit hoofdstuk staat het verslag van het praktijkonderzoek en wordt antwoord gegeven op de tweede deelvraag: ‘Welke aanpak volgen de auditafdelingen van de vier Nederlandse grootbanken bij internemodelaudits?’ Eerst komt in paragraaf 3.2 de onderzoeksopzet aan de orde. Vervolgens geven paragrafen 3.3 tot en met 3.8 een verslag van het nadere onderzoek naar de zes componenten van modelaudit die zijn getoetst in de praktijk. Het hoofdstuk wordt afgesloten met een overzicht van de resultaten in paragraaf 3.9.

3.2 Opzet van het praktijkonderzoek

Het doel van het praktijkonderzoek was na te gaan hoe Nederlandse banken de wet- en regelgeving interpreteren die geldt voor audits van interne modellen. Het ging erom te bepalen welke aanpak de auditfuncties in de bankensector hanteren bij het auditen van interne modellen en hoe deze aanpak zich verhoudt tot de eisen van de wet- en

regelgeving die zijn beschreven in het opgestelde theoretisch kader.

Het praktijkonderzoek bestond uit een kwalitatief onderzoek in de vorm van

mondelinge interviews. De reden daarvoor was dat de vragen ingewikkeld kunnen zijn en het – om goede resultaten te verkrijgen - belangrijk is dat bij onduidelijkheden deze meteen kunnen worden toegelicht. Daarnaast betreft het een specifiek auditterrein waarbij het erop aankomt met de juiste persoon te spreken. Deze voordelen wegen op tegen het mogelijke nadeel van sociaal gewenste antwoorden.

Met het mogelijke nadeel van sociaal gewenste antwoorden is rekening gehouden door niet alleen interviews te houden met auditexperts bij meerdere banken, maar ook met experts van de validatie-afdeling en de Credit Risk Control Unit (CRCU).

De reden om behalve auditexperts ook CRCU en validatie-experts te interviewen is dat deze experts tot de tweede lijn behoren bij het gebruik van (krediet)risicomodellen. De

27

omvang van de werkzaamheden die audit uitvoert op het vlak van modellenaudits hangt onder meer af van de mate waarin audit kan steunen op CRCU en

validatiewerkzaamheden. De CRCU kijkt alleen naar kredietrisicomodellen. Een vergelijkbare functie bestaat voor marktrisicomodellen. Deze is bij de vier systeembanken relatief klein en is in dit onderzoek om praktische redenen buiten beschouwing gebleven.

In totaal zijn er dertien interviews afgenomen: vijf met auditors, vijf met validatie-experts en drie interviews met CRCU-validatie-experts. In figuur 3.0 staan de functies van de geïnterviewden.

Figuur 3.0 Lijst met geïnterviewde functies, bank, en afdeling

In figuur 3.0 staan twee experts vermeld, die werkzaam zijn als extern adviseur en niet intern bij een bank. De EY-expert heeft antwoorden gegeven vanuit het

auditperspectief, de Risk Quest-expert vanuit het validatieperspectief. Zij hebben beiden wel jaren bij een bank gewerkt en beschikken over voldoende ervaring om ook als expert te worden meegenomen in het praktijkonderzoek.

De opzet van het interview was semigestructueerd. De vragen staan in bijlage één. Er zijn tachtig vragen gesteld in drie categorieën: (a) meerkeuzevragen waarbij de

respondent de keuze had tussen (1) zeer oneens, (2) oneens, (3) neutraal, (4) eens en (5) zeer eens; (b) meerkeuzevragen met twee antwoordopties: eens (ja) of oneens (nee) en (c) open vragen. Er is gekozen voor meerkeuzevragen omdat bij deze methode de verkregen gegevens eenvoudig zijn te verwerken en te analyseren. Daarnaast zijn open

Functie Bank Afdeling

audit director risk management ABN AMRO audit

senior manager operational audit Risk & Finance, lid MT de Volksbank audit associate partner EY advisory - financial services risk EY audit

hoofd modelrisicomanagement audits ING audit

hoofd risk management en treasury audits Rabobank audit

senior medewerker CRCU ABN AMRO CRCU

hoofd kredietrisicomodellering ING CRCU

senior medewerker CCCU Rabobank CRCU

hoofd regulatory risk ABN AMRO validatie

manager modelvalidatie de Volksbank validatie

hoofd kredietrisicomodellenvalidatie ING validatie

hoofd modelvalidatie Rabobank validatie

28

vragen gesteld. Het auditen van modellen is immers in ontwikkeling en door open vragen te stellen was de verwachting aanvullende belangrijke informatie te verkrijgen van de respondenten. Enkele vragen zijn alleen gesteld aan audit, validatie of CRCU. Aan alle banken zijn dezelfde vragen gesteld. De opzet van het auditinterview is van te voren getest door een proefrespondent te interviewen. Naar aanleiding hiervan zijn verduidelijkingen aangebracht door vragen korter te formuleren en zijn een aantal algemene open vragen aan het einde van het interview toegevoegd, zoals de vraag: ‘Waarvan ligt u, audit, het meest wakker van bij modelrisicomanagementaudits / modelaudits?’

De tachtig vragen zijn ingedeeld in zes componenten van het theoretisch kader waarop is getoetst. Zo is bijvoorbeeld aan de auditors gevraagd of zij de algemene beoordeling van de IRB-/IMA-systemen aan het managementorgaan sturen, waarmee kan worden getoetst op de organisaties voldoen aan deze eis van de wet (component 1). Daarnaast zijn aan het einde een aantal open, algemene vragen gesteld over de

modelrisicomanagementauditfunctie. De gestelde vragen staan in bijlage één.

De interviews vonden alle mondeling en persoonlijk plaats, en de interviewer was de onderzoeker. De meeste interviews duurden anderhalf tot twee uur. In een enkel geval zijn een aantal vragen overgeslagen om binnen de tijd toch antwoorden over alle componenten te kunnen verkrijgen. Daarnaast is de categorie IMA-marktrisico niet besproken met de CRCU experts, zij kijken immers alleen naar kredietrisicomodellen, en met één validatie-expert, aangezien bij de bank van deze expert geen interne marktrisicomodellen worden gebruikt.

Alle interviews zijn – na toestemming van de geïnterviewde – opgenomen. De opnames zijn gebruikt voor het maken van het verslag; de verslagen geven per vraag letterlijk het gegeven antwoord weer. De verslagen zijn na de opstelling samengevoegd in een database (Excelbestand), waarin de antwoorden op de vragen werden geordend op totaalniveau, per afdeling en per bank. Daarnaast konden via deze database de antwoorden op de open vragen gemakkelijker worden vergeleken.

29

In de rapportage van de interviewresultaten in deze scriptie zijn de antwoorden op de meerkeuzevragen weergegeven in tabellen. De antwoorden zijn daartoe gegroepeerd naar de afdelingen: audit, CRCU en validatie. Per vraag wordt in kolommen aangegeven het aantal keren dat de geïnterviewde geantwoord heeft met: ‘zeer oneens’, ‘oneens’, ‘neutraal’, ‘eens’ of ‘zeer eens’. In de kolom ‘totaal’ is het totaal aantal gegeven antwoorden per vraag vermeld. Als de vraag aan meerdere afdelingen is gesteld, is ook het totaal aantal gegeven antwoorden per afdeling vermeld. In bijlage twee staat een verdere uitsplitsing naar gegeven antwoorden per bank.

3.3 Resultaten jaarlijkse algemene beoordeling van interne modellen

In deze paragraaf worden de resultaten gepresenteerd over de eerste component uit het theoretisch kader, de verplichte jaarlijkse algemene beoordeling van de interne

modellen. De vragen in dit onderdeel zijn erop gericht om vast te stellen of audit deze beoordeling maakt en of deze naar het managementorgaan wordt gestuurd. Daarnaast is het de vraag hoe volwassen deze beoordeling is. Beperkt deze zich tot het wettelijk minimum of heeft deze betrekking op alle modellen? Voorts is aan validatie en CRCU gevraagd of de algemene beoordeling voldoet aan hun verwachting: dit als indicatie voor de vraag of de algemene beoordeling ook zal voldoen aan de verwachting van de toezichthouder. In de regelgeving staat dat het niet de bedoeling is dat audit de

werkzaamheden van validatie en CRCU overdoet: geen ‘dubbel werk’. Daarom is gevraagd of validatie/CRCU zelf een algemene beoordeling maken waarop audit kan steunen en of audit gebruik maakt van inzichten van validatie en CRCU.

Om een beeld te krijgen van wat geïnterviewden onder een ‘algemene beoordeling’ verstaan, is in de open vragen aan alle experts gevraagd naar de manier waarop de jaarlijkse algemene beoordeling van interne modellen wordt aangepakt. Daarnaast is aan de validatie- en CRCU-experts gevraagd in welke situaties en omstandigheden zij audit zouden inschakelen voor een nader onderzoek.

In figuur 3.1 hieronder staan de resultaten over de vragen naar de jaarlijkse algemene beoordeling samengevat. In bijlage twee staat figuur 3.1 verder uitgesplitst per bank.

30

Figuur 3.1 Antwoorden op vragen over de jaarlijkse algemene beoordeling IRB/IMA gemeten naar het aantal keren (1) zeer oneens, (2) oneens, (3) neutraal, (4) eens en (5) zeer eens per afdeling.

Nr. Jaarlijkse algemene beoordeling IRB / IMA Afdeling 1 2 3 4 5 Totaal

1A

Het is audit duidelijk wat de toezichthouder verwacht bij een jaarlijkse beoordeling van IRB rating systemen / IMA marktrisico en de daarmee samenhangende processen.

audit 1 4 5

1B

Audit voldoet aan verplichting om een jaarlijkse beoordeling van de IRB systemen te maken.

audit 1 3 1 5

1C

De jaarlijkse beoordeling van de IRB systemen wordt door audit aan het managementorgaan en senior management gestuurd.

audit 2 3 5

1D Maakt u, audit, een jaarlijkse beoordeling van _{alle modellen (pillar I en pillar II)?} audit 2 2 1 5

1E

Audit kan meer bijdragen aan jaarlijkse beoordeling IRB systemen en daarmee samenhangende processen.

CRCU 3 3 validatie 1 1 3 5 Totaal 1 1 3 3 8 1F

Maakt u, validatie/CRCU, een jaarlijkse beoordeling van alle modellen (pillar I en pillar II)?

CRCU 1 1 1 3 validatie 1 2 1 1 5 Totaal 2 3 2 1 8 1G

Werkt audit samen met u, validatie/CRCU, bij de uitvoering van de jaarlijkse beoordeling van de IRB systemen?

CRCU 2 1 3 validatie 1 1 3 5 Totaal 1 1 2 4 8 1H

Haalt audit feedback/input op van validatie/CRCU voor het

modelrisicomanagement auditplan?

audit 1 4 5

1I

Geeft validatie/CRCU feedback/input voor modelrisicomanagement auditplan?

CRCU 1 1 1 3 validatie 4 1 5 Totaal 5 2 1 8

In figuur 3.1 staat in de kolom ‘totaal’ het aantal ondervraagden dat de vraag heeft beantwoord. Als de vraag bijvoorbeeld alleen aan audit is gesteld, dan staat hier

maximaal ‘5’; is de vraag aan een combinatie van afdelingen gesteld, zoals validatie en CRCU, dan staat hier maximaal ‘8’ en als de vraag aan alle geïnterviewden is gesteld, dan staat hier ‘13’.

Vragen 1A en 1B laten zien dat één van de vijf auditors niet weet wat de toezichthouder met een jaarlijkse algemene beoordeling bedoelt en één van de vijf auditors zegt niet aan deze verplichting te voldoen. Figuur 3.1a geeft een uitsplitsing van de antwoorden op de vragen 1A en 1B naar banken.

31

Figuur 3.1a Antwoorden op vragen 1A en 1B uit figuur 3.1 uitgesplitst naar banken

Nr. Jaarlijkse algemene beoordeling Bank 1 2 3 4 5 Totaal 1A Het is audit duidelijk wat de toezichthouder

verwacht bij een jaarlijkse beoordeling van IRB rating systemen / IMA marktrisico en de daarmee samenhangende processen.

A 1 C 1 D 1 E 1 F 1 Totaal 1A 1 4 5

1B Audit voldoet aan verplichting om een jaarlijkse beoordeling van de IRB systemen te maken. A 1 C 1 D 1 E 1 F 1 Totaal 1B 1 3 1 5

Uit figuur 3.1a blijkt dat bank F niet weet wat de toezichthouder verwacht en dat bank D zegt niet te voldoen.

Uit vraag 1C komt naar voren dat drie van de vijf auditors de jaarlijkse algemene beoordeling aan het managementorgaan rapporteren. Eén van de vijf auditors antwoordt dat alle modellen worden meegenomen en dat hij dus meer doet dan wettelijk is vereist. Vijf van de acht validatie- of CRCU-experts vinden dat audit meer kan bijdragen aan de jaarlijkse algemene beoordeling van de IRB-systemen, toont het antwoord op vraag 1E.

Vraag 1F laat zien dat drie van de acht validatie- of CRCU-experts aangeeft dat binnen hun afdeling een jaarlijks overzicht wordt gemaakt van alle modellen. In figuur 3.1b staat het antwoord op vraag 1F uitgesplitst naar banken.

Figuur 3.1b Antwoorden op vraag 1F uit figuur 3.1 uitgesplitst naar banken

Nr. Jaarlijkse algemene beoordeling Afdeling Bank 1 2 3 4 5 Totaal 1F Maakt u, validatie/CRCU, een jaarlijkse

beoordeling van alle modellen (pillar I en pillar II)? validatie B 1 validatie C 1 CRCU D 1 validatie D 1 Totaal D 1 1 2 CRCU E 1 validatie E 1 Totaal E 2 2 CRCU F 1 validatie F 1 Totaal F 2 2 Totaal 1F 2 3 2 1 8

32

Uit figuur 3.1b blijkt dat de validatieafdelingen van banken D en F jaarlijks een

overzicht maken van alle modellen. De auditafdelingen van deze banken beperken hun jaarlijkse algemene beoordeling tot de interne modellen, terwijl de auditafdeling van bank E alle modellen in de jaarlijkse algemene beoordeling meeneemt.

Het antwoord op vraag 1G geeft weer dat audit volgens zes van de acht validatie- of CRCU-experts met hen samenwerkt. Hierbij zeggen vier van de vijf auditors feedback op te halen van de validatie-afdeling en de CRCU terwijl zeven van de acht validatie- of CRCU-experts zeggen dat zij geen feedback/input geven voor dit plan.

De antwoorden op de vraag welke aanpak audit volgt, of zou moeten volgen naar de mening van validatie- en CRCU-experts, lopen uiteen. De diepgang van de

audittechnieken varieert eveneens. Allen voeren documentreviews en interviews uit. De aanpak van de jaarlijkse algemene beoordeling bij bank C is dat periodiek de

modelleer-, validatie- en kredietverstrekkingsafdeling worden geaudit. Bank D is de aanpak aan het wijzigen en wil als onderdeel van de jaarlijkse algemene beoordeling de monitoring van modellen ook zelf doen. Bank E voert jaarlijks een grote ‘model-life-cycle’ audit uit waarbij op basis van een steekproef een aantal modellen nader wordt onderzocht. Bank F maakt geen afzonderlijke jaarlijkse algemene beoordeling. De jaarlijkse algemene beoordeling is een eigen invulling waaronder de COREP-audit.11 Verder is de jaarlijkse algemene beoordeling een onderdeel van de jaarlijkse 'risk assessment and audit planning'. Validatie en CRCU experts zijn niet gewoon audit te verzoeken om een auditonderzoek of aan te geven waaraan audit prioriteit moet geven bij beoordeling van interne modellen.

Samenvattend kan het volgende worden geconcludeerd over hoe banken de verplichte jaarlijkse algemene beoordeling, component één uit het theoretisch kader, invullen. Ten eerste laten de antwoorden op vraag 1A t/m 1E zien dat alle auditafdelingen, behalve bank F, de vereiste jaarlijkse algemene beoordeling van de interne modellen maken. Zij beperken zich daarbij tot het wettelijke minimum, wat inhoudt dat de beoordeling alleen

11_{De COREP, wat staat voor COmmon REPorting, bevat de opgave van het toetsingsvermogen en de aan de instelling gekoppelde}

33

over de interne modellen gaat. De afdelingen validatie en CRCU vinden dat audit meer kan maken van de jaarlijkse algemene beoordeling.

Ten tweede blijkt uit de gegeven antwoorden op vraag 1F t/m 1I dat auditafdelingen zeggen gebruik te maken van inzichten van de validatie- en CRCU-afdelingen terwijl deze afdelingen dit niet zo ervaren.

Ten derde pakken auditafdelingen de algemene beoordeling van IRB-systemen en IMA-marktrisico verschillend aan, namelijk door beoordeling van afdelingen die te maken hebben met interne modellen, door het zelf doen van de modelmonitoring, door specifieke modellen te onderzoeken en door de beoordeling een onderdeel te laten zijn van de jaarlijkse risicoanalyse en auditplanning. Hieruit blijkt dat elke bank zijn eigen invulling geeft aan de jaarlijkse algemene beoordeling van interne modellen door audit. Op basis van deze gegevens is geen conclusie te trekken of de banken wel of niet voldoen.

3.4 Resultaten governance

In deze paragraaf staan de resultaten over de tweede component uit het theoretisch kader, namelijk governance. De vragen 2A tot en met 2C gaan over het voldoen van audit, validatie en CRCU aan CRR wetgeving. Daarna komen in 2D tot en met 2F vragen aan bod over de vereiste review door audit van de governance, de

validatiefunctie en de CRCU als onderdeel van de jaarlijkse beoordeling. Deze review is verplicht op basis van de EBA Regulatory Technical Standards.

In figuur 3.2 zijn de resultaten weergegeven naar aanleiding van de antwoorden van de geïnterviewden op de vragen over governance. In bijlage twee staat figuur 3.2 verder uitgesplitst per bank.

34

Figuur 3.2 Antwoorden op vragen over de governance gemeten naar het aantal keren (1) zeer oneens, (2) oneens, (3) neutraal, (4) eens en (5) zeer eens per afdeling.

Nr. Governance Afdeling 1 2 3 4 5 Totaal

2A De rol van audit in de governance m.b.t. modelrisicomanagement audits / model audits is gebaseerd op CRR en EBA eisen.

audit 2 1 1 1 5

2B1 Validatie voldoet aan de CRR. validatie 1 3 1 5

2B2 CRCU voldoet aan de CRR. CRCU 1 1 1 3

2C De validatieafdeling en de CRCU afdeling

werken volledig onafhankelijk van elkaar. audit 1 3 1 5 2D Om aan de verwachtingen te voldoen aan de

toezichthouder evalueert audit jaarlijks de effectiviteit van de model governance.

audit 1 3 1 5

CRCU 1 2 3

validatie 1 4 5

Totaal 1 2 5 5 13

2E Om aan de verwachtingen te voldoen aan de toezichthouder evalueert audit jaarlijks de effectiviteit van modelvalidatie.

audit 1 3 1 5

CRCU 1 2 3

validatie 2 2 1 5

Totaal 3 6 4 13

2F Om aan de verwachtingen te voldoen aan de toezichthouder evalueert audit jaarlijks de effectiviteit van de CRCU

audit 1 1 1 1 1 5

CRCU 1 1

Totaal 1 1 1 2 1 6

Het antwoord op vraag 2A geeft weer dat de mening van de auditors, of de rol bij modelrisicomanagement audits is gebaseerd op de CRR- en EBA-eisen, uiteenloopt. Bij vraag 2B1 is te zien dat validatieafdelingen op één na vinden dat zij aan de CRR

voldoen. Uit het antwoord bij 2B2 blijkt dat dit voor de CRCU het omgekeerde geldt. Ten slotte geven vier van de vijf auditors aan dat validatie en de CRCU onafhankelijk van elkaar zijn zoals vereist in de CRR.

Een ruime meerderheid van de ondervraagden, tien van de dertien, vinden dat audit jaarlijks de modelgovernance en modelvalidatie dient te beoordelen, zoals valt af te lezen uit de antwoorden bij vragen 2D en 2E. Bij 2F is te zien dat de meningen van de auditors uiteenlopen of zij ook jaarlijks de CRCU behoren te beoordelen.

Samenvattend kan het volgende worden geconcludeerd over hoe banken de

modelgovernance, component twee uit het theoretisch kader, beoordelen. Ten eerste zeggen de validatie-experts dat validatie voldoet aan de wettelijke eisen. De auditors zeggen, op één na, dat zij jaarlijks de validatieafdeling beoordelen. Hier voldoen vier van de vijf auditors aan de regelgeving.

35

Ten tweede zeggen CRCU-specialisten dat zij niet voldoen aan de CRR. Tegelijkertijd zijn maar twee van de vijf auditors het eens met de stelling dat audit jaarlijks de CRCU-afdeling moet beoordelen om aan de verwachtingen van de toezichthouder te voldoen. Hier voldoen drie van de vijf auditors niet aan de regelgeving.

3.5 Resultaten ‘deep dives’

In deze paragraaf worden de resultaten gepresenteerd over de derde component van het theoretisch kader, de deep dives. De jaarlijkse algemene beoordeling van de IRB-systemen voor het beheersen van kredietrisico en IMA-marktrisicomodellen moet volgens de wetgever leiden tot het onderkennen van gebieden met verhoogd risico waarnaar audit ‘deep dives’ of ‘thorough audit missions’ moet uitvoeren.

De vragen gaan over het aantal deep dives - en de ontwikkeling hierin - dat banken uitvoeren, over de invloed van de ECB, en de wijze waarop en de middelen waarmee banken deep dives, modelrisicomanagement audits, uitvoeren. Ten slotte gaan de open vragen over de ideale samenstelling van het auditteam voor modelaudits en de criteria die auditafdelingen hanteren bij het selecteren van deze audits. In figuur 3.3 hieronder staan de resultaten over de ‘deep dives’ samengevat.

36

Figuur 3.3 Antwoorden op vragen over deep dives gemeten naar het aantal keren (1) zeer oneens, (2) oneens, (3) neutraal, (4) eens en (5) zeer eens per afdeling.

Nr. Deep dives Afdeling 1 2 3 4 5 Totaal

3A Het aantal modelrisicomanagement / model audits per jaar is in de periode 2014-2018 gestegen.

audit 2 3 5

CRCU 2 1 3

validatie 1 1 3 5

Totaal 3 3 7 13

3B Audit heeft de aanpak van

modelrisicomanagementaudits aangepast na aankondiging/publicatie TRIM guide.

audit 1 2 1 1 5

CRCU 1 1 1 3

validatie 1 1 3 5

Totaal 2 3 2 2 4 13

3C De ECB schrijft audit meer voor dan de CRR en EBA op het vlak van IRB-systemen en IMA-marktrisico.

audit 1 1 2 1 5

CRCU 1 1 1 3

validatie 2 2 1 5

Totaal 1 1 4 4 3 13

3D Audit beoordeelt minimaal 1* per 3 jaar de IRB/IMA, interne kapitaalmodellen, individueel of themagericht

audit 1 2 1 4

CRCU 1 1

validatie 2 1 1 4

Totaal 1 4 1 3 9

3G Is er een organisatorisch afzonderlijk team dat

modelrisicomanagement audits verricht? audit 2 2 4 3H Modelrisicomanagement audits / model audits

moeten door kwantitatieve auditors worden uitgevoerd.

audit 2 3 5

CRCU 1 2 3

validatie 2 3 5

Totaal 2 6 5 13

3I Audit huurt externe resources in om

modelrisicomanagement audits uit te voeren.

audit 1 1 2 4

CRCU 1 2 3

validatie 2 3 5

Totaal 2 3 5 2 12

3J Om aan de verwachtingen van de toezichthouder te voldoen t.a.v.

modelrisicomanagement audits / model audits heeft de audit momenteel voldoende interne resources.

audit 1 2 1 4

CRCU 1 1 1 3

validatie 1 2 1 1 5

_{Totaal 1 4 1 4 2 12}

Uit de antwoorden komt het volgende beeld naar voren over de derde component van het theoretisch kader, de ‘deep dives’. Alle auditors bevestigen, zoals de antwoorden bij vraag 3A laten zien, dat het aantal modelaudits in de periode 2014-2018 is gestegen. Bij validatie en CRCU is drie keer ‘neutraal’ geantwoord: de desbetreffende geïnterviewden geven daarbij aan geen mening te hebben, omdat zij nog maar kort hun huidige positie bekleden. Aan de auditors is gevraagd hoeveel

modelrisicomanagementaudits-/modelaudits zij uitvoeren op jaarbasis. De antwoorden lopen uiteen van één per jaar bij bank C, tot vijf à tien per jaar bij banken D en F, tot twintig per jaar bij bank E.

Tijdens het interview is ook gevraagd wat de reden is van de stijging van het aantal modelaudits, vaak aangeduid door de ECB als ‘deep dives’ (ECB, 2018, p. 30, artikel