Aanbevelingen van respondenten over modelaudits

In deze paragraaf staat een overzicht van de antwoorden op de vraag: ‘Welke

aanbevelingen over modelaudits zou u doen aan audit zodat audit beter voldoet aan de verwachting van de toezichthouder?’ De aanname bij deze vraag is dat de

toezichthouder vindt dat audit meer onderzoeken naar modellen en modelrisicomanagement moet uitvoeren.

In figuur 3.12 staat een overzicht van de antwoorden. Ten eerste adviseren de auditors van bank A en D bij onderwerp één het maturity level van modelaudits vast te stellen en een gapanalyse uit te voeren. Bank A geeft daarbij aan dat het nuttig kan zijn externe ondersteuning in te schakelen. De auditor van bank D adviseert verder in onderwerp twee het maturity level van het modelrisicomanagement binnen de bank te beoordelen. Verkeert dit in de beginfase dan hoort het accent van modelaudits op processen en goverenance te liggen. Een volgende stap kan dan zijn het model inhoudelijk te evalueren.

Bij onderwerp drie adviseren de auditor van bank A en de validatie-experts van bank D en E goed na te denken over de scope van een modelaudit en hierin mee te nemen wat validatie en de CRCU hebben afgedekt. Onderwerp vier gaat over de communicatie van de modelauditscope naar de auditee.

De validatie-experts van banken B en C en de auditor van bank D adviseren audit bij onderwerp vijf om een aantal ‘quants’ aan te nemen en toegang te verkrijgen tot dezelfde tooling als de modelleer- en validatieafdeling. Een alternatief voor het

aannemen van ‘quants’ staat bij onderwerp zes. Hier adviseren de validatie- en CRCU- experts van respectievelijk bank B en E gebruik te maken van ‘jobrotation’. Dit houdt in dat audit medewerkers met modelleer- of validatie-ervaring aanneemt.

52

Figuur 3.12 Overzicht antwoorden op de vraag: ‘Welke aanbevelingen over modelaudits zou u doen aan audit zodat audit beter voldoet aan de verwachtingen van de toezichthouder?’

Nr. Adviezen over modelaudits Toelichting

1

Bepaal je maturity level van modelaudits en verbeter van daaruit

Stel het volgende vast:

1. Wat zijn de verwachtingen ten aanzien van modelaudits 2. Wat doet audit nu aan modelaudits

3. Wat is de gap

4. Hoe gaat audit de gap dichten Externe inhuur kan nuttig zijn:

1. Eerst urgente onderwerpen aanpakken 2. Ondersteuning aan auditafdeling om te groeien

2 Bepaal maturity level modelrisicomanagement

Staat het modelrisicomanagement binnen de bank nog in de kinderschoenen dan zijn vooral auditors nodig die goed zijn in besturing en processen. Staat het modelrisicomanagement binnen de bank, dan quants inhuren om modellen op inhoud te kunnen onderzoeken. Onderzoek twee perspectieven: het

risicomanagementproces rondom modellen oftewel de model life cycle en beoordeel of het model inhoudelijk werkt. Beide perspectieven zijn complementair.

3 Challenge je modelaudit en stem af met validatie

Stel de goede onderzoeksvragen. Wat doet er wel/niet toe. Wat is belangrijk om te onderzoeken in de modelaudit en waarom. Stem vaak af met validatie en CRCU zodat niet iedereen hetzelfde onderzoekt en onderwerpen over het hoofd worden gezien.

4 Leg modelauditbenadering goed uit aan de auditee

Leg het doel en de scope van de modelaudit uit. Bij interviews bepaal van te voren welke onderdelen besproken worden en welke

informatie nodig is om tot een oordeel te komen. Het risico is dat de auditor conclusies trekt op feitelijk onjuiste informatie.

5

Neem een aantal quants aan Zorg dat audit toegang heeft tot technische tools (SAS, Python)

Neem als audit een aantal quants aan, of huur deze in. Zorg voor modelkennis. Dit helpt bij het beoordelen van modellen en kan ook de angst voor het onbekende wegnemen. Zorg bij het herhalen van activiteiten ('reperforming') voor toegang tot technische tools zoals SAS (datamanagment software) en Python (programmeertaal). Het beste is om als audit aangesloten te zijn op dezelfde infrastructuur als modelleerders en validators met daarbinnen een aparte

auditomgeving.

6 Bevorder 'jobrotation'

Haal mensen binnen die bij modelling, validatie of risicomanagement hebben gewerkt. Zorg dat niet altijd dezelfde auditors modelaudits uitvoeren, pas ook 'jobrotation' binnen audit toe.

7

Reserveer voldoende tijd bij een modelaudit en maak keuzes

In het verleden zijn modellen opgeleverd waarvan bekend was dat deze niet helemaal voldoen aan de gestelde criteria maar waarmee vanwege tijd en capaciteit toch is ingestemd. In de huidige wereld kan dit niet meer. Als het niet goed is, krijgt de bank geen goedkeuring van de toezichthouder.

Zoek tegelijkertijd de ruimte om zaken 'risk based' op te pakken, regelgeving is 'rule based'. Pas de diepgang van de verplichte audits aan op het risico dat de bank loopt in de business.

8

Analyseer en onderzoek verbeteringen

datavastlegging aan de voorkant

Voer zelf data-analyse uit en kom tot aanbevelingen voor structurele verbeteringen aan de 'voorkant' zodat 'achterkant' de data krijgt benodigd voor de modellering. Dit is een fundamentele aanpak. Hierdoor helpt audit de organisatie te verbeteren.

53

Bij onderwerp zeven adviseert de CRCU-expert van bank D voldoende tijd te

reserveren. Hij stelt dat als het model of de validatie of de modelaudit niet goed genoeg is, de huidige toezichthouder het niet accepteert. Daarnaast adviseren de auditors van bank D en E – door het grote aantal verplichte audits – de diepgang risicogerelateerd te variëren. Bij onderwerp acht adviseren auditors van bank C en F dat vooral audit gaat bijdragen aan de verbetering van de datakwaliteit.

Samengevat hebben de adviezen, om beter te voldoen aan de verwachtingen van de toezichthouder, betrekking op hoe verbeteringen in de modelauditaanpak kunnen worden bepaald, onderwerpen 1 en 2 in figuur 3.12 en over de scope van modelaudits en de communicatie hierover, onderwerpen 3, 4, 7 en 8. Ten slotte worden adviezen gegeven over de vereiste resources, onderwerpen 5 en 6.

De adviezen om beter te voldoen aan de verwachtingen van de toezichthouder bij modelaudits zijn als volgt samen te vatten:

1. Bepaal het maturity level van de modelaudits, bepaal de maturity level van modelrisicomanagement en stel op basis van deze twee analyses een verbeterplan op.

2. Zorg voor een goede scopebepaling van de modelaudit en leg deze goed uit aan de auditee.

3. Zorg voor voldoende middelen, dat wil zeggen voldoende tijd, voldoende ‘technische tools’ en voldoende kennis om een modelaudit uit te kunnen voeren. Maak gebruik van een externe kwantitatieve auditor of werf personeel met modelleer- of validatie-ervaring.