3 Het auditen van interne modellen in de praktijk 1 Inleiding
3.5 Resultaten ‘deep dives’
In deze paragraaf worden de resultaten gepresenteerd over de derde component van het theoretisch kader, de deep dives. De jaarlijkse algemene beoordeling van de IRB- systemen voor het beheersen van kredietrisico en IMA-marktrisicomodellen moet volgens de wetgever leiden tot het onderkennen van gebieden met verhoogd risico waarnaar audit ‘deep dives’ of ‘thorough audit missions’ moet uitvoeren.
De vragen gaan over het aantal deep dives - en de ontwikkeling hierin - dat banken uitvoeren, over de invloed van de ECB, en de wijze waarop en de middelen waarmee banken deep dives, modelrisicomanagement audits, uitvoeren. Ten slotte gaan de open vragen over de ideale samenstelling van het auditteam voor modelaudits en de criteria die auditafdelingen hanteren bij het selecteren van deze audits. In figuur 3.3 hieronder staan de resultaten over de ‘deep dives’ samengevat.
36
Figuur 3.3 Antwoorden op vragen over deep dives gemeten naar het aantal keren (1) zeer oneens, (2) oneens, (3) neutraal, (4) eens en (5) zeer eens per afdeling.
Nr. Deep dives Afdeling 1 2 3 4 5 Totaal
3A Het aantal modelrisicomanagement / model audits per jaar is in de periode 2014-2018 gestegen.
audit 2 3 5
CRCU 2 1 3
validatie 1 1 3 5
Totaal 3 3 7 13
3B Audit heeft de aanpak van
modelrisicomanagementaudits aangepast na aankondiging/publicatie TRIM guide.
audit 1 2 1 1 5
CRCU 1 1 1 3
validatie 1 1 3 5
Totaal 2 3 2 2 4 13
3C De ECB schrijft audit meer voor dan de CRR en EBA op het vlak van IRB-systemen en IMA-marktrisico.
audit 1 1 2 1 5
CRCU 1 1 1 3
validatie 2 2 1 5
Totaal 1 1 4 4 3 13
3D Audit beoordeelt minimaal 1* per 3 jaar de IRB/IMA, interne kapitaalmodellen, individueel of themagericht
audit 1 2 1 4
CRCU 1 1
validatie 2 1 1 4
Totaal 1 4 1 3 9
3G Is er een organisatorisch afzonderlijk team dat
modelrisicomanagement audits verricht? audit 2 2 4 3H Modelrisicomanagement audits / model audits
moeten door kwantitatieve auditors worden uitgevoerd.
audit 2 3 5
CRCU 1 2 3
validatie 2 3 5
Totaal 2 6 5 13
3I Audit huurt externe resources in om
modelrisicomanagement audits uit te voeren.
audit 1 1 2 4
CRCU 1 2 3
validatie 2 3 5
Totaal 2 3 5 2 12
3J Om aan de verwachtingen van de toezichthouder te voldoen t.a.v.
modelrisicomanagement audits / model audits heeft de audit momenteel voldoende interne resources.
audit 1 2 1 4
CRCU 1 1 1 3
validatie 1 2 1 1 5
Totaal 1 4 1 4 2 12
Uit de antwoorden komt het volgende beeld naar voren over de derde component van het theoretisch kader, de ‘deep dives’. Alle auditors bevestigen, zoals de antwoorden bij vraag 3A laten zien, dat het aantal modelaudits in de periode 2014-2018 is gestegen. Bij validatie en CRCU is drie keer ‘neutraal’ geantwoord: de desbetreffende geïnterviewden geven daarbij aan geen mening te hebben, omdat zij nog maar kort hun huidige positie bekleden. Aan de auditors is gevraagd hoeveel modelrisicomanagementaudits-
/modelaudits zij uitvoeren op jaarbasis. De antwoorden lopen uiteen van één per jaar bij bank C, tot vijf à tien per jaar bij banken D en F, tot twintig per jaar bij bank E.
Tijdens het interview is ook gevraagd wat de reden is van de stijging van het aantal modelaudits, vaak aangeduid door de ECB als ‘deep dives’ (ECB, 2018, p. 30, artikel
37
80a). Uit figuur 3.4 blijkt dat de stijging gemiddeld genomen voor 45% aan de
toezichthouder wordt toegeschreven. De geïnterviewden zeggen dat de stijging van het aantal deep dives voor 35% voortvloeit uit de risicoanalyse. In de risicoanalyse zijn de verwachtingen van de toezichthouder een onderdeel. De stijging van het aantal deep dives is dus vooral gedreven door de toezichthouder, de ECB.
Figuur 3.4 Redenen stijging aantal deep dives
Uit de beantwoording van vraag 3B blijkt dat drie van de vijf auditors zegt dat het ECB onderzoek naar interne modellen (TRIM) geen aanleiding was om hun aanpak te wijzigen. Daarentegen zeggen de validatie-experts – vier van de vijf - dat audit de aanpak van modelrisicomanagementaudits wel heeft aangepast sinds de start van het TRIM onderzoek. Van de geïnterviewden denken zeven van de dertien dat de ECB meer voorschrijft dan wettelijk is vereist. Hierbij zijn er vier die hierover geen mening hebben en op neutraal staan terwijl één auditor en één CRCU medewerker vinden dat dit niet het geval is. Eén van de eisen van de ECB – die niet zo expliciet in de wet staat - is dat audit minimaal één maal per drie jaar alle modellen individueel of als onderdeel van een themaonderzoek reviewt. Dit staat in de onlangs gepubliceerde ECB Guide to Internal Models (ECB, 2018). In de praktijk zeggen drie van de vier auditors dit niet te doen.
Het antwoord op vraag 3G toont dat drie van de vijf banken een aparte
modelauditeenheid heeft. Dit betreft banken D en F. Bank D heeft een eenheid van op dit moment vijf fte’s, alle quants, bank F heeft een eenheid met zeven fte’s, met een achtergrond binnen risicomanagement.
Vijf van de dertien ondervraagden – vraag 3H - vinden dat
modelrisicomanagementaudits / modelaudits door ‘quants’ moeten worden uitgevoerd. Deze vijf werken bij validatie en de CRCU. De auditors zijn het oneens met deze stelling.
Risico analyse 35%
Op verzoek business 5%
Toezichthouder gedreven 45%
38
Volgens vraag 3I huren twee van de vier auditors externe capaciteit in bij
modelrisicomanagementaudits / modelaudits. Dit betreft banken E en F. Voorts geven drie van de vier (75%) auditors aan over voldoende interne resources te beschikken om aan de verwachtingen van de toezichthouder te kunnen voldoen, als de mening van validatie en CRCU wordt meegenomen dan is dit zes van de twaalf (50%).
De dertien geïnterviewden beantwoorden de open vraag naar de ideale samenstelling van het team dat modelrisicomanagement/modelaudits uitvoert. Alle dertien vinden dat dit team moet bestaan uit ten minste één auditor met kwantitatieve ervaring, daarnaast wordt als teamleden tien keer genoemd een auditor met oog voor processen, acht keer een auditor met bankenkennis (en kennis van de klanten en producten en de daarmee samenhangende risico’s) en zes keer een ervaren teammanager die goed de balans weet te vinden tussen hoofd en bijzaken, een netwerk binnen de bank heeft en beschikt over goede communicatievaardigheden. Voorts wordt een enkele keer genoemd een auditor met IT kennis, een dataspecialist en een auditor met kennis van de regelgeving. Dus een modelauditteam is een mixed team en bestaat niet alleen uit ‘quants’. Als reden geven geïnterviewden aan dat quants vaak hoofd- en bijzaken niet onderscheiden en business kennis ontberen. Zij stellen dat het in een modellenaudit niet alleen gaat om de
technische werking van het model maar ook om het gebruik binnen de business.
Op de open vraag welke criteria audit moet hanteren bij het selecteren van modelaudits antwoorden acht van de twaalf ondervraagden op basis van impact en complexiteit. Deze worden bepaald op basis van scores. Voorts heeft de ECB in de eerder
aangehaalde ECB Guide to Internal Models (ECB, 2018) een aantal redenen genoemd die voor audit aanleiding kunnen zijn om een modelaudit te gaan plannen voor het komende jaar. Deze redenen zijn aan de geïnterviewden voorgelegd met de vraag of zij hierin ook een aanleiding zien een dergelijke audit te plannen. De uitkomsten staan in figuur 3.5. In bijlage twee staan de uitkomsten naar afdeling en bank.
39
Figuur 3.5 Redenen voor het plannen van een modelrisicomanagement audit / modelaudit naar aantal keren ja / nee per afdeling
Nr. Aanleiding deep dive Afdeling ja nee Totaal 3L1 Er is sprake van nieuwe
processen
audit 3 2 5
CRCU 2 2
validatie 3 1 4
Totaal 6 5 11
3L2 Er treedt nieuwe wet- en regelgeving in werking.
audit 4 1 5
CRCU 2 2
validatie 3 1 4
Totaal 7 4 11
3L3 Een bestaand IRB-systeem wordt gebruikt voor klanten waarvoor het model
oorspronkelijk niet is gemaakt
audit 4 1 5
CRCU 2 2
validatie 2 2 4
Totaal 8 3 11
3L4 Er is sprake van een materiële modelwijziging.
audit 4 1 5
CRCU 1 1 2
validatie 3 1 4
Totaal 8 3 11
3L5 Er zijn nieuwe bevindingen van de toezichthouder
audit 3 2 5
CRCU 1 1 2
validatie 3 1 4
Totaal 7 4 11
3L6 Er zijn langdurig openstaande auditpunten en onderdelen met een verhoogd risico
audit 4 1 5
CRCU 2 2
validatie 2 1 3
Totaal 8 2 10
Uit figuur 3.5 komt geen overheersende aanvullende aanleiding naar voren. Volgens 3L3, 3L4 en 3L6 zien de meeste geïnterviewden een aanleiding om een audit te plannen dit betreft respectievelijk als een bestaand IRB-systeem gebruikt gaat worden voor klanten waarvoor het model oorspronkelijk niet is gemaakt, er sprake is van een materiële wijziging en bij langdurig openstaande auditpunten.
Samenvattend kan het volgende gesteld worden over de deep dives in de praktijk: 1. Uit de vragen 3A en 3B en een aanvullende vraag blijkt dat het aantal modelaudits
in de afgelopen jaren vooral onder invloed van de ECB is toegenomen;
2. Uit de beantwoording van vragen 3C en 3D kan worden afgeleid dat de meeste banken vinden dat de ECB meer vraagt dan wettelijk is vereist. Dit betreft de eis dat alle modellen, afzonderlijk of als onderdeel van een thema-audit minimaal één keer per drie jaar moeten worden geaudit. Zij zeggen hier nog niet volledig aan te voldoen;
40
4. Twee banken maken bij modelaudits gebruik van externe capaciteit;
5. Het ideale modelauditteam bestaat uit auditors met verschillende competenties. Alle ondervraagden vinden dat minimaal één auditor een kwantitatieve achtergrond moet hebben.
6. Er zijn meerdere redenen om een modelrisicomanagementaudit / modelaudit te plannen. De meeste ondervraagden noemen impact en complexiteit van een model. Daarnaast als er sprake is van een materiële wijziging in het model of wanneer auditpunten langdurig openstaan.
7. Ten slotte kan uit bovenstaande worden geconcludeerd dat de banken voldoen aan het theoretisch kader op de ECB eis na dat interne modellen één keer per drie jaar moeten worden geaudit.