In hoofdstuk 4 is een model voor de risicogerichte audit van authenticatie ontwikkeld. Dit model berust op theorie. Het model is echter nog niet getest op juistheid, volledigheid, bruikbaarheid en relevantie. Deze test vindt plaats middels validatie van het model en toetsing van het model in een praktijksituatie. In dit hoofdstuk worden de doelen en methodologie van de validatie en praktijktoets besproken.
5.2 Doel validatie
Een validatie wordt uitgevoerd om vast te stellen of op basis van theorie ontwikkelde model voldoet. Het doel van het valideren van het theoretische model is:
- Vaststellen of de opgenomen authenticatiemethoden (paragrafen 2.2 en 2.3) juist en volledig zijn en of de indeling van verschillende methoden redelijk is.
- Vaststellen of de wijzen waarop authenticatiemethoden worden doorbroken
(paragraaf 2.4) juist en volledig zijn en of de indeling van verschillende methoden redelijk is.
- Vaststellen of de beschreven systeeminrichtingen (paragraaf 2.5) juist en volledig zijn en of de indeling van verschillende methoden redelijk is.
- Vaststellen of de actoren die authenticatie doorbreken (paragraaf 2.6) juist en volledig zijn en of de indeling van verschillende actoren redelijk is.
- Vaststellen of de risicomodellen (hoofdstuk 3) passend zijn bij het onderzoek, juist zijn beschreven en of relevante risicomodellen ontbreken.
- Vaststellen of relaties die zijn gelegd tussen authenticatiemethoden, wijzen waarop authenticatiemethoden worden doorbroken, systeeminrichtingen en actoren die authenticatie doorbreken logisch zijn.
- Vaststellen of het ontwikkelde model op basis van theorie (hoofdstuk 4) hetgeen hiervoor beschreven juist en volledig weergeeft.
- Vaststellen of het ontwikkelde model inzicht geeft ten behoeve van een
risicogerichte audit van authenticatie en vaststellen of dit inzicht vernieuwend is ten opzichte van bestaande modellen.
5.3 Methode validatie
Afgeleid uit het doel van de validatie dient deze een beeld te geven over een relatief complexe situatie, waarbij antwoorden op verschillende doelstellingen onderling verweven zijn. Op basis hiervan wordt een afweging tussen kwalitatief en kwantitatief onderzoek gemaakt en de verdere invulling hiervan.
Door Verschuren & Doorewaard, 2004 en Swanborn, 1987 wordt onderscheid gemaakt tussen kwalitatief en kwantitatief onderzoek. Kwantitatief onderzoek is gericht op het achterhalen van feiten, waarbij resultaten meestal worden uitgedrukt in cijfers. Kwalitatief onderzoek is meer beschrijvend van aard en richt zich op interpretaties, ervaring en betekenissen.
Een kwalitatief onderzoek past het meest bij de validatie van het ontwikkelde theoretische model. Overwegingen hiervoor zijn ook dat:
- Een kwalitatief onderzoek gericht is op complexe situaties.
- Dit onderzoek passend is bij interpreteren (van het model) en ervaringen (vanuit de praktijk).
- Antwoorden van geïnterviewden zijn niet eenvoudig te kwantificeren.
- Onverwachte resultaten bij een kwalitatief onderzoek verder uitgezocht kunnen worden, terwijl een kwantitatief onderzoek hiervoor geen mogelijkheid geeft.
Een kwalitatief onderzoek wordt meestal uitgevoerd door middel van interviews (Swanborn, 1987). Voor interviews kunnen verschillende stijlen gekozen worden:
- Gestructureerd interview. De vragen en volgorde van vragen staan vast. Doel is om verschillende geïnterviewden onder zoveel mogelijk dezelfde omstandigheden te interviewen.
- Semigestructureerd interview (ook diepte-interview). Hierbij is een algemeen interviewschema. Vragen zijn relatief algemeen geformuleerd en hiervan kan afgeweken worden. Hierdoor is het mogelijk om door te vragen. Het doel hiervan is om meer en gedetailleerde informatie te krijgen dan bij een gestructureerd interview.
- Ongestructureerd interview (ook een vorm van diepte-interview). Hierbij wordt een lijst met onderwerpen in plaats van vragen gehanteerd. Deze onderwerpen worden in ieder geval besproken, maar de volgorde en invulling is vrij. Deze interviewmethode is informeler dan de eerder beschreven methoden en kan tot een verdere verdieping dan een semigestructureerd interview leiden. De keerzijde is dat antwoorden van geïnterviewden meer van elkaar afwijken en hierdoor minder onderling vergelijkbaar zijn.
Gekozen wordt voor een ongestructureerd (diepte) interview. De reden hiervoor is dat verwacht wordt dat het aanhouden van een vaste indeling van gestandaardiseerde vragen tot minder gedetailleerde informatie van de geïnterviewden leidt. Ook wordt verwacht dat meer informatie wordt verkregen in een meer informele setting, waarbij voldoende mogelijkheid is tot het uitdiepen van specifieke onderwerpen. De
doelstellingen van de validatie zoals beschreven in paragraaf 5.2 worden als uitgangpunt genomen als lijst van onderwerpen bij het interview.
Om voldoende kwaliteit te verkrijgen uit de interviews worden deskundigen benaderd. Deze deskundigen dienen kennis te hebben van alle doelstellingen van de validatie uit paragraaf 5.2. Hiernaast wordt verwacht dat het meeste informatie verkregen wordt inden deskundigen op basis van kennis en ervaring verschillende invalshoeken hebben op de doelstellingen van de validatie.
Een audit van authenticatie wordt doorgaans uitgevoerd door een interne of externe auditor. Deze auditor voert de audit uit bij een interne verantwoordelijke/specialist. Om verschillende invalshoeken voor de doelstellingen van de validatie goed te belichten is gekozen om de volgende functionarissen te interviewen:
- IT-auditor. Dit is een externe auditor die regelmatig audits uitvoert op IT- systemen, waaronder een controle op andere authenticatie valt. De IT-auditor voert zijn werkzaamheden uit op basis van risico inschatting. Zoals benoemd in paragraaf 3.1 verwacht de beroepsorganisatie van IT-auditors (NOREA) dat IT- auditors een risicogerichte aanpak hanteren bij het uitvoeren van werkzaamheden (risico = kans x impact).
- Een deskundige die vanuit een andere invalshoek dan een IT-auditor uitvoert is een ethical hacker. Een ethical hacker voert specifiek analyses uit waarbij systeeminrichtingen en de mogelijkheid van het doorbreken van
systeeminrichtingen getest worden. Verwacht wordt dat de ethical hacker door de andere invalshoek specifieke kennis kan toevoegen over de doelstellingen van de validatie.
- Interne securityspecialist. Een interne securityspecialist bij een organisatie is zelf verantwoordelijk voor het zodanig inrichten van systemen dat het risico op doorbreken van authenticatie aanvaardbaar laag is. Deze specialist brengt een intern perspectief mee voor de doelstellingen van de validatie.
Met de bovengenoemde interviews wordt verwacht dat een deskundig oordeel wordt gegeven over de doelstellingen van de validatie vanuit verschillende invalshoeken. De keuze om drie validatie interviews uit te voeren en niet meer deskundigen of
invalshoeken mee te nemen is met name gericht op de intensiviteit van de gekozen vorm van ongestructureerde kwaliteitsinterviews. Bij uitbreiden van het aantal interviews wordt de tijdsbesteding van de validatie sterk vergroot, terwijl van de verschillende deskundigen al verwacht kan worden dat deze een adequate terugkoppeling kunnen geven. Hierdoor wordt de informatiewaarde van het toevoegen van meerdere interviews steeds lager.
5.4 Doel praktijktoets
Naar aanleiding van hetgeen beschreven in paragrafen 5.2 en 5.3 wordt het ontwikkelde model op basis van theorie gevalideerd door deskundigen. Het gevolg van de validatie is dat een relevant model ontstaat dat in de praktijk bruikbaar dient te zijn. Echter is het ontwikkelde model nog niet daadwerkelijk in de praktijk getoetst. Het doel van de praktijktoets is om vast te stellen of het gevalideerde model ook daadwerkelijk toepasbaar is in de praktijk en of het model relevante resultaten oplevert.
5.5 Methode praktijktoets
Het doel van de praktijktoets is om het ontwikkelde en gevalideerde model in een praktijksituatie te toetsen. Sprake is van een relatief complexe situatie bij het in de praktijk toetsen van het model, waardoor kwalitatief onderzoek hierbij het meest passend is (zie paragraaf 5.3).
Zoals door Verschuren & Doorewaard (2004) beschreven is een casestudie het meest geschikt voor het kwalitatief in de praktijk toetsen van een specifieke situatie. Bij de casestudie wordt gezocht naar een praktijksituatie waarmee het ontwikkelde model toegepast kan worden.
Een praktijksituatie die aansluit op het ontwikkelde model is het uitvoeren van een kwetsbaarheidsscan. Een kwetsbaarheidsscan is een analyse waarin kwetsbaarheden in een systeem worden vastgesteld ten aanzien van het hacking. Dit ligt zeer in lijn met het vaststellen van risico’s op het doorbreken van authenticatiemechanismen.
Voor de casestudie is een kwetsbaarheidsscan geselecteerd die door de IT-audit afdeling van accountantsorganisatie Baker Tilly Berk is uitgevoerd bij een klant. Als basis voor de casestudie is de rapportage van het uitgevoerde onderzoek gehanteerd, waarin
uitgebreid de geconstateerde risico’s zijn beschreven en gekwantificeerd. Hiernaast zijn tekortkomingen in systeembeveiliging beschreven die ten grondslag liggen aan de geconstateerde risico’s. De praktijksituatie sluit hierbij goed aan bij het model, zoals ontwikkeld in hoofdstuk 4.