De validiteit van een onderzoek betreft de beïnvloeding van het onderzoek door systematische fouten (Neuman, 2014). Hierbij wordt onderscheid gemaakt tussen interne en externe validiteit. Interne validiteit heeft betrekking op de mate van de waarin het meetinstrument alle aspecten van een concept meet. Een onderzoek is valide als de onderzoeker vanuit zijn of haar gebruikte onderzoeksmethodes juiste conclusies trek ( Ibid). De gebruikte methode van dit onderzoek zijn semi-gestructureerde interviews. Om ervoor te zorgen dat de interne validiteit van de interviews hoog blijft zijn er de volgende stap gemaakt: de interviews zijn afgenomen in soortgelijke omstandigheden, namelijk ‘s ochtends op spreekkamers van politiebureaus. Om de causale relatie tussen de onafhankelijke (ICT) en afhankelijke (discretionaire bevoegdheid van politieagenten) variabelen aan te tonen is er ook aandacht besteed aan de andere mogelijke oorzaken van de afhankelijke variabele uit te sluiten. Daarom werden de interviewvragen in een volgorde gesteld die andere mogelijke verklaringen voor de afhankelijke variabele, zoals de wijkproblematiek, in het oog houden. Verder is er rekening gehouden met het verschil tussen persoonlijke interviews en een focusgroep. De agenten zijn afzonderlijk geïnterviewd en niet samen in een focusgroep om de voorkomen dat de respondenten sociaal wenselijke antwoorden geven. Sociale hiërarchie kan ook een rol spelen in het afnemen van interviews in een focusgroep, bijvoorbeeld doordat sommige respondenten zich niet op gemak voelen om bepaalde antwoorden te geven als hun leidinggevende naast ze zit. Met dit in gedachte is er voor aparte interviews gekozen.
Externe validiteit betreft de generaliseerbaarheid van onderzoeksresultaten voor niet onderzochte situaties (Neuman, 2014). De methode van dit onderzoek brengt een aantal bedreigingen voor de externe validiteit. De respondenten van de interviews zijn willekeurig uitgekozen om de validiteit te verhogen door de kans op een representatieve steekproef te vergroten. De onderzoeker had geen invloed op het kiezen van de respondenten, de respondenten zelf hebben ter plaatse enthousiasme getoond om deel te nemen aan het onderzoek. Dit kan gezien worden als voordeel en als nadeel. Het nadeel van deze aanpak is de niet proportionele verhouding tussen het aantal respondenten van twee bureaus: er werden vier interviews afgenomen bij het bureau Hoefkade en twee bij het bureau
Leidschendam-Voorburg. Het voordeel is dat de willekeurigheid in het kiezen van de respondenten het spectrum van expertises van de geïnterviewde agenten verbreedt: jeugd, ICT, psychologie en generalisme. Ook hebben deze agenten verschillende ervaringen: terwijl sommige agenten al decennia lang werkzaam zijn bij de politie, zijn er anderen die nog in de opleiding zitten. Er werden zowel mannelijke agenten als vrouwelijke agenten geïnterviewd. De diversiteit van de respondenten draag aan bij de verhoging van externe validiteit. Toch heeft dit onderzoek een lage externe validiteit door de vorm van deze studie, namelijk casestudy. De conclusies van een casestudy zijn niet bedoeld voor het generaliseren naar de hele populatie (Ibid). Er worden alleen conclusies getrokken over de gekozen casus. In dit onderzoek betekent dit dat er alleen uitspraken worden gemaakt over de twee politiebureaus. Het generaliseren van de bevindingen is geen doel van dit onderzoek.
3.4.2. Betrouwbaarheid
Bij de betrouwbaarheid van een onderzoek gaat het om de mate waarin de meting vrij is van willekeurige fouten. Hierbij is de herhaalbaarheid van de resultaten van groot belang. Dit onderzoek is uitgevoerd in de vorm van casestudy. Lastig is om de uitkomsten van een casestudy te generaliseren naar andere situaties, aangezien de context van het onderzoek in een aantal aspecten verschilt, in dit geval: de omgeving, het type SLB en de organisatie waarin ze werkzaam zijn, beïnvloedende factoren, zoals de opleiding en de houding tegenover ICT, de mate van formaliteit in de relatie tussen de onderzoeker en de respondenten (Neuman, 2014). Bij de herhaling van een casestudy bestaat de mogelijkheid dat de resultaten van het herhaalde onderzoek verschillen van de resultaten van het oorspronkelijke onderzoek (Ibid). Ten aanzien van betrouwbaarheid van dit onderzoek wordt dit als beperking gezien. Om de mate van herhaalbaarheid van deze casestudy te verhogen werd veel aandacht besteed aan de uitgebreide beschrijving van de methodologie, zodat de praktische aspecten van de gekozen methoden als beïnvloedende factoren voor de uitkomsten kunnen worden meegenomen. Zo is het helder hoe de onderzoeker te werk is gegaan, hoe zij de data heeft geïnterpreteerd en hoe zij tot de conclusies is gekomen. De gebruikte methode betreft semi-gestructureerde interviews. Deze methode heeft bedreigingen voor de resultaten van het onderzoek, bijvoorbeeld doordat de respondent het antwoord op de gestelde vraag niet weet, maar vult zelf wat in; of doordat de respondent een andere definitie van het onderzochte begrip gebruikt dan de onderzoeker. Deze beperking is nagegaan door de interviewvragen zodanig te formuleren dat er geen ruimte voor interpretatie of onduidelijkheid bestond. De interviewvragen zijn tevens logisch opgebouwd, zodat de respondenten eerst bekend raken met de gebruikte definities van
centrale begrippen en pas daarna een gesprek konden voeren. Één van de interviews is echter elektronisch gehouden, wat de betrouwbaarheid van het interview kan beïnvloeden. Er is geen persoonlijk gesprek plaatsgevonden, waardoor er de mogelijkheid bestaat dat de respondent verkeerde interpretatie aan concepten gaf. De onderzoeker heeft echter veel informeel contact gehouden met de betrokken respondent, waarbij er ruimte werd gecreëerd voor vragen omtrent mogelijke onduidelijkheden.