Methode en verantwoording dataverzameling

4.6.1 Onderzoeksontwerp

Het onderzoek heeft zowel een beschrijvend als een verklarend karakter. Met behulp van literatuuronderzoek, waarin de ontwerpprincipes van De Bruijn (2006) voor

prestatiemeting en de perverse en positieve effecten centraal staan, is inzicht verkregen in het theoretische kader. De reeds bekende wetenschappelijke literatuur heeft tot gevolg dat er verwachtingen zijn geschapen in relatie tot de ontwerpprincipes van prestatiemeting en de mogelijke uitkomsten (perverse of positieve effecten) als gevolg van het toepassen van deze ontwerpprincipes. Deze verwachtingen zijn in dit onderzoek getoetst door middel van semi-gestructureerde interviews. Met behulp van deze

interviews is het mogelijk om te inventariseren welke ontwerpprincipes voor prestatiemeting zijn toegepast door P-Direkt en wat de waargenomen positieve en perverse effecten zijn bij de medewerker Contactcenter. Met behulp van de

ontwerpprincipes van De Bruijn (2006) wordt verklaard waarom de positieve of perverse effecten van prestatiemeting zich voordoen.

4.6.2 Literatuuronderzoek

Uit het veelvoud van wetenschappelijke publicaties blijkt dat het onderzoeksonderwerp een ‘hot’ topic is binnen het openbaar bestuur. Binnen de wetenschappelijke literatuur blijkt dat er geen eenduidig antwoord te formuleren is of prestatiemeting bijdraagt aan een effectieve publieke professie. Zoals uit het theoretisch kader blijkt kan het ook een ineffectieve bijdrage leveren aan de publieke professie. De verbanden die zijn geschetst in de wetenschappelijke literatuur, het toepassen van de ontwerpprincipes en effecten die zich als gevolg van het wel of niet toepassen van deze principes voordoen, worden in dit onderzoek getoetst. Tevens wordt met behulp van de ontwerpprincipes van De Bruijn (2006) verklaard waarom deze waargenomen positieve of perverse effecten zich voordoen bij de medewerker Contactcenter.

4.6.3 Semi-gestructureerde interviews

Om te onderzoeken welke ontwerpprincipes zijn toegepast bij prestatiemeting is gebruik gemaakt van semigestructureerde interviews die zijn afgenomen bij vijf teamleiders van het Contactcenter te Den Haag. De respondenten zijn per afdeling binnen het Contactcenter P-Direkt geselecteerd zodat een alomvattend beeld ontstaat welke ontwerpprincipes zijn toegepast. Voor semi-gestructureerde individuele

interviews is gekozen omdat op deze wijze kan worden doorgevraagd en gedetailleerde informatie beschikbaar wordt gesteld door de teamleider Contactcenter. De teamleiders Contactenter hebben hierdoor meer vrijheid om hun mening, motivatie en perceptie naar voren te brengen in het interview.

De interviewvragen zijn gekoppeld aan het eerste aspect van de onderzoeksvraag: ‘’Welke ontwerpprincipes van prestatiemeting zijn toegepast door de Shared Service Organisatie P-Direkt’’. De vragen die zijn opgesteld zijn opgedeeld in drie thema’s die gerelateerd zijn aan de ontwerpprincipes van De Bruijn (2006). Uit De Bruijn (2006) blijkt immers dat een drietal ontwerpprincipes van toepassing zijn. De volgende drie thema’s zijn gehanteerd ten tijde van het afnemen van de interviews:

 Is er gebruik gemaakt van interactie tussen het management en de medewerker Contactcenter ten tijde van het vaststellen of bepalen van de productdefinities,

prestatie-indicatoren, de functie, de fora en of een indirect koppeling is gerealiseerd;

 is variatie mogelijk ten aanzien van de betekenisgeving, de actor die betekenis geeft, productdefinities, type producten, prestatie-indicatoren en meetsystemen;  is dynamiek mogelijk tussen het product of de output en het proces van

totstandkoming van het product of de output en is deze variatie ook mogelijk ten tijde van beoordeling.

Naast deze drie thema’s die zijn gerelateerd aan de ontwerpprincipes, is onderzoek verricht naar de positieve en perverse effecten van prestatiemeting. Eerst is

geïnventariseerd welke positieve en perverse effecten zich voordoen, waarna een verklaring wordt gerealiseerd aan de hand van de drie ontwerpprincipes van De Bruijn (2006).

Voor de gestelde interviewvragen wordt verwezen naar Bijlage één van dit onderzoek. De afgenomen interviews zijn opgenomen als bijlagen. De voor- en achternamen van de respondenten zijn niet zichtbaar in verband met privacy. De namen zijn vervangen door de term ‘teamleider’. Vijf interviews zijn afgenomen ten tijde van dit onderzoek, deze zijn in alfabetische volgorde toegevoegd van ‘A’ tot en met ‘E’. Het team waaraan de teamleider Contactcenter leiding geeft is opgenomen in de beschikbare gegevens net zoals de datum van afname van de interviews. In de onderstaande tabel een overzicht: Tabel 14: Overzicht bijlagen

Teamleider Team Datum interview Nummer bijlage

A K&U 2 DH 14 november 2017 2 B Admin DH 1 14 november 2017 3 C P&S 3 15 november 2017 4 D TA DH 2 16 november 2017 5 E VenV 1 23 november 2017 6 4.6.4 Validiteit

Validiteit heeft betrekking op de gebruikte meetinstrumenten in het onderzoek, in dit onderzoek is gebruik gemaakt van het semi-gestructureerde interview. Het semi-

gestructureerde interview moet meten wat er gemeten moet worden om het onderzoek vorm te geven en antwoord te geven op de onderzoeksvraag. Door in de semi-

gestructureerde interviewvragen te relateren aan de drie ontwerpprincipes van De Bruijn (2006), wordt onderzocht aan welke ontwerpprincipes P-Direkt heeft voldaan ten tijde van het vormgeven en het gebruik van het prestatiemeetsysteem. Vervolgens zijn de teamleiders Contactcenter bevraagd welke positieve of perverse effecten waarneembaar zijn bij de medewerker Contactcenter, hierdoor wordt inzicht geboden welke effecten zich voordoen bij de medewerker Contactcenter. Tot slot wordt een relatie aangebracht tussen de ontwerpprincipes en de positieve en perverse effecten van prestatiemeting, hierdoor wordt verklaard waarom deze effecten zich voordoen. De begrippen zijn geoperationaliseerd op basis van de theorie van De Bruijn (2006). Dit heeft tot gevolg dat een hoge mate van begripsvaliditeit van toepassing is.

4.6.5 Betrouwbaarheid

Het onderzoek kan worden herhaald, dit levert betrouwbaarheid in relatie tot het uitgevoerde onderzoek op. De opgestelde interviewvragen zijn uniform gebruikt ten tijde van de afname van het interview. De betekenis van de begrippen zijn aan de respondenten toegelicht waardoor duidelijkheid bestaat over het begrip en geen

interpretatie verschillen mogelijk zijn. De teamleiders Contactcenter zijn allen separaat geïnterviewd in een omgeving waar zij vrijuit kunnen spreken en beperkt worden afgeleid. Doordat gebruik is gemaakt van een semi-gestructureerd interview hebben de respondenten de mogelijkheid om op eigen initiatief aanvullende antwoorden te

generen op de interviewvragen. Nadat de afgenomen interviews zijn uitgewerkt, zijn deze retour gezonden naar de respondenten. Hen is de mogelijkheid geboden om te verifiëren of de uitgewerkte interviews overeenkomen met de door hen gegeven antwoorden. De namen van de respondenten zijn niet zichtbaar ten behoeve van hun privacy en de bedrijfsgevoelige informatie.

5. Analyse: