In dit hoofdstuk vatten we de bevindingen uit de voorgaande twee hoofdstukken samen in een aantal basale ontwerpeisen. De gedachte hierachter is dat een prestatiemeetsysteem ten minste aan deze eisen zal moeten voldoen, wil het betekenisvol en kansrijk zijn, en wil voorkomen worden dat de toepassing ervan leidt tot perverse effecten (bijvoorbeeld ‘afvinken’). We wijzen er met nadruk op dat dit basale ontwerpeisen zijn – als hieraan niet wordt voldaan, is het risico van pervertering van een prestatiemeetsysteem groot. Ze zijn een noodzakelijke, niet een voldoende voorwaarde.
We concretiseren de ontwerpeisen door per ontwerpeis een aantal vragen te formuleren die gebruikt kunnen worden om te achterhalen in welke mate aan de betreffende ontwerpeis wordt voldaan. In hoofdstuk 6 passen we de ontwerpeisen toe op de praktijk van de veiligheidsregio’s en komen we tot beantwoording van de centrale onderzoeksvraag.
4.2. Meetbaar
Ontwerpeis: De indicatoren in het systeem dienen zoveel mogelijk meetbaar te zijn.
Meetbaarheid heeft betrekking op de vraag of de prestatie eenduidig te meten is. En dus of aantoonbaar kan worden gemaakt dat sprake is van een verbetering of een verslechtering.
Om de meetbaarheid van een prestatie te bepalen, kunnen onder meer de volgende vragen worden gesteld:
Is de prestatie waarneembaar? Of is de prestatie een non-event? Dat wil zeggen: iets dat niet is gebeurd.
Is de prestatie kwantificeerbaar? Is de prestatie uit te drukken in een meetbare eenheid?
Is de prestatie ondeelbaar? Of bestaat de prestatie uit meerdere deelprestaties?
Als sprake is van deelprestaties, zijn deze dan onderling conflicterend? Dat wil zeggen: een goede score op de ene deelprestatie kan ten koste gaan van de score op de andere deelprestatie.
Is sprake van een hoge mate van homogeniteit en uniformiteit in de sector waarop het prestatiemeetsysteem wordt toegepast? Of is sprake van variëteit?
Hoe oordelen stakeholders over de meetbaarheid van de indicator?
4.3. Relevant
Ontwerpeis: De indicatoren dienen zo relevant mogelijk te zijn.
Bij relevantie draait het om de vraag of de prestatie uitdrukking geeft aan het bereiken van de doelstelling van de organisatie. Met andere woorden: doet de gemeten prestatie ertoe of niet?
Om de relevantie van een prestatie te bepalen, kunnen onder meer de volgende vragen worden gesteld:
Betreft de prestatie een hoofdzaak? Of betreft het een bijzaak?
Betekent een goede score op de indicator ook vrijwel zeker een goede prestatie? Of gaat achter de score op de indicator een complexe werkelijkheid schuil, waarin bijvoorbeeld professionele afwegingen een belangrijke rol spelen?
Is de prestatie generiek en veelvoorkomend? Of bijzonder en uniek? Prestaties die bijzonder of uniek zijn, zeggen doorgaans minder over het presteren in het verleden en hebben ook een beperkte voorspellende waarde voor de toekomst.
Hoe oordelen stakeholders over de relevantie van de indicator?
4.4. Toerekenbaar
Ontwerpeis: De indicatoren dienen zoveel mogelijk toerekenbaar te zijn.
Toerekenbaarheid heeft betrekking op de vraag of de prestatie die wordt gemeten toerekenbaar is aan degene die de prestatie op papier levert.
Om de toerekenbaarheid van een prestatie te bepalen, kunnen onder meer de volgende vragen worden gesteld:
In welke mate is de prestatie het resultaat van de inspanning van de organisatie die wordt beoordeeld?
Is de prestatie het resultaat van een samenwerking in een keten of netwerk?
Welke organisaties zijn nog meer betrokken bij het leveren van de prestatie? o Hoe groot is de afhankelijkheid van deze andere organisaties?
Welke niet-beïnvloedbare omgevingsfactoren zijn van invloed op het leveren van de prestatie? o Hoe groot is de invloed van deze niet-beïnvloedbare omgevingsfactoren?
Hoe oordelen stakeholders over de toerekenbaarheid van de indicator?
4.5. Impact
Ontwerpeis: Naarmate meetbaarheid, relevantie en toerekenbaarheid meer problematisch zijn, dient de
gepercipieerde impact van het prestatiemeetsysteem in de veiligheidsregio’s beperkter te zijn om perverse
effecten te voorkomen.
Of prestatiemeting leidt tot positieve effecten of tot perverse effecten hangt ook af van de impact van een systeem. Is die hoog of laag? Een hoge impact betekent dat het wel of niet behalen van een te meten prestatie grote gevolgen heeft in termen van verantwoording. Het gaat daarbij niet alleen om de feitelijke maar juist ook om de gepercipieerde impact: heeft het wel of niet behalen van een prestaties in de perceptie van de betrokken spelers een hoge impact?
Om de (gepercipieerde) impact van een prestatiemeetsysteem te bepalen, kunnen onder meer de volgende vragen worden gesteld:
Hoe groot zijn de (potentiële) positieve effecten van het prestatiemeetsysteem volgens stakeholders, wanneer zij de afgesproken prestatie behalen?
Hoe groot zijn de (potentiële) negatieve effecten van het prestatiemeetsysteem volgens stakeholders, wanneer zij de afgesproken prestatie niet behalen?
Wat is functie van het prestatiemeetsysteem? Dient het om te leren of verantwoording af te leggen?
Wordt het prestatiemeetsysteem gebruikt in een horizontale of verticale verantwoordingsrelatie?
Bestaat er duidelijkheid over het prestatiemeetsysteem bij stakeholders? Of ervaren stakeholders onzekerheden?
o Bestaat er duidelijkheid over de functie van het prestatiemeetsysteem bij stakeholders? o Bestaat er duidelijkheid over de wijze waarop prestaties worden geïnterpreteerd?
o Bestaat er duidelijkheid over de wijze waarop de uitkomsten van het prestatiemeetsysteem worden gebruikt?
o Is er duidelijkheid over de adressant(en) van het prestatiesysteem?
Bestaat er draagvlak over de balans tussen kwantitatieve gegevens en kwalitatieve duiding in het prestatiemeetsysteem?