Uitvoerbaarheid productiviteitsmeting

Theoretisch gezien zijn er op grond van het voorafgaande weinig bezwaren te uiten tegen het uitvoeren van productiviteitsmetingen in de publieke sector. Maatschappelijk en politiek worden doelstellingen voor publieke dienstverlening geformuleerd. Hier worden middelen voor beschikbaar gesteld en randvoorwaarden aan de uitvoering gesteld. De doelstellingen laten zich vervolgens vertalen in meetbare en verifieerbare indicatoren voor productie en effecten, evenals de ingezette middelen en de randvoorwaarden. Over deze indicatoren worden vervolgens gegevens verzameld. Op basis van statistische analyses is het dan mogelijk uitspraken te doen over productiviteit en determinanten van productiviteit. Inzicht in de determinanten bieden dan houvast voor het plegen van juiste beleidsinterventies.

Dit is uiteraard een ideaalbeeld. De praktijk is echter veel weerbarstiger. De weerbarstigheid manifesteert zich vooral in de meting van producten en effecten.

Maatschappelijke en politieke voorkeuren laten zich niet altijd even eenvoudig in een aantal indicatoren vastleggen. Genoemde voorkeuren zijn niet altijd even helder

geëxpliciteerd, bijvoorbeeld in wet- en regelgeving. Vragen over wat bijvoorbeeld goed onderwijs is, levert direct al een stevige discussie op.

Als er al duidelijk doelstellingen zijn geformuleerd, dan is het nog maar de vraag welke indicatoren daarbij passen. Er is sprake van een product-kwaliteit-effect continuüm.

Producten hebben betrekking op de direct geleverde diensten. Het aantal lessen op een school is hiervan het voorbeeld. Deze is direct in verband te brengen met de kosten. De productiviteitsmaat weerspiegelt dan de kosten per leerling per lesuur. Dit zegt iets over hoe doelmatig een school het een en ander heeft georganiseerd om de vereiste lessen te geven. Beperking hiervan is dat de opgedane hoeveelheid kennis en vaardigheden niet in het cijfer verwerkt is. De doelmatige organisatie zou bijvoorbeeld ten koste gegaan kunnen zijn van de kwaliteit van het onderwijs (door de inzet van onervaren docenten met een laag salaris). Een optie is om dan de kwaliteit te verdisconteren in de

productiematen door rekening te houden met drop-out, zittenblijven, slagen en

toetsuitslagen. De vraag over welke kwaliteitsindicatoren gehanteerd moeten worden, zal de discussie intensiveren. Met de beantwoording van deze vraag is nog niet hele

probleem opgelost, omdat ook de voor kwaliteit gecorrigeerde productiviteitsmaat niet automatisch betekent dat een productieve school vanuit een maatschappelijk perspectief productief is. De discussie over bijvoorbeeld de te geringe belangstelling voor

bètarichtingen enige jaren geleden is daar een uiting van. Blijkbaar is er een deel van de bevolking dat vanuit die optiek een opleiding kiest die niet voldoet aan een bepaald maatschappelijk doel (vervulling van technische functies).

Het beschreven product-kwaliteit-effect continuüm heeft een aantal eigenschappen. Hoe dichter de productiemaat zich links in het continuüm bevindt des te minder discutabel, des te nauwkeuriger en des te fraudegevoeliger de productiemaat wordt. Hoe dichter de productiemaat zich verbindt in het rechtergedeelte van het continuüm des te discutabeler,

33 onnauwkeuriger, minder corrumpeerbaar en minder relevant voor afzonderlijke actoren wordt.

Aan de zijde van de ingezette middelen bestaan veel minder conceptuele problemen.

Over het algemeen kiezen beleidsmakers en onderzoekers voor de kosten of de inzet van personeel in voltijdbanen als indicatoren voor de ingezette middelen. De mate van differentiatie in personeelsfuncties of kostencategorieën is dan een belangrijke keuze om eventuele improductiviteit te identificeren. De discussie over de ‘leemlagen van

management” in de publieke sector is hiervan een voorbeeld. Dit is uiteraard alleen te onderzoeken als er een onderscheid tussen management en professionals wordt

gehanteerd. Het wel of niet meenemen of bepaalde typen ingezette middelen is wel een belangrijk aspect bij productiviteitsmeting. Zo valt in veel analyses de factor kapitaal buiten de boot met als argumenten “relatief onbelangrijk”, “economisch ondeugdelijk geregistreerd” of “inzet valt buiten de competentie van de betreffende voorziening”. Met name met het oog op een grotere rol van technologie in verschillende voorzieningen als substituut voor arbeid, kan het ontbreken van kapitaal in onderzoek en beleid worden gezien als een omissie. Naast de conceptuele aspecten spelen vooral pragmatische aspecten een belangrijke rol. Veel onderzoekers onderschatten de betekenis van de heterogeniteit van ingezette middelen (kwaliteit professionals, kwaliteit huisvesting), een adequate aanpassing voor loon- en prijsontwikkelingen in de tijd en verandering in de werktijd (voor een uitgebreide discussie zie Blank, 2010: 88-93).

Er zijn veel gegevens over publieke voorzieningen in Nederland beschikbaar uit allerlei registraties, officiële statistieken en individuele onderzoeken. Veel te veel om hier uitgebreid te benoemen. Bekende voorbeelden zijn de jaarenquête gegevens voor de zorg die door het voormalige Prismant werden verzameld of de uitgebreide onderwijsgegevens verzameld door het Cfi. Vergelijkbare databestanden bestaan er voor de rechtspraak, de waterschappen, de gemeenten et cetera. Eerder is een overzicht gemaakt van

mogelijkheden van onderzoek naar de productiviteit van publieke voorzieningen op basis van beschikbaarheid van adequate gegevens (zie Koning 2007). Koning presenteert hier ook een onderzoeksagenda voor de publieke sector waarin hij beleidsrenderend

onderzoek paart aan de praktische uitvoerbaarheid van een dergelijk onderzoek. Zijn conclusie is dat er interessante mogelijkheden zijn in verschillende sectoren. In andere sectoren is bijvoorbeeld nog sprake van een “brug te ver”. Koning (2007) richt zich vooral ook op de beschikbaarheid, objectiviteit en kwaliteit van gegevens, maar niet op de mogelijke duiding van resultaten die voor het voeren van beleid van grote betekenis kunnen zijn. Hier dient nog een flinke slag te worden gemaakt.

2.5 Conclusies

Er bestaat een goede wetenschappelijke methode om de productiviteit van publieke voorzieningen te meten. Op basis van adequate gegevens over geleverde diensten en ingezette middelen zijn instellingen (of andere meetniveaus) onderling of in de loop der tijd goed met elkaar te vergelijken. Een belangrijk element hierbij is dat de meeste

34 publieke instellingen een multiple input multiple output karakter hebben en dat een

integrale beoordeling moet worden gegeven in plaats van partiële.

Vergelijkingen kunnen het beste worden uitgevoerd ten opzichte van beste praktijk instellingen. Deze geven een veel betere indicatie over ondoelmatigheden dan wanneer van een gemiddelde praktijk wordt uitgegaan waar bij een deel van de ondoelmatigheden worden verdoezeld.

Het grootste probleem bij productiviteitsmeting is de definitie van de geleverde diensten.

Daar is niet altijd consensus over. Als deze consensus er wel is, dan is het dikwijls ook nog lastig te meten. Het begrip kwaliteit laat zich namelijk niet altijd even eenvoudig in een aantal kengetallen vatten.

Beleidsmatig is het verder van belang de begrippen productiviteit en effectiviteit te onderscheiden. De beoogde doelen van publieke voorzieningen liggen dikwijls op een hoger abstractieniveau dan de geleverde diensten. De doelstelling van bijvoorbeeld onderwijs strekt uiteraard verder dan alleen het halen van bepaalde kwalificaties of diploma’s (sociale participatie, zelfredzaamheid, culturele identiteit). Een voorziening kan volstrekt doelmatig worden uitgevoerd maar toch niet effectief zijn. Op dit zogenoemde product-kwaliteit-effect continuüm staat een behoorlijke beleidsmatige spanning. Er is dus niet een type onderzoek voor te schrijven om de productiviteit te beoordelen.

Productiviteitsanalyses zijn op verschillende niveaus uit te voeren, afhankelijk van de vraagstelling. De vraagstelling kan zich richten op systeemkenmerken van een

voorziening (ordening van de markt, sturingsconcepten), maar ook op de inrichting van een HRM-afdeling binnen een instelling. In het eerste geval ligt een analyse van

bijvoorbeeld landen of vergelijkingen in de tijd voor handen. In het laatste geval ligt een vergelijking tussen instellingen meer voor de hand. Verder geldt hier dat op deelniveaus taken doelmatig kunnen worden uitgevoerd, maar dat dit op een hoger niveau geenszins het geval hoeft te zijn.

Door de vele goede registraties en uitgebreide enquêteringen is uitgebreid onderzoek naar de productiviteit goed uitvoerbaar. In de ene sector zijn conceptueel meer probleem te verwachten dan in de andere (denk bijvoorbeeld aan gemeenten of defensie tegenover onderwijs en zorg). Een belangrijke vervolgstap dient de duiding van

productiviteitsverschillen te zijn. Productiviteit dient dus nadrukkelijk te worden gekoppeld aan factoren die beïnvloedbaar zijn door het beleid. Dit geldt voor overheidssturing en sturing door het management van instellingen. Gegevens over bedrijfsvoering en strategie zijn echter veel minder goed beschikbaar. Het beleid dient dan ook de verzameling van dit soort gegevens verder gestalte te geven, waarbij dient te worden voorkomen dat een verdere enquêtedruk of administratieve last optreedt.

35