In dit hoofdstuk hebben we gekeken naar de kwaliteit en doeltreffendheid van de activiteiten die CAOP onder de subsidieregeling heeft uitgevoerd, volgens BZK, CAOP en een aantal afnemers van de diensten van CAOP.
In welke mate dragen de verleende subsidies (en bekostigde activiteiten van CAOP) bij aan de door de BZK geformuleerde beleidsdoelen
Een terugkerend element in de vraag of de subsidieregeling CAOP doeltreffend is, is dat er geen (goede) meetbare indicatoren zijn opgesteld waardoor er geen oordeel te geven is over het effect ervan. Als we terugkijken naar het evaluatiekader in hoofdstuk 2 (Figuur 2.1) kunnen we hier een aantal dingen over zeggen. In de subsidieregeling CAOP richt BZK zich vooral op indicatoren op activiteitenniveau; er wordt gestuurd op taken, niet op resultaten. CAOP wordt bijvoorbeeld gevraagd ieder jaar 10 congressen te organiseren, wat ertoe leidt dat CAOP probeert ieder jaar 10 congressen te organiseren. Wat het effect van deze congressen is in termen van bijvoorbeeld kennisontwikkeling (output) of hoe goed werkgeverschap (resultaat / outcome) is, blijft echter onbekend omdat hieromtrent geen meetbare indicatoren zijn opgesteld. Met andere woorden CAOP levert over het algemeen wat hen gevraagd wordt, alleen is het niet mogelijk over het effect ervan iets te zeggen.
Ook de doelen die de directie APS nastreeft zijn erg globaal beschreven. Om die reden kan er geconcludeerd worden dat alle vier de onderdelen van de subsidieregeling bijdragen aan die doelen, alleen is het onmogelijk om te bepalen in hoeverre de activiteiten hieraan bijdragen en welk effect ze hebben op de doelen.
Dat er geen meetbare output- en resultaatindicatoren zijn opgesteld, is vaker het geval bij subsidieregelingen. Uit onderzoek24 van de Algemene Rekenkamer blijkt dat van alle
gepubliceerde effectevaluaties van subsidies tussen 2005 en 2009 er in nog geen twintig procent van de gevallen met zekerheid iets gezegd kon zeggen over de effectiviteit. Dit heeft in veel gevallen, zoals bij CAOP, te maken met onzekerheid over de causaliteit (wat beïnvloedt wat) van effecten.
Het feit dat BZK in de subsidieovereenkomst met CAOP geen SMART-doelen heeft opgesteld, lijkt derhalve niet af te wijken van (een groot deel van) andere subsidieregelingen. Maar ondanks dat BZK hierin niet afwijkt en het moeilijk is om doelen op een meetbare manier te operationaliseren, is het voor het uitvoeren van een effectevaluatie wel noodzakelijk.
Het enige onderdeel waar gerichte outcome-indicatoren zijn opgesteld is EVPT. De activiteiten die het centrum uitvoert, zouden tot een reductie van 25 procent van incidenten in de sectoren onderwijs en zorg moeten leiden. Dit is een voorbeeld van een SMART-geformuleerd doel. Het is alleen onmogelijk om vast te stellen of en in hoeverre hetgeen EVPT doet bijdraagt aan dit doel waardoor ook met deze indicator niets te zeggen valt over de doeltreffendheid van EVPT.
24 Leren van subsidie-evaluaties. Algemene Rekenkamer, 2011.
48 Evaluatie subsidieregeling CAOP 2008-2013
Zoals gezegd zijn er wel op activiteitenniveau indicatoren opgesteld. Op basis van die activiteiten, die CAOP volgens de regeling uit zou moeten voeren, komt er een wisselend beeld uit wat de doeltreffendheid betreft. Bij de commissies is een grote fluctuatie te zien in het aantal zaken dat wordt begroot en het aantal zaken dat uiteindelijk wordt afgehandeld. Dit zou te maken kunnen hebben met bijvoorbeeld de continue bezuinigingen binnen de publieke sector maar daadwerkelijk inzicht in het effect van deze situatie op de workload van de commissies hebben de commissies of BZK niet.
De activiteiten die in het kader van de leerstoelen worden uitgevoerd, zijn erg gevarieerd en er worden veel bijeenkomsten, congressen et cetera georganiseerd. Er wordt derhalve veel ondernomen om bijvoorbeeld de taak van kennisdeling uit te voeren. In de begroting is echter veelal alleen aangegeven dat bepaalde activiteiten in een bepaald jaar uitgevoerd worden, maar er is niet vermeld om hoeveel bijeenkomsten, oraties of speeches het gaat waardoor over het doelbereik niet zoveel geconcludeerd kan worden. Voor BIOS en EVPT geldt voor een deel hetzelfde. Wel blijkt dat vaak in een van beide, de begroting of de realisatie, gekwantificeerde gegevens zijn opgenomen over het aantal activiteiten alleen is ook bij deze activiteiten niet te achterhalen of hetgeen er vooraf beloofd is aansluit bij de realisatie. CAOP merkt hierover op dat veel van de benodigde informatie om dit vergelijk te maken wel beschikbaar is, alleen staat hierover niets vermeld in de activiteitenplannen en/of verantwoordingsdocumenten.
Hoe oordelen de betrokkenen en gebruikers (doelgroepen) over de verschillende activiteiten en hoe ze worden uitgevoerd?
Naast de kwantiteit van begrote en uitgevoerde activiteiten is ook naar de kwaliteit van de activiteiten uitgevoerd onder de subsidieregeling gekeken. Hier is een aantal afnemers van de diensten van CAOP gevraagd om een oordeel over te geven.
Over het algemeen zijn alle gebruikers die in het kader van dit onderzoek zijn gesproken tevreden over de activiteiten die CAOP onder de subsidieregeling uitvoert. De activiteiten worden tijdig uitgevoerd en CAOP neemt hierbij een erg dienstverlenende houding aan, wat de kwaliteit en toepasbaarheid van de producten en diensten aanzienlijk vergroot. Verder acht men de inhoudelijke expertise, waarover de medewerkers van CAOP beschikken, uniek. Volgens de meeste afnemers van de diensten maakt CAOP de rol van het 'huis van de sociale partner van de overheid' waar. Ze zijn een goede onafhankelijke organisatie die goede faciliteiten biedt en waarbij de locatie als ontmoetingsplaats dient voor alle betrokken partijen.
Als pluspunt wordt verder genoemd dat alle commissies onder één subsidieregeling vallen. Dat maakt het in de praktijk mogelijk om flexibel met het budget om te gaan en dit waar en wanneer nodig in te zetten. Naast het budget kan CAOP door het overzicht op de werkdruk per commissie haar personeel gericht alloceren. Daarnaast bespaart het werken aan de hand van een
subsidieregeling de voorzitters van de commissies en de besturen veel tijd om zelf een goede partner te zoeken voor de diensten.
Op welke punten kunnen de activiteiten en hun uitvoering volgens hen worden verbeterd?
Het meest genoemde verbeterpunt bij de commissies heeft betrekking op mogelijke innovatie. Het gaat hier bijvoorbeeld om de registratie van genodigden en de wijze van uitwerken van notulen van bijeenkomsten. Wat betreft de leerstoelen zijn de meningen wisselend als het gaat om de
doeltreffendheid van de bijeenkomsten of de juiste thema’s worden behandeld en of de volledige doelgroep zich hierbij aangesproken voelt. Ook de kennisfunctie die de leerstoelen hebben buiten het organiseren van bijeenkomsten, wordt niet door iedere gebruiker als voldoende zichtbaar en toegankelijk ervaren. CAOP is ook hier te weinig op zoek naar innovatie en synergie buiten de
‘usual suspects’ die nu alleen voor bijeenkomsten uitgenodigd worden. Bij BIOS wordt de
aansluiting met de behoefte vanuit het werkveld genoemd als verbeterpunt. De producten die worden ontwikkeld, zijn naar wens en zeer bruikbaar, maar er zijn kansen het aanbod heel gericht uit te breiden zodat het nog beter aansluit bij de knelpunten die afnemers ervaren. Voor beide faciliterende diensten, BIOS en EVPT, wordt verder een grote zorg voor de toekomst uitgesproken.
De afnemers van de diensten voorzien dat als de expertisecentra niet meer gesubsidieerd worden, dit het einde betekent van de dienstverlening en de resultaten die vooralsnog in samenwerking met de centra behaald zijn, verloren gaan.
Alles overziend kan gesteld worden dat de activiteiten die CAOP uitvoert onder de subsidieregeling goed van kwaliteit zijn en voor een belangrijk deel voldoen aan de wensen van de afnemer. Of de activiteiten bijdragen aan de doelen die met de regeling worden beoogd, is niet met zekerheid te zeggen omdat er geen output en resultatenindicatoren zijn opgesteld en/of gemeten. Het oordeel van de afnemers over de doeltreffendheid van de activiteiten is overwegend positief, alleen zij baseren zich ook op een eigen inschatting en niet op objectieve gegevens. De activiteiten die CAOP onder de subsidieregeling uitvoert, worden gewaardeerd, het maatschappelijk effect is evenwel niet goed vast te stellen.
50 Evaluatie subsidieregeling CAOP 2008-2013
4 Doelmatigheid
Inleiding en overzicht 4.1
In dit hoofdstuk gaan we in op de doelmatigheid van de diensten die CAOP uitvoert onder de subsidieregeling 2008-2013. Het hoofdstuk is wederom opgebouwd uit de vier onderdelen van de subsidieregeling, te weten secretariële ondersteuning, onderzoek en voorlichting, BIOS en EVPT.
We verstaan onder doelmatigheid de kosten van de subsidieregeling in relatie tot outputs en bereikte resultaten. Belangrijke (gangbare) criteria die we hanteren zijn:
• Kosten van activiteiten en ontwikkelingen daarvan in de tijd
• De uurtarieven van CAOP gesubsidieerde activiteiten (ontwikkeling in de tijd en benchmark met niet gesubsidieerde activiteiten en andere vergelijkbare organisaties)
• De urenbesteding aan gesubsidieerde activiteiten
• Eventuele bijdragen van direct belanghebbende gebruikers van diensten
• Alternatieve beleidsinstrumenten (anders dan de huidige subsidieregeling) die mogelijk efficiënter zijn
Daarvoor heeft een uitgebreide deskresearch plaatsgevonden op de activiteitenplannen en verantwoordingsgegevens van het CAOP, er zijn gesprekken gevoerd met het CAOP, met twee benchmarkorganisaties er is vergeleken met CAOP activiteiten die niet onder de subsidieregeling vallen.
Aangezien een deel van de informatie commercieel vertrouwelijk van aard is, bevatten de tabellen in dit hoofdstuk niet alle details waarmee onze bevindingen zijn onderbouwd. Deze zijn wel opgenomen in een vertrouwelijke bijlage.
Per paragraaf gaan we in op de ontwikkeling van de kosten en uurtarieven van de activiteiten en de eventuele kosten ten aanzien van de bereiking van doelen (resultaten). Dit hoofdstuk gaat niet in op de rechtmatigheid van uitgaven (dit vormt geen separate vraag van dit onderzoek)25.
Algemeen 4.2
Het CAOP is in 1995 verzelfstandigd en in de loop der jaren is het CAOP steeds meer voor de markt gaan werken. Daardoor heeft CAOP onder meer ook de korting van bijna 2 miljoen euro op de subsidie mee kunnen opvangen. Tussen 1995 en 2012 is het aandeel van de omzet voor de markt toegenomen van 0 naar ca. 83% in 2012. Het aantal werknemers is gestegen van 90 fte naar ca. een kleine 200 fte in 2013.
Omzet
De totale omzet (markt en subsidies) is in de evaluatieperiode toegenomen van ca. 18,5 miljoen euro in 2008 tot 22,9 miljoen euro in 2012. De omzet van gesubsidieerde activiteiten beliep in 2008 1,7 miljoen euro en in 2012 ongeveer. 3,9 miljoen euro. Het aandeel van de marktomzet in het totaal was 91 procent in 2008 en 83 procent in 2012. Gemiddeld over de gehele periode 2008-2012 behaalde CAOP ongeveer 13 procent van de omzet uit gesubsidieerde activiteiten.
25 Overigens zijn alle verantwoordingen voorzien van een accountantsverklaring
Tabel 4.1 Omzet en kostenontwikkeling CAOP
Bron: Jaarverslagen 2008-2012 CAOP en Verantwoordingen 2008-2012 CAOP.
Medewerkers en productiviteitsontwikkeling
Het aantal medewerkers van CAOP is sinds 2008 aanvankelijk wat toegenomen maar na 2010 weer teruggelopen naar 176 medewerkers in 2012. De netto omzet per medewerker is gemiddeld met 3,5 procent per jaar toegenomen. Dit is vooral het gevolg geweest van de stijging van tarieven (gemiddeld 4 procent per jaar) en niet door stijging van het van diensten volume per FTE. Op macro (totaal organisatieniveau) lijkt dus geen sprake van een toename van de productiviteit in termen van volume. Voor de markt speelt hier het issue van de afgelopen jaren dat de
prijsconcurrentie op totale prijsopgaven is toegenomen. Er moet volgens CAOP dus met minder budget hetzelfde of meer voor de markt geleverd worden. Dit kan alleen bij een tariefstijging als er efficiënter wordt gewerkt. Voor betreft de productiviteitsverandering is voor de gesubsidieerde activiteiten te constateren dat de subsidieomzet per FTE is gestegen (berekend op basis van totaal aantal FTEs). Onder pararagraaf. 4.2 wordt nader ingegaan op de ontwikkeling van uren en kosten per zaak voor de commissies om nader inzicht op de productiviteitsontwikkeling op microniveau te geven.
Ontwikkelingen gesubsidieerde activiteiten
Uit de diverse CAOP verantwoordingen is een overzicht van uren, tarieven, kosten e.d. opgesteld voor de periode 2008-2012. Een probleem hierbij is dat in 2008 minder gedetailleerde gegevens beschikbaar zijn en in 2011 een aantal zaken gewijzigd gerapporteerd werden. Desalniettemin geeft tabel 4.2 een overzicht van de ontwikkelingen.
De kosten van de gesubsidieerde activiteiten bedroegen ca. 1,7 miljoen euro in 2008 en 3,9 miljoen euro in 2012. Daarmee is het bedrag dat betrekking heeft op de gesubsidieerde activiteiten met ca.
130 procent toegenomen over de gehele periode. Hierin ligt met name een volumegroei van de activiteiten (start van BIOS in 2009) ten grondslag. Desalniettemin is te constateren dat ook de prijsmutatie (uurtarieven) relatief hoog is geweest met ca. 4,3 procent per jaar. Deze mutatie van berekende uurtarieven ligt hoger dan de algemene prijs- en loonstijging over dezelfde periode. De prijsmutatie wordt deels verklaard door het toetreden van BIOS en het opbouwen van EVPT met meer hoogwaardige medewerkers (samenstellingseffect). Er wordt steeds meer hoogwaardige en inhoudelijke deskundigheid gevraagd en steeds minder procesondersteuning. De hiervoor gecorrigeerde gemiddelde stijging van de CAOP-uurtarieven bedraagt volgens CAOP over de 5 jaren 3,5% per jaar.
52 Evaluatie subsidieregeling CAOP 2008-2013
Tabel 4.2 Uren, omzet en kostenontwikkeling gesubsidieerde activiteiten CAOP
Bron: Verantwoordingen 2008-2012 CAOP.
Wanneer de toegekende subsidie wordt vergeleken met de daadwerkelijke kosten, is te constateren dat alleen in 2011 sprake was van onder uitputting van het budget, maar dat in de andere jaren meer werd besteed dan werd toegekend.
Egalisatiereserve
Het verschil tussen vastgestelde subsidie voor een jaar en de werkelijke kosten komt ten gunste of ten laste van de egalisatiereserve. De egalisatiereserve bedroeg in 2009 nog 1,2 miljoen euro en is afgenomen tot 980.000 euro per 31 december 2012. Desalniettemin is de egalisatiereserve nog steeds fors in relatie tot de toegekende subsidies (25%). De forse omvang van de egalisatiereserve is vooral te verklaren vanuit de afspraken tussen BZK en CAOP over het gebruik ervan voor de opzet van het EVPT.
In de subsidieregeling wordt voor de egalisatiereserve een maximumbedrag van 572.100 euro aangehouden waarbij de Minister kan besluiten dat het meerdere terug gestort moet worden (per 31 december 2015 moet het meerdere volgens de huidige regeling sowieso worden teruggestort).
Op het totale subsidiebedrag bijna 4 miljoen euro van is het maximum van 572.100 ongeveer 15%.
Deze 15% is nog aan de ruime kant wanneer we een vergelijking maken met een aantal willekeurig gekozen andere subsidieregelingen. Daar is de egalisatiereserve gemaximaliseerd tot 10% of nog lager26.
Mogelijke kruissubsidiering?
Het CAOP heeft in een interview aangegeven dat er geen onderlinge kruissubsidiering plaatsvindt tussen markt- en subsidie-activiteiten en dat de tarieven voor de markt in het algemeen zelfs wat hoger zouden liggen dan de tarieven die onder de subsidieregeling gelden. Op basis van een aantal facturen constateren we dat de tarieven die CAOP per uur in rekening brengt voor
activiteiten die niet onder de subsidieregeling vallen, nauwelijks afwijken van de tarieven die onder de subsidieregeling worden gehanteerd. Dit duidt dus inderdaad niet op kruissubsidiering middels de tarieven. Wel is de doorberekening van de overhead (huisvesting, secretariaat, directie, e.d.) in de tarieven voor gesubsidieerde activiteiten niet specifiek uit de verantwoordingen af te leiden. Ook de eerdere evaluatie uit 2008 van Ernst en Young wees al op het punt dat de hoogtes van de uurtarieven explicieter verantwoord zouden kunnen worden. Dit punt is nog steeds geldig. Of er afwenteling van niet productieve uren plaats vindt in termen van het schrijven van uren op gesubsidieerde activiteiten was niet goed door de onderzoekers te achterhalen.
26 Hiervoor hebben we gekeken naar de Wet SLOA (OCW), Subsidie Huis van de democratie en rechtstaat (BZK), Regeling Haltbureaus (V&J), Kaderregeling VWS-subsidies (VWS) en de Regeling SUWI en Wsfv (voor UWV en SVB).
Ondersteuning commissies en secretariaten 4.3
In tabel 4.3 is voor de jaren 2009 en 2010 de toegekende subsidie afgeleid uit de begroting. Voor de jaren 2011 en 2012 is in de verantwoordingsrapportage opgenomen hoeveel subsidie uiteindelijk is toegekend en de uitputting daarvan in het betreffende jaar.
Tabel 4.3 Kosten, subsidie, uitputting en ontwikkeling tarief: Commissies en Secretariaten, 2008-2012
2008 2009 2010 2011 2012 Stijging
2008-2012
Gem.
stijging p.j.
Kosten € 783.804 € 597.413 € 720.675 € 662.188 € 549.706 nvt nvt
Toegekende subsidie NB € 813.013 € 642.954 € 605.324 € 701.252 nvt nvt
Uitputting NB 73% 112% 109% 78% nvt nvt
Stijging uurtarief p.j. - 5,5% 3,8% 7,7% 2,8% 21% 4,2%
Bron: Verantwoordingen 2008-2012 CAOP.
De kosten van de verschillende commissies fluctueren sterk over de jaren. Door het wisselend aantal zaken en meldingen per jaar is het voor de commissies niet goed mogelijk om de kosten exact te begroten en daadwerkelijk gemaakte kosten kunnen onder of boven het beschikbare jaarlijkse budget uitvallen. Daar komt bij dat er niet altijd een eenduidige relatie is tussen de verantwoorde kosten en de hoogte van het aantal zaken of activiteiten. Soms zijn er nihil zaken of bijeenkomsten en worden toch kosten opgevoerd. Een voorbeeld is de WOR-kamer, deze is in de periode 2008-2012 geen enkele keer bij elkaar geweest. De bestede uren variëren tussen de 9 en 25 uur per jaar en daarmee de kosten. Het uurtarief is totaal 32 procent gestegen (jaarlijks 6%).
Hierop wordt geen toelichting gegeven in de verantwoording. In interviews geeft CAOP aan dat deze relatie niet eenduidig omdat sommige kosten nog wat doorlopen of dat
secretariaatsactiviteiten toch verricht moeten worden, ondanks dat er geen zaak komt. De bedragen die daarmee gemoeid zijn, zijn overigens niet hoog (vaak een paar duizend euro) en te verantwoorden vanuit tijdschrijfsysteem. Wel ontbreekt dus een toelichting in de verantwoordingen op dit verschijnsel.
Kijken we naar de stijging van het gemiddelde uurtarief over de jaren dan zien we dat deze in de periode 2008-2012 met 21 procent is toegenomen, wat neerkomt op een gemiddelde stijging van circa 4 procent per jaar. Daarmee ligt de kostenstijging hoger dan de jaarlijkse inflatie en
loonkostenontwikkeling. Vanuit de interviews is aangegeven dat de kostenstijgingen en stijging van uurtarieven per onderdeel kunnen afwijken van gemiddelde loonstijgingen doordat de samenstelling van de medewerkers op de activiteiten kan veranderen (zo bij introductie van het BIOS
hoogwaardiger personeel ingezet vergeleken met het gemiddelde daarvoor). Of de inzet van personeel binnen CAOP daarmee optimaal en efficiënt zou zijn is niet te beoordelen zonder specifieke informatie over functievereisten per taak en de precieze inzet van personeel.
Kosten en uren per zaak commissies en secretariaten
Wanneer de kosten en uren per zaak voor de verschillende commissies beschouwd worden over de periode 2008-2012 dan constateren we een sterk fluctuerend beeld. Wel is voor een aantal commissies te constateren dat de kosten en uren per zaak vooral in 2012 is afgenomen ten opzichte van voorgaande jaren (soms al in 2011). Dit speelt vooral bij de commissies pensioenkamer, BZK SO, CABf en AGFA. Dit zou kunnen duiden op enige
productiviteitsverbetering ten aanzien van deze commissies (maar kan ook andere redenen hebben zoals verschil tussen de zaken). Al met al zijn er op basis van de urenbesteding per zaak weinig algemene conclusies over de periode 2008-2012 over de doelmatigheid te trekken.
54 Evaluatie subsidieregeling CAOP 2008-2013
Economische efficiëntie: alternatieven
Tenslotte gaan we hier kort in op het punt of er geen alternatieve beleidsinstrumenten zijn om bepaalde doelen van commissies te bereiken. Dit wordt wel het punt van de algemene
economische efficiëntie genoemd in de welvaartstheorie. We gaan hier even voorbij aan het feit dat er momenteel een wettelijke verplichting geldt voor de commissies, het gaat ons hier vooral om de economische argumentatie. Het subsidiëren van bezwaarcommissies heeft zeer waarschijnlijk het doel van het bevorderen van arbeidsrelaties (voorkomen van stress, uitval ed.). In beginsel zijn er meerdere oplossingsrichtingen mogelijk om problemen in arbeidsrelaties en geschillen op te lossen:
a) Instellen van een specifieke HR-arbeidsrelatie en geschillen dienst binnen de overheid b) Opzetten en subsidiëren van een gesubsidieerde arbitrage instelling buiten de overheid
(de CAOP route)
c) De taak in concurrentie onderbrengen bij een marktpartij
d) Geen aparte gesubsidieerde activiteit / dienst scheppen en zaken aan de geschil partijen overlaten (die ofwel een bemiddelingsbureau betalen) ofwel de zaak aan de rechter overlaten.
De vraag welke oplossingsrichting de meest effectieve en efficiënte is om het probleem op te lossen. Aan elk van de mogelijke oplossingsrichtingen kleven immers voor- en nadelen. Het gaat
De vraag welke oplossingsrichting de meest effectieve en efficiënte is om het probleem op te lossen. Aan elk van de mogelijke oplossingsrichtingen kleven immers voor- en nadelen. Het gaat