Evaluatie subsidieregeling CAOP 2008-2013

(1)

Evaluatie subsidieregeling CAOP 2008-2013

- eindrapport -

Opdrachtgever: Ministerie van BZK

Rotterdam, 20 oktober 2014

(2)

(3)

Evaluatie subsidieregeling CAOP 2008-2013

- eindrapport -

Opdrachtgever: Ministerie van BZK

Gerbrand van Bork Marleen Roekx Susan van Geel Sjerp van der Ploeg

Rotterdam, 20 oktober 2014

(4)

Over Ecorys

Met ons werk willen we een zinvolle bijdrage leveren aan maatschappelijke thema’s. Wij bieden wereldwijd onderzoek, advies en projectmanagement en zijn gespecialiseerd in economische, maatschappelijke en ruimtelijke ontwikkeling. We richten ons met name op complexe markt-, beleids- en managementvraagstukken en bieden opdrachtgevers in de publieke, private en not-for- profitsectoren een uniek perspectief en hoogwaardige oplossingen. We zijn trots op onze 80-jarige bedrijfsgeschiedenis. Onze belangrijkste werkgebieden zijn: economie en concurrentiekracht;

regio’s, steden en vastgoed; energie en water; transport en mobiliteit; sociaal beleid, bestuur, onderwijs, en gezondheidszorg. Wij hechten grote waarde aan onze onafhankelijkheid, integriteit en samenwerkingspartners. Ecorys-medewerkers zijn betrokken experts met ruime ervaring in de academische wereld en adviespraktijk, die hun kennis en best practices binnen het bedrijf en met internationale samenwerkingspartners delen.

Ecorys Nederland voert een actief MVO-beleid en heeft een ISO14001-certificaat, de internationale standaard voor milieumanagementsystemen. Onze doelen op het gebied van duurzame

bedrijfsvoering zijn vertaald in ons bedrijfsbeleid en in praktische maatregelen gericht op mensen, milieu en opbrengst. Zo gebruiken we 100% groene stroom, kopen we onze CO2-uitstoot af, stimuleren we het ov-gebruik onder onze medewerkers, en printen we onze documenten op FSC- of PEFC-gecertificeerd papier. Door deze acties is onze CO2-voetafdruk sinds 2007 met ca. 80%

afgenomen.

ECORYS Nederland BV Watermanweg 44 3067 GG Rotterdam

Postbus 4175 3006 AD Rotterdam Nederland

T 010 453 88 00 F 010 453 07 68

E netherlands@ecorys.com K.v.K. nr. 24316726

W www.ecorys.nl

2 NL0127478

(5)

Inhoudsopgave

1 Managementsamenvatting 5

Inleiding, vraagstelling en aanpak 5

1.1

Resultaten en conclusies 6

1.2

Aanbevelingen 7

1.3

2 Inleiding, vraagstelling, aanpak 11

Achtergrond 11

2.1

2.1.1 Evaluatie 2008 12

De subsidieregeling 13

2.2

2.2.1 Doel van de regeling 13

2.2.2 Activiteiten 13

2.2.3 Betrokken partijen 13

2.2.4 Bedragen 14

2.2.5 Verplichtingen 14

Doelen en centrale probleemstelling van de evaluatie 14 2.3

Uitwerking van de onderzoeksvragen 17

2.4

Aanpak 18

2.5

2.5.1 Documentenanalyse 19

2.5.2 Interviews 19

2.5.3 Vergelijking met vergelijkbare niet-gesubsidieerde activiteiten 20 2.5.4 Vergelijking met vergelijkbare niet gesubsidieerde organisaties 21

3 Doeltreffendheid en kwaliteit 23

Inleiding en overzicht 23

3.1

Ondersteuning commissies en secretariaten 23

3.2

Onderzoek en voorlichting 28

3.3

BIOS 37

3.4

EVPT 41

3.5

Benchmark 46

3.6

Implementatie van aanbevelingen eerdere evaluatie 47

3.7

Conclusie en beantwoording onderzoeksvragen 48

3.8

4 Doelmatigheid 51

4.1

Algemeen 51

4.2

Ondersteuning commissies en secretariaten 54

4.3

4.4

BIOS 57

4.5

EVPT 59

4.6

Benchmark met andere organisaties 60

4.7

Implementatie van aanbevelingen eerdere evaluatie 61

4.8

Conclusie en beantwoording onderzoeksvragen 62

4.9

5 Sturing binnen subsidierelatie 64

5.1

Algemeen 65

5.2

(6)

Ondersteuning commissies en raden 66 5.3

5.4

BIOS 67

5.5

EVPT 69

5.6

Conclusie en beantwoording vragen 71

5.7

6 Conclusies en aanbevelingen 74

Relatie doeltreffendheid, doelmatigheid en sturing 74

6.1

Aanbevelingen 76

6.2

Bijlage I BIOS activiteiten 2009-2011 83

Bijlage II Benchmarkorganisaties 85

4 Evaluatie subsidieregeling CAOP 2008-2013

(7)

1 Managementsamenvatting

Inleiding, vraagstelling en aanpak 1.1

In de Subsidieregeling Stichting CAOP is opgenomen dat de Minister van Binnenlandse Zaken en Koninkrijksrelaties in 2008 en 2013 een evaluatie opstelt die inzicht biedt in de ontwikkeling en de kwaliteit van de gesubsidieerde activiteiten van het CAOP. In dit rapport doen we verslag van de tweede evaluatie die betrekking heeft op de periode 2008- 2013. Het betreft hier uitdrukkelijk een evaluatie van de subsidieregeling CAOP en geen evaluatie van de Stichting CAOP.

De subsidieregeling Stichting CAOP die loopt tot 1 januari 2015 voorziet in een subsidie aan de Stichting CAOP voor de kosten die direct samenhangen met de uitvoer van een aantal nader genoemde activiteiten. Die activiteiten vallen uiteen in drie groepen:

1. Secretariële en administratieve ondersteuning van commissies en raden;

2. Onderzoek en voorlichting op het terrein van de arbeidsverhoudingen bij de overheid (waaronder de Albeda en Ien Dales-leerstoelen);

3. Faciliterende werkzaamheden die bijdragen aan de uitvoering van het overheidsbeleid (BIOS en EVPT).

Het CAOP dient jaarlijks een subsidieaanvraag in met daarbij een activiteitenplan waarin wordt beschreven welke doelen worden nagestreefd, welke activiteiten daarvoor nodig zijn en per activiteit wat de daarvoor benodigde middelen en bijbehorende infrastructurele kosten zijn. Het CAOP verantwoordt jaarlijks de inzet van de subsidie. Naast een financieel jaarverslag verstrekt de Stichting CAOP aan de Minister van BZK aanvullende informatie die nodig is voor de

verantwoording van de bestede subsidiegelden.

Op basis van de offerteaanvraag en de bijeenkomst met de begeleidingscommissie zijn voor het onderzoek de volgende onderzoeksvragen vastgesteld:

1. Doeltreffendheid en kwaliteit: In hoeverre sluiten de activiteiten die CAOP uitvoert onder de subsidieregeling aan bij de doelen van BZK (en APS)? In hoeverre zijn de activiteiten effectief ten aanzien van de doelbereiking? Wat is de kwaliteit van de activiteiten?

2. Doelmatigheid: Wat is de prijs-kwaliteitverhouding van de activiteiten? Wat is de ontwikkeling van de kosten en de kwaliteit van de activiteiten ten aanzien van de doelen? Wat is de ontwikkeling van de prijs van de activiteiten die onder de regeling worden uitgevoerd ten opzichte van vergelijkbare activiteiten die door andere partijen (in de markt) worden uitgevoerd?

3. Sturing: In hoeverre is het sturingskader vanuit de regeling (richtlijnen, verantwoordings- verplichting, benodigde informatie) toereikend (hoe wordt daarin gestuurd op effectiviteit, doelmatigheid en kwaliteit) en in hoeverre is de (informatieve) sturing vanuit het ministerie voldoende/naar wens?

4. Toekomst: Welke aanbevelingen vloeien voort uit de beantwoording van bovenstaande hoofdvragen voor het vervolg als in 2015 de huidige subsidieregeling CAOP afloopt?

De onderzoeksaanpak bestond uit vijf onderdelen:

1. Documentanalyse: regelingen, aanvragen, activiteitenplannen, verantwoordingen et cetera;

2. Interviews met betrokkenen bij BZK, CAOP en afnemers en gebruikers van de diensten van CAOP;

3. Vergelijking met niet-gesubsidieerde activiteiten van CAOP;

4. Vergelijking met twee andere niet- (of deels) gesubsidieerde organisaties;

(8)

5. Analyse met behulp van de verzamelde informatie.

Resultaten en conclusies 1.2

In de evaluatie komen drie hoofdonderwerpen aan de orde: doeltreffendheid, doelmatigheid en sturing.

Doeltreffendheid

We hebben geconstateerd dat de doeltreffendheid van de regeling op output- en outcomeniveau om twee redenen niet goed is vast te stellen. De doelen zijn daarvoor (met uitzondering van EVPT) te algemeen omschreven en indien ze wel specifieker zijn (of zouden worden) omschreven, is het vaststellen van de effectiviteit via onderzoek nog steeds met zoveel methodologische beperkingen omgeven dat een afdoend antwoord op de mate van doeltreffendheid niet verkregen kan worden.

In de subsidieregeling CAOP richt BZK zich vooral op indicatoren op activiteitenniveau: er wordt gestuurd op taken, niet op resultaten.

Wat wel blijkt, is dat de activiteiten die plaatsvinden goed passen binnen de (algemeen geformuleerde) APS- en BZK-doelstellingen. Dat betekent dat de gesubsidieerde activiteiten bijdragen aan de doelstellingen maar dat niet duidelijk is in welke mate dat gebeurt. Het feit dat BZK in de subsidieovereenkomst met CAOP geen SMART-doelen heeft opgesteld, wijkt niet af van (een groot deel van) andere subsidieregelingen. Maar ondanks dat BZK hierin niet afwijkt en het moeilijk is om doelen op een meetbare manier te operationaliseren, is het voor het uitvoeren van een effectevaluatie wel noodzakelijk.

Gebruikers en afnemers van de CAOP-dienstverlening oordelen over het algemeen positief over de activiteiten die CAOP onder de subsidieregeling uitvoert. Met name positief scoren de inhoudelijke expertise, de onafhankelijkheid, de dienstverlenende houding, de kwaliteit en toepasbaarheid van producten en diensten en de faciliteiten die CAOP biedt. Ook het feit dat meerdere commissies onder één subsidieregeling vallen, wordt positief benoemd vanwege flexibiliteit in uitvoering. Minder positief scoort de mate van innovatie van CAOP in de uitvoering van activiteiten, bijvoorbeeld gericht op vernieuwing van doelgroepen of administratieve ondersteuning. De tevredenheid over de leerstoelen bij de afnemers wisselt. Gebruikers en afnemers van de CAOP-dienstverlening (die onder de subsidieregeling valt) betalen bijna nooit een eigen bijdrage voor gebruik/afname. Er vindt bij hen dus geen afweging plaats tussen prijs en kwaliteit.

Doelmatigheid

Verder hebben we geconstateerd dat de subsidieverantwoordingen redelijk tot goed inzicht bieden in de activiteiten (kwantitatief en kwalitatief) en de daarmee samenhangende kosten. Er zijn geen conclusies te trekken over de efficiëntie in termen van kosten per bereikte resultaten (of

doelbereiking) omdat er niet systematisch voor alle activiteiten in termen van bereikte resultaten in de verantwoordingen wordt gerapporteerd. Dit hangt uiteraard samen met de constatering dat de doeltreffendheid van de regeling op output- en outcomeniveau niet goed is vast te stellen.

Wanneer de efficiëntie van de gesubsidieerde activiteiten wordt afgemeten aan de vergelijking met andere organisaties of andere CAOP-activiteiten dan is er qua tariefstelling (prijs per uur) geen aanleiding om te veronderstellen dat de CAOP binnen de subsidieregeling inefficiënt opereert. De tarieven voor de activiteiten die binnen de regeling worden uitgevoerd, liggen iets lager dan tarieven die externe partijen in rekening brengen en zijn vergelijkbaar met andere activiteiten die CAOP uitvoert.

De volumecomponent (het aantal uur dat CAOP per soort activiteit en soort medewerker opvoert) laat zich niet goed vergelijken met andere organisaties op basis van de beschikbare gegevens. Ook

(9)

uit het verloop van de urenbesteding per activiteit en uren per zaak zijn geen eenduidige conclusies te trekken.

Sturing

We hebben geconstateerd dat opzet van de subsidieregeling in beginsel voldoende ruimte biedt om sturend te kunnen optreden omdat er jaarlijks een gedetailleerd activiteitenplan ingediend moet worden evenals een gedetailleerde begroting en dito verantwoording. Dit alles wordt door BZK beoordeeld en biedt BZK de mogelijkheid om te besluiten activiteiten niet meer te subsidiëren wanneer ze niet voldoende bijdragen aan de gewenste doelstellingen. Ook staat het BZK vrij om minder subsidiegeld ter beschikking te stellen dan wordt gevraagd. In de praktijk maakt BZK niet maximaal gebruik van de mogelijkheden van de sturingsmogelijkheden van subsidieregeling. Dat zou wel kunnen door bijvoorbeeld het concreter formuleren van beleidsdoelstellingen (outcome) en daarvan afgeleide outputdoelstellingen, deze vervolgens te gebruiken om het activiteitenplan en de verantwoording te beoordelen, en daaraan eventuele financiële consequenties te verbinden (door sommige activiteiten niet te subsidiëren).

CAOP heeft meer behoefte aan een rolvaste houding van BZK als subsidieverstrekker. BZK gedraagt zich, overigens met goede bedoelingen, met regelmaat niet zozeer als

subsidieverstrekker maar meer als opdrachtgever. Hoewel op managementniveau hierover weinig meningsverschil is en de verhouding open en constructief is, is op medewerkerniveau aan zowel CAOP- als aan BZK-zijde tot op zekere hoogte irritatie over de houding van de andere partij. Dit speelt en speelde met name bij BIOS en EVPT en heeft vermoedelijk te maken met het feit dat dit onderwerpen zijn die eerst binnen BZK zelf werden uitgevoerd en die zijn overgedragen aan CAOP.

De indruk bestaat dat BZK relatief weinig gebruik maakt van de mogelijkheden tot formele sturing in de fase van de subsidieaanvraag en verantwoording en in plaats daarvan op onderdelen maximaal (en soms teveel) gebruik probeert te maken van de mogelijkheden tot informele sturing in de uitvoering.

Aanbevelingen 1.3

1. Maak een afweging of de afzonderlijke onderdelen en beleidsdoelen (nog) gezamenlijk binnen een subsidieregeling passen.

Maak (opnieuw) per beleidsdoel en activiteiten de afweging of overheidsingrijpen hier voor de hand ligt en, zo ja, welk instrument daarvoor dan geschikt is (inkoop of subsidiering).

Voor de ondersteuning aan commissies en raden zien we daarbij twee alternatieven. Exclusief vanuit BZK blijven subsidiëren (dus zonder cofinancieren / eigen bijdrage) of als opdracht laten uitvoeren en een aanbestedingsronde organiseren. Dat laatste zou vooral vanuit het oogpunt van doelmatigheid op langere termijn relevant zijn (niet zozeer vanuit de wil om sterker te kunnen sturen in de uitvoering). Er zijn meerdere marktpartijen die deze dienstverlening aanbieden. Een aanbestedingsronde vereist de nodige juridische en economische expertise waarvoor BZK gebruik kan maken van een professionele organisatie zoals de Haagse Inkoop Samenwerking. Een alternatief voor beoogde efficiëntiewinst via aanbesteding is om een korting bij subsidietoekenning toe te passen om daarmee de doelmatigheid in werkprocessen meer te stimuleren.

Voor de onderzoeksfunctie beperken de alternatieven zich tot subsidiëring in een aantal varianten (geen opdrachten of markt). Het doel van dit onderdeel (kennisontwikkeling en verspreiding) laat meer varianten toe dan het subsidiëren van leerstoelen. Een nadere afweging of er jaarlijks ongeveer € 300.000 in twee deeltijd-leerstoelen moet worden gestoken of dat het via een andere subsidievorm mogelijk meer effect kan sorteren, lijkt op zijn plaats. Hierbij kan bijvoorbeeld gedacht

(10)

worden aan een onderzoeksprogramma waarvoor universitair onderzoekers voorstellen kunnen indienen. Er zijn diverse voorbeelden van een dergelijke variant zoals het Nationaal Regieorgaan Onderwijsonderzoek (NRO) of ZonMW.

Daarnaast zijn er voorbeelden waarbij de subsidieverstrekker een cofinancieringseis stelt. Er wordt alleen subsidie verstrekt als de subsidieontvanger erin slaagt ook bij andere belanghebbende partijen financiële middelen te verkrijgen. Met name wanneer dit gaat om afnemers (of

vertegenwoordigende partijen van afnemers) is er een grotere kans op daadwerkelijke effectiviteit van de subsidie. In dit geval zou de subsidie voor de leerstoelen verstrekt kunnen worden onder de voorwaarde dat werkgevers en werknemers gezamenlijk bijvoorbeeld de helft (of een kwart) bijdragen.

Voor BIOS verzorgt de markt inmiddels het grootste deel van de individuele ondersteuning aan werkgevers. Het aanbesteden van de netwerk -en kennisfunctie is niet meer aan de orde omdat er geen partij is die hierop nog serieus kan concurreren met BIOS. Dat maakt dat ook hier

continuering van de subsidie voor de hand ligt met daarbij een aantal alternatieven die vooral betrekking hebben op mogelijkheden voor efficiëntievergroting en niet zozeer op de sturing.

De beleidsdoorlichting heeft laten zien dat het moeilijk is om de effectiviteit van BIOS en het BZK- beleid rondom integriteit vast te stellen. Met name de netwerkfunctie van BIOS, waarbij

integriteitsmedewerkers met elkaar in contact komen, is gericht op de afnemers zelf en biedt de daarom de mogelijkheid voor cofinanciering en of eigen bijdragen waardoor er ook een scherpere afweging gemaakt zal worden tussen de effectiviteit en kosten (in tijd en geld).

Voor de toekomst van het Expertisecentrum Veiligheid Publieke Taak geldt dat van belang is dat er een onderscheid gemaakt wordt in de ondersteuningsfunctie en kennisfunctie van EVPT. De ondersteuningsfunctie voor werkgevers is daarbij een onderdeel dat aan de markt kan worden overgelaten. Er ligt een wettelijke taak voor de werkgever zelf om zorg te dragen voor de veiligheid van de werknemers. Als werkgeversorganisaties dat relevant achten, kunnen zij altijd zelf door een subsidie of vergoeding via hun eigen AenO-fonds werkgevers stimuleren meer te doen aan de veiligheid van hun werknemers.

De kennisfunctie is iets dat niet aan de markt kan worden overgelaten of nu nog met het bestaan van EVPT een via opdracht kan worden uitbesteed. BZK heeft aangegeven weinig nut en noodzaak te zien in het behoud van een specifiek kenniscentrum gericht op de veiligheid van medewerkers met een publieke taak. Ook is de vraag hoe die kennisfunctie nog goed gestuurd kan worden als bij BZK dit onderwerp als apart beleidsdossier verdwijnt. Het meefinancieren van een bestaand expertisecentrum dat zich richt (of zou kunnen richten) op meer in het algemeen de veiligheid van werknemers ligt dan meer voor de hand, bijvoorbeeld het CCV of WODC.

2. Onderzoek of binnen de subsidieregeling nog de volgende verbeterpunten ten aanzien van doelmatigheid realiseerbaar zijn.

We zien nog de volgende mogelijkheden om binnen de grenzen van een subsidieregeling te werken aan een grotere doelmatigheid. Dat is in de eerste plaats het specificeren in de

subsidieregeling van de uitgangspunten voor het toerekenen van subsidiabele kosten (dat is een aanbeveling uit eerdere evaluatie van 2008). In de tweede plaats zien we doelmatigheidswinst door verbetering van de verantwoording van uurtarieven (opbouw) en kosten in relatie tot

resultaatbereiking. Het gaat dan om het systematisch opnemen van resultaatsindicatoren in de verantwoordingen. In de derde plaats kan BZK het met CAOP van een maximumvergoeding (of tijdsbesteding en tarief) per zaak overeenkomen om zodoende de relatie tussen het aantal zaken/commissies en de gemaakte kosten meer eenduidig te krijgen. In de vierde plaats zie we nog mogelijkheden tot doelmatigheidswinst door het specifiek inzetten en rapporteren over specifiek beleid gericht op efficiëntieverbetering (procesinnovaties) voor de uitvoering van

(11)

gesubsidieerde activiteiten. En als laatste bijdrage aan verdere doelmatigheid zien we beleid gericht op inzet van geschikt personeel voor de activiteiten, flexibiliteit van de CAOP- personeelsinzet (en inzet van flexibele krachten vooral ten aanzien van de fluctuerende

werkzaamheden voor Commissies en Onderzoek) en rapportage in verantwoordingen daarover.

3. Maak optimaal gebruik van de mogelijkheden voor sturing bij de aanvraag en verantwoording.

Binnen de subsidieregeling liggen de belangrijkste formele sturingsmomenten bij de aanvraag en de verantwoording. Vooraf kan BZK besluiten bepaalde activiteiten niet of maar beperkt te subsidiëren als ze onvoldoende zijn toegelicht, onderbouwd, uitgewerkt of onvoldoende aansluiten bij de doelstellingen van BZK. Dat vereist het vooraf ontwikkelen en stellen van eisen. Het is het zaak dat BZK ‘aan de voorkant’ van de regeling veel uitgebreider stilstaat bij het beleidskader waarbinnen de regeling wordt uitgevoerd en welke specifieke, meetbare doelen daarmee gerealiseerd zouden moeten worden. Om hier in een toekomstige evaluatie op een onderbouwde manier over te oordelen, dienen daarnaast de activiteiten die onder de regeling worden uitgevoerd (beter) te worden gemonitord en ze moeten op een structurele manier met haar afnemers en betrokkenen worden geëvalueerd. Op deze manier kan er door BZK meer worden gestuurd op resultaten in plaats van taken.

BZK geeft aan in algemene zin weinig waarde te hechten aan prestatie-indicatoren als sturingsmiddel (ook al zijn deze voor EVPT wel geformuleerd). Desondanks kunnen bepaalde outputeisen helpen meer te sturen in de realisatie van de beleidsdoelen: bijvoorbeeld het bereik van activiteiten, kennisverspreiding of de tevredenheid afnemers, bezoekersaantallen,

zichtbaarheid, bekendheid van bijvoorbeeld BIOS onder organisaties, zichtbaarheid en bekendheid van de commissies onder overheidspersoneel e.d. Het dwingt in elk geval BZK om zelf te bedenken en te formuleren wat de minimale effecten in termen van output zouden moeten zijn.

Verder is het zoals gezegd de moeite waard om cofinanciering van activiteiten door gebruikers te overwegen daar waar gebruikers direct baat van de CAOP-diensten hebben. De omvang van het cofinancieringsdeel wordt uiteraard onderwerp van discussie. Het instellen van een

overgangsperiode zorgt voor de mogelijkheid voor CAOP en alternatieve financiers zich hierop voor te bereiden.

Stel verder bij de verantwoording in voldoende detail eisen over bestedingen en met name output om te bepalen of er aan de subsidieverplichtingen is voldaan en om in de toekomst een adequate effectevaluatie van de subsidieregeling te kunnen doen.

4. Zorg voor een consistentie sturing vanuit BZK en rolvastheid tijdens de uitvoering.

De sturing vanuit BZK rondom de ondersteuning aan commissies en raden en de leerstoelen leidt tot relatief weinig verschil van inzichten en conflicten. Dat ligt anders bij de beleidsonderwerpen integriteit en veiligheid. Dat heeft voor een belangrijk deel te maken met het feit dat bij de eerste onderwerpen de sturing vooral op managementniveau plaatsvindt en bij de tweede meer op medewerkerniveau. Maak daarom in elk geval intern bij BZK duidelijke afspraken over wat binnen het kader van een subsidieregeling aan soort sturing mogelijk is en wat de beperkingen zijn. Zorg ervoor dat voor (nieuwe) medewerkers hierover goed geïnformeerd zijn. Zorg voor een duidelijke en intern afgestemde generieke werkwijze richting CAOP.

Maak ook voor de resterende (en eventuele nieuwe) beleidsonderwerpen afspraken met CAOP over een regelmatig afstemmingsoverleg, met een agenda waarin procesonderwerpen en

inhoudelijke onderwerpen aan de orde komen. Organiseer jaarlijks een strategische dag met daarin aandacht voor bijvoorbeeld reflectie op de inhoud van de activiteitenplannen en de

beleidsontwikkelingen aan BZK-zijde. Zorg gedurende de looptijd voor een duidelijke rol- en taakverdeling. Zorg voor een rolvaste benadering richting CAOP (het CAOP zorgt voor eigen rolvastheid), benader ze niet als opdrachtnemer, doe alleen in uitzonderingsgevallen een beroep op het feit dat degene die betaalt uiteindelijk ook degene is die bepaalt.

(12)

5. Laat de omvang van de egalisatiereserve weer aansluiten bij het oorspronkelijke doel.

De egalisatiereserve was oorspronkelijk bedoeld om de onzekerheid en fluctuaties te kunnen opvangen in de aantallen zaken en vergaderingen tussen opeenvolgende jaren bij het

ondersteunen van de commissies en raden. In onderling overleg is in verband met de opzet van het EVPT een veel omvangrijker egalisatiereserve aangehouden. Het huidige maximum dat in de regeling wordt genoemd, is echter nog steeds veel ten opzichte van de totale subsidieomvang. Een maximumpercentage van 10% lijkt meer dan voldoende wanneer naar de egalisatiereserves van andere regelingen wordt gekeken. Verder verdient het aanbeveling vanuit het oogpunt van doelmatige overheidsfinanciën eventuele overschotten boven dit maximum terug te vorderen.

(13)

2 Inleiding, vraagstelling, aanpak

Achtergrond 2.1

De geschiedenis van het Centrum Arbeidsverhoudingen Overheidspersoneel (CAOP) en de (subsidie)relatie met BZK gaat terug tot 1995, toen de Centrales van overheidspersoneel en de minister van Binnenlandse Zaken het CAOP oprichtten. Daarvóór bestond het als een zelfstandige organisatie binnen het ministerie van Binnenlandse Zaken en Koninkrijk Relaties (BZK)¹. Op 1 januari 1995 kwam het CAOP los te staan van het ministerie en werd het een onafhankelijke dienstverlener. Het bleek voor de Centrales van overheidspersoneel en de werkgeversorganisaties wenselijk om te kunnen beschikken over een onafhankelijk secretariaat ter ondersteuning van neutraal opererende commissies. Het CAOP is in de loop der jaren veranderd van een volledig gesubsidieerde instelling naar een organisatie die financieel voor een groot deel zelfstandig is en opdrachten op de markt verwerft. Het CAOP staat bekend als kennis- en dienstencentrum op het gebied van arbeidszaken in het publieke domein. Het CAOP adviseert en ondersteunt inmiddels meer dan 200 opdrachtgevers in verschillende sectoren, waaronder de rijksoverheid en de sectoren onderwijs en zorg.

Sinds de oprichting van het CAOP als een zelfstandig dienstverlener zijn activiteiten via

subsidieregelingen gefinancierd. In 2005 is een nieuwe regeling van kracht geworden waarin het doel van de subsidie strakker en duidelijker is geformuleerd dan voorheen en is geëxpliciteerd welke kosten uit de subsidie bekostigd kunnen worden.

In de Subsidieregeling Stichting CAOP is opgenomen dat de Minister van Binnenlandse Zaken en Koninkrijksrelaties in 2008 en 2013 een evaluatie opstelt die inzicht biedt in de ontwikkeling en de kwaliteit van de gesubsidieerde activiteiten van het CAOP². De eerste evaluatie vond plaats in 2008, ruim een jaar nadat de huidige subsidieregeling was ingegaan op 1 januari 2006³. In dit rapport doen we verslag van de tweede evaluatie die betrekking heeft op de periode 2008- 2013.

We hechten eraan te benadrukken dat het hier niet gaat om een evaluatie van de Stichting CAOP zelf. Het is uitdrukkelijk een evaluatie van de subsidieregeling waardoor naast de

subsidieontvanger, ook de subsidieverstrekker, de regeling, de relatie tussen verstrekker en ontvanger, de activiteiten in het kader van de regeling en dergelijke, object van studie zijn.

Het rapport is als volgt opgebouwd. In de rest van dit hoofdstuk gaan we nader in op de

subsidieregeling, doelen van de evaluatie, de onderzoeksvragen en de aanpak. In de drie daarop volgende hoofdstukken presenteren we de resultaten: op het terrein van doeltreffendheid en kwaliteit, op het terrein van doelmatigheid en op het terrein van de sturingsrelatie tussen BZK en CAOP.

1 Het CAOP als onderdeel binnen BZK vanaf 1989 was de opvolger van het secretariaat van het Georganiseerd Overleg in Ambtenarenzaken en de Advies- en Arbitragecommissie.

2 Subsidieregeling Stichting CAOP, http://wetten.overheid.nl/BWBR0019438/geldigheidsdatum_20-11-2013

3 Ernst & Young, 2008, Evaluatie Stichting CAOP, onderzoek naar de ontwikkeling en kwaliteit van de gesubsidieerde activiteiten, Den Haag: Ernst & Young Advisory.

(14)

2.1.1 Evaluatie 2008

Voordat we de huidige subsidieregeling uiteenzetten, gaan we in op de evaluatie van 2008. In dat jaar is de stichting CAOP geëvalueerd en het rapport daarover bevat de volgende aanbevelingen⁴:

• “De huidige subsidieregeling laat nog veel ruimte voor de wijze waarop kosten kunnen worden toegerekend en welke kosten voor subsidie in aanmerking komen. Wij adviseren om in de 'nieuwe' subsidieregeling de uitgangspunten voor het toerekenen van subsidiabele kostennader te specificeren. Hierbij wordt gedacht aan het verder concretiseren van de definitie van de infrastructurele kosten en de berekening van de tarieven voor begroting en verantwoording (kostenallocatie). Bij kostenallocatie zouden wij adviseren uit te gaan van het principe dat de gebruiker betaalt. Dat wil zeggen dat er een causale relatie moet zijn tussen de inzet van middelen en de toerekening van de kosten van deze middelen.”

• “Daarnaast is het omwille van het hybride karakter van de Stichting CAOP noodzakelijk om een eenduidig (administratief) onderscheid te maken tussen de commerciële- en gesubsidieerde activiteiten, producten en diensten en de daaraan gerelateerde toerekening van kosten.”

• “Wat betreft de opzet van de verantwoording adviseren wij om deze te baseren op de werkelijke kosten in plaats van op de begrote kosten, zoals nu het geval is. In de verantwoording moeten dan de werkelijke tarieven (p) en de werkelijke aantallen (q) worden opgenomen. Opnieuw adviseren wij de uitgangspunten voor de tariefberekening, variabele "p", vooraf duidelijk vast te stellen. Op basis van deze uitgangspunten kan een meer nauwkeurige weergave van de gerealiseerde kosten worden gemaakt.”

• “BZK dient het kwaliteitsniveau van de dienstverlening van de Stichting CAOP op te nemen in de 'nieuwe' subsidieregeling. Er is een duidelijke wisselwerking tussen de kwaliteit van de diensten en de efficiëntie. Er zijn indicaties dat de kwaliteit van de diensten van de Stichting CAOP minder worden naarmate andere medewerkers ingezet worden dan de medewerkers die normaliter de specifieke commissies ondersteunen. De positieve keerzijde van het flexibiliseren van het personeelsbestand is dat de Stichting CAOP meer grip kan krijgen op het

capaciteitsvraagstuk waardoor de productiviteit verder kan stijgen. Daarnaast zou BZK kunnen nadenken over het beïnvloeden van de vraag naar gesubsidieerde activiteiten waardoor de Stichting CAOP de capaciteit beter kan afstemmen op de vraag. Er kan worden gesteld dat ieder kwaliteitsniveau een eigen prijskaartje heeft.”

• “De overhead- en huisvestingskosten drukken relatief zwaar op de tarieven van de Stichting CAOP. Bij opschaling van de activiteiten van de Stichting CAOP (commerciële en

gesubsidieerde activiteiten) zullen deze tarieven dalen als gevolg van een hogere bezetting.

Daarnaast geeft de opschaling van de (commerciële) activiteiten van de Stichting CAOP ook een beter vangnet voor de benutting van de arbeidscapaciteit van de gesubsidieerde activiteiten.”

• “Wij adviseren BZK om de activiteiten van de Stichting CAOP met betrekking tot het kennisportaal te monitoren om een eventuele (inhoudelijke) overlapping met andere kennisportalen te voorkomen.”

• “Hoewel dit aspect op zich buiten de scope van het evaluatieonderzoek valt, stellen wij voor om de uitvoering van de gesubsidieerde activiteiten (de processen) nader te analyseren op effectiviteit, efficiëntie en de inzet van de juiste medewerker. De ervaring leert dat gerichte procesverbeteringen een materiële bijdrage kunnen leveren aan effectiviteit en efficiëntie.”

Of de aanbevelingen sindsdien doorgevoerd zijn, is onderdeel van de huidige evaluatie. Per onderdeel waarop de aanbeveling van toepassing is, wordt in het desbetreffende hoofdstuk nagegaan in hoeverre dit is gedaan.

4 Overgenomen uit: Evaluatie Stichting CAOP. Onderzoek naar de ontwikkeling en de kwaliteit van de gesubsidieerde activiteiten. Ernst & Young, 2008.

(15)

De subsidieregeling 2.2

In deze paragraaf gaan we in hoofdlijnen in op de subsidieregeling zodat het object van de huidige evaluatie helder is. We onderscheiden daarin achtereenvolgens de doelen, de activiteiten, de betrokken partijen, de bedragen en verplichtingen.

2.2.1 Doel van de regeling

In de subsidieregeling zelf is geen (algemene) doelstelling opgenomen waaraan de in de regeling genoemde activiteiten zouden moeten bijdragen. In de regeling is een verwijzing opgenomen naar de Wet overige BZK subsidies⁵. Daarin wordt in artikel 13 aangegeven dat de Minister van BZK subsidies kan verstrekken ‘ten behoeve van activiteiten inzake het management en

personeelsbeleid van de openbare dienst’. Die activiteiten moeten gericht zijn op:

a. het bevorderen van de professionaliteit, integriteit, efficiëntie, innovatie van de openbare sector;

b. kennisontwikkeling en kennisverspreiding;

c. het overleg met de sociale partners;

d. de educatie van leden van de vakbeweging.

2.2.2 Activiteiten

De subsidieregeling Stichting CAOP die loopt tot 1 januari 2015 voorziet in een subsidie aan de Stichting CAOP voor de kosten die direct samenhangen met de uitvoer van een aantal nader genoemde activiteiten. Die activiteiten vallen uiteen in drie groepen:

1. Secretariële en administratieve ondersteuning van commissies In de regeling zijn de betreffende commissies vastgelegd:

• de Advies- en Arbitragecommissie Rijksdienst;

• de Raad voor het Overheidspersoneelsbeleid en de daaronder ressorterende commissies;

• de Bedrijfscommissie Overheid;

• de Onderzoeksraad Integriteit Overheid;

• de Commissie van Advies Bezwaren Functiewaardering;

• de Adviescommissie Grondrechten en Functie-uitoefening Ambtenaren;

• de Adviescommissie Veiligheidsonderzoeken.

2. Onderzoek en voorlichting op het terrein van de arbeidsverhoudingen en de overheid als arbeidsorganisatie

Hieronder valt onder meer het laten doen van onderzoek in het kader van de Stichting Albeda Leerstoel en de Stichting Ien Dales Leerstoel.

3. Faciliterende werkzaamheden die bijdragen aan de uitvoering van het overheidsbeleid Hierbij gaat het om overheidsbeleid gericht op de bevordering van integriteit in de openbare sector en gericht op de beleidsthema’s ‘Veilige Publieke Taak’, ‘Topinkomens’ en ‘Diversiteit’.

De activiteiten zoals opgenomen in de regeling Stichting CAOP vallen in ieder geval binnen de categorieën a, b en c van artikel 13 van de Wet overige BZK-subsidies.

2.2.3 Betrokken partijen

De regeling kent een subsidieverstrekker, de Minister van BZK en een subsidieaanvrager, de Stichting CAOP.

5 Wet overige BZK-subsidies, http://wetten.overheid.nl/BWBR0019756/geldigheidsdatum_03-11-2011

(16)

2.2.4 Bedragen

Het betreft een jaarlijks subsidiebedrag van ten hoogste € 3.950.000,-⁶. Als er verschillen zijn tussen de vastgestelde subsidie en de werkelijke kosten moet dat via de zogenaamde egalisatiereserve worden verrekend. De Stichting CAOP moet de reserve zelf vormen en de reserve is alleen bedoeld voor activiteiten in het kader van de regeling (2.2.1). Als per 31 december 2010 de egalisatiereserve meer dan € 572.100,- bedraagt, kan de Minister bepalen dat het

meerdere wordt teruggestort. De regeling schrijft voor dat als per 31 december 2015 de egalisatiereserve meer dan € 572.100,- bedraagt, het meerdere wordt teruggestort op de bankrekening van het Ministerie van BZK (de ´kan´-bepaling vervalt dan).

2.2.5 Verplichtingen

Het CAOP moet jaarlijks een subsidieaanvraag indienen plus een activiteitenplan waarin wordt beschreven welke doelen worden nagestreefd, welke activiteiten daarvoor nodig zijn en per activiteit wat de daarvoor benodigde middelen en bijbehorende infrastructurele kosten zijn. Ook moeten, volgens de regeling, in het plan de activiteiten (zie boven) nader worden gespecificeerd en moet de omvang en het kwaliteitsniveau daarvan in het plan worden beschreven.

Het CAOP verantwoordt jaarlijks de inzet van de subsidie. Naast het financiële jaarverslag met de daaraan algemene eisen die de stichting moet opleveren aan de Kamer van Koophandel, verstrekt de Stichting CAOP aan de Minister aanvullende informatie die nodig is voor de verantwoording van bestede subsidiegelden. Daarvoor geldt een controleprotocol dat is opgenomen in de regeling. De verantwoordingsdocumenten moeten volgens de regeling in elk geval inzicht geven in drie elementen:

• de kwantiteit van de activiteiten waarvoor subsidie wordt gevraagd, en per activiteit de daarvoor benodigde middelen en bijbehorende infrastructurele kosten⁷;

• een kwalitatieve beoordeling van de activiteiten door de Stichting Verbond voor

Sectorwerkgevers Overheid, de centrales van overheidspersoneel en het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties;

• de omvang van de egalisatiereserve op 31 december van het boekjaar.

Doelen en centrale probleemstelling van de evaluatie 2.3

Deze evaluatie wordt zoals aangegeven uitgevoerd om meerdere redenen. In de eerste plaats wordt met deze tweede evaluatie voldaan aan de wettelijke verplichting om subsidies met een wettelijke grondslag eens per vijf jaar te evalueren. In de tweede plaats vervalt de huidige regeling per 1 januari 2015. Dat betekent dat BZK een beslissing moet nemen over eventuele hernieuwing van de regeling. Daarbij rijst ook de vraag hoe een dergelijke regeling er dan uit zou moeten zien en derhalve heeft het ministerie van BZK behoefte aan informatie voor besluitvorming over de eventuele voortzetting van de regeling en over de wenselijkheid van mogelijke veranderingen in de regeling.

Het object van onderzoek zijn de kosten, de activiteiten en de opgeleverde producten en diensten van de Stichting CAOP die betrekking hebben op de door BZK versterkte subsidie. De scope betreft dus uitdrukkelijk de door BZK gesubsidieerde activiteiten.

6 Dit bedrag lag overigens eerst lager. Eerder gold een maximum van 2.200.000 vanaf 2009.

7 Verder wordt vermeld dat specifiek de activiteit, bedoeld artikel 3, eerste lid, onder c, nader wordt gespecificeerd. Dit betreft; onderzoek en voorlichting op het terrein van de arbeidsverhoudingen bij de overheid waaronder het doen van onderzoek in het kader van de Stichting Albeda Leerstoel en de Stichting Ien Dales Leerstoel.

(17)

Bij de subsidieregeling onderscheiden we twee analyseniveaus. Het eerste niveau is dat van de gesubsidieerde activiteiten, welke problemen deze adresseren en welke effecten of output daarmee wordt beoogd.

De subsidieregeling en de daarmee door CAOP verrichte activiteiten zouden echter ook bij moeten dragen aan de doelen van het ministerie van BZK, dit is het tweede niveau. De minister heeft op het onderwerp Arbeidszaken de volgende algemene doelstelling: een (compacte) overheid met voldoende en goed gekwalificeerde, integere medewerkers en politieke ambtsdragers tegen verantwoorde kosten⁸. Dat is door de directie APS binnen het ministerie vertaalt in twee hoofddoelstellingen.

1. Voldoende gekwalificeerd personeel/goed werkgeverschap: goede arbeidsvoorwaarden, ruimte voor de professional, bevorderen van beroepstrots, mogelijk maken van een veilige

taakuitoefening, verhogen van de arbeidsparticipatie en het verhogen van de arbeidsproductiviteit.

2. Bevorderen van de principes van ‘goed bestuur’: personeelszorg voor politieke ambtsdragers, bevorderen van integriteit van overheidspersoneel en bestuurders en het vervullen van taken rondom een herkenbare/diverse samenstelling van het overheidspersoneelsbestand.

De nadruk ligt in deze evaluatie op het eerste niveau. Het tweede niveau (de bijdrage aan de doelen van BZK en directie APS) komt in meer in globale zin aan de orde.

We gebruiken in deze studie het volgende evaluatie- en begrippenkader om de vragen te kunnen beantwoorden zoals het ministerie van BZK die heeft gesteld in de offerteaanvraag.

Figuur 2.1 Algemeen evaluatie- en begrippenkader

Inputs: Subsidieregeling CAOP Conceptaanvraag 2013: € 3.884K

Activiteiten:

-Ondersteuning administratief, juridisch

-BIOS -VPT-Onderzoek -Voorlichting _...

Outputs (niveau 1):

(voorbeelden) -Kwaliteit commissies

-Kennisontwikkeling en instrumenten veiligheid

-Kennisontwikkeling Integriteit -Kennisonwikkeling sociale partners op terrein arbeidsverhoudingen -Tevredenheid afnemers -...

Resultaten (niveau 2):

Bijdrage aan APS doelstelingen:

-Voldoende gekwalificeerd personeel/goed werkgeverschap -Bevorderen van de principes van ‘goed bestuur’

DOELTREFFENDHEID DOELMATIGHEID

UITVOERING

STURINGSRELATIE

De toelichting op het offerverzoek noemt drie evaluatiecriteria:

1. Doeltreffendheid;

2. Doelmatigheid;

8 Rijksbegroting 2014 VII Binnenlandse Zaken en Koninkrijksrelaties, Artikel 7 Arbeidszaken

(18)

3. Kwaliteit⁹.

Onder doeltreffendheid verstaan we de mate waarin gestelde doelen zijn bereikt. We maken daarbij een onderscheid in enerzijds de doeltreffendheid op output-niveau waarbij het bijvoorbeeld gaat om de kennisontwikkeling op het terrein van integriteit of de kwaliteit van het werk van de commissies en anderzijds de doeltreffendheid op outcome-niveau waar het gaat om het maatschappelijke effect zoals een integere overheid of goede samenwerking tussen ondernemingsraden en bestuurders bij de overheid.

Doelmatigheid is de mate waarin de beoogde effecten zijn bereikt tegen redelijke kosten. Een iets andere definitie legt meer de nadruk op spaarzaamheid (‘economy’), de mate waarin hulpmiddelen op tijd, in de juiste hoeveelheid en kwaliteit en tegen de beste prijs beschikbaar zijn. Vaak wordt in evaluaties bij doelmatigheid ook gekeken naar organisatie en processen. De toelichting op de offerte vraagt hier ook nadrukkelijk aandacht voor.

Kwaliteit is geen traditioneel evaluatiecriterium, maar wordt wel steeds vaker in evaluaties meegenomen. Kwaliteit speelt een rol bij de beoordeling van zowel doeltreffendheid als doelmatigheid¹⁰.

De sturingsrelatie is in het kader opgenomen omdat die van invloed kan zijn op zowel de

doeltreffendheid als de doelmatigheid van de regeling en daarom maakt deze ook onderdeel uit van de evaluatie.

De drie evaluatiecriteria gelden niet in gelijke mate voor alle door het CAOP uitgevoerde activiteiten. Ook zijn er soms specifieke aandachtspunten bij de toepassing van een criterium bij een bepaalde activiteit. De volgende tabel, gebaseerd op de informatie uit de offerteaanvraag, geeft een overzicht.

Tabel 2.1 Typen activiteiten en evaluatiecriteria

Activiteit Criteria Opmerkingen

1. Secretariële en

administratieve ondersteuning van commissies

Doeltreffendheid Doelmatigheid Kwaliteit

Speciale aandacht voor doelmatigheid om te zien wat de effecten zijn geweest van acties om deze te vergroten

2. Onderzoek en voorlichting Doeltreffendheid Doelmatigheid Kwaliteit

Ook de activiteiten naast de beide leerstoelen evalueren, i.t.t. de vorige evaluatie

3. Faciliterende werkzaamheden

Integriteit Doelmatigheid

Kwaliteit

Doeltreffendheid is meegenomen in de beleidsdoorlichting integriteit van het ministerie Veilige Publieke Taak (VPT) Doeltreffendheid

Doelmatigheid Kwaliteit

Aparte subsidieafspraken over prestaties en verantwoording en over de egalisatiereserve

Topinkomens en diversiteit Vervallen

De onderwerpen topinkomens en diversiteit onder het activiteitencluster van faciliterende werkzaamheden zijn in de evaluatie komen te vervallen omdat in de praktijk er geen faciliterende werkzaamheden meer voor deze beleidsthema´s worden uitgevoerd. Dat heeft onder meer te maken met de invoering van de Wet Normering Topinkomens per 1 januari 2013 als het sluitstuk

9 Twee veel gebruikte andere criteria die niet worden genoemd zijn relevantie, van doelen ten opzichte van noden en behoeften, en duurzaamheid van de effecten. Dit is in lijn met het karakter van de evaluatie. De relevantie van geplande activiteiten ten opzichte van de geformuleerde doelen zal wel onderwerp van onderzoek zijn.

10 Overigens wordt voor het meten van kwaliteit vaak het oordeel en de tevredenheid van gebruikers als proxy gebruikt. Een peer review is een betere, maar ook mee omslachtig en duurdere manier om kwaliteit te meten. Afhankelijk van het object van onderzoek zijn ook meer objectieve criteria te gebruiken.

(19)

van BZK-beleidsdossier over dit onderwerp. Wel komt het beleid van CAOP op het terrein topinkomens en diversiteit kort aan bod voor zover het de eigen organisatie betreft.

Verder zal in deze evaluatie het onderwerp doeltreffendheid van de activiteiten gericht op integriteit van werknemers in de publieke sector en publieke ambtsdragers beperkt worden behandeld. Dat is omdat dit thema in de zeer recente beleidsdoorlichting van BZK uitgebreid aan de orde is

gekomen¹¹.

Uitwerking van de onderzoeksvragen 2.4

 Hoofdvragen

Op basis van de offerteaanvraag en de bijeenkomst met de begeleidingscommissie zijn voor het onderzoek de volgende onderzoeksvragen vastgesteld:

1. Doeltreffendheid en kwaliteit: In hoeverre sluiten de activiteiten die CAOP uitvoert onder de subsidieregeling aan bij de doelen van BZK (en APS)? In hoeverre zijn de activiteiten effectief ten aanzien van de doelbereiking? Wat is de kwaliteit van de activiteiten?

2. Doelmatigheid: Wat is de prijs-kwaliteitverhouding van de activiteiten? Wat is de ontwikkeling van de kosten en de kwaliteit van de activiteiten ten aanzien van de doelen? Wat is de ontwikkeling van de prijs, van de activiteiten die onder de regeling worden uitgevoerd ten opzichte van vergelijkbare activiteiten die door andere partijen (in de markt) worden uitgevoerd?

3. Sturing: In hoeverre is het sturingskader vanuit de regeling (richtlijnen,

verantwoordingsverplichting, benodigde informatie) toereikend (hoe wordt daarin gestuurd op effectiviteit, doelmatigheid en kwaliteit) en in hoeverre is de (informatieve) sturing vanuit het ministerie voldoende/naar wens?

4. Toekomst: Welke aanbevelingen vloeien voort uit de beantwoording van bovenstaande hoofdvragen voor het vervolg als in 2015 de huidige subsidieregeling CAOP afloopt?

 Deelvragen

1. Doeltreffendheid en kwaliteit:

a. In hoeverre zijn de aanbevelingen uit de evaluatie van 2008 op het terrein van doeltreffendheid en kwaliteit opgevolgd?

b. Wat zijn de algemene beleidsdoelstellingen die BZK met de gesubsidieerde activiteiten voor ogen heeft?

c. Wat zijn concrete beleidsdoelstellingen die BZK met de gesubsidieerde activiteiten voor ogen heeft?

d. Hoe zijn deze doelen van BZK vertaald door CAOP?

e. Wat is de aard en omvang van de verleende subsidie?

f. In welke mate dragen de verleende subsidies (en bekostigde activiteiten van CAOP) bij aan de door de BZK geformuleerde beleidsdoelen?

g. Wat is het oordeel van BZK over de wijze waarop CAOP de activiteiten heeft vormgegeven?

h. Hoe verloopt de uitvoering van de activiteiten? Wat loopt goed en wat loopt minder goed?

i. Hoe oordelen de betrokkenen en gebruikers (doelgroepen) over de verschillende activiteiten en hoe ze worden uitgevoerd?

j. Voldoen de activiteiten aan wat de betrokkenen of gebruikers (doelgroepen) op grond van de doelstellingen verwachten?

k. Hoe voldoen de activiteiten aan wat de betrokkenen of gebruikers (doelgroepen) bij andere, vergelijkbare organisaties zijn gewend?

l. Op welke punten kunnen de activiteiten en hun uitvoering volgens hen worden verbeterd?

11 De publicatie van deze beleidsdoorlichting wordt verwacht in het voorjaar van 2014.

(20)

2. Doelmatigheid:

a. In hoeverre zijn de aanbevelingen uit de evaluatie van 2008 op het terrein van doelmatigheid opgevolgd?

b. Biedt het verantwoordingsproces een helder inzicht in de activiteiten (kwantitatief en kwalitatief) en de daarmee samenhangende kosten in het kader van de in de subsidieregeling genoemde activiteiten?

c. Wat is de ontwikkeling van de kosten van de gesubsidieerde activiteiten?

d. Hoe verhouden de kosten van de gesubsidieerde activiteiten zich tot die van vergelijkbare niet- gesubsidieerde activiteiten?

e. Hoe verhouden de kosten van de gesubsidieerde activiteiten zich tot vergelijkbare activiteiten in niet-gesubsidieerde organisaties?

3. Sturing:

a. In hoeverre zijn de aanbevelingen uit de evaluatie van 2008 op het terrein van sturing opgevolgd?

b. Hoe is de sturingsrelatie tussen BZK en CAOP organisatorisch vormgegeven?

c. Is er periodiek overleg tussen de betrokken actoren? Met welke frequentie en welke gespreksonderwerpen?

d. Hoe beoordelen betrokkenen in de formele en feitelijke aansturing door het ministerie?

e. Biedt de subsidieregeling voldoende aangrijpingspunten om sturend op te treden?

f. Zijn de beleidsdoelen van de regeling voldoende specifiek om te kunnen vertalen naar activiteiten?

g. Zijn de activiteitenplannen van CAOP voldoende specifiek om op te kunnen sturen, doet BZK dat ook en zo ja hoe?

h. Bestaat de mogelijkheid om in te spelen op actuele behoeften door het CAOP (al dan niet mede op verzoek van BZK)?

i. Welke veranderingen in de sturingsrelatie zouden doeltreffendheid, doelmatigheid en kwaliteit kunnen vergroten?

4. Toekomst:

a. Wat is de relevantie van de activiteiten voor de huidige en toekomstige positie en prioriteiten van BZK?

b. Hoe kan de aansluiting tussen de activiteiten onder regeling en de doelen van BZK worden verbeterd? Welke activiteiten zouden in een toekomstige subsidieregeling opgenomen moeten worden?

c. Op welke wijze zou de subsidieregeling eventueel een vervolg kunnen krijgen?

d. Wat zijn eventuele alternatieven, waarvoor, om welke redenen en onder welke voorwaarden zijn die te prefereren?

Aanpak 2.5

De aanpak van het onderzoek bestaat uit de volgende vijf onderdelen:

1. Documentanalyse;

2. Interviews;

3. Vergelijking met niet-gesubsidieerde activiteiten;

4. Vergelijking met andere niet- (of deels) gesubsidieerde organisaties;

5. Analyse met behulp van de verzamelde informatie.

(21)

De eerste twee onderdelen (documentanalyse en de interviews) vormen de belangrijkste bronnen van informatie. De twee vergelijkingen en de analyse zorgen voor verdieping en maken interpretatie mogelijk.

2.5.1 Documentenanalyse

Het doel van de document-analyse is een basis te leggen voor de verdere dataverzameling. Deze verzamelde informatie vormt een belangrijke bron voor de analyses, met name de financiële analyses. Voor de documentanalyse is een template ontworpen voor het maken van een overzicht die de verzamelde informatie beschrijft.

Belangrijke documenten die zijn geraadpleegd, zijn:

1. Subsidievoorwaarden;

2. Activiteitenplannen;

3. Jaarrekeningen/jaarverslagen, ook van individuele activiteiten indien beschikbaar;

4. Administratieve gegevens, bijvoorbeeld over ondernomen activiteiten en afgehandelde zaken;

5. Publicaties met betrekking tot de subsidieregeling zelf.

De documenten zijn door zowel de directie APS als door het CAOP ter beschikking gesteld, een aantal openbare publicaties is via de website van CAOP verkregen.

2.5.2 Interviews

Het doel van de interviews was tweeledig. In de eerste plaats om de tijdens de documentanalyse verkregen informatie aan te vullen en in de tweede plaats om de meningen en visies van betrokkenen op de (effecten van) de subsidieregeling te inventariseren. Wij onderscheiden de volgende categorieën respondenten:

1. Verantwoordelijken en betrokkenen binnen BZK (5);

2. Verantwoordelijken en uitvoerenden binnen CAOP (5);

3. Uitvoerders buiten CAOP (2);

4. Vertegenwoordigers van doelgroepen (11 ‘gebruikers’ waarvan 6 (oud-)voorzitters).

Het accent lag bij de eerste beide groepen geïnterviewden op kwaliteit en de sturingsrelatie. Bij de derde en vierde groep lag de nadruk meer op doelmatigheid en doeltreffendheid. In overleg met de opdrachtgever is een lijst van respondenten gemaakt. Tabel 2.2 geeft een overzicht van de activiteiten en doelgroepen die hierbij onderscheiden kunnen worden.

Tabel 2.2 Overzicht van activiteiten, doelgroepen en organisaties waarvoor de BZK subsidie wordt verstrekt (o.b.v. CAOP activiteitenplan 2013)

Onderwerp/Organisatie Activiteit:

A Advies- en arbitragecommissie Rijksdienst (AAC) Neutraal en onafhankelijk secretarieel, inhoudelijk en administratieve ondersteuning

A Raad voor Overheidspersoneel (ROP) inclusief de daaronder ressorterende commissies

Neutraal en onafhankelijk secretarieel, inhoudelijk en administratieve ondersteuning

A Bedrijfscommissie voor de Overheid (BOC-O) Neutraal en onafhankelijk secretarieel, inhoudelijk en administratieve ondersteuning

A Onderzoeksraad Integriteit Overheid Neutraal en onafhankelijk inhoudelijk, administratieve en secretariële ondersteuning A Adviescommissie Grondrechten en Functie-

uitoefening Ambtenaren (AGFA)

(22)

Onderwerp/Organisatie Activiteit:

A Bezwarencommissie

Veiligheidsonderzoeken (AVO)

B1 Onderzoek Entameren en organiseren van debatten,

verzamelen van kennis, informatie en documentatie door middel van leerstoelen Albeda en Dales, ondersteuning

B2 Voorlichting Bevordering uitwisseling, ontwikkeling en

toegankelijkheid van kennis en ervaring op terrein van arbeidsverhoudingen en de overheid als arbeidsorganisatie, belanghebbenden voorzien van praktische en wetenschappelijke kennis en informatie over arbeidsverhoudingen, arbeidsvoorwaarden, medezeggenschap en conflicthantering

C1 Bureau Integriteitsbevordering Openbare Sector (BIOS)

Kennis en expertisecentrum, leergangen,

communicatie, voorlichting, ontwikkeling, onderzoek en signalering

C2 Expertisecentrum Veilige Publieke Taak (EVPT) Ontwikkelen en aanbieden van instrumenten aan individuele organisaties in (semi-) publieke sector

Voorafgaand aan de interviews zijn itemlijsten samengesteld, met differentiatie naar

respondenttype. In totaal is met 23 personen gesproken. Dit aantal bood voldoende mogelijkheden om een afgewogen verdeling over de verschillende partijen te maken. De interviews zijn bijna allemaal face-to-face uitgevoerd.

2.5.3 Vergelijking met vergelijkbare niet-gesubsidieerde activiteiten

De vergelijking van de kosten door BZK gesubsidieerde activiteiten en niet-gesubsidieerde activiteiten die CAOP uitvoert, biedt een benchmark voor het beoordelen van de doelmatigheid van de uitvoering van de activiteiten.

Daarom zijn de verantwoordingen geraadpleegd van een serie activiteiten die CAOP voor andere partijen uitvoert maar die wel vergelijkbaar zijn met de in de subsidieregeling opgenomen

activiteiten. Ecorys heeft een selectie van opdrachtgevers op basis van de CAOP-site gemaakt en gevraagd om verantwoordingen en/of offertes waaruit in elk geval zaken als de tariefstelling blijken.

Tabel 2.3 Selectie van opdrachtgevers buiten de subsidieregeling Selectie

Stichting Arbeidsmarkt- & Scholingsfonds Defensie (ASD)

Stichting Arbeidsmarkt- en Opleidingsbeleid Verpleeg-, Verzorgingshuizen en Thuiszorg (A+O VVT) Stichting Onderwijsarbeidsmarkt MBO (SOM)

Stichting Waarborgfonds Politie (SWP)

Stichting Leerstoel Comparative Public Sector and Civil Service Reform

Met deze selectie is getracht de drie hoofdtypen van de gesubsidieerde activiteiten af te dekken:

ondersteuning van commissies, onderzoek en voorlichting, faciliterende werkzaamheden.

(23)

2.5.4 Vergelijking met vergelijkbare niet gesubsidieerde organisaties

Er is een tweede benchmark uitgevoerd door de gesubsidieerde activiteiten van CAOP te vergelijken met verwante activiteiten door andere organisaties die niet (of deels) gesubsidieerd worden. Aan het begin van het onderzoek zijn in overleg met opdrachtgever en

begeleidingscommissie twee organisaties geselecteerd die vergelijkbare activiteiten uitvoeren zoals het CAOP doet binnen de regeling. Het ging om een marktorganisatie (vooral werkzaam op het terrein van administratieve en juridische ondersteuning in het domein arbeidsverhoudingen) en om een deels gesubsidieerde organisatie (vooral gericht op ontwikkeling, onderzoek en voorlichting).

De directies van beide organisaties zijn door het ministerie van BZK aangeschreven met het verzoek deel te nemen aan deze benchmark en ze hebben beide ingestemd. Voorafgaand aan het interview hebben de referentieorganisaties een vragenlijst ontvangen. Het spreekt vanzelf dat (vanwege bedrijfsgevoeligheid) de informatie uit deze analyse anoniem wordt gepresenteerd.

(24)

(25)

3 Doeltreffendheid en kwaliteit

Inleiding en overzicht 3.1

In dit hoofdstuk gaan we in op de doeltreffendheid en kwaliteit van de diensten die CAOP uitvoert onder de subsidieregeling 2008-2013.

Het hoofdstuk is opgebouwd uit de vier onderdelen van de subsidieregeling, te weten secretariële ondersteuning, onderzoek en voorlichting, BIOS en EVPT. De doelen die CAOP onder de subsidieregeling nastreeft, zijn verschillend van aard. De doelen zijn grofweg in drie niveaus in te delen. Het doel wat betreft de (geschillen)commissies is het meest globaal, de doelen voor de leerstoelen en BIOS zijn wat specifieker en de doelen voor de EVPT bevatten daarnaast ook nog enige prestatie-indicatoren. Per paragraaf wordt ingegaan op de kwantitatieve en kwalitatieve beoordeling van de doeltreffendheid en de kwaliteit van de diensten van CAOP.

Ondersteuning commissies en secretariaten 3.2

Het doel van dit onderdeel van de subsidie is dat CAOP de commissies adviseert en ondersteunt en indien van toepassing de adviezen en uitspraken op haar website publiceert.

Voor de cijfermatige analyse hebben we gebruik gemaakt van de activiteitenplannen en verantwoording opgesteld door CAOP. Om de secretariële ondersteuning door CAOP te beoordelen, hebben we gesprekken gevoerd met CAOP, BZK en met de voorzitters van de commissies. Ondanks dat de voorzitters van de commissies mogelijk gekleurd zijn in hun oordeel over de uitvoering van de taken van CAOP, zijn zij wel degene die hierop het beste zicht hebben.

Zij beoordelen ook niet de werking van hun commissie als zodanig maar de ondersteunende taak die het CAOP daarin vervult¹².

3.2.1 Begroting en verantwoording regeling

De aantallen in de onderstaande tabel geven weer welke activiteiten in de activiteitenplannen voor het betreffende jaar zijn begroot en hoeveel activiteiten daarvan zijn gerealiseerd. Onder activiteiten wordt het aantal vergaderingen of aantal zaken dat is behandeld bedoeld, afhankelijk van de betreffende commissie.

12 Als alternatief hiervoor had een enquête onder een grotere groep gebruikers gehouden kunnen worden (bijvoorbeeld ambtenaren die bezwaar maken). Voor deze evaluatie is echter gekozen voor het houden van een beperkte set interviews.

Daardoor zijn voorzitters meer geschikte informaten omdat zij het verloop van meerdere zaken meemaken en zo een meer afgewogen oordeel kunnen geven dan individuele ambtenaren.

(26)

Tabel 3.1 Activiteiten commissies, begroting versus realisatie

2008 2009 2010 2011 2012

Begroting Realisatie Begroting Realisatie Begroting Realisatie Begroting Realisatie Begroting Realisatie

AAC Nb 3 2 2 2 0 2 0 1 1

ROP Nb 23 47 16 47 17 29 19 30 32

BZK- SCO

Nb

6 5 8 5 8 6 9 8 6

WOR Nb 0 1 0 1 0 1 0 1 0

BDC- O

Nb

10 15 18 15 20 20 9 20 15

OIO Nb 6 29 5 43 4 42 4 38

CABF Nb 47 70 94 62 83 70 60 85 44

AGFA Nb 4 4 0 4 5 3 6 5 2

AVO Nb 98 120 56 80 30 60 35 50 41

Onder de paraplu van de Raad voor het Overheidspersoneel en de Pensioenkamer worden verschillende vergaderingen en werkgroepen gehouden. In de verantwoordingsrapportages is slechts een globaal overzicht van de activiteiten weergegeven. Daarmee is het mogelijk dat niet alle bijeenkomsten zichtbaar zijn en het afzetten van begroting versus realisatie mogelijk een vertekend beeld geeft.

De Onderzoeksraad Integriteit Overheid (OIO) onderzoekt meldingen door ambtenaren van misstanden primair binnen de sector Rijk en Politie. In de activiteitenplannen wordt het aantal zaken voor het betreffende jaar geraamd. In de verantwoordingsrapportages wordt verslag gedaan van het aantal meldingen dat is binnengekomen en de afhandeling daarvan. De daadwerkelijke workload van de raad is volgens de (oud-)voorzitter veel hoger omdat de hulpvragen die door goede bemiddeling tussen partijen niet tot een officieel geschil of onderzoek leiden niet in de realisatie worden opgenomen.

Daarnaast maakt de fluctuerende vraag het lastig vooraf goed de werklast in te schatten. Dat heeft volgens de voorzitters OIO en CABF (Commissie Adviesbezwarenfunctiewaardering) deels te maken met de aanhoudende bezuinigingen binnen de overheid. Hierdoor zullen mensen omwille van het behoud van hun baan bijvoorbeeld minder snel een melding doen of bezwaar in durven te dienen. Aan de andere kant brengen bezuinigingen veranderingen met zich mee die

vanzelfsprekend meer bezwaren of hulpvragen vanuit het personeel veroorzaken.

Voor enkele commissies zijn resultaatindicatoren vastgelegd ten aanzien van de behandeltermijn van zaken (BDC-O, AGFA en AVO). De resultaten laten zien dat de zaken binnen de gestelde behandeltermijnen worden afgerond.

In de voorgaande tabel is zichtbaar dat het aantal vergaderingen/zaken voor alle commissies jaarlijks fluctueert en ook sterk kan afwijken van de begroting. In de verantwoordingsrapportages wordt aangegeven dat het niet goed mogelijk is om vooraf te voorspellen hoeveel activiteiten zich in een jaar zullen voordoen, waardoor begroting en realisatie uiteen kunnen lopen.

3.2.2 Kwaliteit van de activiteiten

In de meeste gevallen bestaat de taak van CAOP uit het aanleggen en adviseren rond een dossier per zaak en, als een zitting of bijeenkomst onderdeel uitmaakt van het werk van een commissie, wordt dit door CAOP georganiseerd (inclusief alle benodigde faciliteiten) en nodigen zij alle

(27)

betrokkenen uit. Over het algemeen zijn de voorzitters erg tevreden over de kwaliteit van de diensten die CAOP levert. Per subonderdeel van de ondersteuning wordt verder ingegaan op de kwaliteit zoals de afnemers van de diensten het ervaren.

Secretariële ondersteuning

De secretariële ondersteuning wordt goed beoordeeld. CAOP voert haar taken naar wens en tijdig uit. Een aantal verbeterpunten is er wel genoemd. Eén van de voorzitters geeft aan dat er bij het organiseren van zittingen of bijeenkomsten niet goed wordt geregistreerd wie er is uitgenodigd, of alle genodigden een uitnodiging hebben ontvangen en wie er bij de zitting aanwezig zullen zijn (de duur en complexiteit van een zitting kunnen erg beïnvloed worden door het aantal aanwezen en hun rol in het geheel). Daarnaast worden de te behandelen zaken niet altijd efficiënt ingepland waardoor het voor is gekomen dat een rechter voor één zitting naar Den Haag moest komen.

Volgens één van de voorzitters sluipen dergelijke kleine onzorgvuldigheden in het dagelijkse werk omdat er te weinig contact is met het hoofd van juridische secretariële unit van CAOP. Ook zou het volgens hem goed zou zijn als de commissieleden en CAOP ook buiten de gebruikelijke

vergaderingen en zittingen contact hebben om de werkwijze beter op elkaar af te stemmen en de te behandelen zaken strakker te organiseren.

Tot slot is door één van de voorzitters de wijze waarop tijdens vergaderingen genotuleerd wordt ter sprake gebracht; dit zou innovatiever kunnen. Nu wordt de bijeenkomst op een bandje opgenomen en wordt na afloop van de bijeenkomst de opname uitgeschreven. Directe uitwerking op een laptop of tablet zou minder tijd in beslag nemen en de notulen kunnen veel sneller na de vergadering (liefst alleen digitaal) opgestuurd worden.

Faciliteiten van CAOP

Vrijwel alle voorzitters zijn tevreden over de faciliteiten die CAOP biedt. De bijeenkomsten worden op een professionele manier georganiseerd en de deelnemers worden op een goede manier opgevangen aan de balie. Het gebouw van CAOP is een fijne praktische en neutrale plek om te vergaderen en/of bijeen te komen voor een zitting of een congres. Vooral de sociale partners en cliënten hechten er aan niet in het ‘hol van de leeuw' (zoals het ministerie) te vergaderen. Het is volgens een van de voorzitters ook niet voor niets dat de SOR-tafel zitting heeft bij het CAOP en niet bij BZK.

Wel is er een enkel verbeterpunt genoemd wat betreft de faciliteiten van CAOP. Om een kwalitatief goede hoorzitting per telefoon af te kunnen nemen zijn de faciliteiten volgens een van de voorzitters niet toereikend door het gebrek aan extra microfoons. Ondanks dat het afnemen van een

hoorzitting per telefoon volgens de geïnterviewde in minder dan 10 procent van alle zittingen voorkomt, zijn in dat geval goede faciliteiten onmisbaar.

Inhoudelijke kennis en expertise CAOP

Volgens alle respondenten is CAOP veel meer dan de ondersteuning die ze bieden. De

werknemers van CAOP ‘snappen’ volgens hen het werkveld: ze zijn zowel van de werkgevers als de werknemers op de hoogte dat vergroot de kwaliteit van de dienstverlening. Eén van de respondenten noemt CAOP ‘ultrahulpverlenend’, een ander beoordeelt de ondersteuning in zijn evaluatie ieder jaar met minimaal een 7.

Vooral de secretarissen die intensief betrokken zijn bij het uitvoeren van de diensten worden als uitermate professioneel en behulpzaam gezien. Daar waar de secretarissen de te behandelen zaken inventariseren en voorbereiden, denken ze in de meeste gevallen mee en worden binnen de commissies gezien als gelijkwaardige sparringpartner. In veel gevallen schrijven de secretarissen