Primaire Waarde Evaluatie

Op basis van de beschrijving die Van den Hoogen geeft voor het functioneren van podiumkunsten in de maatschappij ontwikkelde hij een kader voor het evalueren van gemeentelijk podiumkunsten beleid. In dit model (zoals op de volgende pagina weergegeven) zijn sporen terug te vinden van met name de Balanced Scorecards (BSC) volgens Boorsma en Chiaravalloti en de Public Value benadering van Moore. Hoewel de BSC en Public Value beiden managementmethoden zijn die voornamelijk vanuit de missie van de eigen organisatie werken (en het onderzoek van Van den Hoogen zich richt op beleidsevaluatie) haalt Van den Hoogen hier belangrijke inzichten uit over het idee dat het functioneren van een organisatie vanuit meerdere perspectieven bekeken zou moeten worden.

Deze drie pijlers in combinatie met de verschillende niveaus waarop kunst effect kan hebben leiden bij Van den Hoogen tot het onderstaande model voor beleidsevaluatie. Het model is in de uitwerking van Van den Hoogen nog niet geheel geschikt voor de rol van provincies (of sluit helemaal aan bij de waarden en functies die door de provincie worden genoemd), maar is toch zeker interessant voor dit onderzoek omdat het vier velden combineert voor waardebeoordeling (en dus vanuit een brede scope kijkt naar het functioneren van podiumkunstenbeleid). Er wordt daarbij uitgegaan van de verschillende waarden en functies die door kunstbeleving op zowel individueel als maatschappelijk niveau gegenereerd kunnen worden. Wanneer er voorafgaand aan het subsidiejaar afspraken worden gemaakt is het dus belangrijk bouwstenen in te voegen die informatie bieden over al deze velden (indien relevant).

De ervaring van esthetische waarden (in het kunstwerk zelf) maken de persoonlijke waarden en daaropvolgende functies mogelijk⁴⁰. De professionele beoordeling van de esthetische waarde (artistieke kwaliteit) is in zichzelf geen beoordeling van de waarden op persoonlijk level. Daarom is de persoonlijke waarde een apart veld binnen de evaluatie, waarbij wordt gekeken of de genoemde waarden en functies daadwerkelijk bij individuele bezoekers gerealiseerd worden. Deze persoonlijke functies leiden tot realisatie van functies op grotere schaal: maatschappelijk. Deze ketting voor het evalueren van waarden en functies noemt Van de Hoogen de primaire waarde evaluatie (Van den Hoogen 2010, 388).

Daar komt bij dat Van den Hoogen het zinvol acht om de manier waarop deze ketting van waardecreatie is georganiseerd te evalueren. Hierbij wordt gekeken of de organisatie in staat is deze waarden te leveren op continue basis en aan een verscheidenheid aan publiek. Dit noemt hij secundaire waarde evaluatie.

40

In het model komen de verschillende punten uit de strategische driehoeken van Boorsma en Moore samen: de esthetische waarde is gelijk aan de professionele waarde van Boorsma, de Persoonlijke waarde komt overeen met de klantwaarde bij zowel Boorsma als Moore, de Maatschappelijke waarde komt overeen met de sociale waarde van Boorsma en indirect met de autoriserende omgeving van Moore (omdat hierin de (veelal extrinsieke) legitimeringsgronden van veel overheden zitten). Tot slot is de secondaire waarde evaluatie van Van den Hoogen te vergelijken met de interne organisatie in de driehoek van Moore.

Figuur 4.3 Art-Policy Evaluation Using the Framework for Describing the Functioning of the Performing Arts in Society (Van den Hoogen 2010, 388).

In het vorige hoofdstuk viel op dat bij de provincie Drenthe de afspraken die zij maakt met instellingen zich vooral richt op esthetische waarden en op elementen die bij Van den Hoogen genoemd worden onder secundaire evaluatie. Dus met name op het ‘hoe’. De twee, misschien wel belangrijkste, pijlers komen niet of nauwelijks terug in de omgang met de instellingen. Aangezien het om kunstbeleid gaat zal er zeker iets gezegd moeten worden over de persoonlijke waarde (anders hoefde er immers niet aan kunstbeleid worden gedaan). Daarnaast zijn de waarden op maatschappelijk niveau belangrijk omdat de provincie zichzelf hier doelen stelt.

Voor elke waarde noemt Van den Hoogen diverse zaken om te meten/beoordelen door ofwel de kunstinstelling zelf of door de overheid. De esthetische waarde gaat over de artistieke kwaliteit van de kunstproducten. Dit kan volgens hem tot uiting komen in recensies, prijzengeld en onderscheidingen, samenwerking met andere kunstenaars, media aandacht, percentages van geldmiddelen gewijd aan risicovolle producties, opdrachten voor nieuw werk. De betreffende overheid kan dit het beste laten toetsen door een onafhankelijke adviesraad die werkt vanuit een duidelijke opdracht/vraag (Van den Hoogen 2010, 409).

Bovengenoemde elementen zijn duidelijk zaken die van toepassing zouden kunnen zijn op een individueel kunstenaar of podiumkunstgezelschap, maar niet allemaal op musea.

Hier worden immers geen kunstwerken gemaakt. Het zijn ook voornamelijk zaken die achteraf opgevraagd kunnen worden en niet dingen waarover aan het begin van het subsidiejaar gemakkelijk afspraken gemaakt kunnen worden. Daarbij komt dat de provincie Drenthe wel een onafhankelijke adviescommissie heeft ingesteld, maar deze wordt juist niet gebruikt voor de beoordeling van plannen van de grote instellingen voor subsidies per boekjaar. De commissie wordt slechts ingezet voor het beoordelen van incidentele projecten.

Dit eerste veld uit het model van Van den Hoogen bevat elementen die eerder genoemd zijn in het kader van de Collectie Waarde van musea. Deze waarde vormt ook het begin voor het genereren van de overige waarden ( verbindende, educatieve, economisch en belevingswaarde).

Het tweede veld in het model van Van den Hoogen gaat om het inzichtelijk maken van de persoonlijke waarden. Hier draait het om: (a) het beoordelen van het optreden van waarden en functies op persoonlijk niveau (en het niveau van het publiek als gemeenschap, (b) om het beoordelen van het bereik van de esthetische diensten in de stad (aangezien het bij Van den Hoogen om gemeentelijk beleid gaat).

Acties die hierbij voor (a) gedaan zouden moeten zijn: kwalitatief receptie onderzoek (door de culturele instelling), middelen beschikbaar stellen voor publieksonderzoek, langdurig kwalitatief receptie onderzoek (d.m.v focus groups) (door de betreffende overheid). Voor het beoordelen van het bereik moeten de culturele instellingen jaarlijks rapporteren over aantal bezoekers, frequentie van bezoeken, socio-demografische achtergrond van het publiek. Desbetreffende overheid moet deze gegevens verzamelen en algemeen publieksonderzoek doen naar het gebruik van de voorzieningen (Ibid, 409).

Met name de actie m.b.t. kwalitatief receptie onderzoek is toepasbaar bij de provinciale musea⁴¹. Ook het langdurige receptieonderzoek door de overheid zou (bijvoorbeeld voor de duur van een cultuurnota periode) door de provincie uitgevoerd kunnen worden. Maar onderzoek doen naar het gebruik van culturele instellingen past minder goed bij de rol van de provincie. Zij zou dit van alle gemeenten moeten verzamelen voordat hier iets over gezegd kan worden. De jaarlijkse rapportage door de culturele instelling over bezoekersaantallen etc. zijn wel belangrijk om te weten voor zowel de instelling als de provincie.

Bij de waarde op maatschappelijk niveau zet Van den Hoogen economische impact analyse en sociale impact analyse. Voor de economische impact analyse zouden culturele instellingen in de jaarlijkse verslagen aan moeten geven wat er aan salaris wordt betaald aan de werknemers en hoeveel er wordt besteed aan het aanschaffen van materialen. Ook hier geldt dat dit van toepassing is op kunstproducerende instellingen. Musea zijn de uitstalkasten. Laat onverlet dat er wel materialen nodig zijn voor het opzetten van tentoonstellingen, maar het positieve effect hiervan op de directe omgeving is waarschijnlijk erg klein. Hier zou wel gekeken kunnen

41

Dit heeft bijvoorbeeld geen zin bij de zogenoemde tweedelijns- ondersteuningsinstellingen omdat zij niet direct te maken hebben met de’burger’.

worden naar bijvoorbeeld de inkoop voor de horecavoorziening, uitbesteden van drukwerk etc aan lokale bedrijven.

De overheid zou onderzoek kunnen doen door bestaande impact technieken, onderzoek doen naar de verandering in de aanwezigheid van hoger opgeleiden en multivariabele analyse van veranderingen in de onroerend goed prijzen (Ibid., 409).

Eerder werd al geconstateerd dat voor de provincie economische impact analyse vooral zinvol is bij eenmalige gebeurtenissen omdat (a) het voor een provincie als Drenthe nog niet bewezen is dat kenniswerkers in zo’n plattelandsprovincie vestigingskeuzes laten bepalen door culturele voorzieningen. (b) Het onderzoeken van de omvang van het aandeel van deze bevolkingsgroep is op provinciale schaal ook haast niet te onderzoeken en vereist veel medewerking van gemeenten (die het misschien niet in hun beleid hebben opgenomen). De directe werkgelegenheid en de opbrengst hiervoor voor de regio is inzichtelijk te maken door te kijken hoeveel salaris betaald wordt aan de medewerkers die in de provincie zelf wonen. Er is iets te zeggen over de indirecte werkgelegenheid wanneer wordt gekeken naar de producten en diensten die het museum van lokale bedrijven afneemt.

De impact in het sociale domein, zoals door Van den Hoogen geformuleerd, kan onderzocht worden door langdurig receptie onderzoek (met focus groups) en onderzoek naar de verandering in sociaal kapitaal (maar dit kan alleen voor specifieke groepen in de samenleving).

Voor alle velden geldt dat ze gemakkelijk aangepast kunnen worden naar de waarden en functies die door de provincie worden genoemd en/of die het beste bij de rol van de provincie zouden passen.

De secundaire waarde evaluatie is een domein waar nu door de provincie veel nadruk op wordt gelegd. Hiervan zegt Van den Hoogen dat hierover afspraken gemaakt zouden moeten worden over wat wel en niet in de jaarlijkse rapportages opgenomen moet worden. Deze afspraken zouden voor een langere periode gemaakt moeten worden en ondertussen niet veranderd. Het gaat dan ook om de vraag of de instellingen goed gerund worden en in staat zijn de waarden te leveren voor een variëteit aan inwoners voor een langere periode. Je zou je zelfs af kunnen vragen of deze informatie allemaal nodig is of dit hier alleen om wordt gevraagd wanneer er twijfel bestaat over zaken als financiële gezondheid, diversiteit aan opbrengsten, marketingtraining etc. Van den Hoogen plaats onder secundaire waarde evaluatie ook educatieve activiteiten en het aantal vrijwilligers. Gelet op het feit dat educatie bij kan dragen aan de intrinsieke waarden op persoonlijk niveau is deze wel belangrijk. Aangezien de provincie Drenthe musea onder meer van belang noemt omdat er veel vrijwilligers bij betrokken zijn is deze informatie ook belangrijk.

5.1.4 Effectenkaart

De effectenkaart wordt in het “Praktijkboek Maatschappelijk Rendement” door Deuten beschreven en is in eerste instantie bedoeld als instrument voor woningcorporaties bij het vooraf greep krijgen op de maatschappelijke effecten van investeringen. Hoewel dat in dit

onderzoek niet helemaal het geval is, is de benadering interessant en biedt het idee van een effectenkaart aanknopingspunten voor een instrument voor de provincie Drenthe.

De effectenkaart zou zich vooral bewijzen bij de voorbereiding van een maatschappelijke investering. De voordelen ervan zijn:

- het geeft inzicht in de effecten van een investering en legt de veronderstellingen bloot die hieraan ten grondslag liggen;

- het opent het zicht op verbeteringen van de investeringen; - het maakt duidelijk wie bij een investering betrokken is;

- het stimuleert het gesprek over de maatschappelijke effecten van een investering, binnen de corporatie, maar ook daarbuiten met belangenhouders;

- het maakt investeringen makkelijker vergelijkbaar.

De effectenkaart zoals hieronder weergegeven is niet direct bruikbaar voor de provincie als instrument dat iets zegt over wat de provincie wil bereiken en waarin prestaties kunnen worden opgenomen. Toch is de benadering interessant. Een kaart waarop in één oogopslag te zien is wat de provincie zou willen bereiken en hoe de betreffende culturele instelling hieraan bijdraagt. De musea misten nogal eens visie achter de cijfers. Door een dergelijke kaart in te vullen moet er goed nagedacht worden over hoe de doelen aansluiten op de functies en welke afspraken hierbij passen. Want deze kaart is makkelijk uit te breiden met een kolom voor prestatieafspraken of indicatoren. Voor de instelling is dan duidelijker waar de cijfers vandaan komen. Dit zou de kaart meer dan een effectenkaart maken.

In de kolom ‘belanghouders’ wordt geformuleerd voor wie een effect wordt nagestreefd. Daarbij moet het uitgebreid worden met een kolom waarin de waarden en functies staan en in welk (maatschappelijk) domein dit plaatsvindt.

Wie ondervindt effecten Welke effecten zijn dat? Hoe bereikt u deze effecten?

Belanghouder Maatschappelijk effect (outcome) Output activiteiten en veranderingstheorie

Bewoner/huurder Veiliger buurt • Onderhouden/repareren sloten en

kapotte verlichting zorgt voor betere veiligheid

• Huismeester spreekt hangjongeren aan

Schoner complex Schonere buurt

• huismeester spreekt bewoners aan op ongewenst gedrag en laat rotzooi opruimen

• Huismeester meldt vervuiling bij gemeente

• Huismeester spreekt veroorzakers aan

Gemeente Schonere buurt • Door zijn/haar activiteiten is de

openbare ruimte schoner waardoor gemeentelijke diensten met

dezelfde inzet een hoger kwaliteitsniveau bereiken

Politie Veiliger buurt • Huismeester heeft door

aanwezigheid preventieve werking, controleert sloten, kent de buurt, informeert politie en brengt mensen in contact met de politie Figuur 4.4 Effectenkaart voor Woningcorporaties bij de investeringsvraag voor het aanstellen van een huismeester (Deuten 2007, 35).

5.2. Conclusie

In deze paragraaf zijn vier methoden besproken die worden gebruikt voor het inzichtelijk maken van prestaties, als managementinstrument of voor beleidsevaluatie (vooraf en achteraf).

Prestatie-indicatoren zijn een veel gebruikt instrument voor het meten van gerealiseerde prestaties. De provincie Drenthe formuleert op dit moment ook al prestatie-indicatoren voor haar instellingen. Aan het gebruik van prestatie-prestatie-indicatoren kleven een aantal voor- en nadelen. De voordelen zijn dat het gebruik ervan leidt tot meer transparantie bij organisaties en maakt benchmarken makkelijker, het kan leiden tot een lerende organisatie, het kan basis zijn voor beloning op basis van die prestaties (maar aan de andere kant ook voor sancties). Prestatie-indicatoren geven focus en voorzien in een taal voor beleid, management en debat. Beleidsdoelen en prestatie indicatoren maken theorieën concreet.

De nadelen zijn: prestatie-indicatoren zijn vaak niet valide, alleen de variabelen die zichzelf lenen om te worden gemeten worden gebruikt hierdoor worden kwalitatieve maatstaven vaak buiten beschouwing gelaten, door het gebrek aan geschikte informatie kunnen er geen betrouwbare uitspraken worden gedaan over de aard van de relatie tussen programma input en output of outcome op basis van alleen de prestatie-indicatoren, omdat veel persoonlijk oordelen nodig zijn bij de interpretatie en vastlegging van prestatie-indicatoren worden deze verschillend geïnterpreteerd en vastgelegd. Hierdoor kan het gebeuren dat een goede vergelijking niet mogelijk is, door en sterke link tussen indicatoren en beslissingen kunnen zaken rooskleuriger worden geschetst dan ze in werkelijkheid zijn (informatie wordt strategisch gebruikt), indicatoren worden snel aangezien voor de kwaliteit van het programma, indicatoren leiden de aandacht af van wat het programma eigenlijk zou moeten doen, de verkeerde activiteiten worden benadrukt en de genomen maatregelen verstoren de reden van bestaan van het programma

De BSC probeert in dit gat te springen en geeft belangrijke informatie over hoe culturele instellingen het eigen functioneren zouden kunnen beoordelen. Dit kan door het invullen van de BSC waarbij rekening wordt gehouden met de missie van de instelling en de waarden die het genereert voor diverse groepen: klanten, het professionele veld en de maatschappij ( en gaat dus veel verder dan alleen prestatie-indicatoren).

Deze methode is echter niet geschikt om voor de provincie te dienen als sturingsinstrument bij het maken van prestatieafspraken voorafgaand aan het subsidiejaar omdat de provincie zich (normaliter) afzijdig probeert te / zou moeten houden van de bedrijfsvoering. De provincie zou alleen geïnteresseerd moeten zijn in wat de uitkomsten van de activiteiten zijn en hoe die bijdragen aan de beleidsdoelen.

Het model voor primaire waarde evaluatie is interessant omdat het een voorzet doet voor welke informatie door de culturele instellingen geleverd zou moeten worden om inzicht te krijgen in het functioneren van (gemeentelijk podiumkunsten) beleid. En wat de desbetreffende overheid daarnaast zelf voor informatie moet leveren/welke acties het moet doen.

In het model wordt onderscheid gemaakt tussen allereerst primaire en secundaire waarde evaluatie: de primaire evaluatie gaat over de beoordeling van de esthetische waarde (artistieke kwaliteit in het eerste veld) en de persoonlijke waarde (vinden de genoemde waarden en functies echt plaats bij individuele bezoekers in het tweede veld). De persoonlijke functies leiden tot realisatie van functies op maatschappelijk niveau, hier gaat het derde veld op in.

Daarnaast noemt van den Hoogen secundaire waarde evaluatie. Dit gaat over de vraag of de organisaties goed gerund worden en in staat zijn de waarden te leveren voor een variëteit aan inwoners voor een langere periode. Maar dit model is bedoeld als middel om in retrospectief het beleid te evalueren en daarom nog niet geschikt als sturingsinstrument vooraf.

De effectenkaart vormt een goed begin voor het ontwikkelen van een sturingsmiddel voor de provincie waarbij rekening wordt gehouden met beleidsdoelen en wensen van de instellingen. Deze kaart is een middel om vooraf greep te krijgen op investeringen. Met een kleine uitbreiding is de kaart geschikt te maken voor het inzichtelijk maken van het functioneren van kunst en musea en voor maken van prestatieafspraken. In het volgende deel zal dan ook de effectenkaart als uitgangspunt dienen voor het nieuwe model.

DEEL 3

Synthese;