Huidige evaluatie- en monitoringplan Leeuwarden 2018

4.1 Huidige evaluatie- en monitoringplan Leeuwarden 2018

Leeuwarden 2018 heeft in het bidbook een evaluatie- en monitoringplan opgesteld voor het titeljaar. Daarin wordt de evaluatie opgedeeld in vier fasen: er wordt in de beginfase geëvalueerd, halverwege, vlak na het titeljaar en op lange termijn (Leeuwarden 2019 2013, p. 113). Van wanneer tot wanneer elke fase exact duurt, wordt niet vermeld. Naast deze tijdsgebonden indeling wordt er gewerkt met vijf thema’s, die overeenkomen met die uit het Impacts08-onderzoek: culturele toegankelijkheid en participatie (1), economie en toerisme (2), culturele levendigheid en duurzaamheid (3), imago en perceptie (4) en tenslotte bestuur en uitvoeringsproces (5). Per thema stelt Leeuwarden 2018 indicatoren en onderzoeksgebieden op, wordt er omschreven hoe er data worden verzameld, is er een tijdschema en frequentie voor onderzoek vastgesteld en wordt er bepaald hoe de informatie naar buiten wordt gebracht. De indicatoren en onderzoeksgebieden zijn vertaald in doelen, die losstaan van de doelstellingen die eerder in het bidbook zijn vastgesteld (zie paragraaf 2.3.1). De doelen lijken eerder einddoelen te zijn, dan dat ze een indicatie geven van wat er op de tussentijdse metingen moet worden geëvalueerd.

De thema’s culturele toegankelijkheid en participatie, imago en perceptie en bestuur en uitvoeringsproces herbergen (in potentie) een sociale dimensie. Bij de analyse van het evaluatie- en monitoringplan wordt bekeken in hoeverre de inhoud van die thema’s overeenkomt met de thema's voor de evaluatie van de sociale dimensie van Culturele Hoofdsteden van Europa die zijn vastgesteld in paragraaf 3.4, waar ze kunnen worden aangevuld en waar nieuwe inzichten

94 ontstaan. Ook wordt de causaliteitsvraag teruggepakt: welke veronderstellingen komen er naar voren over het verband tussen cultuur en sociale effecten?

Op het gebied van culturele toegankelijkheid en participatie heeft de stad vijf indicatoren/onderzoeksgebieden opgesteld. Ze kunnen in feite worden beschouwd als einddoelen:

1. 60% van de kinderen onder de Nederlandse armoedegrens participeert in evenementen. 50% verhoogde participatie van directe doelgroepen.

25% participatie van groepen die traditioneel gezien weinig affiniteit met cultuur hebben.

2. We contacteren 30 miljoen mensen in Europa.

3. 20% hogere mobiliteit binnen de provincie voor culturele activiteiten.

4. 30.000 vrijwilligers ondersteunen de evenementen, met een kerngroep van 1500 mensen.

5. 35% van de inwoners weet wat open Mienskip betekent en praktiseert dit in het dagelijks leven (Leeuwarden 2018 2013, p. 114; vertaling FS).8

De doelen zijn duidelijk gekwantificeerd, wat de meetbaarheid in principe ten goede komt. Dat betekent echter niet per definitie dat het makkelijk na te gaan is of de doelen wel of niet zijn bereikt en op welke manier. Er zijn namelijk veel onduidelijkheden en definitieproblemen, waarvan ook sprake was in het werk van bijvoorbeeld ECOTEC/ECORYS. Zo is het voor het eerste doel vaag wat er wordt verstaan onder groepen die traditioneel gezien weinig affiniteit met cultuur hebben. De stad zou vooraf de doelgroep moeten afbakenen om te bepalen wáár er moet worden gemeten, pas dan kunnen de juiste gegevens worden verzameld. Een ander probleem is de definitie van open Mienskip bij het laatste doel: welk uitgangspunt hanteert Leeuwarden 2018 hierbij en welke vragen gaat zij stellen aan de inwoners om te testen of zij weten wat open Mienskip betekent en hoe ze het in de praktijk moeten brengen? Het blijft vaag hoe de doelen in verhouding staan tot de vijf aanvankelijk opgestelde doelstellingen.

De vijf indicatoren/onderzoeksgebieden voor het thema culturele toegankelijkheid en participatie vertonen tot op zekere hoogte overlap met de subthema’s die in paragraaf 3.4 belangrijk zijn geacht voor het evalueren van de culturele toegankelijkheid en participatie (zie bijlage 5). Met de eerste twee doelen van Leeuwarden 2018 wordt er ingegaan op de vraag wie er evenementen bezoekt, dus wie het publiek is. Verder wordt met de doelstelling van een hogere mobiliteit de interesse en culturele betrokkenheid nagegaan. Tenslotte komt het

95 onderwerp vrijwilligers aan bod. Echter zijn de subthema’s van Lwd2018 nog niet ver genoeg uitgewerkt om een volledig beeld te kunnen schetsen van de deelname aan het programma. Dit terwijl de stad ambieert Culturele Hoofdstad van participatie te zijn. Het is belangrijk dat Leeuwarden het thema culturele toegankelijkheid en participatie meer inhoud geeft, participatie is voor haar immers het sleutelwoord naar gemeenschapsontwikkeling. De stad moet dieper ingaan op de vraag wie participeert in het Culturele Hoofdstadevenement, op de evenementen zelf en op de gegevens van vrijwilligers. Vervolgens kan worden bekeken in hoeverre de doelstellingen zijn behaald en hoe het culturele programma hieraan heeft bijgedragen. De methoden die de stad vooralsnog hanteert voor het meten, scheppen wel een goede balans tussen kwantitatief en kwalitatief onderzoek, een voorwaarde voor sociale impactevaluatie van culturele festivals. Er worden bijvoorbeeld burgeronderzoeken voorgesteld, metingen, monitoringsverslagen van projectcoördinatoren, maar ook CRM-processen en postcoderegistratie.

Behalve dat Leeuwarden 2018 het thema culturele toegankelijkheid en participatie verder zou moeten uitdiepen, is het vooral belangrijk dat de stad kan verhelderen hoe zij veronderstelt dat cultuurdeelname bijdraagt aan het uiteindelijke doel van gemeenschapsontwikkeling. Met andere woorden: de stap naar het creëren van een open Mienskip moet nog worden gezet in de evaluatie. Er wordt hier een terugkoppeling gemaakt naar de veelbesproken causaliteitskwestie. De stad kan het oorzakelijk verband ophelderen door het thema culturele toegankelijkheid en participatie in te bedden bij de opbouw van sociaal kapitaal, zoals in paragraaf 3.4. wordt voorgesteld. De rol van cultuurbeleving bij gemeenschapsrevitalisatie is immers dat zij kan helpen bij de opbouw van sociaal kapitaal. Dat inzicht maakt duidelijk dat Leeuwarden 2018 subthema’s voor de evaluatie mist, die wél belangrijk zijn om na te gaan of de uiteindelijke doelstelling van het creëren van een meer open Mienskip is behaald. De subthema’s die zouden moeten worden toegevoegd, zijn sociale cohesie en inclusie, sociale netwerken en relaties, vertrouwen en tolerantie (zie paragraaf 3.4). Leeuwarden 2018 zou deze naast de suggesties voor verdieping van het thema culturele toegankelijkheid en participatie, moeten opnemen in het evaluatieplan.

Met betrekking tot het thema culturele toegankelijkheid en participatie gelden dus twee zaken: 1. Leeuwarden 2018 moet het onderwerp uitbreiden en meer inhoud geven.

2. Leeuwarden 2018 moet het inbedden als subthema bij het onderwerp sociaal kapitaal en sociale cohesie en inclusie, sociale netwerken en relaties, vertrouwen en tolerantie die daaraan bijdragen ook evalueren.

96 Het tweede thema met in potentie een sociale dimensie is imago en perceptie. Op dat gebied zijn er drie indicatoren/onderzoeksgebieden vastgesteld, die kunnen worden gezien als einddoelen:

1. 60% van de 13-20 jarigen overweegt om terug te komen na ergens anders te hebben gestudeerd.

30% van de studenten aan de hogescholen van Leeuwarden overweegt om in de regio te blijven als ze een baan kunnen vinden.

2. Nationale onderzoeken en mediadekking laten zien dat Friesland niet worden gezien als een perifeer agrarisch-toeristisch gebied, maar dat het ook betrokken is bij creatieve, open, innovatieve processen.

3. Verbeterd internationaal profiel van de stad en regio op het gebied van water en technologie (Leeuwarden 2018 2013, p. 116; vertaling FS).9

Wat meteen opvalt is dat er binnen het thema imago en percepties vooral aandacht is voor het externe imago van de stad en betrekkelijk weinig voor de percepties van de inwoners zelf. Dat laatste is juist belangrijk om de sociale dimensie van het programma te beschouwen. Er zou bijvoorbeeld moeten worden gekeken naar identiteitsontwikkeling n.a.v. het titeljaar, naar lokale trots en de gemeenschapspercepties die zijn veranderd door het evenement, bijvoorbeeld de percepties van de geschiedenis en cultuur van de regio en een veranderd bewustzijn van de culturele mogelijkheden en activiteiten. Ook onderzoek naar de Friese dimensie van het programma en de bewustwording van de eigen cultuur naar aanleiding van het titeljaar kan binnen dit thema worden ondergebracht. In paragraaf 3.4 is vastgesteld dat deze onderwerpen kunnen worden geëvalueerd onder de noemer collectieve identiteit en imago. Methoden voor de evaluatie van dit onderwerp nog niet erg ver ontwikkeld, maar er zal in elk geval bevolkingsonderzoek moeten plaatsvinden, wat kan worden uitgevoerd met de SIP-schaal.

Er geldt in feite één zaak:

1. Leeuwarden 2018 moet zich bij de evaluatie van de sociale dimensie richten op het lokale imago en de lokale perceptie van het evenement in plaats van op de externe waarnemingen. Er moet daarbinnen ruimte zijn om onderzoek te doen naar bewustwording van de eigen (Friese) cultuur en veranderende in de percepties n.a.v. het programma.

Het derde thema met een sociale dimensie is bestuur en uitvoeringsproces. Daarbinnen zijn de volgende vier indicatoren/onderzoeksgebieden vastgesteld:

97 1. 60% van de burgers zegt dat Lwd2018 meer trots, vreugde, sociale cohesie en optimisme

heeft ontwikkeld voor de mensen vanaf 2019.

2. Samenhang tussen bestaande instituties die een betere levenskwaliteit in 2019 promoten, verbeterde synergie met andere EU-projecten.

3. Cultuurbeleid in de bredere Friese omgeving (NL, DE, DK) hanteert de brede definitie van cultuur die is gebruikt in de kandidatuur van Lwd2018.

4. Bestuur in de culturele sector, met name grensoverschrijdend, is gericht op participatie en ontwikkeling van burgers vanaf 2016 (Leeuwarden 2018 2013, p. 116; vertaling FS).10

Binnen dit thema schenkt Leeuwarden2018 ten eerste aandacht aan de percepties die de inwoners van de stad van het evenement hebben. Ze wil namelijk nagaan of zij door Lwd2018 meer trots, vreugde, sociale cohesie en optimisme hebben ontwikkeld. Blijkbaar acht de stad dit onderwerp belangrijk om een beeld te krijgen van het bestuur en uitvoeringsproces; ze gebruikt het niet binnen het thema culturele toegankelijkheid en participatie of imago en percepties. De manier waarop de stad de percepties van de inwoners voornemens is te meten, –afgaande op wat burgers daarover zeggen–, is behoorlijk subjectief en minimaal. Daarnaast is het ook problematisch dat zowel trots, vreugde, sociale cohesie en optimisme onder één onderzoeksgebied worden geschaard, terwijl het allemaal afzonderlijke impacts zijn. Het zou beter zijn om deze zaken te scheiden en verfijnde meetmethodes voor elk subthema op te stellen. Bij bijvoorbeeld het onderzoek naar sociale cohesie moet niet alleen naar de perceptie van burgers zelf worden gevraagd, maar observatie is ook een manier om vast te stellen of mensen meer cohesief verdrag vertonen.

Naast de percepties van de inwoners wil Leeuwarden 2018 binnen dit thema ook een beeld schetsen van de impact van het programma op het bestuur in voornamelijk de culturele sector (zowel publiek als privaat). In dat opzicht heeft het veel raakvlakken met de subthema’s die in paragraaf 3.4 onder de kop vaardigheden en bestuur zijn geschaard, namelijk toename van vaardigheden en zelfredzaamheid en verbetering van bestuur en uitvoeringsprocessen. Het is voor Leeuwarden 2018 vooral belangrijk om persoonlijke ontwikkeling en gemeenschapsontwikkeling los van elkaar te onderzoeken, maar wel te beseffen dat gemeenschapsontwikkeling begint bij persoonlijke ontwikkeling. De stad heeft al verschillende manieren bedacht waarop zij dit deel van het thema wil gaan evalueren. Ze wil bijvoorbeeld samenwerkingen nagaan en beleidsmakers interviewen. Er worden ook evenementen geëvalueerd die in het bijzonder moeten bijdragen aan de verbetering van het bestuur en uitvoeringsproces, bijvoorbeeld Neverending Orchestra. De meetmethodes zijn nog niet heel ver

98 uitgewerkt, maar bieden wel een evenwicht tussen kwantitatief en kwalitatief onderzoek. Voor de stad is het belangrijk op binnen dit gebied langetermijnonderzoek te doen, om na te gaan of de effecten blijvend zijn. Langetermijnmetingen zijn bovendien belangrijk om het causale verband tussen het titeljaar en de verbetering van bestuur en uitvoeringsprocessen te onderzoeken Zijn de effecten blijvend en in hoeverre toe te schrijven aan het culturele programma? De specifieke doelen die de stad zichzelf heeft gesteld, zoals meer samenhang en synergie, maken de evaluatie in het bijzonder relevant voor Leeuwarden 2018.

Met betrekking tot het thema bestuur en uitvoeringsproces gelden twee zaken:

1. Leeuwarden 2018 moet persoonlijke ontwikkeling van gemeenschapsontwikkeling scheiden. Dit kan door het onderzoek naar de percepties van de inwoners onder te brengen bij het thema sociaal kapitaal en het los te zien van bestuur en uitvoeringsproces. Meetmethodes moeten worden uitgebreid.

2. Met het thema bestuur en uitvoeringsproces moet meer worden gekeken naar gemeenschapsontwikkeling op bestuurlijk gebied als gevolg van persoonlijke ontwikkeling. De eigen doelstellingen maken het thema relevant voor Leeuwarden 2018.