ECOTEC/ECORYS (2009-2011)

ECOTEC (vanaf 2011 ECORYS) is een internationaal onderzoeks- en adviesbureau dat naar aanleiding van het besluit uit 2006 voor Culturele Hoofdsteden van Europa vanaf 2007 evaluaties heeft uitgevoerd in opdracht van de Europese Commissie. Voor de evaluatie maakt ECOTEC gebruik van het DG Budget model, waarin doelen een bepaalde hiërarchie krijgen toegewezen. Het laagst in de rangorde staan de operationele doelen, daarna volgen specifieke doelen met effecten op korte termijn, daarna komen de middellangetermijndoelen en als hoogst geclassificeerd zijn de algemene doelen met langetermijneffecten (ECOTEC 2009, p. 5). Er worden drie specifieke doelen met effect op korte termijn onderscheiden die een bijdrage moeten leveren aan het hoofddoel van het programma: ‘to highlight the richness and diversity of European cultures and the features they share, as well as to promote greater mutual understanding between European citizens’. Die drie doelen zijn:

1. De ontwikkeling van culturele activiteiten

2. Promotie van de Europese dimensie door cultuur

3. Ondersteuning van de sociale en economische ontwikkeling van de stad door cultuur (ibid., p. 7)

Het laatste doel, de ondersteuning van de sociale ontwikkeling van de stad door cultuur, betreft de sociale dimensie van het programma en in tabel 3 worden de operationele doelen, output, resultaten en impacts ervan weergegeven.

63

Kortetermijndoel Operationele

doelen ^{Output Resultaten Impacts}

Ondersteuning van de sociale ontwikkeling van de stad door cultuur. Verbetering van toegang tot cultuur Evenementen, activiteiten en projecten om de participatie te vergroten en de toegang tot cultuur te verbeteren. Individuen van

doelgroepen gaan naar activiteiten, evenementen en projecten. Nieuwe benaderingen voor participatie. Vrijwilligersactiviteiten. Positieve effecten op participanten. Meer mensen uit doelgroepen gaan naar cultuur. Stapsgewijze verandering in culturele participatie. Verbetering van bestuurscapaciteit in de culturele sector. Effectieve uitvoeringsmechanismen (processen en

procedures die ervoor zorgen dat

beleidsdoelstellingen worden omgezet tot concrete acties in de praktijk). Meer betrokkenheid bij de culturele sector. Duurzaam platform voor culturele activiteiten.

Tabel 3: Tabel van doelen en beoogde effecten (ECOTEC 2009, p. 8-9).

Deze tabel maakt duidelijk hoe langetermijndoelen worden vertaald naar kortetermijnacties en dat geeft inzicht in de vraag hoe er tot een bepaald effect moet worden gekomen. Er worden in de verslagen van Culturele Hoofdsteden van Europa van 2007 & 2008 en 2009 (ECOTEC 2009; 2010) echter geen indicatoren benoemd waarmee kan worden nagegaan in hoeverre de doelen zijn bereikt. In de daarop volgende evaluatie van Culturele Hoofdsteden van Europa in 2010 (ECORYS 2011) wordt wél een aantal indicatoren opgenoemd en per doel weergegeven in een tabel. In tabel 4 volgt een overzicht van prestatie-indicatoren die betrekking hebben op de het evalueren van het kortetermijndoel ‘Ondersteuning van de sociale ontwikkeling van de stad door cultuur’, de operationele doelen die daarbij horen en er wordt nagegaan met welk instrument de indicatoren kunnen worden geëvalueerd.

Output/resultaat/impact Proefindicatoren Bron/evaluatie-instrument

Outputs

Individuen bezoeken culturele evenementen, activiteiten en projecten.

Publiek op

evenementen/tentoonstellingen. Aantal actieve participanten in culturele activiteiten.

Review van documenten van Culturele Hoofdsteden. Interviews met

belanghebbenden. Nieuwe benadering voor

verbetering van toegang

tot/verbreden van participatie in cultuur.

Aantal mensen dat culturele evenementen (of nieuwe genres van culturele evenementen) bezoekt voor de eerste keer. Aantal individuen van doelgroepen dat culturele evenementen (of nieuwe genres van culturele evenementen)

Review van culturele programma van Culturele Hoofdsteden. Interviews met

64 bezoekt voor de eerste keer.

Aantal scholen betrokken bij CH-projecten.

Aantal leerlingen betrokken bij CH-projecten.

Aantal culturele evenementen van minderheden en gemarginaliseerde groepen. Effectieve uitvoeringsmechanismen. Inclusief en effectief consultatieproces. Representatief partnership. Bestuur van hoofdbelanghebbenden. Toegewijd bestuursorgaan.

Review van documenten van Culturele Hoofdsteden. Interviews met belanghebbenden. Resultaten Positieve effecten op participanten in culturele activiteiten, evenementen en projecten.

Participanten die een positieve ervaringen rapporteren. De receptie van activiteiten, evenementen en projecten van naasten.

Kwantitatieve data

Review van documenten van Culturele Hoofdsteden. Interviews met belanghebbenden. Positieve effecten op participanten in activiteiten, evenementen en projecten om de participatie te verbreden.

Participanten die een positieve ervaringen rapporteren.

Kwantitatieve data.

Review van documenten van Culturele Hoofdsteden. Interviews met

belanghebbenden. Meer mensen van doelgroepen

gaan naar cultuur.

Doelgroepen blijven naar cultuur gaan.

Doorlopende activiteit om toegang te verbeteren en de participatie te verbreden.

Kwantitatieve data.

Review van documenten van Culturele Hoofdsteden. Interviews met

belanghebbenden.

Impacts

Meer culturele activiteit op voortdurende

basis/stapsgewijze verandering in de levendigheid van de culturele sector.

Langetermijnstijging van het aantal culturele activiteiten. Positieve berichten in de media.

Kwantitatieve data. Interviews met belanghebbenden.

Onderzoeken ondernomen door op in opdracht van Culturele Hoofdsteden. Stapsgewijze verandering in cultuurparticipatie. Langetermijnstijging van publieksaantallen. Langetermijnstijging van participatieve activiteiten. Kwantitatieve data. Interviews met lokale belanghebbenden.

Onderzoeken ondernomen door op in opdracht van Culturele Hoofdsteden.

Verbeterde burgertrots en imago (intern en extern).

Vragenlijsten naar de mening van inwoners.

Feedback van belanghebbenden op identiteit/zelfvertrouwen. Positieve berichten in de media

Interviews met

belanghebbenden op alle niveaus.

Onderzoeken ondernomen door op in opdracht van Culturele Hoofdsteden.

Tabel 4: Effecten, indicatoren en bronnen (ECORYS 2011, p. 10-13).

Een aantal zaken valt op aan de tabel. Ten eerste is er een probleem met definities. Het is bijvoorbeeld niet helder wie de participanten zijn: publiek, inwoners of organisaties? Daar komt bij dat het belangrijk is om bij de evaluatie rekening te houden met niet-participanten om geen vertekend beeld te geven van de relatieve impact op de gehele gemeenschap. Verder is het

65 onduidelijk wat een ‘positieve ervaring’ is en hoe bijvoorbeeld de ‘receptie van activiteiten, evenementen en projecten van naasten’ kan worden gemeten. Behalve definitieproblemen zijn er veel effecten die een mager aantal of onjuiste indicatoren krijgen toegewezen. ‘Positieve effecten op participanten’ is bijvoorbeeld een breed begrip dat slechts één of twee proefindicatoren krijgt toegewezen op basis waarvan het moet worden gemeten. Die indicatoren zijn bovendien onvoldoende: er kan geen betrouwbaar beeld worden verkregen van de positieve effecten op participanten wanneer dit enkel wordt gemeten op basis van wat participanten zelf ervaren. Dat is erg subjectief. Ook bij de impact ‘meer culturele activiteit op voordurende basis’ worden slechts twee prestatie-indicatoren genoemd. Een fout in de tabel is dat ‘vragenlijsten naar de mening van inwoners’ worden gebruikt als indicator voor het evalueren van ‘burgertrots en imago’. Het afnemen van vragenlijsten is namelijk een methode en geen indicator. Kortom: de tabel is nog behoorlijk vaag en oppervlakkig en dient beslist verder te worden uitgewerkt. Er moet worden gezocht naar meer en passende indicatoren om outputs, resultaten en impacts te kunnen beschouwen en de instrumenten voor evaluatie moeten verder worden ontwikkeld.

Over het geheel genomen valt het op dat in de methoden van ECOTEC/ECORYS de sociale dimensie van het programma vrijwel volledig onder de noemer culturele participatie en deels receptie wordt geschaard. De proefindicatoren zijn erg gericht op het meten van kwantitatieve data (aantallen) en dat is niet erg zinvol. Het zegt namelijk weinig over de waarde van culturele participatie. Aanvullend worden interviews met belanghebbenden voorgesteld als een manier om kwalitatief onderzoek te doen, maar het is onduidelijk wat er precies wordt gevraagd en nagegaan. Het zou verstandig zijn dit nader te bepalen om meer inzicht te krijgen in de percepties en meningen van participanten om vervolgens na te kunnen gaan hoe cultuurparticipatie bijdraagt aan sociale ontwikkeling. Daarnaast verdient de kwaliteit van projecten ook aandacht, omdat dit gevolgen heeft voor de mate waarin er sociale doelen kunnen worden bereikt. Als laatste zouden de methoden voor het evalueren van de impacts verder moeten worden uitgewerkt.

In haar evaluatieonderzoek van Culturele Hoofdsteden van Europa van 2007 en 2008 merkt ECOTEC met betrekking tot de sociale dimensie op dat de steden effectief waren in het implementeren van activiteiten voor het realiseren van sociale doelen, met name in het verbreden van de toegang tot cultuur en de participatie in vrijwilligerswerk. Daarnaast is er bewijs dat de toegang tot culturele evenementen en participatie in culturele activiteiten is gestegen, ook voor bepaalde expliciete doelgroepen. Echter wordt er ook door ECOTEC/ECORYS, evenals in de alinea hierboven, opgemerkt dat de sociale dimensie van het programma van Culturele Hoofdsteden van 2007-2009 nog hoofdzakelijk bestaat uit het verbreden van toegang

66 tot cultuur en het vergroten van de participatie in het evenement (ECOTEC 2009, p. viii). Steden moeten er juist op letten dat de sociale dimensie van het programma niet enkel bestaat uit het vergroten van de toegang tot cultuur (ECOTEC 2010, p. 100). Dit is vaak wel het geval, merkte Palmer (2004) ook al op in zijn rapport over Culturele Hoofdsteden van Europa van 1995-2004. Het meten van participatie en bezoekersaantallen biedt echter geen inzicht in de realisatie van sociale doelen die er uit beoogd worden voort te vloeien, zoals het vergroten van de sociale cohesie. De evaluatie zou dan ook meer kwalitatief van aard moeten zijn om uitspraak te kunnen doen over de effecten van cultuurparticipatie op sociaal gebied.