Hoofdstuk 3. Het verbeteren van de evaluatie van de Europese dimensie
3.4 Het meten van de indicatoren
Hoe verder een niveau zich rechts in het model bevindt, hoe logischer het volgens Van den Hoogen is om op langere termijn te evalueren (2010, p. 326). Dit houdt in dat de effecten op de identiteit zich op de middellange tot lange termijn voordoen, volgens het model. De causaliteit van het model neemt overigens dan ook af naarmate het niveau hoger is; dat komt doordat de effecten dan steeds diffuser worden en steeds moeilijker, zo niet nauwelijks, alleen aan de Europese dimensie kunnen worden toegeschreven. Maar het is wel mogelijk om voor elk niveau meetmethodes toe te passen.
Esthetische waarde
Experts kunnen beoordelen in hoeverre kunstenaars een duidelijke boodschap overbrengen, en hoe ze die ten uiting brengen in relatie tot de mogelijkheden van het medium (Van den Hoogen, 2010, p. 328). In het geval van de Culturele Hoofdsteden kunnen experts beoordelen in hoeverre de culturele activiteiten een Europees karakter hebben en op welke manier de uitingsmogelijkheden van de soorten cultuur worden benut. De gangbare manier om artistieke waarden te beoordelen is het instellen van een onafhankelijke adviescommissie (Van den Hoogen, 2010, p. 409). Het beoordelen van de esthetisch intrinsieke waarde van - Het aantal culturele organisaties dat nieuwe Europese / internationale contacten heeft opgedaan ten opzichte van het jaar ervoor
-Het aantal culturele organisaties dat blijvende Europese / internationale contacten heeft opgedaan -Het aantal talen waarin een project beschikbaar is naast de in de stad gesproken taal/talen
-Het aantal transnationale bezoeken van de organisatie
-De geografische spreiding van de landen waarmee wordt samengewerkt
-Berichtgeving over de Europese dimensie in de nationale en internationale media -Het aantal projecten met een Europese dimensie dat extra Europese subsidie ontving
63 de Culturele Hoofdsteden vereist experts uit verschillende kunst- en cultuursectoren. Gezien de problematiek rondom het raadplegen van belanghebbenden, zoals in eerdere evaluaties van de Europese dimensie, is het instellen van een onafhankelijke commissie een aandachtspunt.
Individuele esthetische en Europese waarden en functies
Volgens Van den Hoogen zijn de individuele functies zeer lastig te evalueren, omdat niet duidelijk is of ze zich bij iedereen voordoen, en zo ja, wanneer dan. Als ze zich voordoen zijn ze daarnaast lastig eenduidig toe te kennen aan één bepaalde esthetische ervaring. De individuele waarden zijn als indicator daarom bruikbaarder dan de individuele functies. Als uit een evaluatie blijkt dat de waarden zich voordoen, dan kan wel worden aangenomen dat de functies vanzelf volgen (p. 390). Dit geldt ook voor de Europese identiteit, omdat bezoekers nog veel meer ervaring met ‘Europa’ hebben. Door de indicatoren van het culturele identificeren te gebruiken, kan specifieker worden onderzocht wat de invloed is van de Culturele Hoofdsteden. Door middel van kwantitatief én kwalitatief publieksonderzoek (enquêtes, focusgroepen, interviews) kan aangetoond worden of de intrinsieke waarden daadwerkelijk zijn gerealiseerd bij het publiek (p. 389). De waarden die horen bij de Europese identiteit kunnen ook door middel van een enquête worden gemeten, waarbij kan worden verondersteld dat het effect op de Europese identiteit volgt, omdat deze waarden bij het culturele identificeren met Europa horen. De individuele esthetische waarden en functies en de Europese waarden en functies kunnen dus op dezelfde manier worden gemeten.
Het bereik van de Europese activiteiten kan op dezelfde manier worden geëvalueerd als het bereik van culturele activiteiten in het algemeen, hoewel deze gegevens vooral kwantitatief zijn. Informatie over de bezoekers kan achterhaald worden door middel van enquêtes.
Maatschappelijke Europese waarde
Voor de Culturele Hoofdsteden zou het onderzoek naar veranderingen in de Europese identiteit op meerdere niveaus kunnen plaatsvinden: op het niveau van de stad, het land, en Europa. Dit onderzoek hoeft niet helemaal door de Culturele Hoofdsteden te worden uitgevoerd, maar dit kan bijvoorbeeld plaatsvinden door een vraag in de Eurobarometer, zoals Palmer / Rae Associates voorstellen (2004, vol. 1., p. 131). Het gaat dan om het onderzoeken van de waarden van het ‘culturele identificeren’ in relatie tot de Culturele Hoofdsteden van dat jaar. Als de Eurobarometer deze gegevens structureel gaat onderzoeken, dan kunnen Culturele Hoofdsteden met elkaar worden vergeleken, of kunnen landen die wel of niet een Culturele Hoofdstad hebben gekend met elkaar worden vergeleken. Het apart onderzoeken van de collectieve Europese identiteit omdat de relatie tussen de individuele Europese identiteit en de collectieve Europese identiteit niet direct is. Het is dus niet mogelijk om bijvoorbeeld de gegevens over de culturele individuele Europese identiteit uit twee evaluaties van Culturele Hoofdsteden van hetzelfde jaar bij elkaar op te tellen.
64
Secundaire waarden
Een aantal secundaire waarde-indicatoren zijn relevant voor de Europese dimensie. Europese samenwerking is één van de speerpunten van het EU-beleid ten opzichte van de Culturele Hoofdsteden, en de meest gebruikte invulling van de Europese dimensie. Deze samenwerking moet in het model van Van den Hoogen echter worden opgevat als secundaire waarde, omdat het een middel is om Europa te representeren en verbeelden. In de Kandidaatgids wordt dit onderscheid tussen inhoudelijke en uitvoerings-onderdelen van de Europese dimensie wel, gemaakt, maar in de praktijk blijken de Culturele Hoofdsteden en de evaluaties dit onderscheid niet te maken. Dat is niet verwonderlijk, omdat de EU de Europese samenwerking ook als doel ziet. Waarschijnlijk worden de Europese waarden en de doelstellingen van de Culturele Hoofdsteden verondersteld hier vanzelf uit voort te komen. De gegevens voor het meten van de secundaire waarde kunnen allemaal door de Culturele Hoofdsteden worden verzameld.
65
Conclusie
'We didn't explicitly promote Europe on banners, although we were very aware of the European dimension'
(Stavanger 2008, in ECOTEC, 2009, p. 82).
De Culturele Hoofdsteden van Europa zetten zich sterk in voor de Europese dimensie. Door het organiseren van een breed scala aan Europese culturele activiteiten menen ze bij te dragen aan de totstandkoming van de doelstellingen van de Europese dimensie: het samenwerken tussen culturele actoren uit verschillende EU-lidstaten, de aandacht vestigen op de rijke culturele diversiteit in Europa en het naar voren brengen van de gemeenschappelijke aspecten van Europese culturen (Besluit 1622/2006/EG). Uiteindelijk leiden deze Europese activiteiten tot meer identificatie met Europa, is de gedachte van de EU. Het is op dit moment echter nog maar de vraag of aangetoond kan worden dat de Europese dimensie van de Culturele Hoofdsteden de doelstellingen waarmaakt, en welke effecten de dimensie heeft in de maatschappij. Daarom was het nodig te onderzoeken hoe de Europese dimensie werd gedefinieerd en uitgewerkt, hoe de Europese dimensie tot nu toe werd geëvalueerd, en welke verbeteringen hierbij mogelijk zijn.
De eerste deelvraag van dit onderzoek luidde: “Hoe wordt de Europese dimensie gedefinieerd door de EU en
ingevuld en uitgewerkt door de Culturele Hoofdsteden?” De Europese dimensie van de Culturele Hoofdsteden
kan blijkbaar bijna alles zijn waar ‘Europees’ voor staat. Vanuit de Kandidaatgids van de EU zijn er maar liefst zeventien manieren om de Europese dimensie te interpreteren. De formuleringen van de Culturele Hoofdsteden lieten veel ruimte tot interpretatie, door het metaforische taalgebruik en omdat de definities erg op elkaar leken (‘op de Europese kaart’, ‘bruggen’, ‘Europa naar de stad halen’). De uitwerking van de Europese dimensie in activiteiten door de Culturele Hoofdsteden van 2000 tot en met 2009 bleek vooral gericht te zijn op resp. ‘Samenwerkingen, coproducties en tournees met kunstenaars en organisaties uit andere Europese landen’, ‘Projecten met een Europese thematiek’, ‘Uitwisselingen en gastverblijven van Europese kunstenaars’, en ‘Erfgoed, geschiedenis en identiteit’. Podiumkunsten (dans, theater, muziek, opera) zijn de meest gebruikte kunstvormen binnen de Europese dimensie, maar een groot aantal kunstvormen komt in bijna gelijke mate terug in de uitvoering.
De tweede deelvraag luidde “Hoe werd de Europese dimensie van Culturele Hoofdsteden van Europa tot nu toe
geëvalueerd?” Er bleken vijf evaluaties van de Europese dimensie te zijn in de periode 2000 tot 2010. De
evaluaties zijn erg gericht op het beschrijven van activiteiten en van de mening van belanghebbenden. De Europese effecten van de Culturele Hoofdsteden in de maatschappij op de lange termijn wordt verondersteld hieruit te volgen. Het is echter niet mogelijk om een activiteitenverslag rechtstreeks te relateren aan een globale doelstelling, dit vereist een operationalisering van hoofddoelstellingen in subdoelen en activiteiten. De gegevens waarop de evaluaties van de Europese dimensie zijn gebaseerd, bestaan voor een groot deel uit de mening van het grote aantal belanghebbenden van het evenement. Het bleek een risico om te sterk te leunen op deze meningen, omdat de onafhankelijkheid en betrouwbaarheid van de evaluaties hierdoor in het geding komt. Deze twee geconstateerd problemen, de gebrekkige operationalisering van doelstellingen en het
66 sterk leunen op de mening van belanghebbenden, zijn niet alleen toe te passen op de Europese dimensie. Ook zijn het zaken waar de Culturele Hoofdsteden in de toekomst zelf op kunnen letten. Aangezien dit onderzoek een literatuuronderzoek is, is het niet passend dit voor hen te doen.
Er bleek echter nog een andere tekortkoming te zijn in de huidige evaluaties, die in het laatste hoofdstuk uitgewerkt is. De EU verwacht veel ‘Europeesheid’ van de Culturele Hoofdsteden. Impliciet wordt ook verwacht dat de Europese dimensie bijdraagt aan het bevorderen van de Europese identiteit. Levert het organiseren van Europese culturele activiteiten echt meer Europees gevoel en identificatie op? Deze vraag kan beantwoord worden indien de Europese dimensie van de Culturele Hoofdsteden geëvalueerd wordt. Zo kan een beter begrip ontstaan over in hoeverre bijgedragen kan worden aan deze doelstellingen door Europese kunst- en cultuurevenementen in één Europese stad te organiseren, voor de duur van één jaar. Tot nu toe werd de perceptie van Europeesheid onder bezoekers en inwoners van de Culturele Hoofdsteden op een kwantitatieve manier gemeten, door een enquête met de vraag ‘Hoe Europees voelt u zich?’.
De esthetische ervaring van kunst en cultuur heeft als intrinsiek effect dat de, in dit geval Europese, identiteit wordt bevestigd of ontwikkeld, afhankelijk van het wel of niet kunstzinnige karakter van de esthetische ervaring. Podiumkunsten en erfgoed leiden met name tot een gevoel van ‘thuishoren’, omdat ze meer dan andere kunstvormen in staat zijn een gemeenschap te representeren. Deze kunstvormen worden ook veel ingezet door de Culturele Hoofdsteden, binnen de Europese dimensie. Als een identiteit ter discussie wordt gesteld door een culturele activiteit, dan kunnen bezoekers die ontwikkelen of een nieuwe vorm van identificeren ervaren. De identificatie met Europa blijkt in twee delen te kunnen worden opgedeeld, het culturele en het burgerlijke identificeren. De waarden van het culturele identificeren kunnen worden gerelateerd aan de esthetische ervaring op het individuele niveau, en aan effecten op het maatschappelijk niveau. Dit leidt uiteindelijk tot een model voor het evalueren van de Europese dimensie, met name de effecten op de Europese identiteit. Hiermee is ook de hoofdvraag beantwoord: Hoe kan de evaluatie van de
Europese Dimensie van de programma’s van de Culturele Hoofdsteden van Europa verbeterd worden?
De Culturele Hoofdsteden zelf blijken de evaluatie te kunnen verbeteren door een betere operationalisering van doelen van de Europese dimensie, en door minder sterk te leunen op de mening van belanghebbenden als bron van informatie. De evaluatie van de Europese dimensie kan bovendien verbeterd worden door het evalueren van het effect van de Europese dimensie op de Europese identiteit. De evaluatie kan gebaseerd zijn op waarden gebaseerd op het culturele identificeren. Deze zijn uitgewerkt in een model voor de evaluatie van de Europese dimensie, waarbij de verantwoordelijk voor evaluatie op verschillende niveaus wordt gedeeld door de Culturele Hoofdsteden en de EU.
Uiteindelijk zijn de effecten van de Europese dimensie enigszins diffuus, omdat het effect op de Europese identiteit een veranderlijk en persoonlijk proces bij de toeschouwer is. De effecten kunnen zowel positief als negatief zijn. Zo kan het benadrukken van ‘Europa’ in theorie zorgen voor vervreemding onder inwoners die zich niet gerepresenteerd voelen in Europa, of die zich niet herkennen in de aangeboden kunstvormen. Daarnaast is het bevorderen van de Europese identiteit een precaire aangelegenheid, omdat de lidstaten allen
67 ook een eigen cultuur hebben die ze willen beschermen. Hoewel een groter bewustzijn van de Europese identiteit niet per sé gepaard gaat met minder identificatie met het land, kan het streven van de EU toch als een bedreiging worden opgevat door de lidstaten. Bij de Culturele Hoofdsteden speelt ook de stedelijke identiteit een grote rol. Het benadrukken van de eenheid en verscheidenheid van Europese culturen en van verschillende geografische niveaus kan leiden tot verwarring.
Deze verwarring is echter inherent aan het Europese beleid en meningvorming over de EU als geheel. Evaluaties zouden wel kunnen onderzoeken hoe de artistieke visie binnen de Europese dimensie van de Culturele Hoofdsteden deze spanning aanspreekt en onderzoekt. Als deze informatie wordt gekoppeld aan de ontwikkeling van de Europese identiteit op het niveau van de bezoekers, het publiek en de Europese maatschappij, dan kan de Europese dimensie beter begrepen worden. Hierdoor kunnen de Culturele Hoofdsteden en de EU toekomstig beleid effectiever formuleren, omdat er een meer realistische inschatting gemaakt kan worden van de effecten die culturele activiteiten hebben op de Europese perceptie en identiteit, en hoe en bij wie deze effecten zich voordoen. Dan blijkt in hoeverre de Europese dimensie van de Culturele Hoofdsteden daadwerkelijk ‘een gevoel van trots en toebehoren’ kan realiseren.
68
Bibliografie
Balsas, C.J.L. (2004). City centre regeneration in the context of the 2001 European Capital of Culture in Porto, Portugal. Local Economy, 19(4), 396-410.
Bruter, M.(2003) ‘Winning hearts and minds for Europe: news, symbols, and civic and cultural European identity’, Comparative Political Studies, 36(10): 1148–79.
Bruter, M. (2004) ‘On what Citizens Mean by Feeling “European”: Perceptions of News, Symbols, and Borderlessness’. Journal of Ethnic and Migration Studies, p. 21-39.
Bruter,M. (2009) 'Time Bomb: The Dynamic Effect of News and Symbols on the Political Identity of European Citizens'. Comparative Political Studies vol. 42.12, p. 1498-1538.
Cogliandro, G. (2001) European Cities of Culture for the Year 2000. A Wealth of Urban Cultures for Celebrating
the Turn of the Century. www.europa.ue.int. Geraadpleegd op 28-02-2011.
Delanty, G., C. Rumford (2005) Rethinking Europe. Social Theory and the Implications for Europeanization. London/New York: Routledge.
ECOC Policy Group (2010), An international framework of good practice in research and delivery of the
European Capital of Culture programme, Education and Culture DG: Brussel.
ECOTEC (2009), Ex-Post Evaluation of 2007 and 2008 European Capitals of Culture. Final Report, Annexes. Birmingham: ECOTEC Research and Consulting Ltd.
ECOTEC (2010), Ex-Post Evaluation of 2009 European Capitals of Culture. Final Report to DG Education and
Culture of the European Commission in the context of the Framework Contract for Evaluation Related Services and Support for Impact Assessment, (EAC/03/06), Birmingham: ECOTEC Research and Consulting Ltd.
Evans, G. (2000) ‘Measure for Measure: Evaluating Performance and the Arts Organisation’,
Studies in Cultures, Organisations and Societies, vol. 6., pp. 243-266.
Evans, G. (2003) Hard-branding the cultural city—from Prado to Prada, International Journal
of Urban and Regional Research, 27(2), pp. 417–440.
García, B. (2005) Deconstructing the City of Culture: The Long-term Cultural Legacies of Glasgow 1990. Urban
Studies, Vol. 42(5/6): pp.841-868.
Gielen, P. en R. Laermans (2005) Cultureel Goed, Over het (nieuwe) erfgoedregiem. Lannoo: Leuven
Gielen, P. (2007) De onbereikbare binnenkant van het verleden. Over de enscenering van het culturele erfgoed. Lannoo: Leuven
Gordon, C. (2010) 'Great expectations - the European Union and cultural policy: fact or fiction?', International Journal of Cultural Policy, 16: 2, 101 — 120.
Hamersveld, I. van, A. Sonnen (2010) Identifying with Europe: Reflections on a Historical and Cultural Canon
69 Herrero, L.C., J.A Sanz, M. Devesa, A. Bedate, M.J. Del Barrio (2006). ‘The economic impact of cultural events: a case-study of Salamanca 2002, European capital of culture’. European Urban and Regional Studies, 13(1), 41-57.
Hitters, E. (2000) 'The social and political construction of a European cultural capital: Rotterdam 2001', International Journal of Cultural Policy, 6: 2, 183 — 199
Holtkamp, D. Meyer. (2006) ‘Bologna and Cork: A compare and contrast analysis of the short-, medium- and
long-term effects of the European Capital of Culture’ Master-thesis, National University Ireland, University
College Cork.
Hoogen, Q. van den (2010) Performing Arts and the City – Dutch municipal cultural policy in the Brave New
World of evidence-based policy. Groningen: Rijksuniversiteit Groningen. http://irs.ub.rug.nl/ppn/327486783
Geraadpleegd op 18-06-2011.
Ifversen, J. (2002) 'Europe and European culture - a conceptual analysis', European Societies, 4: 1, 1 — 26
InTeReg (2004) Graz 2003 Kulturhauptstadt Europas. Eine Analayse Der Wirtschaftlichen Auswirkungen. (Graz): Joanneum Research
Langen, F., B. García (2009) Measuring the Impacts of Large Scale Cultural Events: A Literature Review. Impacts
08 Background report.
http://www.liv.ac.uk/impacts08/Papers/Impacts08FLangen_and_BGarcia_May_2009_Events_Review.pdf, geraadpleegd op 10-06-2011.
Langen, F. (2010) EU Cultural Policy 1974-2007, PhD Thesis, University of Glasgow Lawson, G. (2007) ‘Cultuur kan bruggen slaan’ in Boekman 19, 70, voorjaar, p. 18-24
Maanen, H. van (1998) ‘C of K in CKV, Over de vervuiling van het kunstbegrip’ in Van den Hoogen, Q., R. Bos, I. Nutma (eds.) State of the Art. 15 jaar denken over kunst en kunstbeleid. Groningen: Uitgeverij Passage, p. 23-46. Maanen, H. van (2009) How to study Art Worlds, On the Societal Functioning of Aesthetic Values,
Amsterdam: Amsterdam University Press.
McCormick, J. (2008), Understanding the European Union. A Concise Introduction. New York: Palgrave MacMillan.
McGuigan, J. (2009) 'Doing a Florida thing: the creative class thesis and cultural policy', International
Journal of Cultural Policy, 15: 3, p. 291 - 300.
Mokre, M. (2003) “Identity matters. On European Cultural Policy” http://eipcp.net/policies/aecp/mokre/en , geraadpleegd op 08-04-11.
Mokre, M. (2007) “European Cultural Policies and European Democracy”. The Journal of Arts Management,
Law and Society, 37(1): p. 31-47.
Myerscough, J. (1994) European Cities of Culture and Cultural Months, Glasgow: Network of Cultural Cities of Europe.
70 Palmer/Rae Associates (2004) European Cities and Capitals of Culture. Study Prepared for the European
Commission, 2 volumes. Brussel: Palmer/Rae Associates.
Pichler, F. (2008) Social-Structural Differences in Identification with Europe. Perspectives on European Politics
and Society, Vol. 9, No. 4, p. 381–396.
Pollitt, C. (1999) ‘Stunted by stakeholders? Limits to collaborative evaluation’ Public Policy and
Administration, 14 (2), p. 77 - 90.
Quinn, B., E. O’Halloran, (2006) Cork 2005. An Analysis of Emerging Cultural Legacies. Dublin: University of Dublin.
Richards, Greg, (2000). The European cultural capital event: strategic weapon in the cultural arms race?
International Journal of Cultural Policy, 6(2), 159-81.
Richards, G., E. Hitters, C. Fernandes (2002) Rotterdam and Porto, Cultural Capitals 2001: Visitor research, ATLAS Association for Tourism and Leisure Education, Universiteit van Tilburg.
Richards, G. (2008). Luxembourg and Greater Region, European Capital of Culture 2007 : Final Report. Barcelona: TRAM.
Roth, S., S. Frank (2000). Festivalization and the Media: Weimar, Cultural Capital of Europe 1999, Weimar: Faculty of Architecture, Bauhaus University.
Sassatelli, M. (2002) Imagined Europe. The shaping of a European cultural identity through EU cultural Policy,
European Journal of Social Theory, Vol 5 No 4, p. 435-451
Sassatelli, M. (2008). The European and Cultural Space in the European Cities of Culture. European Societies, 20 (2). p. 225-245
Sassatelli, M. (2009), Becoming Europeans: cultural identity and cultural policies. Basingstoke: Palgrave Macmillan.
SICA/CCP Nederland, Europese financiering. http://www.sica.nl/content/nl-europese-financiering, geraadpleegd op 10-06-2011.
Schuster, J.M. (1997) ‘The Performance of Performance Indicators in the Arts’, Nonprofit
Management & Leadership, vol. 7 (3) spring 1997, p. 253-269.
Stone, M. M., B. Bigalow, W. Crittenden (1999). Research on Strategic Management in Nonprofit Organizations: Synthesis, Analysis, and Future. In Administration & Society, 31, p. 378-423.
Yeoman, R., M. Robertson, J. Ali- Knight, S. Drummond, U. McMahon-Beattie, (eds) (2001), Festival and events
71 EU documenten
Artikel 167, Verdrag van Lissabon, 30.3.2010 NL Publicatieblad van de Europese Unie C 83/121 Geconsolideerde versie van het Verdrag betreffende de werking van de Europese Unie, p. 121-122. Besluit nr. 1419/1999/EG van 25 mei 1999 tot vaststelling van een communautaire actie voor het evenement 'Culturele Hoofdstad van Europa' voor de periode 2005 tot 2019. OJ L 166/1-5,
01/07/1999
Besluit nr. 1622/2006/EG van 24 oktober 2006 tot vaststelling van een communautaire actie voor het evenement 'Culturele Hoofdstad van Europa' voor de periode 2007 tot 2019, OJ L L 304/1,