Validiteit
De vergelijkende waarde-indicatoren net als alle inhoudelijke waarde-indicatoren multidimensionaal, omdat ze rekening houden met sociale en culturele context van de
museumspecifieke taken. De indicatoren meten de prestaties over het behoud en beheer van een collectie, de ontwikkeling van de collectie en het (potentiële) gebruik van de collectie. Een object
48 met een hoge vergelijkende waarde draagt bij aan het reservoir van mogelijkheden dat de collectie voor het museum is. Bovendien ondersteunen de vergelijkende waarde-indicatoren de inhoudelijke waarden en verhogen of verlagen ze de inhoudelijke waarde-indicatoren. Een object dat in goede staat is, authentiek en compleet is en waarmee diverse verbanden binnen de collectie kunnen worden gelegd heeft een hogere esthetische waarde (gaafheid), associatieve waarde (authenticiteit) en informatieve waarde (compleetheid, gaafheid en verbanden). Een collectie met een hoge waarde is een waardevoller reservoir van mogelijkheden, waardoor op langere termijn de collectie meer overlevingskansen.
Missiegerichtheid
De meeste vergelijkende waarde-indicatoren zijn een beetje missiegericht. Het gaat om indicatoren over de staat, compleetheid en bijvoorbeeld de authenticiteit van de objecten in de collectie. Deze indicatoren zijn een beetje missiegericht, omdat bij het goed uitdragen van de culturele en sociale missie een hoogwaardige collectie van belang is. De inhoudelijke waarde van de collectie hangt naast de inhoudelijke betekenis ook af van de vergelijkende waarde. De impact van een gaaf object waarmee veel kruisverbanden in de collectie kunnen worden gelegd, is vele male groter dan een kleine scherf van een op zichzelf staand object. Met deze laatste is de culturele, sociale en/of wetenschappelijke missie veel moeilijker uit te dragen.
De educatieve waarde, de verhaalwaarde, de tentoonstellingswaarde en de
missiegerelateerdheid van het object zijn indicatoren die direct gerelateerd zijn aan de missie. Dit zijn één-op-één indicatoren van de geschiktheid van een object voor het uitdragen van de missie van een specifiek museum. Deze indicatoren beantwoorden de vraag: in hoeverre hoort dit object in dit museum? en zijn om die reden missiegericht.
Betrouwbaarheid en controleerbaarheid
De meeste vergelijkende waarde-indicatoren zijn gebaseerd op objectief beschrijvingen van het object. De staat, conditie, intactheid, compleetheid, leeftijd en zeldzaamheid zijn objectieve
beschrijvingen van de objecten, maar dienen vervolgens te worden omgezet in een waarde-label om prestatie-evaluatie mogelijk te maken. Dit omzetten is wederom een subjectief proces, wat de betrouwbaarheid van de waarde-indicatoren niet ten goede komt.
De kwalitatieve waardering van de verhaalwaarde, educatieve waarde,
tentoonstellingswaarde en missiegerichtheid is subjectiever dan de andere vergelijkende waarden omdat het hierbij meteen al gaat om een subjectieve beschrijving die sterk afhankelijk is van de persoonlijke voorkeur (en kennis) van de waardesteller. Vervolgens moet de kwalitatieve waarde
49 ook nog worden omgezet in een semikwantitatieve waarde om als prestatie-indicator bruikbaar te zijn. Het omzetten van een subjectieve beschrijving in een subjectief semikwantitatief label draagt een dubbele subjectiviteit in zich.
Toepasbaarheid
Een deel van het vergelijkende waarde-onderzoek behoort tot het reguliere collectiewerk van een museum. Gedacht kan worden aan het waarderen van de staat, intactheid en het leggen van kruisverbanden binnen de collectie. Het waarderen van andere vergelijkende-indicatoren is minder noodzakelijk maar wordt wel gedaan. Daarbij kan gedacht worden aan het bepalen van de
educatieve waarde van objecten, maar ook de tentoonstellingswaarde, verhaalwaarde en de missiegerichtheid. Het onderzoeken van deze waarden gebeurt wanneer een museum een nieuwe museale activiteit organiseert, zoals een tentoonstelling of een educatieve dienst. Vaak wordt dan echter een selectie van de collectie gewaardeerd, en niet de gehele.
Het vergelijkend waarde-onderzoek is een kostbare activiteit binnen een museum. Het kost veel tijd en middelen om een collectie goed te beschrijven en daar vervolgens een semikwantitatieve waardering aan te koppelen. Vergelijkende waarde-indicatoren zijn daarom nauwelijks toepasbaar voor prestatie-evaluatie.
50
6. Conclusie
Zowel in theorie als praktijk wordt waarde gebruikt bij de evaluatie van collectiemanagement, zonder te vragen of waarde-indicatoren op zichzelf bruikbare indicatoren zijn bij prestatie-evaluatie; Waarden worden op onkritische wijze gebruikt bij de prestatie-evaluatie van musea. In dit
onderzoek zijn economische, esthetische, associatieve, informatieve en vergelijkende waarde- indicatoren uit vijf Nederlandse waardestellende kaders getoetst op bruikbaarheid aan de hand van de criteria (inhouds)validiteit, missiegerichtheid, betrouwbaarheid en toepasbaarheid.
Het gebruik van waarde als prestatie-indicator past in een meer contextgerichte prestatie- evaluatie van kunst en cultuur. In deze stroming staan de museumspecifieke context en de taken die daarbij horen op het gebied van beheer, behoud, ontwikkeling en communicatie voorop. Het
waarderen van erfgoed voor prestatie-evaluatie past in de visie dat een collectie een reservoir aan mogelijkheden is waaruit een museum kan putten. Een museum heeft de taak om dit reservoir zo goed mogelijk aan toekomstige generaties door te gegeven.
In de theoretische debatten en bijna alle praktijkmodellen worden economische waarde- indicatoren buiten het waarderen van erfgoed geplaatst. In de praktijk is er slechts één waarderend kader, Op de museale weegschaal, waarin economische waarde-indicatoren een plek hebben. In de erfgoedwereld is de gangbare visie dat gemusealiseerde objecten geen economische waarde meer vertegenwoordigen. Bovendien gaat het economisch waarderen volgens velen voorbij aan de inhoudelijke waarde van erfgoed. Grampp (1989) laat echter zien dat er een verband is tussen economische waarden en inhoudelijke waarden. Sterker nog, hij gaat ervan uit dat economische waarde en inhoudelijke waarde correleren. In die zin zijn economische waarden op een indirecte manier valide. Bovendien zijn er economische waarderingsmethoden die als objectiever beschouwd kunnen worden dan de inhoudelijke waarderingsmethoden. Economische waarde-indicatoren moeten dus niet zonder meer afgeserveerd worden.
Uit het onderzoek naar de waarde-indicatoren in de Nederlandse waardestellende kaders blijkt verder dat het toekennen van waarde een complex proces is met vele variabelen. Ondanks dat er waarderingsmethoden bestaan, die het waarderen trachten te uniformeren en te sturen,
ontbreekt het aan één duidelijke standaardmethode. De waarde-indicatoren in de onderzochte waardestellende kaders worden minimaal gedefinieerd waardoor ze multi-interpretabel zijn. Met name bij de complexere waarderingsmethoden, met een groot aantal waarde-indicatoren, ontbrak het aan bruikbare definities. Het gebruik van waarde-indicatoren die niet eenduidig gedefinieerd zijn, maakt het onderling vergelijken van de resultaten onmogelijk. Het gebruik van een eenduidige evaluatiemethode is noodzakelijk bij de prestatie-evaluatie. De vraag is of het mogelijk is om het
51 waarderingsproces te standaardiseren (en kwantificeren) zonder afbreuk te doen aan de gedegen proces van waardering.
Bovendien is waarderen in het algemeen een subjectief proces waarbij de abstracte waarderingsschema’s in de psyche van de waardesteller worden gebruikt. Deze schema’s kunnen veranderen door contextuele factoren als tijd, plaats, kennis, cultuur en gemoedstoestand. Het waarderingsproces is afhankelijk van vele factoren die momenteel nog onvoldoende in de gebruikte waarderingsmethoden naar voren komen. De waardestellende kaders voorzien niet in een duidelijke procesbeschrijving waarin al deze factoren worden opgenomen. Hierdoor is het tot op heden onmogelijk om het waarderen te objectiveren.
Een ander punt betreffende de subjectiviteit is dat bij prestatie-evaluatie een kwantitatief resultaat het meest bruikbaar is. De meeste waarden in de waarderingsmethoden geven een kwalitatief resultaat. Het is dus noodzakelijk om de kwalitatieve waarden om te zetten in
kwantitatieve waarden. Dit omzetten is op zichzelf weer een subjectief proces. Hierdoor ontstaat een dubbele interpretatielaag wat de betrouwbaarheid van de indicatoren niet ten goede komt.
Geconcludeerd kan worden dat waarde-indicatoren onbruikbaar zijn bij de prestatie- evaluatie van collectiemanagement.
6.1 Aanbevelingen
Uit deze scriptie blijkt dat waarde-indicatoren niet voldoen aan de eisen die binnen de
kunstmanagementaccounting aan prestatie-indicatoren worden gesteld. Toch lijkt het mij raadzaam waarde-indicatoren te gebruiken, omdat de managementdriehoek van Waller (2003) laat zien dat alle activiteiten binnen het collectiemanagement invloed hebben op de waarde. Welke indicatoren zouden anders gebruikt kunnen worden? Gebruikscijfers van de collectie? Bruikleencijfer? Het aantal geregisterde werken in de collectie? Laten deze indicatoren dan zien of een museum zijn best doet voor het behoud, de ontwikkeling en het gebruik van de collectie met als doel het optimaliseren van de waarde? Deels wel, maar ze laten alle slechts een eenzijdig beeld zien. Bovendien kunnen niet alle aspecten van het collectiemanagement hiermee worden geëvalueerd zoals het afstotings- en selectieproces. Het bruikbaar maken van de waarde-indicatoren zou uitkomst kunnen bieden. Ontwikkeling eenduidig begrippenkader
Zorloni (201) roept op tot het helder formulieren van begrippen bij de prestatie-evaluatie van musea. Het objectief waarderen van erfgoed is noodzakelijk om waarde-indicatoren te gebruiken bij de prestatie-evaluatie van musea. Zoals eerder genoemd ontbreekt het bij de waardering van erfgoed aan een helder begrippenkader die deze objectieve waardering mogelijk maakt. Hoewel er
52 al waarderingsmethodes bestaan, liet ik zien dat geen enkele complexe waarderingsmethode een geschikt begrippenkader formuleerde voor de waardering. Door gemeenschappelijke consensus zou een dergelijk begrippenkader kunnen ontstaan.
Digital humanities
Hoe kunnen waarden bruikbaar(der) gemaakt kunnen worden? Een van de grootste problemen bij waarderen is de subjectiviteit. Er zou gebruik gemaakt kunnen worden van de ideeën van de digital humanities om het interpreteren van kwalitatieve waarden te objectiveren. De digital humanities is een betrekkelijk nieuwe wetenschappelijke discipline op de grens van de computerwetenschappen en de geesteswetenschappen. In dit studiegebied zou een methode ontwikkeld kunnen worden om de kwalitatieve waardering om te zetten in een kwantitatieve. Bij een dergelijk proces zouden algoritmes kunnen helpen, die ook de zoekresultaten van zoekmachines in een hiërarchie plaatsen. Deze algoritmes zijn voor ieder geval hetzelfde, waardoor dit beschouwd kan worden als een objectieve transformatie van een kwalitatieve naar een kwantitatieve waardering.
Ook zou gedacht kunnen worden aan het koppelen van databases van de objectregistratiesystemen van diverse musea, om de subjectiviteit van het waarderen te
verminderen. Een slim geschreven applicatie koppelt objecten uit verschillende musea aan elkaar en waardeert op deze manier het Nederlandse museale landschap.
Een dergelijk systeem klinkt futuristisch, maar als we ons bedenken hoe slim een bedrijf als Google omgaat met big data is iets dergelijks niet ondenkbaar. De ontwikkeling en afstemmen van zo’n slim systeem zal echter veel tijd en middelen kosten. Bovendien moet het
waarderingsonderzoek voor een groot deel door museummedewerkers gebeuren, en blijft dat deel van het onderzoek mensenwerk. Alleen de interpretatie van de waarderingsgegevens kan door computers worden gedaan.
Inzetten op economisch waarderen
Een andere manier om de subjectiviteit te verminderen is te onderzoeken welke indicatoren correleren met de collectiewaarde en bovendien kwantitatief zijn. Hierdoor hoeven de resultaten niet meer te worden geïnterpreteerd. Voorbeelden van dergelijke indicatoren zijn gebruikscijfers van de collectie en het aantal keren dat een object in een publicatie voorkomt. Het nadeel van dergelijke indicatoren is dat ze niet de volledige waarde van een object in beschouwing nemen. Ook kan de notie van Grampp (1989) dat de economische waarde van een object samenhangt met de inhoudelijke waarde ertoe leiden dat er in de museale sector meer nadruk wordt gelegd op het economisch waarderen. Economische waarde-indicatoren kunnen dan uiteindelijk bruikbare
53 resultaten opleveren. Voordat het zover is, dient er echter meer onderzoek gedaan te worden naar de correlatie tussen inhoudelijke en economische indicatoren, aangezien Grampp (1989) slechts de correlatie op theoretische wijze suggereert.
54
Literatuur
Anderson, Maxwell Lincoln. Metrics of success in art museums. Los Angeles, CA: Getty Leadership Institute, 2004.
Bailey, Jackie en Lance Richardson. ‘Meaningful measurement: a literature review and Australian and British case studies of arts organizations conducting “artistic self-assessment”’ in: Cultural Trends, jrg. 19, nr. 4 (2010): pp. 291-306.
Bazelmans, Jos. ‘Waarde in meervoud’ in: Simon van Dommelen en Cees-Jan Pen [red]. Cultureel erfgoed op waarde geschat Economische waardering, verevening en erfgoedbeleid. Z.pl.:
Platform31, 2013a: pp. 13-24.
Bazelmans, Jos. ‘Naar integratie en maatschappelijke verbreding in de waardestelling van erfgoed’ in: Boekman, jrg. 96 (najaar 2013b): pp. 89-96.
Bergevoet, Frank, e.a. Leidraad voor het afstoten van museale objecten. Instituut Collectie Nederland, 2006.
Bergevoet, Frank. ‘Selectie, afstoting en de kencijfers’ in: Timmer, Petra [red.]. Niets gaat verloren. Twintig jaar selectie en afstoting uit Nederlandse museale collecties. Amsterdam: Boekmanstudies, 2007.
Braembussche, Antoon van den. ‘The value of art. A philosophical perspective’ in: Klamer, Arjo. The value of culture. On the relationship between economics and arts, Amsterdam: Amsterdam University Press, 1996.
Braembussche, Antoon van den. Denken over kunst: een inleiding in de kunstfilosofie. Coutinho, 2000.
Brokerhof, Agnes, e.a. [red]. Hulpmiddel bij de waardering van historische interieurs. Rijksdienst voor het Cultureel Erfgoed, 2011.
Bruijn, de Hans. ‘Performance measurement in the public sector: strategies to cope with the risks of performance measurement’ in: International Journal of Public Sector Management, jrg. 15, nr. 7 (2002): pp. 578-594.
Carnegie, Garry D. en Peter W. Wolnizer. ‘The financial value of cultural, heritage and scientific collections: an accounting fiction’ in: Australian Accounting Review, jrg.5, nr.9 (1995): pp. 31-47. Carnegie, Garry D. en Peter W. Wolnizer. ‘Enabling accountability in museums’ in: Accounting, auditing & accountability journal, jrg. 9, nr.5 (1996): pp. 84-99.
Chiaravalloti, Francesco. ‘Performance Evaluation in the Arts and Cultural Sector: A Story of Accounting at Its Margins’ In: The Journal of Arts Management, Law, and Society, jrg. 44, nr. 2 (2014): pp. 61-89.
Chiaravalloti, Francesco en Martin Piber. ‘Ethical implications of methodological settings in arts management research: the case of performance evaluation’ in: The journal of arts management, law and society, jrg. 41, nr. 4 (2011): pp. 240-266.
55 Dommelen, van Simon en Cees-Jan Pen [red]. Cultureel erfgoed op waarde geschat. Economische waardering, verevening en erfgoedbeleid. Platform31, 2013.
Drechsler, Boudewijn [red.] De techniek van het waarderen. Werkconferentie 19-11-2009. Rijksdienst voor het Cultureel Erfgoed. Rotterdam: Educom, 2010.
Erfgoedinspectie. Wet tot Behoud van Cultuurbezit. Den Haag, 2007. Erfgoedinspectie. ‘Wet Behoud van Cultuurbezit (1984)’. [website]
http://www.erfgoedinspectie.nl/collecties/wet-en-regelgeving-toezichtveld-collecties/wet-tot- behoud-van-cultuurbezit-1984. Zoals op 7 maart 2014.
Evans, Graeme. ‘Measure for measure: evaluating performance and the arts
organisation’ Studies in cultures, organizations and societies, jrg. 6, nr.2 (2000): pp. 243-266. Franssen, B., P.G. Scholte en M. Aaltink. Handboek voor cultureel ondernemen in Nederland. Uitgeverij Van Gorcum, 2009.
Gemredactie [red.] De praktijk van het waarderen. Paleis Soestdijk als casus voor integrale waardering. Werkconferentie 15-11-2010. Rijksdienst voor het Cultureel Erfgoed. Rotterdam: Educom, 2011.
Grampp, William Dyer. Pricing the priceless: art, artists, and economics. New York: Basic Books, 1989.
Groot, de A.D. Methodologie: grondslagen van onderzoek in de gedragswetenschappen. Den haag: NVAO, 1981.
Hendrikx, J.A. Cultuurhistorie van stad en land: waardering en behoud. Utrecht: Matrijs, 1999. Hermans, Richard [red.]. Voor de eeuwigheid? Over collectiebeleid in Nederland. Rotterdam: Nai Uitgevers Rotterdam, 2008.
Holden, John. Capturing cultural value. How culture has become a tool of government policy. Demos, 2010.
ICOM. Ethische code voor musea. Z.pl., 2006. < http://icom.museum/the-vision/code-of- ethics/translations/> Zoals op 2 maart 2014.
Jeurgens, K.J.P.F.M., A.C.V.M Bongenaar en M.C. Windhorst [red.]. Gewaardeerd verleden: bouwstenen voor een nieuwe waarderingsmethodiek voor archieven. Commissie Waardering en Selectie, 2007.
Klamer, Arjo. The value of culture: On the relationship between economics and arts. Amsterdam: University Press, 1996.
Klamer, Arjo. ‘Accounting for social and cultural values’ in: De Economist, jrg. 150, nr. 4 (2002): pp. 453-473.
56 Kok, A. en P. NIjhof. Erfgoed dat beweegt! Waardering van de mobiele collectie Nederland. Amsterdam: ICN RACM, 2006.
Lev, Baruch. ‘Remarks on the measurement, valuation, and reporting of intangible assets’ Economic Policy Review (september 2003).
Lévy-Garboua, Louis en Claude Montmarquette. The demand for the arts. CIRANO, 2002. Lipe, William D., ‘Value and Meaning in Cultural Resources’ in: Henry Cleere [red.]. Approaches to the Archaeological Heritage. Cambridge: Cambridge University Press, 1984: pp. 1-11. Luger, Tessa. Op de museale weegschaal. Collectiewaardering in zes stappen. Amersfoort: Rijksdienst voor cultureel erfgoed, 2013.
Luger, Tessa en Josefine Leistra [red.]. Handreiking voor het schrijven van een collectieplan. Instituut Collectie Nederland. Amsterdam: Instituut Collectie Nederland en Stichting Landelijk Contact van Museumconsulenten, 2008.
Marlet, Gerard, e.a., De schat van de stad. Atlas Nederlandse Gemeenten. Utrecht: Atlas van Nederlandse Gemeenten, 2011.
Mensch, van Peter. ‘Collectieontwikkeling of geld verdienen? De dilemma’s van het afstoten van museumvoorwerpen’ in: Kunstlicht, jrg. 29 (2008).
Ministerie van Welzijn, Volksgezondheid en Cultuur. Deltaplan voor het cultuurbehoud:
inventarisatie van achterstanden in collectiebeheer en -behoud bij musea en rijksarchieven. Den Haag: Ministerie van Welzijn, Volksgezondheid en Cultuur, 1990.
Paulus, Odile. ‘Measuring museum performance: A study of museums in France and the United States’ in: International Journal of Arts Management, jrg. 6, nr. 1 (herfst 2003), pp. 50-63. Rappard-Boon, van Charlotte. ‘MusIp’ in: Marianne de Rijke [red.]. Museumcollecties indelen. Een nieuw instrument voor collectiebeheersing. Utrecht: Stichting Ondersteuning Musea, 2000. Rouwendal, Jan. ‘Erfgoed is maatschappelijk kapitaal’ in: Boekman, jrg. 96 (najaar 2013a) Rouwendal, Jan. Oud goud. Economische waardering van cultureel erfgoed, 2013b.
Timmer, Petra [red.]. Niets gaat verloren. Twintig jaar selectie en afstoting uit Nederlandse museale collecties. Amsterdam: Boekmanstudies, 2007.
Vecco, Marilena en Michele Piazzai. ‘Deaccessioning of museum collections: What do we know and where do we stand in Europe?’ in: Journal of Cultural Heritage (2014).
Waller, R. Cultural property risk analysis model: development and application to preventive conservation at the Canadian Museum of nature. Goteborg: Acta Universitatis Gothoburgensis, 2003.
Wet tot Behoud van Cultuurbezit. <http://wetten.overheid.nl/BWBR0003659>. Geldend op 7 maart 2014.
57 Zorloni, Alessia. ‘Managing performance indicators in visual art museums’ in: Museum
management and curatorship, jrg. 25, nr. 2 (2010): pp. 167-180.
Zorloni, Alessia. ‘Designing a Strategic Framework to Assess Museum Activities’ in: International journal of arts management, jrg. 14, nr. 2 (2011).
58