Dit hoofdstuk behandelt de methodologie van het onderzoek. In de eerste paragraaf staat de methode van onderzoek centraal; is er gekozen voor een kwantitatieve of kwalitatieve onderzoeksbenadering, of wellicht een combinatie van beiden? Na de vaststelling van de onderzoeksbenadering volgt een uiteenzetting van de daaraan gerelateerde methoden van dataverzameling. In paragraaf 4.3 vervolgens een uitgebreide uitleg van de casusselectie; hoe is deze tot stand gekomen en tot welke concrete instellingen richt het onderzoek zich? Na de verantwoording van de casusselectie volgt een uitleg van de data analyse en zullen de te meten variabelen in dit onderzoek worden geoperationaliseerd. In paragraaf 4.5 ten slotte een blik op de kwaliteit van het onderzoek; hoe betrouwbaar en valide zijn de resultaten?
4.1 Methoden van onderzoek; mixed methods
Dit onderzoek beoogt inzicht te brengen in de verschillen in adaptiviteit tussen culturele instellingen na de recente oproep tot meer ondernemerschap en minder afhankelijkheid van de overheid, teneinde deze verschillen te verklaren. Waarom lukt het bepaalde instellingen beter om zich aan te passen aan veranderingen in hun omgeving, zoals de fluctuerende subsidiestromen, dan andere? Het onderzoek is allereerst beschrijvend van aard, in de zin dat er een nauwkeurige beschrijving gegeven dient te worden van de cases, de onderzochte culturele instellingen- en hun organisatorische aanpassingen als gevolg van veranderingen in de omgeving. Dit beschrijvende deel resulteert in een systematische beschrijving van de (veronderstelde) verschillen in adaptiviteit tussen culturele instellingen. Voordat er verklaringen in beeld komen moet er immers een helder beeld bestaan van de verschijnselen waarover je gegevens wilt verzamelen (Robson, 2002). Dit beschrijvende deel is een voorloper van het verklarende deel van het onderzoek; hoe kunnen de eerder beschreven verschillen nu worden verklaard? Het tweede deel van het onderzoek is verklarend van aard omdat naar de waarschijnlijke oorzaken van een verschijnsel wordt gezocht. Volgens Saunders (2006) legt verklarend onderzoek verbanden tussen variabelen; de nadruk ligt eerst op het bestuderen van een situatie, om vervolgens daaruit de verbanden tussen variabelen te verklaren.
• 50
Bij een bestuurskundig onderzoek kan zowel een kwalitatieve als een kwantitatieve onderzoeksbenadering gehanteerd worden. Kwalitatief onderzoek focust zich vooral op onderwerpen die gaan over de manier waarom mensen betekenis geven aan hun (sociale) omgeving en de wijze waarop zij hun gedrag hierop baseren (Boeije, 2006). De kwalitatieve methodiek beoogt onderwerpen vanuit het oogpunt van de onderzochte actoren te benaderen, met als uiteindelijke doel hun perspectief op de sociale omgeving te beschrijven en indien mogelijk (en noodzakelijk) te verklaren (Boeije, 2006). Kwalitatief onderzoek richt zich volgens Bleijenberg (2013) met name op talig materiaal zoals verslagen en transcripties van interviews. Bij kwantitatief onderzoek wordt eerder gebruik gemaakt van voorgestructureerde methoden van dataverzameling, gericht op het verkrijgen van veelal cijfermatig materiaal zoals hoeveelheden (Boeije, 2006). Experimenten en enquêtes zijn voorbeelden van kwantitatieve dataverzameling. Waar kwalitatief onderzoek vaak brede onderzoeksvragen beantwoordt, richt kwantitatief onderzoek zich meer op gesloten smalle vragen. Omdat een onderzoeker bij kwantitatief onderzoek over relatief veel voorkennis beschikt, kan de vraag toegespitst worden op een specifiek onderwerp dat numeriek te beantwoorden is.
Om tot een antwoord op de onderzoeksvraag te komen zijn in dit onderzoek zowel kwantitatieve als kwalitatieve methoden van dataverzameling noodzakelijk, elk met een ander doeleinde. Om allereerst zicht te krijgen op de verschillen in adaptiviteit tussen culturele instellingen is een kwantitatieve onderzoeksbenadering gewenst; door voorgestructureerde methoden van dataverzameling kan van een groot aantal culturele instellingen bepaald worden in hoeverre zij zich adaptief hebben opgesteld na de recente bezuinigingen. Middels een veelal beschrijvend onderzoek naar cijfermatig materiaal kan in kaart worden gebracht op welke wijze culturele instellingen van elkaar verschillen als het gaat om hun adaptief vermogen. Om tot daadwerkelijke verklaringen voor deze verschillen te komen biedt cijfermatig materiaal geen uitsluitsel; het verhaal achter de cijfers is noodzakelijk. Door het cijfermatige kwantitatief verkregen materiaal te verrijken met talig materiaal uit kwalitatieve onderzoeksmethoden, kunnen de verschillen worden verklaard. Kwalitatief onderzoek richt zich immers op menselijk handelen en de achtergronden en motieven daarvoor. Door te onderzoeken welke organisatorische handelingen aan de prestaties van een culturele instelling voorafgingen, ontstaat een beeld van de causale relatie tussen de mate van adaptiviteit en de daaraan ten grondslag liggende voorwaarden.
In dit onderzoek is kortom gekozen voor een combinatie tussen een kwalitatieve en kwantitatieve onderzoeksbenadering, elk in een andere fase van het onderzoek. Tashakkori en Teddlie (1998) noemen een dergelijk onderzoek ook wel een mixed methods onderzoek. Brewer
• 51
en Hunter (2006) beschrijven een aantal voordelen van dergelijke methodiek. Allereerst kennen theorieën geen conventionele methodologische grenzen; dezelfde theorie kan zowel in
een kwalitatief als een kwantitatief onderzoek gebruikt worden. De auteurs geven daarbij aan dat het niet kwaad kan om een onderwerp dat vaak door een bepaalde methode wordt onderzocht, eens vanuit een ander perspectief te benaderen. Variabelen die altijd kwalitatief worden benaderd kunnen in een geheel ander daglicht worden gesteld wanneer een onderzoeker besluit de variabele kwantitatief te benaderen middels een schaalverdeling. Bovendien haalt een onderzoeker bij mixed methods onderzoek het beste uit twee werelden; waar het kwantitatieve onderzoek tekort schiet, biedt het kwalitatieve onderzoek een mogelijke uitkomst, en vice versa. Kiezen voor één benadering betekent dat bepaalde informatie achterwege wordt gelaten, wat soms kan leiden tot onvolledige conclusies. De resultaten van mixed methods onderzoek zijn vaak rijker van aard (Brewer & Hunter, 2006).
Langdridge et al. (2009) onderscheiden vier modellen voor mixed methods onderzoek, waarbij de volgorde en verhouding tussen het kwantitatieve en kwalitatieve deel telkens verschillen. Gezien het feit dat dit onderzoek de veronderstelde verschillen in adaptiviteit in beeld wil krijgen, om ze vervolgens te verklaren, is gekozen voor het derde model; het model van profoundisation (diepgang), zie figuur 5. Deze methode begint met de kwantitatieve onderzoeksmethode, welke resulteert in de eerste resultaten. Vervolgens verrijkt het kwalitatieve deel belangrijke aspecten van de resultaten uit het kwantitatieve deel. Kwantitatieve data alleen zijn echter niet voldoende om ook tot verklaringen van verschillen in adaptiviteit te komen. De onafhankelijke variabele in dit onderzoek, het strategisch management van culturele instellingen, blijkt daarbij nauwelijks te kwantificeren. De wijze waarop de omgeving wordt gemonitoord, de mate van interactie binnen een organisatie of de wijze waarop een organisatie haar doelen vaststelt, zijn nu eenmaal niet te vatten in cijfers. Kwalitatieve data bieden meer mogelijkheden, bijvoorbeeld middels interviews. Volgens Langdridge et al. (2009) kan het model van profoundisation bovendien nuttig zijn bij onderzoeken van ongebruikelijke aspecten van data en het uitleggen van mechanismen. Daar lijkt dit onderzoek op uit te zijn; vanuit kwantitatieve gegevens over de verschillen in adaptiviteit, worden kwalitatieve gegevens verkregen om tot verklaringen te komen.
• 52
Kwantitatief onderzoek Resultaten Kwalitatief onderzoek
De keuze voor een mixed methods onderzoek heeft echter ook implicaties. Kritiek bestaat op de tegenstrijdigheid in epistemologische verplichtingen die beide benaderingen met zich meebrengen. Kwantitatief en kwalitatief onderzoek hebben volgens deze critici een tegenovergestelde blik over hoe de omgeving bestudeerd dient te worden. De epistemologische positie verwant aan een methode zoals een participerende observatie staat bijvoorbeeld haaks op het positivistische onderzoek; deze heeft eerder kenmerken van interpretatief onderzoek. Volgens Boeije (2010) is samensmelting niet mogelijk
omdat beide benaderingen een ander paradigma zouden hanteren wat betreft de wijze waarop het onderzoek uitgevoerd wordt en de resultaten geanalyseerd. Bryman (2012) relativeert de kritiek en beargumenteerd dat zolang niet vaststaat dat de twee benaderingen tegenstrijdige paradigma’s hebben, onderzoeksmethoden breed inzetbaar zijn. Dat blijkt wel in dit onderzoek, waar in beide fasen dezelfde epistemologische positie wordt ingenomen. Omdat het onderzoek uit twee verschillende onderdelen bestaat, zal het methodologisch kader vervolgt worden met een beschrijving van de methode van dataverzameling, casusselectie, data-analyse en operationalisatie per onderzoeksdeel.
4.2 Het kwantitatief beschrijvende onderzoek
4.2.1 Achtergrond kwantitatief deel
Voor het kwantitatieve onderzoek is deels gebruikt gemaakt van de resultaten van het stageonderzoek dat voor de Algemene Rekenkamer is uitgevoerd. Naar aanleiding van de publicatie ´Bezuinigingen op cultuur; realisatie en effect´ (Algemene Rekenkamer, 2015) is dit voorjaar een verkenning uitgevoerd naar de gevolgen van de bezuinigingen op cultuur. Naast informatie over de recente ontwikkelingen in de sector ontbraken gegevens over de gevolgen van de bezuiniging voor culturele instellingen die vanaf 2013 niet meer behoren tot de basisinfrastructuur (BIS), en dus geen structurele subsidierelatie met de rijksoverheid meer onderhouden. De centrale vraag van de verkenning werd in hoeverre deze instellingen zich staande hebben weten te houden zonder rijkssubsidie en vooral; hoe hebben zij dit gedaan?
• 53
De verkenning bestond uit twee delen. Allereerst is een deskresearch uitgevoerd waarbij gekeken werd naar feitelijke informatie in de vorm van primaire gegevens uit jaarverslagen, jaarrekeningen en overige verantwoordingsdocumenten van zestien instellingen die nog tot de BIS behoorden, maar per 2013 beduidend minder structurele rijkssubsidie kregen, en een elftal instellingen dat per 2013 volledig buiten de BIS was gevallen. Met name het achterhalen van documenten in deze laatste categorie bleek lastig omdat deze groep niet meer verplicht was om verantwoordingsstukken naar het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) te sturen; er bestond immers geen afhankelijkheidsrelatie met het Rijk meer. Omdat veel van deze instellingen desalniettemin subsidie ontvingen uit één van de rijkscultuurfondsen, zijn van een aantal instellingen toch gegevens achterhaald. Na het in kaart brengen van de financiële gegevens uit de jaarstukken wilde de Rekenkamer ook in gesprek met de culturele instellingen. Voor een eventueel advies aan de minister was het immers relevant in hoeverre de gegevens uit de jaarstukken overeenkwamen met de daadwerkelijke situatie. Op korte termijn hebben daarom twaalf verkennende interviews met zakelijk directeuren van culturele instellingen plaatsgevonden.
Het eerste deel van de verkenning voor de Algemene Rekenkamer is relevant voor dit afstudeeronderzoek, en dan met name voor het eerste kwantitatieve deel. Om de verschillen in adaptiviteit in kaart te brengen is het namelijk van belang om culturele instellingen op systematische wijze met elkaar te vergelijken op basis van primaire gegevens. Op basis van de theorie over adaptiviteit en cultureel ondernemerschap is het mogelijk om door kwantitatieve onderzoeksmethoden een beeld te krijgen van de mate waarin instellingen zich hebben aangepast aan de bezuiniging. Dit cijfermatige materiaal is deels achterhaald in het deskresearch dat voor de Algemene Rekenkamer is uitgevoerd, maar zal waar informatie ontbreekt worden aangevuld in het kwantitatief beschrijvende deel van dit onderzoek.
4.2.2 Data verzameling
Deze subparagraaf bespreekt de belangrijkste methoden voor kwantitatieve dataverzameling. ■ Het experiment. Bij experimenteel onderzoek worden experimenten uitgevoerd om een vooraf vastgestelde voorspellingen te testen. De onderzoeker meet het causale verband tussen variabele X en variabele Y. Het blijkt niet altijd haalbaar om een experiment te doen, bijvoorbeeld wanneer weinig experimenteel te manipuleren valt met een variabele, zoals in het geval van leeftijd (Vennix, 2009).
■ Het surveyonderzoek, de tweede kwantitatieve methode voor dataverzameling, wordt gebruikt om meningen, houdingen en kennis van een grote groep mensen te
• 54
meten. Dit wordt meestal vormgegeven door enquêtes of vragenlijsten waarbij de onderzoek gebruik maakt van een schaalverdeling. Om van de ondervraagden gelijke informatie te krijgen worden vragenlijsten gestandaardiseerd (Boeije, 2009). ■ Ten derde de secundaire analyse. Bij een dergelijke methode wordt een beroep gedaan op reeds beschikbare datasets; de dataverzameling is kortom door andere onderzoekers gedaan. Hoewel dit bureauonderzoek tijd kan besparen, is het vaak lastig om voldoende datasets te vinden die aan de specifieke eisen voldoen. ■ Ten slotte de kwantitatieve inhoudsanalyse, een in de literatuur niet veel benoemde, maar zeker bruikbare methode voor dataverzameling. Bij een systematische inhoudsanalyse wordt een instructie ontworpen die precies aangeeft wat uit een tekst op welke wijze gecodeerd dient te worden. Hier vindt eerst een operationalisatie plaats van het begrip waarover de onderzoeker een uitspraak wil doen (Vennix, 2009). Dit onderzoek maakt gebruik van de vierde methode voor dataverzameling, de kwantitatieve
inhoudsanalyse. Door middel van cijfermatig materiaal wordt gepoogd inzicht te brengen in de
mate van adaptiviteit van culturele instellingen. Een kwantitatieve inhoudsanalyse is daarvoor de meest geschikte methode; door een groot aantal verantwoordingsdocumenten (lees: jaarverslagen, bestuursverslagen en/of jaarrekeningen), te analyseren en een vergelijking te maken tussen documenten uit 2012 en 2013, ontstaat een eerste indruk hoe culturele instellingen zijn omgegaan met de bezuinigingen. Omdat het hier gaat over cijfermatig materiaal wat betreft de prestaties van culturele instellingen, zijn een survey en een experiment op voorhand uitgesloten. Het gaat hier (nog) niet over meningen, houdingen en verbanden tussen variabelen; er dient in dit deel van het onderzoek slechts een kwantitatieve beschrijving van de verschillen in adaptiviteit gegeven te worden. Hoewel er relatief veel datasets bestaan over de prestaties van instellingen, voldoet geen van deze sets aan de theoretische eisen van dit onderzoek, waardoor ook een secundaire analyse uitgesloten is.
Er is in dit onderzoek sprake van een populatie waarover men uitspraken wil doen, namelijk culturele instellingen. Deze populatie is echter te omvangrijk om in zijn geheel te bestuderen, dus werkt dit onderzoek met steekproeven van het schriftelijk materiaal. Door in dit onderzoek delen van begrotingen, jaarverslagen en overige verantwoordingsdocumenten van culturele instellingen te selecteren en te analyseren volgens een vooropgezet model voor adaptiviteit in de cultuursector (cultureel ondernemerschap), ontstaat een beeld van de mate waarin instellingen zich hebben weten aan te passen aan de veranderingen in hun omgeving. Naast steekproeftrekking is dus ook operationalisatie nodig (zie paragraaf 4.5).
• 55
In het kwantitatieve deel van het onderzoek worden 22 instellingen onderzocht door middel van een kwantitatieve inhoudsanalyse. Het is hierbij belangrijk om te realiseren dat dit deel voornamelijk tot stand is gekomen tijdens de stageperiode bij de Algemene Rekenkamer van begin maart tot eind juni 2015. De verkenning die in deze periode is uitgevoerd moest enerzijds dienen als een aanvulling op het eerder gepubliceerde onderzoek naar de gevolgen op cultuur, en kon anderzijds dienen als sstartpunt voor een eventueel vervolgonderzoek. Voor de Algemene Rekenkamer waren een aantal zaken van belang bij de selectie van de onderzoekseenheden. Zo moest binnen de selectie een duidelijk onderscheid bestaan tussen instellingen die vanaf 2013 volledig buiten de BIS vielen en dus ook geen aanspraak maakte op subsidie uit een van de rijkscultuurfondsen (groep a), en instellingen die vanaf 2013 nog wel tot de basisinfrastructuur behoorden maar daaruit vaak minder rijkssubsidie ontvingen (groep b). Uit het eerdere onderzoek van de Algemene Rekenkamer (2015) bleek immers informatie op twee gebieden te ontbreken; informatie over de gevolgen van de bezuinigingen voor instellingen die per 2013 buiten de BIS waren gevallen (groep a) en de meest recente informatie over de gevolgen van de bezuiniging voor zowel groep a als groep b.
Actuele prestatiegegevens over de 45 instellingen die vanaf 2013 niet meer tot de BIS behoorden bleken schaars, vooral omdat zij vanuit rijkswege geen verplichting tot publicatie van prestatiegegevens meer hadden. Na grondige research en veelvuldige mailwisseling vanuit de Algemene Rekenkamer zijn van de in totaal 45 instellingen die vanaf 2013 niet meer tot de BIS behoorden, gegevens achterhaald van elf van hen. In een enkel geval reikten de gegevens tot 2014, maar meestal was alleen informatie over 2012 en 2013 voorhanden.
Voor prestatiegegevens over 2014 kon de verkenning eerder terecht bij groep b. Hoewel de recente prestaties van de gesubsidieerde cultuursector pas in december 2015 zijn gepubliceerd middels de publicatie Cultuur in Beeld, bleek een aantal instellingen de verantwoordingsdocumenten over 2014 al in in het voorjaar van 2015 te publiceren op hun website. Hierdoor kon de Algemene Rekenkamer vóór deze publicatie al een aantal eerste conclusies trekken wat betreft de gevolgen van de bezuinigingen in 2014. Van de in totaal 84 instellingen behorende tot groep b, waren van zestien instellingen op het moment van de verkenning (maart-juni 2015), gegevens over zowel 2012, 2013 als 2014 beschikbaar in de vorm
van jaarverslagen, jaarrekeningen of bestuursverslagen. De verkenning voor de Algemene Rekenkamer is kortom geschreven op basis van gegevens tot 2013 van elf instellingen buiten de BIS en gegevens tot 2014 van zestien instellingen behorende tot de BIS.
• 56
Om de resultaten van het onderzoek tussen de twee groepen te vergelijken, was het noodzakelijk om het aantal instellingen binnen groep a en b gelijk te stellen. Middels een enkelvoudige aselecte steekproef is de groep van 16 instellingen in groep b teruggebracht tot elf, gelijk aan het aantal instellingen van groep a. Aan elke instelling in groep b is een code verbonden in de vorm van een getal, waarna door middel van het statistiekprogramma SPSS een willekeurige selectie van elf is gemaakt. Het totale aantal culturele instellingen dat middels de kwantitatieve inhoudsanalyse zal worden onderzocht is kortom 22 (zie figuur 6). Omdat de meest recente gegevens over groep a met één uitzondering reiken tot 2013, is ervoor gekozen om in het gehele onderzoek een vergelijking te maken tussen 2012 en 2013, ondanks de aanwezigheid van gegevens over 2014 in groep b. Het voordeel van deze keuze is dat groep a en b nu vergelijkbaar zijn wat betreft meetmoment. Nadelig aan deze keuze is dat 2013 voor sommige instellingen een overgangsjaar is geweest waarbij door het Rijk eenmalige frictiesubsidies zijn verstrekt om eventuele reorganisaties of ontslagen te bekostigen.
Een dergelijke selectie heeft ook nadelen voor de representativiteit van het onderzoek. De afhankelijkheid van actuele gegevens in combinatie met de criteria voor de Algemene Rekenkamer maken dat de selectie van 22 op sommige elementen niet representatief is voor de gehele sector. Zo zijn post-academische instellingen relatief goed vertegenwoordigd, waar musea, opera’s, jeugdtoneelgezelschappen en muziekgezelschappen met slechts één instelling in de selectie amper vertegenwoordigd zijn. Geprobeerd is ook om de verhouding wat betreft soort instelling tussen groep a en groep b gelijk te trekken, maar ook dit was niet altijd mogelijk. Zo bleken productiehuizen (zoals Dansmakers Amsterdam) enkel aanwezig te zijn in groep a, waar musea (zoals het Fotomuseum) enkel vertegenwoordigd bleken in groep b.
• 57
4.2.4 Data-analyse en operationalisatie
Om verschillen in de mate van adaptiviteit te bepalen is een operationalisatie van het begrip noodzakelijk. Zoals eerder aangegeven betreft adaptiviteit in de cultuursector hier de mate waarin instellingen zich cultureel ondernemend opstellen. Uit het theoretisch kader blijkt dat cultureel ondernemerschap vraagt om een organisatieverandering waarin de lange termijn doelstellingen verschoven dienen te worden en de financiële basis van een instelling (de standard operating procedures) dient te worden versterkt. Alleen zo kunnen culturele instellingen de afhankelijkheidsrelatie met de subsidiërende rijksoverheid structureel afbouwen. (Commerciële) denkwijzen van individuele instellingen zijn echter moeilijk uit de verantwoordingsdocumentatie te reconstrueren. Daarom zal dit onderzoek zich focussen op die kenmerken van cultureel ondernemerschap die wel in cijfers te vatten zijn, namelijk de financiële ontwikkelingen binnen een individuele instelling die duiden op ondernemerschap.
Daarvoor is het Advies bezuinigingen cultuur 2013-2016; noodgedwongen keuzes (Raad voor Cultuur, 2012), geraadpleegd. In dit rapport adviseerde één van de belangrijkste adviesorganen van de minister hoe de aangekondigde bezuiniging ingevuld zou kunnen worden. Om haar visie te verduidelijken gebruikte de Raad concrete voorbeelden uit de sector hoe individuele instellingen hun financiële basis structureel wisten te versterken. Op basis van
Groep A:
Instellingen die vanaf 2013 niet meer tot de BIS behoren en geen aanspraak
maken op subsidie uit een rijkscultuurfonds
Totaal: 45 instellingen (OCW, 2014)
Reducering op basis van aanwezigheid gegevens over 2013/2014 ten tijde
van verkenning
In de verkenning: 11 instellingen
én dit onderzoek .
Groep B:
Instellingen die ook vanaf 2013 tot de BIS blijven behoren
Totaal: 84 instellingen (OCW, 2014)
Reducering op basis van
aanwezigheid gegevens over 2013/2014 ten tijde