In dit hoofdstuk is er aandacht voor de beperkingen van het onderzoek en de gekozen onderzoeksmethode, voor de bijdrage aan het bredere debat en tot slot worden aanbevelingen gedaan voor vervolgonderzoek.
8.1. Beperkingen van het onderzoek
Dit onderzoek kent een aantal beperkingen die relevant zijn om te bespreken en om in ogenschouw te nemen bij het lezen en duiden van de conclusies. Daarnaast kunnen deze aanleiding zijn voor vervolgonderzoek, waar 8.3. specifieker op in gaat.
Allereerst is er voor dit onderzoek met een beperkt aantal respondenten gesproken, negentien in totaal. Specifiek betreft dit twee tot vier respondenten per casus. Met dit aantal kan het zijn dat er een beperkt beeld naar voren komt rondom een individuele casus. Om dit tegen te gaan is er naast de interviews een uitgebreide documentanalyse gedaan. Daarnaast zijn de conclusies gebaseerd op casus-overstijgende bevindingen, niet op individuele casuïstiek. Om echter diepere inhoudelijke bevindingen te verkrijgen over de individuele casussen, zijn meer respondenten per casus wenselijk.
Ten tweede zijn er grote verschillen tussen de casussen. Dit zit hem logischerwijs in het type organisaties en hun taken, ZBO’s zijn per definitie uniek, maar ook in de mate waarin ze onafhankelijk zijn en waarin er heterogene output gegenereerd wordt. Hoe meer verschillen tussen de casussen, hoe lastiger het is om alomvattende conclusies te trekken. Hier tegenover staat dat een dergelijke casusselectie passend gevonden kan worden bij dit type onderzoek en de gehanteerde aanpak. Het betrof een exploratief onderzoek, waarbij het van toegevoegde waarde kan zijn om juist extremen uit een populatie te onderzoeken. In dit geval bijvoorbeeld de Kiesraad, zeer onafhankelijk met lastig kwantificeerbare output en daartegenover de Koninklijke Bibliotheek die minder uitdrukkelijke focus heeft op de onafhankelijkheid of de Huurcommissie waarbij output over het algemeen juist beter meetbaar is. Echter, een bewustzijn van de verschillen is belangrijk voor de duiding van de resultaten en de bruikbaarheid van generalisaties.
Ten derde is de methodologische aanpak van dit onderzoek meer inductief en daarmee minder strak ingebed in een wetenschappelijk fundament. Logischerwijs is dat ook de kracht van deze aanpak, maar het is belangrijk te beseffen dat er niet harde vooraf opgestelde hypothesen of verwachtingen waren en dat er niet concreet is voortgebouwd op eerder onderzoek naar dit thema met eenzelfde aanpak.
Vervolgonderzoek is in dit kader van belang, omdat bevindingen die daaruit voortvloeien ook tot een (her)waardering van dit onderzoek kunnen leiden. In het verlengde van dit punt is ook de kwalitatieve aanpak een beperking. Deze is relevant omdat gezocht werd naar elementen van betekenisgeving, naar de concrete praktijk van respondenten, waarbij de mogelijkheid om door te vragen zeer waardevol is. Een kwalitatieve aanpak laat zich echter veel lastiger generaliseren dan de kwantitatieve tegenhanger. In het kader van de externe validiteit moet hier rekening mee worden gehouden.
Tot slot behandelt dit onderzoek niet in hoeverre het meten van of praten over doelmatigheid echt functioneel is. Er wordt gekeken naar hoe doelmatigheid gestalte krijgt en welke betekenis er wordt gegeven. Een meer objectief waardeoordeel over deze invulling of een inzicht in wat al dan niet werkzaam is voor het daadwerkelijk verhogen van doelmatigheid, is geen onderdeel van dit onderzoek.
Dit is een belangrijke kanttekening: het feit dat iets zeer betekenisvol is voor respondenten, maakt niet automatisch dat het ook zeer functioneel is. Voor een dergelijke uitspraak is meer onderzoek benodigd waarbij expliciet gekeken wordt naar ontwikkelingen in doelmatigheid en productiviteit over de tijd.
60
8.2. Bijdrage van het onderzoek
Met dit onderzoek wordt op drie niveaus een bijdrage geleverd aan de wetenschap/het wetenschappelijke debat. Op macroniveau vormt het een aanvulling op de al bestaande discussie en literatuur over prestaties bij publieke organisaties, de ambiguïteit die dit behelst en over het omgaan met heterogene en moeilijk meetbare output (Klaassen et al, 2010; Abma & Noordegraaf, 2003). De aanvulling zit hem in de meer culturele en individuele benadering: in het kijken naar hoe individuen omgaan met dergelijke complexiteit. De combinatie van een behoorlijk bedrijfseconomisch concept met een meer cultureel-interpretatieve benadering biedt daarbij nieuwe handvatten wat betreft duiding. Op mesoniveau wordt er een bijdrage geleverd aan discussies over het al dan niet op afstand plaatsen van organisaties ten opzichte van de Rijksoverheid en het daarbij horende debat tussen uniformisten en pluralisten (zie 2. Context). Een potentiele toename in doelmatigheid is een veelgebruikt argument bij verzelfstandiging (Hood, 1991; De Kruijf & Mol, 2007). Meer inzicht in hoe het meten van en het gesprek over doelmatigheid daadwerkelijk concreet wordt bij ZBO’s, ondersteunt daarmee deze discussie over het Nederlandse verzelfstandigingsbeleid. Op microniveau, het niveau van de individuele organisaties en betrokkenen, draagt dit onderzoek bij door theorievorming. Theorie rondom doelmatigheid bij ZBO’s met een onafhankelijkheidsmotief is een gat in de literatuur waaraan dit onderzoek een bijdrage poogt te doen. Dit biedt dan ook handvatten voor vervolgonderzoek.
Het onderzoek heeft daarnaast ook praktische bijdragen. Met de afschaffing van het doelmatigheidsverslag door de accountant is het voor de ministeries van Financiën en Binnenlandse Zaken en Koninkrijkrelaties relevant om meer inzicht te krijgen in de rol en betekenis van het concept in de driehoek. Inzichten uit dit onderzoek kunnen hen helpen bij hun financiële- en kaderstellende functie. Daarnaast kunnen de resultaten, conclusies en aanbevelingen helpen voor betrokkenen binnen de organisatiepraktijk van ZBO’s met een onafhankelijkheidsmotief. Zo kunnen de bevindingen van waarde zijn voor het bewerkstelligen van een beter/gefundeerder inzicht of gesprek met betrekking tot doelmatigheid. Gedegen inzicht in de doelmatigheid is ook voor de Tweede Kamer wenselijk. Als een toegenomen inzichtelijkheid vervolgens ook een doelmatigere taakinvulling tot gevolg heeft, is uiteraard ook de samenleving in bredere zin daarmee geholpen.
8.3. Suggesties voor vervolgonderzoek
Op basis van de resultaten uit dit onderzoek en de hierboven beschreven beperkingen, worden hier een drietal concrete suggesties gedaan voor vervolgonderzoek.
Allereerst is het interessant om met eenzelfde vraagstelling onderzoek te doen met behulp van een andere methodologische insteek. Dit kan door op een kleiner aantal casussen verder in te zoomen, door meer documenten te analyseren en/of door per functiegroep meerdere respondenten te interviewen. In het bijzonder zou het hierbij interessant zijn om naast de ondersteuning van de drie rollen uit de driehoek, ook de daadwerkelijke vertegenwoordigers van die functies te spreken (eigenaar, opdrachtgever, opdrachtnemer), dus op zeer hoog ambtelijk niveau. Het is in dit kader zowel relevant om andere casussen te onderzoeken en daarbij te kijken in hoeverre het beeld uit dit onderzoek daar bevestigd wordt, als ook om juist dezelfde casussen verder uit te diepen en na te gaan in hoeverre de resultaten uit dit onderzoek geverifieerd kunnen worden.
Ten tweede is het relevant om onderzoek te doen naar de eerder beschreven link tussen betekenisvolheid en daadwerkelijke praktische relevantie. Oftewel, zorgt een situatie waarin betrokkenen de manier waarop doelmatigheid gestalte krijgt betekenisvol vinden, ook echt voor aantoonbare verbeteringen in de doelmatigheid van het ZBO? Uitgangspunt bij een dergelijke
61 onderzoeksaanpak is het leggen van de link tussen betekenisvolheid en bruikbaarheid. Voor het punt van de bruikbaarheid leent een meer kwantitatieve aanpak zich beter, omdat er iets gezegd moet kunnen worden over de verandering/ontwikkeling van de doelmatigheid. Een mixed methods-benadering is daarom het meest waardevol veel het onderzoeken van deze relatie, omdat de onderzoeker daarmee een holistisch beeld verkrijgt: kwalitatief kijken naar de betekenis die aan doelmatigheid wordt gegeven, kwantitatief naar wat er feitelijk gebeurt met (de ontwikkeling van) doelmatigheid, om vervolgens te kunnen concluderen of deze twee verband met elkaar houden.
Tot slot kan het model dat in dit onderzoek is gepresenteerd worden onderzocht en theoretisch verder worden doorontwikkeld. Het model is gebaseerd op de theorie die voor dit onderzoek gebruikt is in combinatie met de bevindingen en conclusies. Voor de ontwikkeling van het debat zou het zeer interessant zijn om te kijken in hoeverre een dergelijke aanpak bruikbaar is en daadwerkelijk tot meer betekenisgeving leidt met betrekking tot doelmatigheid. Aangezien dit nog zeer in de kinderschoenen staat zou een casestudy zich hier het best voor lenen: een specifieke casus waarbij men met dit model gaat werken en waarbij vervolgens onderzocht wordt hoe dat gaat en hoe men het ervaart. Bij een dergelijk vervolgonderzoek zou een combinatie met de literatuur over de stewardship theory (Schillemans & Bjurstrøm, 2019) of over collaborative governance (Ansell & Gash, 2008) interessant zijn. Bij dit onderzoek is bewust een ander theoretisch framework gekozen, maar in het model is invloed van deze twee stromingen zichtbaar, wat het interessante onderzoeksrichting en maakt voor theoretische doorontwikkeling.
62