Output versus outcome

Los van de formele verantwoordingsvereisten is het met name interessant om te kijken hoe deze verantwoording bij de verschillende respondenten wordt ervaren. Hierover waren de meningen verdeeld. In het algemeen kunnen volgens de respondenten de resultaten op een tweetal manieren worden beoordeeld, op basis van output en op basis van outcome. Hierbij richt output zich op duidelijk kwalitatieve meetbare resultaten zoals bezoekersaantallen, kijkcijfers en geholpen cliënten. In tegenstelling tot de output, richt de outcome zich meer op kwalitatieve, zachte en moeilijke meetbare indicatoren. Het gaat hierbij bijvoorbeeld over de impact die een project heeft gehad, de waarde die iets gecreëerd heeft en de inspanning die is geleverd.

Over het algemeen wordt met name de beoordeling op basis van output negatief ervaren. Zo stelt de maatschappelijk vernieuwer (R3) bijvoorbeeld dat in vergelijking met niet-gesubsidieerde projecten er bij subsidieprojecten vaak een verslagcultuur heerst met de noodzaak naar gedetailleerde verslaglegging. Verder stelt de fondsenwerver (R8) dat de eisen die gesteld worden vaak arbitrair zijn en dat hier vaak een gekunsteld verhaal omheen moet worden geschreven. Dit terwijl de waarde volgens hem met name ligt bij de daadwerkelijke impact van een project.

Ondanks de negatieve ervaringen zien de respondenten toch dat er veelal gebruik wordt gemaakt van beoordeling op basis van output. Zo stelt R9 bijvoorbeeld dat de

afgelopen 10, 20 jaar de overheid steeds striktere en gedetailleerde eisen is gaan stellen aan verantwoording. Hierbij is er sprake is van een systematische manier van denken waarbij kwantitatieve targets worden gesteld en over het behalen van deze targets moet worden verantwoord. Ook de directeur van het cultureel centrum (R10) merkt op dat de nadruk in eerste instantie met name op de output ligt. Of deze focus op output de inhoudelijke beoordeling ten goede komt is daarentegen maar de vraag. Zo zegt R10 bijvoorbeeld:

“Kijkcijfers dat is natuurlijk ook gewoon hoeveel mensen hebben naar een voetbalwedstrijd gekeken, maar niks over hoe goed die wedstrijd was. De kwaliteit verantwoorden dat is een heel complex probleem.”

Subsidiegevers proberen het meten van kwaliteit volgens R10 instrumenteel te maken met formuleren van kengetallen. Hoe dit wordt vormgegeven verschilt volgens de respondenten.

wordt gekeken naar ledenaantallen en bij R9 naar het aantal geholpen personen. Hierbij moet volgens R4 een bepaalde input – in haar geval gespendeerde uren en georganiseerde

bijeenkomsten – leiden tot een bepaalde output – bewoners de geholpen zijn. Dit terwijl het in het werk van R4 veel meer gaat om wat de bewoners daadwerkelijk heeft opgeleverd.

“Ik denk dat het daar wel zeker aan raakt, ja dit is echt een voorbeeld want ja je kunt wel zeggen van er zijn 60 huisbezoeken afgelegd, punt. Output he. Dat heeft zoveel uur gekost. Maar de outcome, wat heeft het opgeleverd en wat is de impact, draagt het bij aan de impact waarbij je bewoners een stapje verder helpt in hun situatielevensloop bestendig maken. Nou ja, niet met een gesprek nee. Want ouderen weten de weg niet te vinden na zo’n huisbezoek, die moeten echt verder ondersteund worden daarin. Daarom moet je ook kijken naar impact en daarover communiceren.”

De reden waarom vaak wordt teruggegrepen op een verantwoording op basis van output is volgens de respondenten dat het heel erg lastig is om wetenschappelijk de impact van ondernomen activiteiten te onderbouwen. Toch gaat in de meeste gevallen hier de voorkeur naar deze vorm van beoordeling uit. Zo benoemt R4 veel meer de meerwaarde ziet van verantwoordingsmethodes zoals ‘storytelling’, waarbij veel meer in een verslagvorm wordt gereflecteerd op de resultaten. R1 en R10 stellen dat als het gaat om culturele activiteiten veel meer de nadruk kan worden gelegd op bijvoorbeeld recensies en publieksonderzoek.

Opvallend is verder dat volgens R8 ook hier een ‘dans’ tussen subsidieverstrekker en –ontvanger gaande is. Hierbij dringt die subsidieverstrekker aan op meer resultaatgerichtheid, maar wordt dit soms ook aangewakkerd door organisaties zelf:

“Heel veel organisaties hebben er zelf ook debet aan. Die hebben het zichzelf ook voor een deel opgelegd. Die hebben zelf ook een soort van bewijswoede – noem ik dat – gecultiveerd. En ja, dan moet je niet gek staan te kijken als je dat, dat dan ook weer anderen donoren gaan zeggen: oh ja, dat willen we wel. Dus het is een soort wisselwerking geweest in de laatste 10, 15 jaar tussen aan de ene kant de donor, en degene de middelen ontvangt en beide partijen zijn in een soort dans verwikkeld van verantwoording.”

De focus op output heeft volgens de respondenten ook weerslag op de organisatie. Met name komt naar voren dat de respondenten het tijdrovend noemen. Zo stellen R2 en R3 dat met

aanwezig is dat verslaglegging een “papieren oefening” is, die slechts door 1 persoon wordt gelezen en daarna in een lade verdwijnt. Daarbij stelt R3 dat rapportages ook minder

waardevol worden naarmate het project groter, complexer en abstracter wordt.

Verder stellen R2, R8, R9 en R12 dat niet alleen voor het aanvragen van subsidie, maar ook voor de verantwoording hiervan een zekere mate van expertise en bureaucratisering nodig is. Zo hebben R2 en R9 bijvoorbeeld speciale subsidieteams van 2 á 3 personen moeten aanstellen die zich alleen bezighielden met de aanvraag en verantwoording van subsidie. In de woorden van R9:

“…die verzamelen alle data en die leggen verantwoording af. Dat is dus een punt, dus de control kant in je organisatie, bedrijfsmatig ook, daar komt meer druk op te liggen. Er moet meer control zijn en ja daar gaat ook geld, tijd, energie, menstijd allemaal inzitten en daar heb je ook bepaald type mensen voor nodig. Niet iedereen is geschikt om in de control omgeving te werken.”

Ten slotte kan deze focus op output ook de beleidsmatige keuzes die worden gemaakt in zekere mate beïnvloeden. Een voorbeeld wat al enkele malen ter sprake is gekomen is de vakbond (R7) met haar focus op ledenaantallen. Met betrekking tot ledenaantallen stelde het bestuurslid van de sport & spelorganisaties (R11) dat hij ook weleens wervingsprojecten heeft gedaan waar meer energie in werd gestoken dan dat het opleverde. Dit wordt toch gedaan om maar het gestelde kwantitatieve doel te behalen. Ook de directeur van het cultureel centrum (R10) stelt dat er soms een afweging moet worden gemaakt tussen meer diepgang en kwaliteit enerzijds en bezoekersaantallen anderzijds. Zo stelt hij:

“…daarmee is het soort speelruimte gedefinieerd die maakt dat je toch in alles wat je doet ook overweegt ja - betekent dat dat ik minder mensen over de vloer heb die ik blij kan maken met een soort activiteit in dat wat wij aan het doen zijn. Alles is evenwichtskunst. “