Het pluriforme scala aan leefbaarheids-activiteiten, ondernomen door woningcorporaties, is tot op heden weinig onderzocht op de werkelijk behaalde resultaten. Hierdoor is er onvoldoende kennis over de productiviteit van het maatschappelijk voortbrengingsproces waarvoor woningcorporaties vanaf 1997 wettelijk verplicht zijn gesteld. Tevens is er binnen de sector onvoldoende kennis aanwezig om de effectiviteit en efficiëntie van deze activiteiten te laten toenemen. In dit onderzoeksverslag is een methodiek beschreven waarmee dit inzicht kan worden verkregen opdat de inzet van publieke middelen kan worden geoptimaliseerd.
De bedrijfskundige discipline biedt een aantal concepten om deze uitdaging aan te gaan. De elementaire bedrijfskundige begrippen productiviteit, effectiviteit en efficiëntie zijn gedefinieerd en toegepast, waardoor helder zicht werd verkregen op de missende ingrediënten. Gesteld kan worden dat het onderzoeken van effectiviteit en efficiëntie pas zinvol is wanneer een bepaalde norm (zowel voor het resultaat als voor het offer) is vastgesteld. Maatschappelijke interventies door woningcorporaties worden niet gekenmerkt door dergelijke normen. Het is daarom zaak om allereerst de productiviteit van interventies vast te stellen en van daaruit een norm voort te brengen.
In dit onderzoek is theoretisch en praktisch onderzocht hoe het verkrijgen van inzicht kan worden verkregen. Deze tweedeling wordt in de conclusie herhaald. Allereerst worden conclusies aan de hand van de literatuurstudie opgesteld. Vervolgens worden conclusies van de casusstudie geformuleerd.
4.1 Conclusies literatuurstudie:
1) Bij het vaststellen van de effecten van een maatschappelijke interventie dient gezocht te worden naar het bedrijfskundige concept ‘productiviteit’. Productiviteit is het gerealiseerde resultaat, gedeeld door de bijbehorende offers. Door het ontbreken van strategische en tactische afwegingen is het onmogelijk om te spreken van een ‘norm’. Hierdoor is het vaststellen van de productiviteit een opstap om in het vervolg dergelijke taakstellende afwegingen te kunnen maken. De reeds uitgevoerde activiteiten op het gebied van
‘leefbaarheid’ door 474 woningcorporaties in Nederland (cijfers 2007) geven voorlopig voldoende mogelijkheden om effecten te onderzoeken.
2) De ontwikkeling van instrumenten om maatschappelijke resultaten te kunnen boordelen hebben, in vergelijking met financiële instrumenten, een moeizame ontwikkeling doorgemaakt. Drie bestaande instrumenten binnen de corporatiesector zijn de VROM prestatie-index, Aedex/IPD vastgoedindex en Social Return on Investment (SROI). Analyse van deze instrumenten geeft aan dat het belangrijk is om niet slechts de activiteiten (VROM) of de offers (Aedex) te beoordelen en om goed stil te staan bij de indicator en achterliggende causaliteiten (SROI). Deze leerpunten zijn meegenomen in het ontwerp van het instrument.
3) Effectenstudies zijn moeilijk maar niet onmogelijk. Vastgesteld is dat fouten worden gemaakt bij het onderzoeken van effecten van maatschappelijke interventies. Een gedegen aanpak van het onderzoek, kan een aantal problemen voorkomen.
4) De beoordeling van resultaten van maatschappelijke interventies is lastig omdat de tijd tussen maatregelen en effecten groot is en er veel vertroebelende factoren en bijwerkingen optreden die de beoordeling bemoeilijken. Hiernaast is een interventie gericht op een dynamische werkelijkheid, waardoor problemen van aard veranderen. Bij het voorkomen van problemen (een interventie als preventiebeleid) is het moeilijk om deze ‘voorkomen’ effecten waar te nemen. De vaststelling van de autonome ontwikkeling van het systeem (de maatschappij, dorp of buurt) is belangrijk. Dit kan dienen als vergelijkingsmateriaal.
5) Een maatschappelijke interventie is een complexe samenhang van vele en ongelijksoortige (f)actoren. De besturing van een dergelijk complex systeem is moeilijk. Zoals Nils Bohr (1885 – 1962) al zei: ‘Het is moeilijk om voorspellingen te maken, vooral over de toekomst’. Dit geldt zeker voor voorspellingen over de werking van maatschappelijke interventies.
6) Het moeizame karakter van de beoordeling van maatschappelijke interventies is in twee componenten gedeeld; complexiteit en subjectiviteit. De complexiteit van maatschappelijke interventies is dermate groot dat het maken van voorspellingen op detailniveau onbegonnen werk is. Het is niet de werking van het gehele systeem die moet worden achterhaald maar slechts die van een aantal variabelen te benoemen in een indicator die vervolgens wordt
maatschappelijke interventies schattingen over de uitkomst worden gemaakt. Een aantal factoren van subjectiviteit (o.a. wishful thinking, schijnrelaties) zijn benoemd.
7) Binnen de gezondheidszorg wordt sinds enige tijd instrumenten ingezet om de werking van interventies te bestuderen. Deze instrumenten zijn veelal een wettelijk verplicht onderdeel van de bedrijfsvoering. Een interessant instrument is de Randomised Controlled Test (RCT). Een RCT onderzoekt een experimentele groep in vergelijking tot een controle groep. Hierdoor kunnen verschillen worden verklaard en worden herleid naar de interventie. De interventie is hierbij het enige verschil tussen de twee groepen. Door de groepen ‘blind’ in te delen is er sprake van ‘randomisatie’. In dit onderzoek is, om organisatorische redenen, gekozen voor een ‘open’ RCT waarbij er geen sprake is van randomisatie.
8) Vanuit twee invalshoeken (Kellogg Foundation, 2004 en Veerman en Yperen, 2005) zijn vergelijkbare methodieken gevonden om de RCT een ‘zachte landing’ te geven. Deze methodieken stellen dat er a) een strategie voor de interventie bedacht moet worden, b) een gedegen motivatie achter de werking van de interventie moet steken en c) een afdoende meting van geschikte indicatoren waarbij de RCT-methode wordt gebruikt.
9) Alle invalshoeken gecombineerd, is gekozen voor een instrument in de vorm van een stappenplan. Het stappen plan bevat de volgende stappen:
• Voorbereiding: onderzoek de relatie tussen interventie en het systeem. Bepaal een indicator die in deze relatie een belangrijke voorspellende waarde heeft.
• RCT-methodiek: Pas de RCT-methodiek toe door het effect van een interventie te vergelijken met een controlegroep. Het verschil is het resultaat van de interventie. • Bepalen productiviteit: Bepaal de productiviteit door de resultaten te delen door de
4.2 Conclusies casusstudie
Voorbereiding
Het bleek goed mogelijk om de interventie af te bakenen en te benoemen wat de (theoretische) relatie tussen de interventie en het systeem was. Het benoemen van een betekenisvolle indicator bleek niet problematisch.
Hoewel het lastig bleek om wetenschappelijk bewezen onderbouwing voor de relatie te vinden, is dit in indirecte zin redelijk gelukt. Een aantal onderzoeken gecombineerd gaf een goed beeld van de relatie tussen het systeem (een woonkern) de interventie (een voorziening) en de indicator (woningprijzen).
RCT-methodiek
Bij de uitwerking van de casusstudie is gekozen voor de ‘open’ RCT –variant. Hiermee is wellicht niet een optimale mate van objectiviteit gecreëerd. Een ‘blinde’ variant, waarbij de onderzoeker niet weet welke de experimentele woonkern of de controle woonkern is, kan bijdragen aan een meer objectieve beoordeling.
Door een gebrek aan informatie in de databases van Welkom is gekozen om gebruik te maken van één experimentele kern. Hoewel dit in het kader van deze beknopte casusstudie geen probleem was, is in het vervolg een grotere steekproef nodig om van betrouwbare onderzoeksgegevens te kunnen spreken.
Productiviteit
Zoals was gesteld in de inleiding, bleek het gemakkelijk om de eenmaal gevonden resultaten te vergelijken met de bijbehorende offers en zo tot de werkelijke productiviteit van de interventie te komen. De financiële administratie gaf inzicht in de gemaakte offers. Naast de financiële offers waren er geen andere investeringen in de vorm van tijd, expertise etc.
4.3 De kwaliteit van het instrument
Getracht is om het instrument voldoende kwaliteit te geven door te zorgen voor: • Gebruiksvriendelijkheid;
• begrijpelijkheid;
• aansluiting bij de problematiek.
Deze kwaliteitscriteria vormen samen de ‘relevantie’ van het instrument.
Gebruiksvriendelijkheid is gecreëerd door een simpel stappenplan op te zetten waarbij gebruik wordt gemaakt van eerdere ervaring en literatuuronderzoek. De invulling van de RCT vindt plaats door gebruik te maken van gegevens die in het bezit zijn van de woningcorporatie zelf (verkoopgegevens).
In de literatuurstudie zijn de componenten van het instrument zorgvuldig geanalyseerd en is voorgesteld hoe de stappen van het instrument leiden tot een verbetering van het probleem ‘lastige inzichtelijkheid van resultaten van interventies’. Deze analyse heeft geleid tot een instrument dat aansluit bij de problematiek.
Het instrument heeft hiermee voldoende relevantie. Het andere criterium ‘deugdelijkheid’ bestond uit:
• Toetsbaarheid;
• Operationaliseerbaarheid.
In dit onderzoek wordt het resultaat van een maatschappelijke interventie uitgedrukt in een waardestijging (in euro’s) van vastgoed. Deze waardestijging is de operationalisering van het resultaat van de interventie. Waardestijging is goed toetsbaar door gegevens over verkoopopbrengsten van vastgoed in de gaten te houden. Voor toetsbaarheid wordt gezorgd door de waardestijging als gevolg van de maatschappelijke interventie te vergelijken met een gemiddelde waardestijging. De relatie tussen maatschappelijke interventies (zoals die in de casusstudie) en waardestijging van vastgoed wordt middels literatuurstudie bevestigd.
Het instrument was tevens voldoende deugdelijk waarmee de conclusie van de kwaliteit van het instrument is, dat het over voldoende kwaliteit beschikt. Het voldoet aan alle gestelde criteria.