Inleiding
Voor het tweede deel van het onderzoek zullen we gebruikmaken van de theory of change methode. Risbo heeft deze evaluatiemethode vertaald en aangepast vanuit de Amerikaanse naar de Nederlandse context (Tudjman, de Jong en Snel, 2010;
Weiss, 1995).
Een belangrijk uitgangspunt in de theory of change evaluatiemethode is de aan-name dat sociale programma’s gebaseerd zijn op expliciete en impliciete assumpties (theories) over hoe en waarom een programma werkt. De evaluatie richt zich dan op het zichtbaar krijgen van deze assumpties en subassumpties.
Met ‘theory’ bedoelt Weiss niet zozeer wetenschappelijke theorieën (met een grote T), maar het geheel aan assumpties over een interventie en de te realiseren doelen zoals die spelen in de interventiepraktijk zelf. Het zogenaamde idee achter een bepaalde aanpak.
Een belangrijk punt van Weiss is dat niet alle betrokkenen dezelfde ideeën hebben over wat een interventie beoogt te bewerkstelligen: beleidsmensen kunnen hierover andere ideeën hebben dan uitvoerders en/of hun cliënten. Met andere woorden, verschillende betrokkenen hebben veelal verschillende definitions of the situation: verschillende inzichten over de aard van een problematiek en de manier waarop een interventie daarin verandering probeert te brengen. De theory of change aanpak van evaluatieonderzoek is daarom per definitie ook een participa- tieve aanpak: alle betrokken partijen kunnen hun eigen ideeën hebben over het doel en de werkingskracht van interventies en moeten daarom in de evaluatie wor-den gehoord.
Belangrijk element van de theory of change is dat de doelstellingen zodanig geformuleerd worden dat de implementatie en effectiviteit ervan gemeten kunnen worden door middel van gezamenlijk vastgestelde en meetbare indicatoren. Door daarover gegevens te verzamelen, kan nagegaan worden wat werkt en wat niet werkt en waarom.
Een theory of change proces bestaat uit de volgende drie activiteiten, die overi-gens niet per se na elkaar uitgevoerd behoeven te worden:
1. Het reconstrueren van veronderstellingen van projecten 2. Het beoordelen van de programma- of interventietheorie 3. Voortdurende programmaverbetering.
Op elk van deze stappen gaan we hierna kort in.
5
Activiteit 1) Het reconstrueren van veronderstellingen achter de programma- of interventietheorie
Een cruciaal aspect van de theory of change aanpak is het uiteenleggen van de opeenvolging van doelen, subdoelen, middelen, veronderstellingen, et cetera.
Projecten van Participe bestaan uit diverse concrete activiteiten die bepaalde doelen beogen. Deze primaire doelen kunnen echter weer gezien worden als middelen ter realisering van een verder weg liggend doel, dat ook (veel) later in de tijd ligt. Het gaat ook om abstractere doelen of beleidsdoelen (bijvoorbeeld sociale samenhang) die bereikt kunnen worden via verschillende subdoelen, die afzonderlijk elk op zich niet voldoende zijn om het ‘grotere’ doel te bereiken. Voorbeelden daarvan zijn:
een barbecue, een straatfeest, een eettafel, gymnastiek, themabijeenkomsten, et ce-tera. Het gaat met andere woorden om het reconstrueren van een ‘doelboom’ (Van de Graaf & Hoppe, 1996). Een doelboom brengt ordening in doelen en subdoelen en soms ook subsubdoelen.
Activiteit 2) Het beoordelen van de programma- of interventietheorie
Door het nauwkeurig uiteenzetten en beschrijven van doelen, activiteiten, indica-toren en assumpties wordt een reconstructie van het interventietraject ontwikkeld.
Om te kunnen bepalen of die onderliggende (delen van) aannames van het inter-ventietraject (on)houdbaar zijn, is een beoordeling van deze aannames nodig. De beoordeling van het interventietraject volgt, volgens de theory of change, uit twee invalshoeken (Weiss, 1995):
1. Kwalitatief participatieonderzoek door middel van semigestructureerde diepte-interviews. Hierbij wordt de mate van effectiviteit van de interventie afgemeten aan de praktijkervaringen van betrokkenen (uitvoerende professionals, managers en cliënten). Het doel is hier dan niet zozeer om het causale verband aan te tonen tussen de interventie en het resultaat, maar om de aard en de betekenis van de interventie bloot te leggen zodat informatie wordt verschaft over waarom en hoe een bepaalde uitkomst wordt behaald of niet wordt behaald.
2. Om de geldigheid van bepaalde veronderstellingen van de interventie te toetsen op hun effectiviteit, worden wetenschappelijk bronnen en effectstudies geraad-pleegd. Uit wetenschappelijke bronnen kan namelijk blijken dat een bepaalde aanname steekhoudend is of juist onhoudbaar, of dat alleen bepaalde elementen van de theory of change, de interventie, overeind blijven.
Bij de beoordelingen van programmatheorieën in dit onderzoek is vooral uitgegaan van inzichten van betrokkenen (eerste invalshoek) en minder van wetenschappelijk onderzoek (tweede invalshoek).
Activiteit 3) Voortdurende programmaverbetering
De literatuur over theory of change evaluatie benadrukt tenslotte dat niet alleen het eindproduct van de theory of change procedure relevant voor de praktijk is, maar ook het proces. Door samen te praten over de interventieactiviteiten, de beoogde doelen daarvan en de indicatoren waarmee de beoogde doelen kunnen worden vastgesteld, komt een organisatorisch leerproces op gang. Hoewel doe-len van tevoren worden geformuleerd, kan men het verloop van start naar eind (resultaat) van een project niet volledig van tevoren vastleggen, want vrijwel altijd zijn er tijdens de rit onvoorziene ontwikkelingen. Dat betekent dat ook de doelstel-lingen van het project en dus van het onderzoek niet a priori voor de totale duur van het project vastgelegd kunnen worden. Daarom is het doorlopend monitoren van een project van belang. Hierdoor kunnen vorderingen, maar ook hindernissen op tijd gesignaleerd worden waardoor bijstelling mogelijk wordt. Dat betekent dat flexibiliteit gevraagd wordt, niet alleen van de wetenschapper maar ook van de belanghebbenden. Dit cyclische proces ziet er als volgt uit.
Planning – Handeling – Uitvoering – Planning.