Geschatte uren per week vrijwilligerswerk en mantelzorg
3.5.6 Samenvatting treatment effecten secundaire uitkomstmaten
Treatments Nul-meting Meting 2 Meting 3 Tot, Nul-meting Meting 2 Meting 3 Tot. N= Eigen regie 0.23*** 0.19*** 0.21** 0.21* 0.31 0.30 0.26 0.30 200 Extra begeleiding 0.24 0.20 0.22* 0.22 0.33 0.27 0.24 0.28 166 Vrijlating 0.29 0.25** 0.27 0.27 0.37 0.33 0.29 0.33 225 Onderzoekgroep 0.29 0.27 0.28** 0.28 0.39 0.34 0.32 0.35 168 Totaal 0.26 0.23 0.25 0.25 0.35 0.31 0.28 0.32 759
Noot1: ***p<0,01; **p<0,05; *p<0,10, getest op basis van OLS regressie analyse N=618); Model met treatment, cliëntvragenlijstmeting, klantmanagernummer en de controle variabelen.
Noot2: Pseudo R2: Inkomensarmoede 0.04; Deprivatiearmoede=0.10. Bijdrage verklaarde variantie door klantmanager
48%;14%;
Bron: Vragenlijsten nulmeting en vervolgmetingen productevaluatie Vertrouwensexperiment Apeldoorn/Epe, Tilburg
University, 2020
3.5.6 Samenvatting treatment effecten secundaire uitkomstmaten
In Tabel A1.1 in bijlage A presenteren we een overzicht van de gevonden treatment effecten ten opzichte van de onderzoek -of controlegroep en de effecten van de beide metingen voor alle drie groepen ten opzichte van de nulmeting op de niet-werk gerelateerde uitkomstmaten (ontwikkeling in de tijd). De meeste treatment effecten zijn niet significant (tabel A1.2). De meeste hypothesen worden daarom niet bevestigd met uitzondering van de verwachtingen ten aanzien van subjectieve gezondheid waarvoor we een positief en significant treatment effect vinden van extra begeleiding. Ook bij mentale gezondheid vinden we positieve en significante treatment effecten in meting 2 en meting 3 voor alle groepen ten opzichte van de controlegroep bij de start. Tevens vinden we voor mentale gezondheid een treatment effect in meting 3 voor de controlegroep, dus ten opzichte van de situatie bij deze groep bij de start. Kennelijk is er iets veranderd in de treatment van de controlegroep waardoor dit effect optreedt bij de deelnemer.
Bij welbevinden vinden we geen treatment effect ten opzichte van de controlegroep maar stijgt het welbevinden nochtans bij alle groepen betekenisvol. Datzelfde geldt ook voor mentale gezondheid. We vinden een betekenisvolle stijging in de tijd bij alle groepen. Dat er weinig treatmenteffecten gevonden worden bij deze uitkomstmaten heeft volgens ons te maken met twee aspecten. Ten eerste denken we dat we geen goede vergelijkingsgroep hebben omdat de standaard treatment misschien zelf is veranderd. Ten tweede denken we dat veel van de gekozen uitkomstmaten stabiele kenmerken zijn van mensen die niet zo snel veranderen, of het nu gaat om beleving en motivatie zoals bij welbevinden, subjectieve gezondheid, de perceptie van sociale integratie, vertrouwen of om gedrag zoals bij zoekgedrag, vrijwilligerswerk en sociale netwerken. Om deze kenmerken te veranderen zijn vaak ingrijpende gebeurtenissen nodig die het leven drastisch veranderen zoals een scheiding, langdurige werkloosheid, en verlies van kind partner of
vriend en vaak duurt het een lange tijd voor een effect zich openbaart door een andere beleving, motivatie of gedrag. Wat het eerste aspect betreft laten de grafieken ook zien dat de uitkomsten voor de controlegroep niet stabiel zijn en in dezelfde richting mee veranderen met de andere groepen. Bij de uitkomstmaat van mentale gezondheid vinden we bijvoorbeeld een positief significant treatment effect over de tijd bij de controlegroep in meting 3 (zie Tabel A1.2 in Bijlage A). Indien de standaard treatment niet was veranderd zou het vinden van een dergelijk effect onwaarschijnlijk zijn geweest. Daarnaast zagen we al op grond van de analyses van de uitstroom naar werk dat de standaard treatment naar alle waarschijnlijkheid is veranderd omdat er anders niet zo’n groot verschil zou zijn met de referentiegroep die de standaard treatment heeft gekregen. Met andere woorden, indien de standaard treatment inderdaad is veranderd, is een zuivere vergelijking met de treatment groepen lastig. Dan zullen we een vergelijking moeten maken met een vergelijkingsgroep die niet beïnvloed is door het experiment. Op dit moment is zo’n alternatieve vergelijkingsgroep niet beschikbaar. Daarvoor zullen we te rade moeten gaan bij andere databronnen.
Effecten over tijd
We vinden geen treatment effecten maar wel positieve en significante effecten over tijd in verband met welbevinden en mentale gezondheid maar dan voor alle groepen. Of dit het gevolg is van het experiment, dus een treatment effect, of veroorzaakt wordt door andere factoren, is vooralsnog causaal niet vast te stellen zonder zo’n vergelijkingsgroep. Het is wel opvallend omdat er geen evidentie is dat welbevinden bij bijstandsgerechtigden zou zijn toegenomen in de afgelopen twee jaar, integendeel, cijfers van het SCP suggereren (zie Van Echteld, 2019) dat voor mensen met een levenssatisfactiescore van 6 of lager (waartoe ook de bijstandsgerechtigden behoren) de score de afgelopen jaren is verslechterd.
Negatieve treatment effecten
Een uitkomst die benadrukt moet worden is dat we weinig significante positieve effecten vinden maar ook weinig significante negatieve effecten. Dat betekent dat de andere werkwijze in ieder geval niet slechter werkt op deze uitkomstmaten dan de reguliere begeleiding. Nochtans vinden we twee significante negatieve effecten. Dat is het geval bij vrijwilligerswerk en mantelzorg en institutioneel vertrouwen. Wat het institutionele vertrouwen betreft zijn er negatieve treatment effecten maar die doen zich bij alle treatment groepen voor inclusief de controlegroep. Bij eigen regie is dit effect al bij de nulmeting aanwezig en duidt het op een selectie effect en geen treatment effect. Onduidelijk is vooralsnog wat de achtergrond van deze daling in institutioneel vertrouwen is die zich bij alle groepen voordoet. De effecten blijven overigens hetzelfde in een model zonder klantmanagernummer. Het is dus geen effect van de klantmanager zelf.
Het tweede negatieve effect doet zich voor bij vrijwilligerswerk en mantelzorg en vooral bij de extra begeleidingsgroep en de vrijlatingsgroep in vergelijking met de controlegroep. Nadere analyse laat evenwel zien dat de daling in het aantal uren vrijwilligerswerk en mantelzorg volledig voor rekening komt van de toename in aantal uren betaald werk. De daling is dus een gevolg van de treatment doordat meer mensen vanwege de begeleiding werk vinden maar daardoor minder tijd hebben voor vrijwilligerswerk en mantelzorg. Om die reden is dit effect eigenlijk geen negatief effect maar juist een positief effect van de treatment, althans indien uitstroom naar betaald werk het primaire doel is. Er treedt dus substitutie op
waardoor de grotere arbeidsparticipatie ertoe leidt dat mensen minder tijd hebben voor maatschappelijke participatie.
Resumerend..
We vinden slechts enkele significante treatment effecten zoals bij subjectieve gezondheid, mentale gezondheid en vrijwilligerswerk; anderen worden ogenschijnlijk weerlegd. Toch ontwikkelen een aantal belangrijke uitkomstmaten zich in de tijd gunstig zoals welbevinden en sociaal vertrouwen maar niet beter dan in de controlegroep. Opvallend is dat er reeds bij de start verschillen zijn in de uitgangssituatie hetgeen duidt op zelfselectie. Die doet zich met name voor bij de eigen regie groep en de controle -of onderzoekgroep. We vinden dus vaak geen causaal verband met de treatments met uitzondering van de eerder genoemde. Nader onderzoek moet uitwijzen of onderliggend bijvoorbeeld de stijging in welbevinden, sociaal vertrouwen en mentale gezondheid niet toch een treatment effect is dat niet zichtbaar wordt omdat de reguliere begeleiding in de controlegroep gedurende het experiment is veranderd en is gaan lijken op de andere treatments. We vinden over het algemeen weinig verschillen tussen de treatments. Wel is het zo dat als er verschillen zijn deze zich vooral voordoen bij eigen regie en extra begeleiding maar niet bij de vrijlatingsgroep met uitzondering van het substitutie-effect van betaald werk op uren besteed aan vrijwilligerswerk.
Hierna bespreken we de uitkomsten van de procesevaluatie en analyseren we het uitvoeringsproces zelf aan de hand van de vragenlijsten gesteld aan de klantmanager. Wellicht krijgen we hiermee meer inzicht in de wijze waarop de standaard treatment zich heeft ontwikkeld.