Niet-werk gerelateerde uitkomstmaten

De meeste treatment effecten die we onderzochten zijn niet significant (tabel A1.2). De daarbij horende hypothesen worden daarom dus weerlegd. We vinden nochtans enkele significante treatment effecten zoals bij extra begeleiding voor subjectieve gezondheid en bij eigen regie en extra begeleiding in meting 2 en 3 voor mentale gezondheid. Daarnaast vinden we een negatief significant effect bij extra begeleiding en vrijlating voor het aantal uren besteed aan vrijwilligerswerk en mantelzorg. Het effect is negatief in vergelijking met de controlegroep. Nadere analyse laat evenwel zien dat de daling in het aantal uren vrijwilligerswerk en mantelzorg in beide treatments volledig voor rekening komt van de toename in aantal uren betaald werk. De daling is dus een gevolg van de treatment doordat meer mensen vanwege de vrijlating of de extra begeleiding in beide groepen werk vinden maar daardoor minder tijd hebben voor vrijwilligerswerk en mantelzorg. Om die reden is dit effect eigenlijk geen negatief effect maar juist een positief effect van de treatment, althans indien uitstroom naar betaald werk het primaire doel is. Er treedt dus substitutie op waardoor de grotere arbeidsparticipatie ertoe leidt dat mensen minder tijd hebben voor maatschappelijke participatie. Uit de gegevens in de vragenlijsten over de uitstroom naar deeltijdarbeid kwam het beeld naar boven dat bij de vrijlatingsgroep maar juist ook de onderzoek -of controlegroep de uitstroom naar deeltijdwerk relatief groot is ten opzichte van de andere groepen.

We vinden weinig significante positieve effecten vinden maar ook weinig negatieve effecten. Dat betekent dat de andere werkwijze in ieder geval niet slechter werkt op deze uitkomstmaten dan de reguliere

begeleiding. Nochtans vinden we naast het eerdere genoemde negatieve effect voor vrijwilligerswerk een negatief effect voor institutioneel vertrouwen. Deze doet zich bij alle treatment groepen voor inclusief de controlegroep. Bij eigen regie is dit negatieve effect al bij de nulmeting aanwezig en duidt het op een selectie effect en geen treatment effect. Tot slot vinden we bij eigen regie een negatief treatment effect voor inkomensarmoede. Dat zou erop kunnen wijzen dat de inkomensarmoede dankzij de treatment eigen regie is gedaald maar nadere analyse leerde evenwel dat dit negatieve effect bij eigen regie zich reeds bij de start van het experiment voordeed en dus geen echt treatment maar vermoedelijk een selectie-effect is. Over het algemeen vinden we dus geen treatment effecten voor armoede en is ook de daling bij deprivatiearmoede in de tijd die we signaleerden niet significant na correctie voor compositieverschillen. Ontwikkeling in de tijd

Toch ontwikkelen een aantal belangrijke uitkomstmaten zich in de tijd gunstig (positief effect) zoals bij welbevinden, subjectieve gezondheid, mentale gezondheid, sociaal vertrouwen en armoede maar niet beter dan in de controlegroep. We vinden ook negatieve effecten zoals bij ervaren keuzevrijheid, sociaal netwerk, vrijwilligerswerk, institutioneel vertrouwen en inkomensarmoede. Bij vrijwilligerswerk bleek dat samen te hangen met het extra aantal uren dat men ging werken welke ten koste gingen van het aantal uren vrijwilligerswerk en mantelzorg. Bij keuzemogelijkheden en sociaal netwerk vermoedden we dat door uitstroom naar betaald werk er een selectieve groep van deelnemers overblijft met weinig perspectief op een betaalde baan. Bij inkomensarmoede bleek het een selectie effect en geen treatment effect. Opvallend is dat er niet alleen bij inkomensarmoede maar ook bij de andere maatstaven reeds bij de start verschillen zijn in de uitgangssituatie hetgeen duidt op zelfselectie. Die doet zich met name voor bij de eigen regie groep en de controle -of onderzoekgroep. Nader onderzoek moet uitwijzen of onderliggend bijvoorbeeld de stijging in welbevinden, sociaal vertrouwen en mentale gezondheid niet toch een treatment effect is dat niet zichtbaar wordt omdat de reguliere begeleiding in de controlegroep gedurende het experiment is veranderd en is gaan lijken op de andere treatments. De stijging van welbevinden is opvallend omdat er geen evidentie is dat welbevinden bij bijstandsgerechtigden zou zijn toegenomen in de afgelopen twee jaar, integendeel cijfers van het SCP (Wennekers e.a. 2019) suggereren dat voor mensen met een score op tevredenheid met het leven of geluk van 6 of lager (waartoe ook de bijstandsgerechtigden behoren) de score de afgelopen jaren – dus na de economische crisisjaren - is verslechterd. We vinden over het algemeen weinig verschillen tussen de treatments. Wel is het zo dat als er verschillen zijn deze zich vooral voordoen bij eigen regie en extra begeleiding maar niet bij de vrijlatingsgroep met uitzondering van het substitutie-effect van betaald werk op uren besteed aan vrijwilligerswerk

Stabiele kenmerken

Dat er weinig treatmenteffecten gevonden worden bij deze uitkomstmaten heeft volgens ons te maken met twee aspecten. Ten eerste denken we dat we geen goede vergelijkingsgroep hebben omdat de standaard treatment misschien zelf is veranderd. Ten tweede denken we dat veel van de gekozen uitkomstmaten stabiele kenmerken zijn van mensen die niet zo snel veranderen, of het nu gaat om beleving en motivatie zoals bij welbevinden, subjectieve gezondheid, de perceptie van sociale integratie, vertrouwen of om gedrag zoals bij zoekgedrag. Om deze kenmerken te veranderen zijn vaak ingrijpende gebeurtenissen nodig die het leven drastisch veranderen zoals een scheiding, langdurige werkloosheid, en verlies van kind

partner of vriend en vaak duurt het een lange tijd voor een effect zich openbaart door een andere beleving, motivatie of gedrag.

Verandering van de reguliere begeleiding

De regressieanalyses zowel van de procesevaluatie als van de productevaluatie gaven naar onze mening aanwijzingen voor een verandering van de treatment in de controlegroep. Bij de uitkomstmaten van mentale gezondheid en welbevinden vonden we een positief significant treatment effect over de tijd (meting 3) bij de controlegroep. Indien de reguliere treatment niet was veranderd zou het vinden van een dergelijk effect onwaarschijnlijk zijn geweest. Met andere woorden, indien de normale dienstverlening inderdaad is veranderd, is geen zuivere vergelijking van de controlegroep met de treatment groepen meer mogelijk. Dan zullen we een vergelijking moeten maken met een vergelijkingsgroep die niet beïnvloed is door het experiment. Op dit moment is zo’n alternatieve vergelijkingsgroep niet beschikbaar.

Verschillen tussen de treatments extra begeleiding en zelf in actie

Opvallend is dat we op de secundaire uitkomstmaten weinig tot geen verschillen vinden tussen de treatments. Dit heeft verschillende oorzaken. De eerste is dat in het experiment met opzet is gekozen voor een ‘eigen regie’ groep die mensen leert zelfredzaam te worden. Dat betekent dus geen ‘loslaten’ zoals stricto senso onder het begrip ‘eigen regie’ zou kunnen worden verstaan. De training aan de consulenten was gericht op zelfredzaamheid waarbij het onderscheid tussen eigen regie en intensieve begeleiding minder aandacht heeft gekregen. De treatments zijn aan het begin van het experiment nader omschreven en op schrift gesteld. Daarin werd ook aangegeven hoeveel contactmomenten er gemiddeld over de tijd zullen zijn per jaar met de deelnemer. Het was duidelijk dat bij eigen regie het aantal contactmomenten minder zou zijn en dat de regie voor contact bij de deelnemer zou behoren te liggen. De afgesproken ‘case load’ was voor eigen regie ook hoger vastgesteld waardoor er minder tijd zou zijn dan bij intensieve begeleiding per deelnemer. De ervaring leerde echter al snel dat de op papier gestelde uitgangspunten in de praktijk anders uitpakten. Reeds bij het begin van het experiment bleek dat ‘ leren zelfredzaamheid’ in het begin juist veel contact vraagt met de deelnemer en dat de meeste deelnemers het juist prettig vonden in het experiment dat ze veel contact hadden met de klantmanager. Doordat vanwege de focus op zelfredzaamheid het onderscheid tussen beide treatments niet geheel duidelijk was en ook de contactintensiteit aan het begin niet verschilde was het voor klantmanagers in het begin niet duidelijk wat de verschillen waren tussen de treatments. Geleidelijk aan is er een praktische invulling gegeven aan dit onderscheid tussen eigen regie en extra begeleiding; later bleek ook dat er minder contact met de deelnemer nodig was. Ook al vinden we geen significante verschillen, de klantmanagers zelf zijn meer geporteerd van de extra begeleiding als treatment. Dat bleek heel duidelijk uit de analyse van de procesevaluatie vragenlijsten wanneer gevraagd werd naar welke treatment het meest geschikt werd geacht voor de deelnemer. Zij zijn van mening dat de deelnemers hier meer baat bij hebben dan de eigen regie treatment. De proactieve rol die klantmanagers hebben bij extra begeleiding past wellicht beter bij de rol die van hen werd en wordt verwacht als professional, ‘loslaten’ hoorde en hoort daar minder bij. Mogelijk heeft het rolconflict dat consulenten ervoeren bij het uitvoeren van de treatments - zie het verslag van de focusgroep gesprekken- ook een rol gespeeld. Ook al werd van hen gevraagd om de treatments zo zuiver mogelijk uit te voeren en niet te veranderen, vanuit ethisch oogpunt vonden consulenten het lastig om de deelnemer iets te onthouden wat op dat moment door de consulent als professional nodig wordt

geacht. Niet uitgesloten kan worden dat dit een effect heeft gehad op het zuiver uitvoeren van de treatments.

Procesevaluatie

In de procesevaluatie worden de opinies en verwachtingen van de klantmanagers gepeild van de uitkomsten voor de deelnemer in de verschillende treatmentgroepen. De verwachting was dat klantmanagers van de treatmentgroepen eigen regie, extra begeleiding en vrijlating op aspecten zoals motivatie, zelfredzaamheid, stijging op participatieladder en het effect van de treatment hogere scores zouden laten zien op de uitkomstmaten dan de onderzoekgroep, vanwege de andere werkwijze die deel uit maakte van deze treatments. De analyses laten zien dat vooral de uitkomsten bij de extra begeleidingsgroep in de visie van de klantmanagers positief afwijken van de uitkomsten bij de onderzoekgroep op de besproken uitkomstmaten. Op nagenoeg alle tien uitkomstmaten scoort de extra begeleidingsgroep volgens de klantmanager (sterk) significant hoger dan de onderzoekgroep. Met name bij het aspect motivatie en zelfredzaamheid, zoals zelf in actie komen en het zelf doelen stellen, komt de extra begeleidingsgroep beter uit de bus, omdat daar het treatment effect het grootst is. Vervolgens vonden we ook voor de vrijlatingsgroep op veel uitkomstmaten een significant positief effect ten opzichte van de onderzoekgroep, met name op het zelf doelen stellen en het leereffect voor de klantmanager. Voor de eigen regie groep vonden we enkele positieve effecten, hoewel deze minder sterk significant en minder groot waren dan bij de andere twee treatmentgroepen. Vooral bij het aspect motivatie en leereffect bij de klantmanager bleek deze groep positief af te wijken van de onderzoekgroep. Opvallend is dat veel lijntjes die het verloop van de uitkomsten in de tijd weergeven een stijgende lijn laten zien zeker in meting 3 ten opzichte van de nulmeting. Dat we bij de onderzoeksgroep veel positieve significante effecten waarnemen op veel uitkomstmaten in meting 2 en meting 3 geeft te denken, en suggereert dat deze treatment in de loop van de tijd is gewijzigd. Eerder vermeldden we al dat klantmanagers betrokken zijn bij meer dan een treatment en dat geldt ook voor klantmanagers van de controlegroep. Cross-over effecten zijn dan aannemelijk.