Worden de doelstellingen van een aanpak behaald?
Wordt de beoogde doelgroep bereikt? Voor het beantwoorden van deze vragen is het (tussentijds) monitoren en evalueren van de aanpak noodza-kelijk. Het is al gebruikelijk om uitvoeringsorga-nisaties die subsidie vragen voor een project, te verzoeken doelstellingen ‘smart’ te omschrijven.
Gemeenten zouden hetzelfde moeten doen in hun beleidsnota’s. Monitoren betekent het bijhouden van ‘output’ (direct meetbare resultaten, bijvoor-beeld het aantal gerealiseerde trajecten in een project. Daarnaast is het goed om een gewenste meetbare ‘outcome’ van beleid te formuleren en te volgen (maatschappelijke effecten van een
M E E R W E T E N
O&S van de gemeente Amsterdam heeft een handlei-ding gemaakt die gemeenten goed kan helpen bij het formuleren van output- en outcome indicatoren.
Zie voor meer informatie over erkende interventies de databank effectieve interventies van het NJi en/of de erkende gedragsinterventies Justitie .
beleidsinspanning, bijvoorbeeld het verlagen van de jeugdwerkloosheid met een aantal procentpun-ten). De resultaten van monitoring kunnen helpen de visie op de aanpak van risicojongeren of risi-cogroepen van de gemeente en instanties aan te scherpen.
Verder is het raadzaam niet alleen de uitkomsten van projecten of beleid te bezien, maar ook de uit-voering te volgen. Dit kan door instellingen hier-over te laten rapporteren, en bepaalde aspecten van de bedrijfsvoering cijfermatig in kaart te bren-gen. Daarnaast is het wenselijk om een procesevalu-atie te laten uitvoeren door een externe partij. Wat werkte goed bij de uitvoering, wat zijn werkzame elementen, belangrijke randvoorwaarden voor suc-ces, en wat zijn de resultaten volgens betrokkenen?
Op basis van tussentijdse monitoring en evaluatie kunnen doelstellingen worden bijgesteld of aange-scherpt, en kan de uitvoering worden verbeterd.
Effectonderzoek, het meten van de effectiviteit van interventies, helpt eveneens duidelijk te maken waar verbetering nodig is. Maar het grootste belang ervan is dat bewezen effectiviteit een voorwaarde zou moeten zijn voor de keuze voor een interven-tie. Gemeenten verlangen dit ook steeds vaker van interventies die ze inzetten. Effectonderzoek is ech-ter duur en niet altijd gemakkelijk uitvoerbaar. Dat is ook de voornaamste reden dat er in Nederland nog maar weinig interventies zijn waarvan het effect werkelijk met wetenschappelijk onderzoek is aangetoond. De meeste studies zijn hooguit theore-tisch goed onderbouwd: ze werken volgens (in
bin-nen- of buitenlands onderzoek bewezen) werkzame elementen.
In deze handreiking staat op een rij wat er bekend is over de werkzame elementen bij Antilliaanse risicogroepen, Marokkaanse risicojeugd, de aan-pak van multiprobleemgezinnen, opvoedingsonder-steuning, schooluitval, jeugdwerkloosheid, ouder-betrokkenheid en VVE. Deze kennis kan helpen bij het selecteren en beoordelen van projecten en bij het beoordelen van de uitvoering. We moe-ten ons realiseren dat wat werkt afhankelijk is van context en doelgroep, en van de kwaliteit van de professional (en de randvoorwaarden waaronder deze werkt). Te veel nadruk op ‘evidence based’
(wetenschappelijk bewezen) interventies, zonder naar randvoorwaarden en doelgroep te kijken, is ook weer niet ‘de’ route. Zo zijn ‘evidence based’
interventies bijvoorbeeld vaak niet bewezen effec-tief voor migrantengroepen. Er moet ook oog zijn voor de kracht van ‘practice based’ werken. Het voorgaande is vooral een tweeledig pleidooi. Ten eerste om er een gewoonte van te maken het werk in de praktijk (en de resultaten daarvan), meer dan nu vaak gebeurt te monitoren en evalueren. En ten tweede om vooraf al na te denken over wat er op grond van wetenschappelijke kennis over werk-zame elementen aan inzet mogelijk is.
Leeswijzer Introductie
48
C I TA AT
‘Gemeenten maken in het algemeen ook concrete afspraken met uitvoeringsorganisaties of projectlei-ders over de te leveren hoeveelheid van een bepaalde inspanning (kwantitatieve afspraken), meestal uitge-drukt in aantallen trajecten die aangeboden moeten worden of aantallen personen die bereikt moeten zijn. Dit zegt echter nog niets over wát er met die trajecten of personen moet worden gerealiseerd, dus wanneer de inspanning kan worden bestempeld als succesvol.(…) Gemeenten zouden in aanvulling op prestatie-afspraken in termen van aanbod (output), steeds meer moeten gaan inzetten op het maken van prestatie-afspraken in termen van resultaat (out-come). Dit hoeft niet te betekenen dat het algehele maatschappelijk rendement in beeld moet worden ge-bracht alvorens gemeenten bereid zijn te financieren.
Maar het kan wel betekenen dat gemeenten, meer dan nu gebruikelijk is, van uitvoeringsorganisaties ver-langen dat zij zich verantwoorden over het succes van de geleverde inspanning.’
M. Vijghen (2011) Hoe specifiek is regulier beleid (en andersom)? Utrecht: Samenwerkingsverband Ma-rokkaans-Nederlandse risico jongeren.
B R O N
Ince, D., & Berg, G. van den (2010). Overzichtsstudie interventies voor migrantenjeugd : ontwikkelings-stimulering, preventie en vroeghulp. Utrecht: NJi.
Uitvoering en monitoring > Het belang van onderzoek voor een optimale beleidsinzet
Aanbevelingen voor gemeenten
Een belangrijk aandachtspunt bij het onderzoek rond-om interventies is hun geschiktheid voor uiteenlopen-de doelgroepen. In hun Overzichtsstudie interven-ties voor migrantenjeugd; Ontwikkelingsstimulering, preventie en vroeghulp. Utrecht: NJi, doen Ince & Van den Berg hierover concrete aanbevelingen voor onder-zoek en andere vormen van kennisontwikkeling.
Ontwikkel good practices verder
Veel erkende interventies gaan niet in op vragen en/of problemen die specifiek voor migranten gelden. Ont-wikkel in de praktijk positief bevonden good practices verder door ze theoretisch te onderbouwen, methodo-logisch te versterken en intercultureel te maken en te onderzoeken.
Ga na:
• of de interventies zijn wat ze lijken te zijn op grond van de beschikbare kennis;
• of er bij de betreffende ontwikkelaars de bereid-heid bestaat om mee te werken aan verdere ont-wikkeling;
• of er bij de betreffende migrantengroep voldoende draagvlak is om de verdere ontwikkeling te onder-steunen.
Combineer erkende interventies en good practices Bij het ontwikkelen van interventies voor migranten-groepen verdienen zowel bereik als effectiviteit de aandacht. Een gecombineerde aanpak is dan geboden:
Koppel de evidence based benadering aan de practice based benadering: de doordachte, theoretisch verant-woorde benadering moet samengaan met de prakti-sche, goed uitvoerbare en doelgroepnabije benadering.
Uit de Meetladder Diversiteit Interventies komt naar voren dat het aanpassen van generieke interventies voor specifieke doelgroepen de voorkeur verdient bo-ven het ontwikkelen van speciaal op die groepen ge-richte nieuwe interventies. Om optimaal bereik en ef-fectiviteit samen te laten gaan is een gecombineerde strategie aanbevelenswaardig. Die kan eruit bestaan dat een theoretisch goed onderbouwde of bewezen in-terventie wordt aangepast door deze te verrijken met in de praktijk ontwikkelde inzichten en aanpakken.
Documenteer lokale initiatieven
Migrantengroepen ontwikkelen zelf veel lokale initia-tieven en voeren die ook uit. Deze interventies lijken een groot bereik te hebben en te werken. Zorg voor een goede documentatie van alle initiatieven die in Nederland worden uitgevoerd: het geeft een comple-ter beeld.
Neem bij effectonderzoek ook de effectiviteit bij migrantengroepen mee
Effectonderzoek is al schaars en daarbinnen wordt ook nog zelden onderscheid gemaakt in de effectiviteit voor verschillende groepen. Richt de aandacht bij on-derzoek naar de effectiviteit van interventies in het bijzonder ook op migrantengroepen.
Ontwikkel een registratie-instrument en een imple-mentatieplan
Voor het systematisch bijhouden van de deelnemers aan een interventie is het belangrijk om relevante kenmerken van deelnemers te registreren. Maak een implementatieplan om te zorgen dat uitvoerders van interventies ook daadwerkelijk gaan registreren.
P R A K T I J K E RVA R I N G E N
Binnen de kenniskring van KIEM (Kennisprogramma Integratie) wisselden experts uit onderzoek, beleid en praktijk hun kennis en ervaringen uit. Dit bracht nieu-we inzichten over een voor risicojongeren effectief beleid. Samenwerking was hierbij een centraal thema.
Berkeley, E. & A. Van Uden, (2009). Risicojongeren . Een bundeling van inzichten uit onderzoek, beleid en praktijk over een effectieve aanpak. Den Haag: Nicis Institute.
4.3 Succesvolle samenwerking
Risicojongeren hebben vaak problemen op meerdere leefgebieden. Deze vragen om een gelijktijdige aanpak. Goede samenwerking is dan ook een vereiste. Door verkokering en het specialistische karakter van veel instanties is samenwerken in de praktijk niet altijd makkelijk. Soms komen slechts delen van de problematiek van een jongere in het vizier en wordt er veelvuldig doorverwezen. Zo is de kans groot dat de jongere in een wirwar van betrokken instanties het overzicht kwijtraakt. Bovendien zijn instanties niet altijd van elkaars activiteiten op de hoogte. Dat veroorzaakt weer een overlap in het aanbod, of juist een gemis aan geschikt aanbod. Om tot goede samenwerking te komen, spelen veel factoren een rol.
Factoren van invloed op samenwerking Vijf stadia van samenwerking
Leerpunten uit samenwerking formele en informele organisaties