2.4.1 Verzameling kwantitatieve gegevens Design en selectie gemeenten
De hoofdvraag van het onderzoek is beantwoord door na te gaan in hoeverre de programma’s erin slagen hun doelstelling, voorkomen van verder ongeoorloofd schoolverzuim, te behalen. Jongeren moeten weer voldoen aan de leerplicht: gaan weer naar school of volgen een vervangend
programma dat aan de eisen van leerplicht voldoet. Of de programma’s daarin slagen is nagegaan door op vijf verschillende momenten te meten of de programmadeelnemers al dan niet aanwezig zijn op de school/onderwijsinstelling of de instelling/het project met een leerplichtvervangende status. De aan/afwezigheid op school wordt steeds gemeten over een periode van een week. - Meetmoment 1 betreft de week zes maanden voor de start van de interventie.
- Meetmoment 2 betreft de week twee maanden voor de start van de interventie. - Meetmoment 3 betreft de week voorafgaand aan de start van de interventie. - Meetmoment 4 is betreft de week twee maanden na afloop van de interventie. - Meetmoment 5 is betreft de week zes maanden na afloop van de interventie.
De meetmomenten betreffen voormetingen en nametingen. Via een statistische analyse is nagegaan of een trendbreuk is te constateren in het verzuim voor en na de interventie. Voor elk meetmoment (van een week) is via de verzuimregistratie van de scholen nagegaan:
- Hoeveel uur een jongere op school had moeten zijn? - Hoeveel uur een jongere afwezig was?
- Hoeveel van de eventuele verzuimuren door de school zelf onder de rubriek ‘spijbelen’ zijn geregistreerd?
Wanneer een meetmoment in de schoolvakanties of de examenperiode viel, dan is dit meetmoment maximaal 4 weken eerder of later in de tijd geplaatst.
Van te voren was niet goed in te schatten in hoeverre aan de voorwaarde was voldaan dat de scholen hun verzuimregistratie voldoende op orde hadden om betrouwbare gegevens te kunnen aanleveren over het verzuim van de deelnemende jongeren. Een eerste test uitgevoerd onder vijf willekeurig gekozen scholen in de vier grote steden bood echter positieve resultaten. Alle
Om met voldoende power statistisch significante uitspraken te kunnen doen, wordt in het algemeen als vuistregel gehanteerd dat een groepsgrootte van minimaal 25 noodzakelijk is40. De eisen gesteld aan onze dataverzameling waren hoog: van elke jongere dienden we een complete set data te verkrijgen van 5 meetmomenten terwijl scholen niet altijd een goede verzuimregistratie bijhouden en de doelgroep van matige en hardnekkige verzuimers nogal eens van school wisselt en daardoor moeilijk is te volgen. We moesten daarom rekening houden met een aanzienlijke uitval bij de gegevensverzameling. We zijn daarom uitgegaan van een minimaal verwacht aantal van 40 in de effectmeting te betrekken jongeren. Op basis hiervan zijn de volgende regio’s geselecteerd. - Voor het onderzoek naar de Halt afdoening is gekozen voor Halt West-Brabant wegens de
ruime instroom in 2005 (zie paragraaf 1.3) en de aanwezigheid van twee middelgrote gemeenten (Bergen op Zoom en Breda) waarvoor een controlegemeente41 gezocht zou kunnen worden.
- Het onderzoek naar ROOS van B.I.G. is uitgevoerd in twee middelgrote gemeenten met een grote instroom, te weten Den Bosch en Haarlem (met tezamen naar schatting een instroom van 60 deelnemers per jaar).
- Voor Basta is gekozen voor de gemeente met het hoogste aantal deelnemers, te weten Rotterdam (naar schatting circa 40 per jaar).
- Voor Ouders Present is Amsterdam gekozen, de enige gemeente waar ten tijde van het onderzoek Ouders Present werd uitgevoerd. Het was niet zeker of het aantal van 40 deelnemers hier zou worden gehaald.
Doorlooptijd onderzoek
De dataverzameling kon begin februari 2006 van start gaan en diende eind 2006 afgerond te zijn. Dat betekende dat de interventies 6 maanden daarvoor afgesloten moesten zijn. Immers, anders valt de vijfde en laatste meting in 2007. De interventies dienden dus uiterlijk 30 juni 2006 afgerond te zijn42. Wanneer wij in het onderzoek alleen jeugdigen zouden betrekken die in de periode februari 2006 - juli 2006 de interventie volgden (en afsloten) dan zou het gewenste aantal van minimaal 40 respondenten (inclusief uitval) bij de meeste programma’s niet behaald kunnen
worden. Er is daarom besloten om de dataverzameling retrospectief aan te vullen met jeugdigen die al eerder - in de tweede helft 2005 - met een justitieel programma begonnen zijn.
40
Baarda D.B. en M.P.M. de Goede; Basisboek Methode en Technieken, 1998 (pagina 130).
41
Bij de effectmeting van Halt is gezocht naar een controlegemeente (zie verderop in deze paragraaf).
42
Tijdens de dataverzameling bleek het nodig om de doorlooptijd van het onderzoek te verlengen teneinde voldoende aantallen te behalen voor de statistische analyse. De periode dat jongeren die instroomden in de interventies konden deelnemen aan het onderzoek werd daarmee dus verlengd (zie paragraaf 3.2).
Controlegroep voor Halt
De vraag van de opdrachtgever heeft betrekking op de doeltreffendheid van de programma’s (trede 3 van de effectiviteitsladder). Of het stoppen van het schoolverzuim (indien dat bevestigd wordt in het onderzoek) ook daadwerkelijk toe te schrijven is aan de spijbelinterventie en niet aan andere invloeden, kan hiermee niet worden vastgesteld, hoogstens aannemelijk worden gemaakt. Idealiter is voor een effectonderzoek een onderzoeksdesign met een controlegroep en een a-selecte toewijzing van deelnemers aan de experimentele groep en de controlegroep vereist (randomized controlled trial, trede 4). Een controlegroep zou moeten bestaan uit jongeren die in aanmerking komen voor een van de in het onderzoek betrokken programma’s maar deze afdoening niet opgelegd kregen. Om praktische en ethische redenen is een controlegroep voor ROOS, Basta en Ouders Present lastig samen te stellen. Voor de Halt afdoening is dit in principe wel mogelijk. Een controlegroep kan worden gevonden in een of meer gemeenten die aan de volgende voorwaarden voldoen:
- De gemeente is qua omvang vergelijkbaar met de gemeenten van de in het onderzoek betrokken Halt afdoening.
- Er bestaat in deze gemeente geen Halt afdoening.
- Jongeren die aan de Halt criteria voldoen krijgen een standaardafdoening van Leerplicht (een of enkele gesprekken met jongere en/of ouders en een waarschuwing).
De afdeling Leerplicht in een gemeente die aan de criteria voldoet zou een controlegroep van minimaal 30 jongeren moeten leveren43.
Een dergelijke controlegroep voldoet niet aan de voorwaarde van at random toewijzing van jongeren aan de experimentele dan wel de controlegroep. Er wordt dus geen definitief uitsluitsel over de werkzaamheid van Halt verkregen maar wel een tweede validering, een tweede aanwijzing voor de effectiviteit, naast de mogelijke doeltreffendheid.
Ten tijde van het onderzoek waren er drie arrondissementen waar Halt bij Schoolverzuim niet werd uitgevoerd. Potentiële controlegemeenten in deze arrondissementen waren:
- Zwolle en Hardenberg (arrondissement Zwolle). - Alkmaar en Den Helder (arrondissement Alkmaar). - Middelburg en Vlissingen (arrondissement Middelburg).
Op verzoek van de opdrachtgever zijn deze gemeenten benaderd en is de mogelijkheid onderzocht om voor de effectmeting van Halt te werken met een controlegroep. Het is om verschillende
redenen niet gelukt om de effectmeting bij een controlegroep voor Halt uit te voeren. In paragraaf 3.3 wordt hier nader op ingegaan.
43
Omdat het een relatief lichte doelgroep betreft hebben we het criterium van minimal 40 jongeren omlaag gebracht naar minimaal 30 jongeren.
2.4.2 Verzameling aanvullende kwalitatieve gegevens
Als aanvulling op de kwantitatieve gegevensverzameling voorzag de onderzoeksopzet in interviews met de cursusleiding van de onderzochte interventies (een interview per interventie) en interviews met deelnemers (één groepsgesprek per interventie).
De interviews dienden gehouden te worden voor Halt, ROOS, Basta, Ouders Present en Jeugdreclassering.
De interviews met de cursusleiding hadden betrekking op de volgende thema’s: - de formele en de feitelijk bereikte doelgroep.
- de formele en de feitelijke doelstelling van de interventie.
- de opbouw en inhoud van het programma (in relatie tot de bestaande programmabeschrijving).
- de theoretische onderbouwing van het programma.
- de beoordeling van de doeltreffendheid van het programma (werkzame elementen, doelbereiking).
- de positieve elementen (good practices) en verbeterpunten.
- de inbedding van het programma in de verzuimketen (toeleiding en nazorg). - de algemene beoordeling.
De interviews met de deelnemers hadden betrekking op de volgende thema’s: - de toeleiding naar de interventie.
- het spijbelgedrag voor de interventie (reden en frequentie).
- het oordeel over de interventie (waardering gedurende het verloop van het programma, positieve en negatieve ervaringen, leerervaringen).
- de werkzaamheid van de interventie (helpt het tegen spijbelen?). - spijbelgedrag tijdens en na afloop van de interventie.
- de behoefte aan en ervaringen met nazorg na afloop van de interventie.