2. Opzet van de evaluatie
2.2. Onderzoeksvragen
Het Wetenschappelijk Onderzoek en Documentatiecentrum (WODC) heeft aan PLATO gevraagd een proces- en productevaluatie uit te voeren en op basis van de gevonden resultaten een be-oordeling van het programma te geven.
De hoofdvragen die in het onderzoek centraal staan zijn:
1. Contextevaluatie: In welke context is het programma uitgevoerd (hoofdstuk 6)? 2. Procesevaluatie: Hoe en met wie is het programma Behave uitgevoerd (hoofdstuk 7)? 3. Productevaluatie: Wat zijn de resultaten van Behave op deze scholen en voor deze
leerlingen (hoofdstuk 8)?
4. Beoordeling: Hoe kan op basis van de proces-, product- en contextevaluatie de kwali-teit en effectivikwali-teit van het programma worden beoordeeld (hoofdstuk 9)?
Onderzoeksvraag 1 is later in overleg met de begeleidingscommissie toegevoegd. Door in het onderzoek ook te kijken naar de context waarin het programma wordt uitgevoerd (onder andere voor wat betreft het gevoerde beleid ten aanzien van gedrag en gedragsregels en de organisatie van het onderwijs) zullen we beter in staat zijn om de aangetroffen processen en resultaten te begrijpen en te beoordelen.
Hieronder zijn per onderzoeksvraag de deelvragen op een rijtje gezet. De cursief weergegeven deelvragen behoeven nadere toelichting. Deze toelichting volgt na het volledige overzicht van onderzoeks- en deelvragen.
2.2.1. Contextevaluatie: In welke context (voor wat betreft beleid en onderwijs) is het pro-gramma uitgevoerd (hoofdstuk 6)?
1. Wat is het beleid van de school ten aanzien van regels en gedrag?
2. Op welke wijze komt het gevoerde beleid (m.b.t. regels en gedrag) tot uitdrukking in de schoolpraktijk?
2.2.2. Procesevaluatie: Hoe en met wie is het programma Behave uitgevoerd (hoofdstuk 7)?
4. Hoeveel en welk type klassen en leerlingen nemen deel aan Behave?
5. Is aan de randvoorwaarden voldaan (bij de invoering van het programma op de scholen)? 6. Welke vorm / mate van ondersteuning krijgt Behave op de scholen?
7. Welke varianten van Behave zijn te onderscheiden? 8. Hoe is de beleving van de uitvoering van het programma?
9. In hoeverre worden de onderdelen van Behave op de scholen conform het draaiboek en met de beoogde doelgroep uitgevoerd?
10. In hoeverre nemen leerlingen actief en gemotiveerd deel aan de onderdelen van Behave?
2.2.3. Productevaluatie: Wat zijn de resultaten van Behave op deze scholen en voor deze leerlingen (hoofdstuk 8)?
11. Is er een tastbare gedragscode ontwikkeld?
12. In hoeverre voldoet deze gedragscode aan de voorwaarden voor een ‘goede gedragscode’? 13. In hoeverre is de beeldvorming van leerlingen over gedrag en gedragsregels veranderd? 14. In hoeverre is het scala aan gedragsalternatieven waarover de leerlingen beschikken na
Be-have veranderd?
15. In hoeverre is het feitelijk (concreet) gedrag van leerlingen veranderd?
16. In hoeverre dragen de verschillende onderdelen van Behave aan de resultaten bij?
17. In hoeverre vinden de leerlingen de (uitvoering van de) opgestelde gedragscode bruikbaar en relevant, ook voor zichzelf?
18. Wat is de impact van het programma?
19. In hoeverre heeft Behave bijgedragen aan een prettiger en veiliger klassen- en schoolkli-maat?
2.2.4. Beoordeling: Hoe kan op basis van de proces-, product- en contextevaluatie de kwa-liteit en effectiviteit van het programma worden beoordeeld (hoofdstuk 9)?
20. Op welke punten, en in welke mate, worden de doelen van Behave in de praktijk bereikt? 21. Welke zijn de sterke en zwakke punten en/of onderdelen van (de uitvoering van) Behave? 22. Welke onderdelen van Behave zijn het meest relevant of effectief voor de doelgroep? 23. Op welke punten moet Behave (of onderdelen daarvan) worden aangepast / verbeterd? 24. In hoeverre is, na afloop van Behave te verwachten dat het programma op de school
zelf-standig gaat worden herhaald?
Toelichting op enkele deelvragen:
Deelvraag 1, 2 en 3: over de context waarin het programma is uitgevoerd.
Door vragen over de context toe te voegen (voor wat betreft de organisatie van het onderwijs en het gevoerde schoolbeleid ten aanzien van gedrag en gedragsregels ) zullen we beter in staat zijn om de aangetroffen processen en resultaten te begrijpen en te beoordelen.
Deelvraag 7: over varianten van Behave.
In de startfase van het onderzoek werd duidelijk dat uit het aanbod van onderdelen en activiteiten van Behave in principe veel varianten kunnen worden samengesteld. Bij de start van het onder-zoek was het niet duidelijk wanneer er daarbij nog wél en wanneer er geen sprake meer is van Behave. Om uitspraken te kunnen doen over (eventuele) gevonden effecten, is het van belang te achterhalen met welke variant van het programma deze effecten bereikt zijn.
Deelvraag 8 over beleving.
Deze vraag is toegevoegd om een indruk te krijgen hoe de verschillende betrokkenen de uitvoe-ring van het programma hebben ervaren.
Deelvraag 13, 14 en 15: over beeldvorming, gedragsalternatieven en concreet gedrag.
Met deze vragen wordt beoogd een indruk te krijgen van de mate waarin sociale competenties van leerlingen door het programma Behave zijn ontwikkeld. Daarbij gaat het om kennis, reflectie (in de zin van bewustwording) houding en vaardigheden (zie paragraaf 1.5.).
Vraag 13 (In hoeverre is de beeldvorming van leerlingen over gedrag en gedragsregels veran-derd?) richt zich op bewustwording en houding. Met vraag 14 en 15 (‘in hoeverre is het scala aan gedragsalternatieven veranderd’, en ‘in hoeverre is het feitelijk, concreet gedrag van leerlingen veranderd’) wordt beoogd een indruk te krijgen op de vaardigheidscomponent van een sociale competentie. Daarbij gaat het bij vraag 15 om concreet, feitelijk gedrag. Vraag 14 betreft een on-derliggend niveau, namelijk de vaardigheden en gedragsalternatieven waarover leerlingen in principe beschikken, maar die niet per definitie geuit worden in zichtbaar gedrag.
Het onderzoek richt zich niet op het kennisaspect van een sociale competentie. Op basis van be-studering van het bij de start van het onderzoek beschikbare materiaal over Behave bleek het niet haalbaar en wenselijk om in het kader van dit onderzoek een kennistoets af te nemen. Een belangrijke reden hiervoor is dat Behave meer gericht is op bewustwording dan op het verkrijgen van kennis. In de diverse onderdelen en activiteiten waaruit scholen kunnen kiezen, zijn boven-dien geen concrete kennisdoelen geformuleerd. Daarnaast speelt een rol dat in de startfase van het onderzoek duidelijk werd dat er veel keuzemogelijkheden in de uitvoering van het programma zijn. Leerlingen van verschillende scholen dezelfde kennisvragen stellen werd daarom niet wen-selijk geacht.
T.a.v. deelvraag 18 over de impact van het programma.
Een effect van het programma komt ook tot uitdrukking in de mate waarin er over gesproken wordt door leerlingen en door leerkrachten, zowel formeel (het komt bijvoorbeeld in de les nog aan de orde) als informeel (in de wandelgangen, tijdens de pauze…).
2.3. Evaluatiemodellen
2.3.1. Het evaluatiemodel van Stake
Voor de evaluatie van het proces en de bereikte effecten wordt in dit onderzoek gebruik gemaakt van het evaluatiemodel van Stake (1967). Dit model is ontwikkeld voor het evalueren van onder-wijsprogramma’s. De kern van een programma-evaluatie bestaat uit het op verschillende
momen-ten van het implementatieproces beschrijven en memomen-ten of de gestelde doelen en resultamomen-ten wor-den gehaald, de geplande middelen en activiteiten ook feitelijk worwor-den ingezet en/of de verwach-te succes- en faalfactoren optreden. Bij het vergelijken van het geplande met het gerealiseerde programma wordt nadrukkelijk gekeken in hoeverre de veronderstelde relaties ook empirisch aantoonbaar zijn. De congruentie tussen gepland en gerealiseerd wordt tevens bepaald door contextfactoren die van invloed kunnen zijn op het implementatieproces en daarmee op de uit-eindelijke resultaten.
In dit onderzoek wordt wordt het model van Stake gebruikt om de resultaten uit dit onderzoek te ordenen en tot een eindbeoordeling te komen.
Tabel 2.1: Ordeningsschema voor de evaluatie (op basis van Stake, 1967)
Beschrijving Beoordeling Plannen veronderstelde, proces, context, product en sa-menhang Feiten feitelijk gebleken context, proces en product en samen-hang, op basis van empirische analyse Nomen/criteria op basis van theoretisch kader, pro-gramma ken-merken, beoogde effec-ten Oordelen beoordeling t.a.v. normen, criteria Context Proces Product
2.3.2. Onderlinge wisselwerking leerling, klas en school
Een positief klassen- en schoolklimaat is één van de basisvoorwaarden voor een gezonde cogni-tieve en sociale ontwikkeling van jongeren. Scholen zenden, al dan niet impliciet, allerlei bood-schappen uit, die van invloed zijn op hoe jongeren zich voelen, als individu en in de groep (klas en school). Enkele voorbeelden zijn: de manier waarop met cijfers wordt omgegaan, de manier waarop de samenwerking van leerkrachten georganiseerd is, hiërarchische relaties, regels die op school gelden, en hoe en met wie daarover wordt gesproken (Lickona, 1996; Glass, 2000). Uitgangspunt in dit onderzoek is dat opvattingen en gedrag van leerlingen worden beïnvloed door en van invloed zijn op de groepsprocessen in de klas. En samen zijn die ook weer van invloed op het schoolklimaat en het opvoedingsklimaat daarbinnen. Dit school- en opvoedingsklimaat is ten slotte ook weer van invloed op het individuele gedrag en het gedrag van de groep. Dit wordt weergegeven in figuur 2.1.
Figuur 2.1: drie niveaus van informatieverzameling: leerling, klas en school
2.4. Opzet van de evaluatie
2.4.1. Fasering
Het onderzoek is gefaseerd opgezet en omvat drie meetmomenten:
1. een nulmeting vóór de start van de uitvoering van Behave op de scholen; 2. een éénmeting, ongeveer een week na afloop van het programma; 3. een herhalingsmeting, acht weken na afloop van het programma.
De nulmeting is gericht op het verkrijgen van inzicht in de situatie vóór de start van het program-ma op de school. Wat betreft de procesevaluatie ligt daarbij het accent op plannen en verwach-tingen over de inhoud, uitvoering en effecten van het programma. Bij de productevaluatie worden de opvattingen van verschillende respondentgroepen over gedrag van leerlingen in kaart ge-bracht. In de productevaluatie wordt ook gevraagd naar concreet, feitelijk gedrag van leerlingen. Tot slot wordt informatie verzameld over de context waarin het programma zal worden uitge-voerd.
Bij de één- en herhalingsmeting wordt een volledige productevaluatie uitgevoerd, gericht op ver-anderingen op individueel niveau (bijvoorbeeld sociale opvattingen, feitelijk gedrag), op klassen- en schoolniveau. In de procesevaluatie staat de feitelijke uitvoering centraal. De contextevaluatie richt zich op mogelijke veranderingen in de context. Uiteindelijk doel hiervan is de invloed van contextfactoren te traceren.
2.4.2. Onderzoeksdesign
Het onderzoek is opgezet volgens een quasi-experimenteel onderzoeksdesign met een experi-mentele- en een controlegroep. Respondenten worden niet random ingedeeld. Contextevaluatie is als component aan het onderzoek toegevoegd, om inzicht te krijgen in de invloed van factoren vanuit de schoolcontext. In de classificatie volgens de Maryland Scale of Scientific Methods, be-vindt dit onderzoek zich hiermee tussen niveau 3 en 4 (Sherman et al., 1997).
Leerling
School Klas
2.4.3. Steekproef
In tabel 2.2. zijn gegevens over de geplande steekproef opgenomen. Weergegeven zijn: het mi-nimum aantal scholen en klassen dat in het onderzoek moest worden betrokken.
Tabel 2.2: Het minimum aantal in het onderzoek te betrekken scholen en klassen Scholen Experimentele klassen Controleklassen
Minimaal 25 experimentele scholen 75 experimentele klassen (3 per experimentele school) 25 controleklassen op experimentele scholen (1 per experimentele school) Minimaal 3 controlescho-len 6 controleklassen op controlescholen (2 per controleschool)
Totaal Minimaal 28 scholen Minimaal 75 experimentele klassen
Minimaal 31 controle-klassen
Aanvankelijk was het de bedoeling om in totaal 38 scholen bij het onderzoek te betrekken met in totaal 156 klassen: 105 klassen in de experimentele groep en 41 in de controlegroep. Om rede-nen die te maken hebben met de late start van het onderzoek en knelpunten in de werving van de scholen bleek dit aantal echter niet haalbaar. In hoofdstuk 4, waarin de uitvoering van het on-derzoek wordt beschreven (paragraaf 4.1.1.) wordt dit nader toegelicht.
Er is in dit onderzoek geen aselecte steekproef van scholen en klassen getrokken. De scholen die deelnamen aan het onderzoek waren scholen die zich vrijwillig hadden aangemeld voor de uitvoering van Behave. Hierdoor is er mogelijk een selectiebias opgetreden. Het kan zo zijn dat scholen die deelnemen al relatief meer aandacht aan het onderwerp ‘gedrag en gedragsregels’ dan scholen die dat niet doen. De scholen bepaalden ook zelf welke klassen deelnamen aan Be-have en welke klas in het onderzoek de rol van controleklas vervulde.
2.4.4. Respondenten
Volgens de opzet van het onderzoek worden de volgende respondenten onderscheiden: Bij experimentele scholen:
• Leerlingen van experimentele- en controleklassen
• Direct betrokken docenten: Dit zijn docenten die direct bij de uitvoering van het programma betrokken zijn
• Indirect betrokken docenten: Dit zijn docenten die lesgeven aan een klas waar het program-ma Behave is uitgevoerd, program-maar die niet betrokken zijn bij de uitvoering van dat programprogram-ma. • Controledocenten: Dit betreft docenten die lesgeven aan een klas waar Behave niet is
uitge-voerd.
me-Bij controlescholen: • Docenten
• Onderwijs Ondersteunend Personeel (OOP) • Management
Bij Codename Future: • Projectleider Behave • Relatiebeheerder scholen, • Lid managementteam
2.4.5. Instrumenten en methoden van onderzoek
Dit betreft voornamelijk schriftelijke dataverzameling. Andere methoden van dataverzameling zijn: documentenstudie, interviews met het management van scholen en met medewerkers van Co-dename Future, en een miniconferentie voor de in het onderzoek betrokkenen scholen. In het volgende hoofdstuk worden de instrumenten en methoden nader toegelicht.