7. Procesevaluatie: Hoe en met wie is het programma Behave uitgevoerd?
7.5. Beleving van de uitvoering van het programma
Deelvraag 8 luidt: Hoe is de beleving van de uitvoering van het programma? Om deze vraag te beantwoorden is aan managers en direct betrokken docenten gevraagd naar:
- de doelen die werden nagestreefd en de mate waarin ze zijn bereikt; - de verwachte effecten;
Beantwoording deelvraag 7: Welke varianten van Behave zijn te onderscheiden?
Er zijn verschillende varianten van Behave uitgevoerd. Op de meeste scholen werd een pro-jectdag uitgevoerd of werd het programma geïntegreerd in vak- of mentorlessen. Op een paar scholen is Behave uitgevoerd in de vorm van een projectweek.
De omvang in uren was op alle scholen beperkt (4-16 lesuren) en de looptijd varieerde van 1 dag tot 10 weken. Welke stappen precies zijn uitgevoerd en welke activiteiten leerlingen heb-ben gedaan, is op basis van de verkregen gegevens niet goed te zeggen. In elk geval komt het beeld naar voren dat veel uitgevoerde varianten regelmatig niet aan de criteria van de mi-nimumvariant voldoen. Op deze scholen is dus iets uitgevoerd dat niet eens meer Behave kan worden genoemd. Deze lage programma-integriteit heeft waarschijnlijk een negatieve invloed op de uitkomsten van het programma.
7.5.1. Nagestreefde doelen
Het programma Behave heeft tot doel de sociale competenties van leerlingen verder te ontwikke-len. In de minimumvariant gaat het daarbij vooral om bewustwording van eigen gedrag en dat van anderen. In een intensievere variant of een bredere inzet kan op de langere termijn ook gedrags-verandering bij de leerlingen worden nagestreefd.
Binnen deze kaders hebben scholen uiteraard zelf ook bepaalde doelen voor ogen, die zij met de uitvoering van het programma wensen te bereiken. Aan de leden van het management en de direct betrokken docenten werd in de nulmeting gevraagd welke doelen ze hadden geformuleerd met betrekking tot de uitvoering van het programma Behave. Iedere respondent kon maximaal 3 doelen noteren in een open vraag format. De antwoorden zijn achteraf gecategoriseerd (zie tabel 7.5).
Tabel 7.5. Nagestreefde doelen
Managers (N=13)
Dir. betr. docen-ten (N=28) Totaal (N=41) Nagestreefde doelen aant. pct. van N aant. pct. van N aant. pct. van N Leerlingen inzicht bieden in
(de gevolgen van) gedrag
7 54 15 54 22 54
Respect / begrip voor elkaar en omgeving
2 15 8 29 10 24
Verbeteren van gedrag 2 15 7 25 9 22
Een gedragscode opstellen. 2 15 6 21 8 20
Betere sfeer in klas / school 4 31 3 11 7 17
Verantwoordelijkheidsgevoel vergroten
4 31 2 7 6 15
Anders 1 8 1 4 2 5
Het aan leerlingen bieden van inzicht in hun eigen gedrag is de meest genoemde doelstelling. Andere belangrijke doelstellingen zijn het vergroten van respect en wederzijds begrip en het ver-antwoordelijkheidsgevoel. Ook hoopt een deel van de respondenten dat het programma bij zal dragen aan een prettiger klassen- en schoolklimaat. Door een klein gedeelte van de responden-ten wordt gedragsverandering bij de leerlingen als doelstelling genoemd. Het opstellen van een gedragscode is eigenlijk een middel tot een doel en niet een doel op zich. Dit antwoord past der-halve niet zo goed in dit overzicht. Over het algemeen stellen de scholen dus bescheiden doelen, die aansluiten bij de minimumvariant van Behave.
In de éénmeting gaven de managers aan dat de door de scholen gestelde doelen enigszins wa-ren bereikt (gem=3.35 op een vijfpuntsschaal). Iets meer dan de helft van de managers (11 van de 20) gaf aan dat dit behoorlijk of helemaal het geval was, maar ook 20% (=4) was van mening dat dat niet of nauwelijks het geval was. De uitkomsten van het onderzoek tonen aan dat het pro-gramma, zoals dat nu op de scholen is uitgevoerd, geen effect sorteert op het gebied van
veran-dering in sociale opvattingen of concreet gedrag bij de leerlingen. De beleving van de betrokke-nen sluit hier dus niet altijd goed bij aan.
7.5.2. Verwachte effecten
Ook werd in de nulmeting geïnventariseerd of de respondenten een effect verwachtten van het programma en welk effect dat zou zijn. Ook hierbij kon iedere respondent maximaal 3 open ant-woorden geven. De antant-woorden zijn achteraf gecategoriseerd (zie tabel 7.6).
Tabel 7.6. Verwachte effecten
Managers (N=23)
Dir. betr. do-centen (N=65) Totaal (N=88) Nagestreefde doelen aant. pct. van N aant. pct. van N aant. pct. van N
Bewustwording eigen gedrag vergroten 11 48 36 55 47 53
Omgang zal verbeteren 9 39 17 26 26 30
Gedrag wordt beter bespreekbaar 5 22 15 23 20 23
Positiever schoolklimaat 4 17 5 8 9 10
Toename sociale veiligheid 2 9 - 0 2 2
Anders 6 26 13 20 19 22
De effecten die de betrokkenen verwachtten liggen met name op het vlak van bewustwording bij leerlingen en de algemene sfeer en veiligheid op school. Daarnaast verwacht een deel van de respondenten dat ook de concrete omgang tussen leerlingen zal veranderen. Hierboven werd al opgemerkt dat deze effecten in dit onderzoek niet zijn gevonden.
7.5.3. Tevredenheid over uitvoering en inhoud van Behave
In de éénmeting en de herhalingsmeting is aan de leden van het management en de direct be-trokken docenten gevraagd in hoeverre ze tevreden waren met de uitvoering en de inhoud van het programma Behave. Per meting is er één gemiddelde score berekend voor de managers en één score voor de direct betrokken docenten. De resultaten voor de tevredenheid met de uitvoe-ring staan in tabel 7.7.
Tabel 7.7. Tevredenheid over uitvoering
éénmeting herhalingsmeting
N gem. sd. % 4/5 N gem. sd. % 4/5
Managers 25 3.54 23 58 22 3.78 0.902 68
Direct betrokken do-centen
73 3.04 58 41 58 3.40 1.310 50
In de éénmeting gaven de managers aan behoorlijk tevreden te zijn over de uitvoering van het programma met een gemiddelde score van 3.54 op een vijfpuntsschaal. Geen van de 25
respon-p=.048). Ook tijdens de herhalingsmeting waren de managers behoorlijk tevreden met de uitvoe-ring en de direct betrokken docenten enigszins. De tevredenheidscores in de één- en de herha-lingsmeting van beide groepen verschilden niet significant van elkaar.
De tevredenheid met de inhoud van het programma is weergegeven in tabel 7.8.
Tabel 7.8. Tevredenheid over inhoud
éénmeting herhalingsmeting
N gem. sd. % 4/5 N gem. sd. % 4/5
Managers 24 3.76 0.833 63 22 4.09 0.793 77
Direct betrokken do-centen
66 3.70 1.163 68 59 4.02 0.991 76
Ook hier scoren de leden van het management steeds net iets hoger dan de direct betrokken do-centen, maar de verschillen zijn slechts zeer klein en niet significant. Beide respondentgroepen zijn behoorlijk tevreden over de inhoud van Behave. De toename in de gemiddelde score tussen de één- en de herhalingsmeting is niet significant.
Er is wel een duidelijk patroon te herkennen: de respondenten kijken ten tijde van de herhalings-meting met een positiever gevoel terug op de uitvoering en de inhoud van het programma dan vlak na afloop van het programma. Die toename in de gemiddelde scores kan mogelijk worden verklaard door het feit dat mensen over het algemeen geneigd zijn om negatieve aspecten eerder te vergeten dan positieve. Daarnaast kan het te maken hebben met het afsluitende evaluatiege-sprek met een begeleider van Codename Future heeft gevoerd op de scholen na afloop van het programma. Mogelijk zijn in dat gesprek de eventuele ergernissen al geventileerd, waardoor de betrokken er een positiever gevoel aan over hebben gehouden.
Een tweede punt dat opvalt is dat de direct betrokken docenten significant positiever zijn over de inhoud van het programma dan over de uitvoering ervan. Bij de managers zijn die verschillen niet significant. Wellicht zien de direct betrokken docenten duidelijker wat er mis gaat tijdens de uit-voering dan de managers, omdat ze er dichter bovenop zitten.
7.5.4. Succesbevorderende en belemmerende factoren
Docenten en managers waren enigszins tot behoorlijk tevreden over de uitvoering van het pro-gramma en de direct betrokken docenten enigszins. Maar welke factoren hadden invloed op het al dan niet succesvol verlopen van het programma? In de éénmeting werd aan de managers en de direct betrokken docenten gevraagd om maximaal 3 succesbevorderende en 3 belemmerende factoren noemen. De antwoorden op deze open vragen zijn achteraf gecategoriseerd. Het resul-taat sresul-taat in tabel 7.9.
Tabel 7.9. Succesbevorderende factoren Managers (N=25)
Dir. betr. do-centen (N=61) Totaal (N=86) Succesbevorderende factoren aant. pct. van N aant. pct. van N aant. pct. van N
Leuke, afwisselende opdrachten 10 40 20 33 30 35
Ondersteuning Codename Future 8 32 8 13 16 19
DVD 3 12 11 18 14 16
Samenwerken door leerlingen 7 28 6 10 13 15
Enthousiasme / inzet docenten 7 28 6 10 13 15
Sloot aan bij interesse leerlingen 3 12 7 11 10 12
Actief bezig zijn met mentorklas 4 16 5 8 9 10
Interactief element 1 4 8 13 9 10
Goed voorbereid 1 4 3 5 4 5
Computeropdrachten - 0 2 3 2 2
Anders 2 8 5 8 7 8
Zowel de leden van het management als de direct betrokken docenten gaven de leuke, afwisse-lende opdrachten als belangrijkste succesbevorderende reden. Daarnaast werd de ondersteuning door Codename Future belangrijk gevonden, het samenwerken door leerlingen en het enthousi-asme en de inzet door de betrokken docenten. Tevens viel de (interactieve) DVD ‘In conflict’ bij een aantal betrokkenen in goede aarde.
De belemmerende effecten die door de betrokkenen zelf zijn ervaren zijn op dezelfde manier in kaart gebracht (zie tabel 7.10).
Tabel 7.10. Belemmerende factoren
Managers (N=25)
Dir. betr. do-centen (N=61) Totaal (N=86) Belemmerende factoren aant. pct. van N aant. pct. van N aant. pct. van N
Tijdsplanning programma (te weinig tijd) 9 36 19 31 28 33
Apparatuur werkte niet / te weinig 7 28 18 30 25 29
Organisatie vanuit Codename Future 5 20 9 15 14 16
Inhoud niet geschikt voor de doelgroep 3 12 8 13 11 13
Bedoeling project niet duidelijk 2 8 6 10 8 9
Opdrachten zorgden voor veel onrust 3 12 4 7 7 8
Onvoldoende begeleiding 3 12 2 3 5 6
Verkeerd moment in het jaar 2 8 2 3 4 5
De tijdsplanning van het programma werd beschouwd als de belangrijkste belemmerende factor van het programma. Daarmee werd bedoeld dat er te weinig tijd was om alle onderdelen van het programma (goed) uit te voeren. Een ander belangrijk punt was het feit dat de apparatuur niet goed werkte of dat er te weinig apparatuur (computers) aanwezig was. Mogelijk was het voor de scholen niet duidelijk welke apparatuur en hoeveel computers er nodig waren. Tot slot werd de organisatie vanuit Codename Future regelmatig genoemd als belemmerende factor.