Analyse van de gegevens

4.4.1. Waarom een meerniveau-analyse?

Voor de beantwoording van de onderzoeksvragen zijn diverse kwalitatieve en kwantitatieve ana-lyses uitgevoerd. Eén van de belangrijkste componenten daarvan is de meerniveau-analyse (mul-tilevel analysis) op diverse uitkomstmaten. Er is gekozen voor een dergelijke benadering, omdat er in dit onderzoek sprake is van een hiërarchische structuur van de gegevens. Door deze opzet is er sprake van vier niveaus. Het laagste niveau betreft de afzonderlijke observaties op tijdstip 0, 1 en 2. Deze observaties zijn ‘genest’ binnen leerlingen (niveau 2) in die zin dat elke leerling een observatie levert op meerdere tijdstippen. Leerlingen zijn genest binnen (maken onderdeel uit van) klassen (niveau 3) en klassen zijn genest binnen scholen (niveau 4).

De meerniveau-analyse stelt de onderzoeker in staat om gedifferentieerd per niveau te onthullen welke effecten optreden en aan welke kenmerken van leerlingen, klassen en scholen de gevon-den effecten kunnen worgevon-den toegeschreven. Ook wordt het dan bijvoorbeeld mogelijk om interac-ties tussen de experimentele variabelen en scholen te onderzoeken. Het is niet denkbeeldig dat het programma Behave slechts voor bepaalde leerlingen of klassen effectief is. Meerniveau-analyse kan dergelijke partiële effecten aan het licht brengen.

Bovendien kan, gegeven het feit dat de leerlingen meermaals bevraagd zijn, het verloop over de tijd gemodelleerd worden, ook indien dat verloop niet rechtlijnig is. Een reële hypothese is bij-voorbeeld dat de nameting in de experimentele groep gemiddeld een hogere score oplevert en dat de uitgestelde nameting nog altijd hoger ligt dan de nulmeting, maar minder hoog als de eer-ste nameting.

Veronachtzaming van de meervoudige gelaagdheid van de gegevens door een enkelvoudige regressie- of variatieanalyse zou op de eerste plaats vrij zeker leiden tot een onderschatting van standaardfouten van de parameterschattingen, omdat de assumptie van onafhankelijke observa-ties wordt geschonden: afzonderlijke observaobserva-ties worden immers mede bepaald door de leerling, de klas en de school. Het gevolg is een vergroting van de kans op type I fouten: een verschil in-terpreteren dat in feite aan toevallige steekproefvariaties moet worden toegeschreven (Kreft & De Leeuw, 1998). Als bijvoorbeeld 20 procent van de variantie op een bepaald kenmerk in feite toe-geschreven moet worden aan verschillen tussen klassen en we per klas beschikken over de ge-gevens van 25 leerlingen, dan is in dit voorbeeld met twee analyseniveaus de kans op type I fouten niet .05 maar al .46 (Barcikowski, 1981).

- Persoonlijke sociale opvattingen (paragraaf 8.3) - Eigen ongewenst gedrag (par. 8.5)

- Eigen gewenst gedrag (par. 8.5) - Gedrag ander (par. 8.5)

- Klassenklimaat leerlingaspecten en docentrelaties (par. 8.9) - Schoolklimaat leerlingaspecten en stafrelaties (paragraaf 8.9)

Een beschrijving van de manier waarop de schalen zijn berekend staat in paragraaf 3.2. Met de gegevens van de leerlingen is een meerniveau-analyse uitgevoerd met behulp van het program-ma MLwiN 2.0.

Het doel van de analyses is op de eerste plaats te achterhalen of klassen die het programma hebben gevolgd in de tijd een ander (gunstiger) verloop over de drie metingen laten zien dan klassen die dat programma niet hebben gevolgd. Daarnaast is het interessant of daarbij nog ver-schillen bestaan in afhankelijkheid van andere kenmerken van leerlingen, klassen en scholen. De analyse krijgt daarmee een aanpak in drie stappen:

• Stap 1: In het zogenaamde aconditionele model wordt onderzocht in welke mate de variantie van de effectmaat gebonden wordt op verschillende niveaus van de gegevens.

• Stap 2: Vervolgens wordt het verloop van de gegevens gemodelleerd. Dit model laat zien in hoeverre er variabiliteit bestaat tussen metingen op verschillende momenten en op welke analyseniveaus deze varianties gebonden is. Om behalve lineaire ook kromlijnige verlopen te verdisconteren wordt als voorspellende factor behalve de meting (0, 1 of 2) ook de meting in het kwadraat (meting²: 0, 1 of 4) opgevoerd.

• Stap 3: In deze stap wordt allereerst de bijdrage van het programma onderzocht door de deelname aan het programma (0 of 1) en de interactie van deelname aan het programma met meting en met meting² als voorspeller te toetsen. Daarnaast worden ook de bijdrage van enkele andere kenmerken (geslacht van de leerling, leerjaar (1, 2, 3 of 4) en soort school (al-leen VMBO-niveau of breder dan al(al-leen VMBO) als hoofdeffect en in interactie met de me-tingvariabelen getoetst.

Het resultaat van de drie stappen wordt per effectvariabele gepresenteerd in een tabel met twee kolommen. De eerste kolom bevat de analyse van de verdeling van varianties over de vier ni-veaus (het aconditionele model). De tweede kolom bevat de resultaten van de analyse van voor-spellende variabelen (het eindmodel). In elke kolom worden alleen parameters opgenomen die een significante bijdrage leveren aan het model. De aconditionele en eindmodellen van alle scha-len zijn te vinden in bijlage 9.

De hoofdeffecten die zijn onderzocht in de meerniveau-analyse zijn terug te vinden in tabel 4.5.

Tabel 4.5. Hoofdeffecten in meerniveau-analyse

Hoofdeffect Omschrijving Waarden

meting Is er een lineaire ontwikkeling over de metingen heen? 0, 1 of 2 meting² Is er een curvilineaire ontwikkeling over de metingen heen? 0, 1 of 4 Programma Heeft deze leerling/klas deelgenomen aan Behave? 0=nee, 1=ja

Geslacht Geslacht van de leerling (0 = meisjes,

Leerjaar Leerjaar van de leerling/klas 1, 2, 3 of 4

Vmbo Onderwijsniveau van deze school(locatie) 0=breder dan

alleen VMBO, 1=alleen VMBO

Daarnaast zijn ook de volgende interacties onderzocht: • interactie programma en meting

• interactie programma en meting² • geslacht * programma * meting • geslacht * programma * meting² • leerjaar * programma * meting • leerjaar * programma * meting² • VMBO * programma * meting • VMBO * programma * meting² 4.4.3. Overige analyses

De meerniveau-analyse is uitgevoerd met de data van de leerlingvragenlijsten. Door de beperkte-re omvang van de steekproeven is voor de andebeperkte-re beperkte-respondentgroepen gekozen voor andebeperkte-re ana-lyse en toetsingsmethoden. In de meeste gevallen betrof het gemiddelde scores, frequenties en proporties (percentages) of toetsing van verschillen van het gemiddelde. Bij de beantwoording van de onderzoeksvragen zal steeds concreet worden aangegeven van welke statistische gege-vens en toetsen gebruik is gemaakt.