Betrouwbaarheid en validiteit van de vragenlijst over schoolbeleving

De schoolbeleving van leerlingen is gemeten met een vragenlijst bestaande uit vier schalen, die voor een deel zijn ontleend aan de Student Participation and Identification Survey van Leithwood c.s. (Leithwood & Jantzi, 2000a; Leithwood, Aitken & Jantzi, 2000). De vragenlijst over schoolbeleving bevat in totaal 42 items, verdeeld over vier schalen: ‘Zich thuisvoelen op school’ (10 items), ‘Waardering’ (10 items), ‘Kwaliteit van de Instructie’ (17 items) en ‘Family Educational Culture’ (5 items). Een overzicht van deze vier schalen, met subschalen, is te vinden in bijlage 1E. Met behulp van een vierpunts Likertschaal die loopt van ‘helemaal mee oneens’ (1) tot ‘helemaal mee eens’ (4) kunnen leerlingen aangeven in hoeverre zij het eens zijn met de uitspraken in de vragenlijst.

De gemiddelde intraklasse correlatie coëfficiënt (ρI) voor de schoolbelevingsitems is 0.04.

Deze intraklasse correlatie is kleiner dan die voor de items in de docentenvragenlijsten, omdat het bij de schoolbeleving van leerlingen meer gaat om persoonlijke kenmerken en ervaringen,

dan om schoolkenmerken. De intraklasse correlatie van 0.04 is precies de grenswaarde voor meerniveau analyse, als er geen rekening wordt gehouden met de groepsgrootte. Omdat gemiddeld 44 leerlingen per school de vragenlijst hebben ingevuld is het design effect (1+(n- 1)ρI ) gelijk aan 2.73. Dat betekent dat er bij de analyse van de leerlingengegevens wel

rekening zou moeten worden gehouden met de hiërarchische structuur van de data. Vanwege de haken en ogen aan meerniveau confirmatieve factoranalyse in LISREL (zie 4.3.6), is ervoor gekozen om voor de schoolbelevingsvragenlijst alleen éénniveau confirmatieve factoranalyse toe te passen.

Omdat er zoveel leerlingengegevens beschikbaar waren (4336 cases), zijn voor éénniveau confirmatieve factoranalyse alle cases met ontbrekende waarden verwijderd. De nieuwe ruwe data file bevatte nog 3760 cases. Uit de uitkomsten van de confirmatieve factoranalyse voor een meetmodel met vier factoren, bleek dat alle items voor schoolbeleving significant laden op de bijbehorende factoren. Voor enkele items is de factorlading vrij laag 13. Verder is er een hoge correlatie tussen de schalen ‘Zich thuisvoelen op school’ en ‘Waardering’ en de schalen ‘Zich thuisvoelen op school’ en ‘Kwaliteit van de Instructie’ (zie tabel 4.14). Dit wijst op een mogelijk conceptuele overlap.

Aan de hand van de uitkomsten van exploratieve factoranalyse is een nieuw meetmodel geconstrueerd met drie factoren voor de schoolbeleving van leerlingen. Vijf items met een lage factorlading werden uit het meetmodel verwijderd14. In het drie factoren model (bijlage 4D) zijn de subschalen anders gegroepeerd dan in het oorspronkelijke model (bijlage 1E). De schaal ‘Waardering van de school’ met de subschalen ‘Omgang met medeleerlingen’ en ‘Waardering van de school’ geeft aan hoe leerlingen de sfeer op school ervaren. De schaal ‘Waardering van onderwijs’ met de subschalen ‘Waardering van onderwijs’ en ‘Family Educational Culture’ zegt iets over de achtergrond van de leerling. Het ‘Werkklimaat’ voor leerlingen wordt bepaald door zowel de ‘Omgang met leraren’ en de ‘Ondersteuning door leraren’, als het ‘Klassenklimaat’, de ‘Organisatie van het onderwijs’ en de ‘Invulling van de lessen’. In tabel 4.14 staan de uitkomsten van confirmatieve factoranalyses voor het oorspronkelijke vier factoren model en het nieuwe drie factoren model. In de tabel zijn ook de waarden van Cronbach’s alpha opgenomen voor de oorspronkelijke en de nieuwe schalen. Uit de passingsmaten in tabel 4.14 blijkt dat het oorspronkelijke vier factoren model een redelijke modelpassing vertoont. Het nieuwe model past echter significant beter (gebaseerd op Δχ2 en Δdf, p < .001) en voldoet volledig aan de criteria voor een goede modelpassing (RMSEA kleiner dan .06 - .08; SRMR kleiner dan of gelijk aan .08; CFI groter dan of gelijk aan .95). Ook AIC geeft een verbetering aan in de modelpassing voor het nieuwe model. In het vier factoren model zijn de correlaties tussen een aantal schalen erg hoog. In het drie factoren model zijn de correlaties redelijk, zodat een verband tussen de begrippen verondersteld mag worden, maar niet te hoog. De waarden voor Cronbach’s alpha geven aan dat de interne consistentie van de nieuwe schalen redelijk tot goed is.

13 _{Items over schoolbeleving (bijlage 1E) met een lage factorlading (<.35): llomlln3, llwaond1, llwaond4,}

llresul1, llresul2, llinvul3 en llinvul4.

Tabel 4.14 Passingsmaten, correlaties tussen de schalen en Cronbach’s alpha voor het oorspronkelijke vier factoren meetmodel van schoolbeleving en voor het nieuwe modellen met drie factoren bij een confirmatieve factoranalyse (n=3760)

Meetmodel Oorspronkelijk Nieuw

Passingswaarden Vier factoren model Drie factoren model

χ2 _{(df) 13183.18 (696) 8388.99 (626)} RMSEA .069 .057 90% C.I. RMSEA .068 - .070 .056 - .059 SRMR .059 .048 CFI .92 .95 Model AIC 13351 8542 Correlatie

Thuisvoelen-Waardering .80 Waardering school-Waardering onderwijs .45 Thuisvoelen-Kwaliteit instructie .87

Thuisvoelen-Family Educational Culture .38 Waardering school-Werkklimaat .62 Waardering-Kwaliteit instructie .66

Waardering-Family Educational Culture .44 Waardering onderwijs-Werkklimaat .54 Kwaliteit instructie-Family Educ. Culture .43

Cronbach’s alpha

Totaal model (42 items) .90 Totaal model (37 items) .89

Thuisvoelen (10 items) .78 Waardering school (10 items) .83 Waardering (10 items) .77 Waardering onderwijs (10 items) .70 Kwaliteit instructie (17 items) .81 Werkklimaat (17 items) .82 Family Educational Culture (5 items) .59

RMSEA = Root Mean Square Error of Approximation; 90% C.I. = 90% betrouwbaarheidsinterval;

CFI = Comparative Fit Index; SRMR = Standardized Root Mean square Residual; AIC = Akaike Information Criterion.

Parameterschattingen voor het nieuwe meetmodel zijn opgenomen in bijlage 5C. In het model laden alle indicatoren significant en redelijk hoog op de bijbehorende factoren, met uitzondering van de items in de subschaal ‘Family Educational Culture’, die matig laden. De betekenis van de factorladingen hangt af van de steekproefgrootte (Stevens, 1992, in Field, 2000, p. 440). In grote steekproeven zijn ook kleinere factorladingen nog van betekenis. Volgens Stevens (1992) dient bij een steekproef van 100 de factorlading groter te zijn dan .512 en bij een steekproef van 1000 groter dan .162. Aan dit criterium voldoen alle factorladingen ruimschoots. Uit de uitkomsten van de confirmatieve factor analyse kan worden opgemaakt dat het drie factoren model bruikbaar is voor vervolganalyses.