In dit onderzoek is gekeken naar de betrouwbaarheid en validiteit van de LVSV-PO. Hierbij werd een antwoord gezocht op de volgende onderzoeksvraag: “In hoeverre is de LVSV-PO een betrouwbaar en valide instrument om aspecten van de beleving van het schoolklimaat en de sociale veiligheid van leerlingen uit groep 7 en 8 in kaart te brengen?”
In een landelijke pilot hebben inspecteurs de LVSV-PO afgenomen bij leerlingen uit groep 7 en 8 in het basisonderwijs. Deze data is gebruikt om de interne betrouwbaarheid en factorstructuur te onderzoeken. Daarnaast is een steekproef geselecteerd waarbij de LVSV-PO op twee verschillende momenten met een interval van vijf weken is afgenomen. De leerlingen in deze steekproef hebben tevens de Veiligheidsmonitor van het ITS ingevuld. Op basis hiervan werd de test- hertestbetrouwbaarheid en convergente validiteit bepaald.
Uit het uitgevoerde onderzoek bleek dat de interne structuur en consistentie van de LVSV-PO goed is; de LVSV-PO meet vijf verschillende aspecten van schoolklimaat, en de interne consistentie van deze vijf schalen is goed. De test-hertestbetrouwbaarheid van de schalen varieerde van ‘matig’ tot ‘voldoende’, waaruit geconcludeerd werd dat de beleving van het schoolklimaat redelijk consistent over tijd gemeten wordt met de LVSV-PO. De convergente validiteit, die werd bepaald door onderdelen van de LVSV-PO te vergelijken met onderdelen van de Veiligheidsmonitor, wordt als voldoende beschouwd; de vergelijkbare onderdelen van beide vragenlijsten vertonen een gemiddelde tot sterke samenhang waar dat te verwachten is. Geconcludeerd wordt dat deze onderdelen van de LVSV-PO inderdaad aspecten van de beleving van het schoolklimaat en de sociale veiligheid meten. Bij het beantwoorden van de onderzoeksvraag spelen afwegingen met betrekking tot het gebruiksdoel van de LVSV-PO een belangrijke rol. Dit is met name bij de interpretatie van de resultaten van het test-hertestonderzoek het geval. De hierboven beschreven conclusies moeten daarom worden bezien in relatie tot de context waarin de LVSV-PO zal worden ingezet.
De resultaten van de LVSV-PO zijn geschikt voor interpretatie op groepsniveau. De resultaten van de LVSV-PO lenen zich niet voor uitspraken op individueel niveau. Daarvoor is de test- hertestbetrouwbaarheid van deze vragenlijst niet voldoende aangetoond, maar bovenal is de LVSV- PO daar niet voor bedoeld. De LVSV-PO zal worden ingezet tijdens schoolbezoeken, in situaties waarin bijvoorbeeld geen betrouwbare resultaten over de veiligheidsbeleving van leerlingen aanwezig zijn. De resultaten van de LVSV-PO kunnen dan de aanleiding vormen voor nader onderzoek, bijvoorbeeld door het voeren van gesprekken met leerlingen en leerkrachten, of door observaties in de school. Op basis van de resultaten van de vragenlijst zullen geen directe oordelen worden uitgesproken over het schoolklimaat en de sociale veiligheid van een school. Gezien deze overwegingen leiden de bevindingen uit dit onderzoek tot de conclusie dat de LVSV-PO voldoende betrouwbaar en valide is om de beleving van het schoolklimaat en de sociale veiligheid van leerlingen uit groep 7 en 8 in kaart te brengen.
In de komende paragrafen worden verklaringen voor de gevonden resultaten gegeven, implicaties van het onderzoek besproken en aanbevelingen voor vervolgonderzoek gedaan.
Niveau van analyse
In veel onderzoeken naar schoolklimaat wordt gekeken naar de percepties van leerlingen op klas- of schoolniveau (Anderson, 1982; Cohen et al., 2009). De percepties van leerlingen zijn afhankelijk van wat er in de klas en op school gebeurt. Het schoolklimaat is dan ook een concept dat iets zegt over het groepsniveau en niet direct over de individuele leerling (Cohen et al., 2009).
Koth et al. (2008) hebben kanttekeningen bij deze aanname. Uit onderzoek blijkt dat niet alleen tussen groepen leerlingen, maar ook binnen groepen leerlingen veel variatie bestaat in de percepties van het schoolklimaat (Battistich, Solomon, Dong-il, Watson, & Schaps, 1995; Koth et al., 2008). In onderzoek op dit gebied moet daarom rekening worden gehouden met de individuele variaties die binnen groepen aanwezig zijn.
In dit onderzoek zijn de percepties van leerlingen alleen op individueel niveau geanalyseerd. Vanwege de beperkte schaal van onderzoek 2 hebben geen analyses op groepsniveau plaatsgevonden. Dit kan verklaren waarom de test-hertestbetrouwbaarheid tussen de verschillende meetmomenten laag is; het is aannemelijk dat dit wordt veroorzaakt door variaties op individueel niveau. Nader onderzoek op grotere schaal kan meer inzicht bieden in de stabiliteit van de LVSV-PO op groepsniveau. Door middel van multilevel analyses kunnen de variaties in de beleving van schoolklimaat en sociale veiligheid binnen groepen en tussen groepen in kaart worden gebracht.
Stabiliteit van de beleving van het schoolklimaat
In de vorige paragraaf werd beschreven dat de verschillen tussen individuele leerlingen een verklaring kunnen vormen voor de gevonden mate van test-hertestbetrouwbaarheid. Hierbij wordt verondersteld dat de beleving van het schoolklimaat en de sociale veiligheid van de leerlingen op de verschillende meetmomenten verschillen. Dit wijst erop dat het concept ‘schoolklimaat’, of de beleving daarvan door de leerlingen, niet stabiel is. Onderzoek wijst uit dat er verschillen zijn in de beleving tussen leerlingen van verschillende leeftijden (Battistich et al., 1995; Mitchell & Bradshaw, 2013). De vraag is in hoeverre ook binnen een korte periode verschillen in de beleving van het schoolklimaat kunnen ontstaan.
De aanname dat de percepties van leerlingen van het schoolklimaat niet stabiel zijn, kan verschillende oorzaken hebben. Het is mogelijk dat het ‘concept’ schoolklimaat zelf niet stabiel is, doordat veranderingen in relaties tussen leerlingen en leerkrachten of nieuwe ervaringen leiden tot een verandering van het schoolklimaat zoals dit ervaren wordt door de leerling. Daarnaast is het mogelijk dat de beleving van de leerlingen op het moment van de afname beïnvloedt wordt door externe factoren of incidenten. Uit onderzoek van Fan, Williams, en Corkin (2011) blijkt dat individuele factoren, zoals gedragsproblemen op school of gezinsomstandigheden, een grote invloed hebben op de percepties van leerlingen van het schoolklimaat. De vraag is in hoeverre dit ook het geval is voor factoren uit het dagelijks leven van de leerling. Wellicht kunnen een recente ruzie op het schoolplein of vervelende gebeurtenissen in de thuissituatie ertoe leiden dat leerlingen op het moment dat de
vragenlijst wordt ingevuld een negatievere perceptie hebben van het schoolklimaat. Aangezien relatief weinig tijd verstreken is tussen de verschillende afname-momenten, en structurele veranderingen in leerlingkenmerken daarom niet waarschijnlijk zijn, zou dit een mogelijke verklaring kunnen zijn voor de lage test-hertestbetrouwbaarheid op individueel niveau.
In vervolgonderzoek kan nader ingegaan worden op de stabiliteit van het schoolklimaat en de beleving daarvan, door de beleving van leerlingen over langere tijd op verschillende momenten te meten. Daarnaast zou het waardevol zijn om contextfactoren in kaart te brengen die mogelijk van invloed zouden kunnen zijn op de beleving van leerlingen.
Overeenkomst met de Veiligheidsmonitor
Bij het onderzoek naar de convergente validiteit is gekeken naar de overeenkomst tussen enkele onderdelen van de LVSV-PO en de Veiligheidsmonitor. Deze onderdelen beogen op hoofdlijnen dezelfde concepten te meten, maar de items waaruit deze onderdelen bestaan, verschillen per instrument. Zo wordt in de LVSV-PO alleen gevraagd naar de ervaringen met anti-sociaal gedrag als slachtoffer, terwijl in de Veiligheidsmonitor ook naar ervaringen als dader wordt gevraagd. In het onderdeel ‘pedagogisch klimaat’ uit de LVSV-PO komen meer aspecten dan alleen het opstellen en handhaven van regels aan bod, zoals in de Veiligheidsmonitor het geval is. Daarom lag het in de lijn der verwachting dat vooral gemiddelde correlaties tussen beide instrumenten zijn gevonden.
Enigszins opvallend zijn de gemiddelde correlaties met het specifieke item over veiligheid uit de LVSV-PO en de items over veiligheid van de Veiligheidsmonitor. Deze correlaties bleken lager te zijn dan verwacht. Een mogelijke oorzaak hiervan is de plaats die de items innemen binnen de vragenlijsten. In de LVSV-PO wordt gevraagd naar veiligheidsbeleving als onderdeel van welbevinden en schoolbeleving in bredere zin. In de Veiligheidsmonitor heeft ‘veiligheid’ een meer nadrukkelijke plaats, en wordt uitgebreid ingegaan op de momenten en locaties waarop leerlingen zich al dan niet veilig voelen. Met name die items die specifiek vragen naar de veiligheid van bepaalde plekken in en rond de school hebben een lage overeenkomst met het onderdeel ‘Welbevinden en schoolbeleving’. De relatie tussen het welbevinden, veiligheidsbeleving in het algemeen en gevoelens van veiligheid op specifieke momenten of locaties, verdient daarom de aandacht. Dit kan onderdeel vormen van vervolgstappen om de begripsvaliditeit van de LVSV-PO verder aan te tonen. Uiteraard moet in dit proces ook aandacht worden besteed aan de validiteit van de andere schalen van de LVSV-PO, die in dit onderzoek buiten beschouwing zijn gelaten.
Beperkingen
Enkele beperkingen van het onderzoek zijn in de vorige paragrafen aan bod gekomen. Daarnaast kunnen nog enkele factoren genoemd worden die de resultaten van de afname van de LVSV-PO mogelijk hebben beïnvloed.
Bij de afname van de LVSV-PO in zowel Onderzoek 1 als Onderzoek 2 kan sociale wenselijkheid een rol gespeeld hebben. Op het moment dat de vragenlijst door de leerlingen werd ingevuld, was de groepsleerkracht vaak aanwezig in de klas. Dit kan het gevoel van anonimiteit hebben verminderd en daarom van invloed zijn geweest op de wijze waarop de vragenlijst ingevuld werd. Daarnaast hebben
de leerlingen in Onderzoek 2 mogelijk het gevoel gehad dat de vragenlijst niet geheel anoniem was, doordat de vragenlijsten door middel van nummers gekoppeld werden. Hoewel duidelijk aan de leerlingen is uitgelegd dat de resultaten niet naar hen te herleiden zouden zijn, kan dit toch hun gevoel van anonimiteit hebben aangetast.
De leerlingen uit steekproef 2 zijn daarnaast in korte tijd relatief vaak met het thema ‘schoolklimaat’ in aanraking gekomen, doordat zij binnen enkele maanden drie keer een vragenlijst hierover hebben ingevuld. Hierdoor zijn ze mogelijk meer aan het denken gezet over het thema –wellicht hebben ook gesprekken hierover in de klas plaatsgevonden- waardoor de vragenlijst tijdens de laatste afname op een andere manier kan zijn ingevuld.
Tot slot
In dit onderzoek zijn data verzameld en geanalyseerd om de LVSV-PO te valideren. Door verschillende vormen van betrouwbaarheid en validiteit te bepalen, kon worden gekomen tot een afgewogen conclusie over de psychometrische kwaliteit van de LVSV-PO. Uit dit onderzoek blijkt dat de LVSV-PO in de toezichtpraktijk ingezet kan worden om aspecten van de beleving van het schoolklimaat en de sociale veiligheid in kaart te brengen en aanknopingspunten te bieden voor verdiepend onderzoek.
Hiermee is het proces van validatie echter niet ten einde gekomen. In deze discussie zijn aanbevelingen gedaan om meer inzicht te krijgen in de betrouwbaarheid van de vragenlijst op groepsniveau, meer onderzoek te doen naar de stabiliteit van de beleving van leerlingen, en meer informatie te verzamelen om de begripsvaliditeit aan te kunnen tonen. Samen met ervaringen met het gebruik van de LVSV-PO in de praktijk, kan daarmee het proces van ontwikkeling en validering van de LVSV-PO voortgezet worden, zodat het perspectief van de leerlingen deel kan uitmaken van het onderzoek naar het schoolklimaat en de sociale veiligheid van hun school.
Literatuur
Anderson, C.S. (1982). The Search For School Climate: A Review of the Research. Review of Educational Research 52(3), 368-420.
Bandyopadhyay, S., Cornell, D.G., & Konold, T.R. (2009). Validity of Three School Climate Scales to Assess Bullying, Aggressive Attitudes, and Help Seeking. School Psychology Review 38(3), 338–355.
Bartlett, M.S. (1954). A note on the multiplying factors for various chi square approximations. Journal of the Royal Statistical Society, 16 (Series B), 296-8.
Battistich, V., Solomon, D., Dong-il, K., Watson, M., & Schaps, E. (1995). Schools as Communities, Poverty Levels of Student Populations, and Students' Attitudes, Motives, and Performance: A Multilevel Analysis. American Educational Research Journal 32(3), 627-658.
Booren, L.M., Handy, D.J., & Power, T.G. (2011). Examining Perceptions of School Safety Strategies, School Climate, and Violence. Youth Violence and Juvenile Justice, 9(2), 171-187.
Bosworth, K., Ford, L., & Hernandaz, D. (2011). School Climate Factors Contributing to Student and Faculty Perceptions of Safety in Select Arizona Schools. Journal of School Health, 81(4), 194-201.
Brand, S., Felner, R. D., Shim, M. S., Seitsinger, A., & Dumas, T. (2003). Middle school improvement and reform: Development and validation of a school-level assessment of climate, cultural pluralism, and school safety. Journal of Educational Psychology, 95(3), 570−588.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). New Jersey: Lawrence Erlbaum.
Cohen, J., McCabe, E. M., Michelli, N. M., & Pickeral, T. (2009). School Climate: Research, Policy, Practice, and Teacher Education. Teachers College Record 111(1), 180–213.
Evers, A., Lucassen, W., Meijer, R., & Sijtsma, K. (2009). COTAN beoordelingssysteem voor de kwaliteit van tests (geheel herziene versie). Amsterdam: Nederlands Instituut van Psychologen.
Fan, W., Williams, C.M., & Corkin, D.M. (2011). A multilevel analysis of student perceptions of school climate: The effect of social and academic risk factors. Psychology in the Schools 48(6), 632-647.
George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update (4th ed.). Boston: Allyn & Bacon.
Gliner, J. A., Morgan, G. A., Harmon, R. J. (2001). Measurement Reliability. Journal of the American Academy of Child & Adolescent Psychiatry, 40(4), pp.486-488.
Hamre, B. K., & Pianta, R. C. (2001). Early teacher-child relationships and the trajectory of children’s school outcomes through eighth grade. Child Development, 72(2), 625-638.
Inspectie van het Onderwijs (2010). Toezicht op Burgerschap en Integratie. Utrecht: Inspectie van het Onderwijs.
Inspectie van het Onderwijs (2013). De staat van het onderwijs. Onderwijsverslag 2011/2012. Utrecht: Inspectie van het Onderwijs.
Inspectie van het Onderwijs (2014). Technische rapportage TSK-PO (intern document). Utrecht: Inspectie van het Onderwijs.
Kaiser, H. (1974). An index of factorial simplicity. Psychometrika, 39, 31-6.
Koth, C.W., Bradshaw, C.P., & Leaf, P.J. (2008). A Multilevel Study of Predictors of Student Perceptions of School Climate: The Effect of Classroom-Level Factors. Journal of Educational Psychology, 100(1), 96-104.
Kuhlemeier, H., Van Boxtel, H., & Van Til, A. (2012). Balans van de sociale opbrengsten in het basisonderwijs. Eerste meting voorjaar 2011. Arnhem: Cito.
MacNeil, A.J., Prater, D.L., & Busch, S. (2009). The effects of school culture and climate on student achievement. International Journal of Leadership in Education,12(1), 73–84.
Manning, M. L., & Saddlemire, R. (1996). Developing a sense of community in secondary schools. National Association of Secondary School Principals. National Association of Secondary School Principals Bulletin, 80(584), 41-48.
Marchant, G.J., Paulson, S.E., & Rothlisberg, B.A. (2001). Relations of Middle School Students’ Perceptions of Family and School Contexts with Academic Achievement. Psychology in the Schools, 38(6), 505-519.
Marshall, M. L. (2004). Examining School Climate: Defining Factors and Educational Influences. Center for Research on School Safety, School Climate and Classroom Management. Georgia State University.
McDonald, R.P., & Ringo Ho, M. (2002). Principles and Practice in Reporting Structural Equation Analyses. Psychological Methods 7(1), 64–82.
Mooij, T., & Witvliet, M. (2012). Ontwikkeling van sociale veiligheid in en rond scholen. P(S)O en V(S)O 2006 – 2012: Brochure.Amsterdam: Regioplan; Nijmegen: ITS.
Morgan, G.A., Gliner, J.A., & Harmon, R.J. (2001). Measurement Validity. Journal of the American Academy of Child & Adolescent Psychiatry, 40(6), pp.729-731.
Orpinas, P., & Horne, A. M. (2006). Bullying prevention: Creating a positive school climate and developing social competence. Washington, DC, US: American Psychological Association.
Skiba, R., Simmons, A.B., Peterson, R., McKelvey, J., Forde, S., & Gallini, S. (2004). Beyond Guns, Drugs and Gangs: The Structure of Student Perceptions of School Safety. Journal of School Violence, 3(2-3), 149-171.
Steffgen, G., Recchia, S., & Viechtbauer, W. (2013). The link between school climate and violence in school: A meta-analytic review. Aggression and Violent Behavior 18(2), 300–309.
Tagiuri, R. (1968). The concept of organizational climate. In Tagiuri, R., & Litwin, G. H. (Eds.), Organizational climate: Exploration of a concept. Boston: Harvard University, Division of Research, Graduate School of Business Administration.
Thapa, A., Cohen, J., Guffey, S., & Higgins-D’Alessandro, A. (2013). A Review of School Climate Research. Review of Educational Research, 83(3), 357-385.
Trianes, M.V., Blanca, M.J., De La Morena, L., Infante, L., & Raya, S. (2006). A questionnaire to assess school social climate. Psicothema, 18(2), 272-277.
Trickett, E.J., & Quinlan, D. M. (1979). Three domains of classroom environment: Factor analysis of the classroom environment scale. American Journal of Community Psychology, 7(3), 279−291.
Tweede Kamer (2012/2013a). Plan van aanpak tegen pesten. Brief van Ministerie van Onderwijs, Cultuur en Wetenschap van 25 maart 2013. Tweede Kamer, vergaderjaar 2012/2013, 29240, nr. 52.
Tweede Kamer (2012/2013b). Jaarlijks overzicht sociale veiligheid op scholen. Brief van Ministerie van Onderwijs, Cultuur en Wetenschap van 17 juli 2013. Tweede Kamer, vergaderjaar 2012/2013, Kamerstuk 29240, nr. 62.
Wang, C., Berry, B., & Swearer, S.M. (2013). The Critical Role of School Climate in Effective Bullying Prevention. Theory Into Practice, 52, 296–302.
Wentzel, K.R. (1993). Does Being Good Make the Grade? Social Behavior and Academic Competence in Middle School. Journal of Educational Psychology, 85(2), 357-364.
Wilson, D. (2004). The Interface of School Climate and School Connectedness and Relationships with Aggression and Victimization. Journal of School Health September, 7(7), 293-299.
Zins, J.E., Bloodworth, M.R., Weissberg, R.P., & Walberg, H.J. (2007). The Scientific Base Linking Social and Emotional Learning to School Success. Journal of Educational and Psychological
Bijlagen
Bijlagen zijn in overleg verkrijgbaar bij de auteur. petravandodewaard@hotmail.com