Masterscriptie Onderwijskunde
Universiteit van Amsterdam
P. van Dodewaard
Begeleiders: dhr. prof. dr. A.B. Dijkstra
en dhr. R.J.M. Daas MSc
Amsterdam, juli 2014
Validiteit en Betrouwbaarheid
van de LVSV-PO
Een Vragenlijst over de Beleving van het Schoolklimaat en de
Sociale Veiligheid van Basisschoolleerlingen uit Groep 7 en 8
Validiteit en Betrouwbaarheid van de LVSV-PO
Een Vragenlijst over de Beleving van het Schoolklimaat en de
Sociale Veiligheid van Basisschoolleerlingen uit Groep 7 en 8
Masterscriptie Onderwijskunde
Universiteit van Amsterdam
P. van Dodewaard
Begeleiders: dhr. prof. dr. A.B. Dijkstra en dhr. R.J.M. Daas MSc
Inhoudsopgave
Abstract………..………... p. 2
1. Inleiding………... p. 3
2. Theoretisch kader………... p. 5 2.1 Overzicht van onderzoek naar Schoolklimaat……….………. p. 5
2.2 Schoolklimaat meten………. p. 7 2.3 Psychometrische eisen aan meetinstrumenten……….... p. 10 2.4 Deelvragen………. p. 11 3. Methoden ………..………... p. 13 3.1 Onderzoeksgroepen………...…. p. 13 3.2 Instrumenten………..…... p. 15 3.3 Procedure………..……… p. 16 3.4 Data-analyse………..…... p. 18
4. Resultaten en Conclusies per Deelvraag……….. p. 21 4.1 Onderzoek 1………..…… p. 21 4.2 Onderzoek 2………..…… p. 29
5. Conclusie en Discussie……… p. 32
Literatuur ………..………. p. 36
Bijlage I: LVSV-PO………..……… p. 40 Bijlage II: Instructie afname LVSV-PO………. p. 42 Bijlage III: Werkafspraken ITS – IvhO – scholen……… p. 43 Bijlage IV: Informatiebrief voor ouders………. p. 46 Bijlage V: Instructie bij afname Veiligheidsmonitor……… p. 47
Abstract
Validity and Reliability of the LVSV-PO
A Questionnaire Measuring the Perceptions of School Climate and Safety of 10-12 year-old Primary School Pupils
The LVSV-PO is developed to provide school inspectors with an instrument to gather information about pupils’ perception of the school climate and safety at their school, as a part of research to gain insight in schools’ social functioning. The aim of this questionnaire is not as a tool to measure whether the quality of the school is sufficient, but rather to provide information on which areas further research could be carried out. The present study investigates the reliability and validity of this questionnaire. Data were collected by inspectors of education in a nationally representative sample of 5649 students in 132 schools. Factor analyses showed that a model consisting of five factors best represented the data. The five factors were represented in five scales, which have good scale reliability (Cohen’s alpha varied from .759 to .865).
Data for determining both test-retest reliability and convergent validity were collected in five Primary Schools (n=116). Spearman’s correlations for the subscales varied from .493 to .669, showing moderate to sufficient test-retest reliability over five weeks. Results from the LVSV-PO were compared with results of the Veiligheidsmonitor, measuring feelings of safety among pupils in Primary Schools. Parts of both questionnaires that intend to measure the same constructs show average to large correlations, indicating sufficient convergent validity.
Taken into account the purposes of the LVSV-PO, these results lead to the conclusion that the reliability and validity of this questionnaire is sufficient. The LVSV-PO can therefore be used to get insight in pupils’ perception of the school climate and safety at their school. The last section of this paper will discuss the interpretation of these conclusions and offers recommendations for continuing the validation process.
1. Inleiding
Context: aandacht voor schoolklimaat en sociale veiligheid
Het belang van een veilig schoolklimaat is de afgelopen jaren steeds vaker onder de aandacht gekomen. Incidenten rondom pestgedrag en geweld onder kinderen leidden in zowel publiek als politiek debat tot bezinning op de rol van de school bij het zorgen voor sociale veiligheid.
In 2013 werd het publieke debat over de veiligheid van scholen aangewakkerd door twee tragische incidenten, waarbij pesten de aanleiding vormde voor zelfdoding. Hieruit werd opnieuw duidelijk dat meer aandacht nodig is voor pesten en voor het belang van een veilig schoolklimaat. In de jaarlijkse brief aan de Tweede Kamer over de sociale veiligheid op scholen, beschrijft minister van Onderwijs, Cultuur en Wetenschap (OCW) Jet Bussemaker het belang van een veilig schoolklimaat als volgt: “Veiligheid is een voorwaarde voor kwalitatief goed onderwijs. Als een leerling zich niet veilig voelt, kan hij niet volwaardig deelnemen aan het onderwijs. Ook docenten en ander personeel moeten zich veilig genoeg voelen om een schoolklimaat te kunnen creëren waarin leerlingen het beste uit zichzelf halen. Scholen moeten daarom zorgen voor een veilig schoolklimaat.” (Tweede Kamer, 2012/2013b). In maart 2013 werd een plan van aanpak tegen pesten gepresenteerd, een gevolg van de samenwerking tussen OCW en de kinderombudsman. Hierin stellen zij voor dat iedere school verplicht wordt een bewezen effectief anti-pestprogramma te gebruiken en de sociale veiligheid op de school te monitoren. De Inspectie van het Onderwijs (hierna: inspectie) moet hierop gaan toezien (Tweede Kamer, 2012/2013a).
Het belang van een veilig schoolklimaat komt ook naar voren in de wetenschappelijke literatuur. Uit verschillende onderzoeken blijkt dat een veilig schoolklimaat gerelateerd is aan verschillende positieve uitkomsten op zowel academisch als sociaal-emotioneel gebied (Cohen, Mccabe, Michelli, & Pickeral, 2009; Thapa, Cohen, Guffey, en Higgins-D’Alessandro, 2013). Dit onderstreept dat aandacht voor een veilig schoolklimaat noodzakelijk is.
Toezicht op sociale kwaliteit
De inspectie heeft de taak de kwaliteit van het onderwijs te bewaken. Als onderdeel van het toezicht op scholen houdt de inspectie zich in toenemende mate bezig met de sociale kwaliteit van scholen. Vanaf 2006 is sociale veiligheid als een apart kwaliteitsaspect opgenomen in het toezichtkader: ‘De school waarborgt de sociale veiligheid voor leerlingen en personeel’. Een onderdeel van het plan van aanpak tegen pesten uit 2013 is dat de sociale veiligheid op scholen meer gewicht krijgt in het toezicht van de inspectie.
Het toezicht op scholen en instellingen is risicogestuurd: scholen waarbij risico’s worden geconstateerd, ontvangen aangepast toezicht; scholen waar geen risico’s gevonden worden, krijgen het vertrouwen van de inspectie en ontvangen basistoezicht. Een belangrijk middel om het toezicht te kunnen uitoefenen is het bezoeken van de scholen. Tijdens deze bezoeken onderzoekt de inspecteur de kwaliteit van de school door middel van triangulatie: de kwaliteit van het onderwijs wordt in kaart
gebracht door met verschillende kwantitatieve en kwalitatieve methoden gegevens te verzamelen. Bij het onderzoek naar de sociale kwaliteit wordt dit onder andere gedaan door het observeren van lessen, het analyseren van resultaten en het voeren van gesprekken met leerkrachten en directie. Daarnaast vormen de leerlingen een belangrijke bron van informatie. Door het voeren van gesprekken of het afnemen van een vragenlijst kan het perspectief van de leerling in kaart worden gebracht. Dit is met name belangrijk wanneer wordt onderzocht hoe leerlingen het klimaat en de sociale veiligheid op hun school beleven.
De inspectie heeft een vragenlijst ontwikkeld om tijdens een schoolbezoek informatie te kunnen verzamelen over de beleving van het schoolklimaat door de leerlingen (zie bijlage I). Wanneer scholen zelf geen (valide en betrouwbaar) instrument gebruiken om de veiligheid te monitoren, kan de inspecteur deze vragenlijst, de LVSV-PO, inzetten als onderdeel van het onderzoek naar de sociale kwaliteit van een school. Hierbij vervult de vragenlijst een signaleringsfunctie; de uitkomsten leiden niet direct tot een oordeel over de sociale kwaliteit, maar vormen input om het onderzoek op de school verder vorm te geven.
Onderzoeksvraag
Om een goed beeld te krijgen van de werkelijke beleving van het schoolklimaat en de sociale veiligheid van de leerlingen, is het belangrijk dat de LVSV-PO voldoet aan de psychometrische eisen die worden gesteld aan meetinstrumenten. Daarom wordt onderzoek gedaan naar de kwaliteit van de LVSV-PO. Hierbij staat de volgende vraag centraal:
“In hoeverre is de LVSV-PO een betrouwbaar en valide instrument om aspecten van de beleving van het schoolklimaat en de sociale veiligheid van leerlingen uit groep 7 en 8 in kaart te brengen?”
Opbouw
Dit artikel is als volgt opgebouwd. In het theoretisch kader (hoofdstuk 2) zullen allereerst de begrippen schoolklimaat en sociale veiligheid gedefinieerd worden en wordt een overzicht gegeven van de recente wetenschappelijke literatuur rond dit thema. Hierbij wordt gekeken naar de meetinstrumenten voor schoolklimaat en sociale veiligheid die reeds beschikbaar zijn en de resultaten van onderzoek naar sociale veiligheid in Nederland. Nadat de LVSV-PO uitgebreider beschreven is, wordt besproken welke psychometrische eisen aan meetinstrumenten gesteld worden. Op basis hiervan wordt de onderzoeksvraag uitgewerkt in een aantal deelvragen.
In de volgende hoofdstukken wordt de methode van onderzoek beschreven en worden de resultaten en conclusie per deelvraag gepresenteerd. Ten slotte wordt een antwoord gegeven op de gestelde onderzoeksvraag en worden de implicaties en de beperkingen van het onderzoek besproken.
2. Theoretisch kader
De LVSV-PO is bedoeld om de beleving van aspecten van het schoolklimaat van leerlingen in het basisonderwijs in kaart te brengen. Een belangrijk onderdeel hiervan is de beleving van de sociale veiligheid door de leerlingen. Een veilig schoolklimaat is een belangrijke voorwaarde voor leerlingen om tot leren te komen (Inspectie van het Onderwijs, 2013). Sociale veiligheid wordt door de inspectie als volgt gedefinieerd: “een school is veilig als de psychische, sociale en fysieke veiligheid van leerlingen en personeel niet door handelingen van andere mensen wordt aangetast.” In de LVSV-PO wordt ingegaan op de mate waarin de leerlingen het klimaat op school als ‘sociaal veilig’ ervaren. In wetenschappelijke literatuur worden geen eenduidige definities voor de begrippen schoolklimaat en sociale veiligheid gehanteerd. In de eerste paragraaf wordt daarom ingegaan op de verschillende dimensies van het schoolklimaat die kunnen worden onderscheiden. In dit theoretisch kader zal met name worden gesproken over het schoolklimaat, waarbij sociale veiligheid, als een belangrijk onderdeel van het schoolklimaat, inbegrepen wordt.
2.1 Overzicht van onderzoek naar Schoolklimaat
Dimensies van ‘schoolklimaat’
Hoewel het belang van het schoolklimaat al in het begin van de twintigste eeuw werd beschreven, werd pas in de jaren vijftig begonnen met systematisch onderzoek naar dit concept (Cohen et al., 2009). Tagiuri beschreef in 1968 een eerste uitwerking van het begrip schoolklimaat. Hij onderscheidde hierbij vier dimensies: ecologie (fysieke en materiële aspecten), milieu (kenmerken van personen en groepen), sociaal systeem (organisatie, communicatie en relaties tussen personen en groepen) en cultuur (waarden, verwachtingen etc.) (Anderson, 1982; Tagiuri, 1968;).
In de jaren die volgden zijn verschillende definities en dimensies van het concept schoolklimaat geformuleerd. In de in 1973 ontwikkelde Classroom Environment Scale worden drie brede dimensies van schoolklimaat onderscheiden, namelijk ‘structuur’, ‘relaties’ en ‘persoonlijke ontwikkeling’ (Trickett & Qninlan, 1979). Volgens Brand, Felner, Shim, Seitsinger, en Dumas (2003) moet naast deze dimensies ook worden gekeken naar de mate waarin in het onderwijs rekening wordt gehouden met culturele diversiteit en moeten ook de ervaringen van leerlingen met betrekking tot de veiligheid van de schoolomgeving hierin worden betrokken.
In het huidig onderzoek naar schoolklimaat zijn onderzoekers het eens dat schoolklimaat een construct is dat uit een aantal verschillende dimensies bestaat, hoewel de opvattingen over het aantal en de inhoud van de dimensies verschillen (Loukas, 2007).
Hoewel in de loop van de tijd door verschillende onderzoekers allerlei dimensies van schoolklimaat zijn beschreven, kunnen drie dimensies worden onderscheiden die in alle definities naar voren komen. Een eerste belangrijke dimensie is de veiligheid van de school. Die komt tot uitdrukking in de fysieke omgeving en in de structuur en organisatie van de school, bijvoorbeeld in de aanwezigheid van regels
en normen (Loukas, 2007; Skiba et al., 2004; Tiaguri, 1968; Trickett & Qninlan, 1979). Een tweede dimensie die in veel definities genoemd wordt betreft de interpersoonlijke relaties tussen leerkrachten en leerlingen. Het gaat hierbij om gedeelde waarden, opvattingen en interacties, en de mate waarin leerkrachten en leerlingen zich verbonden voelen met de school (Loukas, 2007; Mitchell en Bradshaw, 2013; Skiba et al., 2004; Tiaguri, 1968; Trickett & Qninlan; 1979). Als derde dimensie kan het lesgeven en leren dat op de school plaatsvindt worden genoemd. Hierbij gaat het zowel over de inhoud van de lessen als over de manier waarop het onderwijs verzorgd wordt. In de lessen moet rekening worden gehouden met culturele diversiteit (Brand et al., 2003) en sociale- en burgerschapsvaardigheden (Cohen et al., 2009) en dit moet ook door de leerkracht in de praktijk worden gebracht (Brand et al., 2003; Cohen et al., 2009). De dimensies ‘Interpersoonlijke relaties’, ‘Veiligheid’ en ‘Lesgeven en leren’ kunnen worden gezien als de kern van het concept ‘schoolklimaat’.
Belang van een positief schoolklimaat
Wetenschappelijk onderzoek van de afgelopen decennia onderschrijft het belang van een positief schoolklimaat. Een positief schoolklimaat wordt gekenmerkt door een warme, zorgzame omgeving, waarin aandacht wordt besteed aan de ontwikkeling van sociale competenties van leerlingen (Orpinas & Home, 2006). Hierbij is er sprake van positieve interpersoonlijke relaties tussen leerlingen en leerkrachten, gebaseerd op respect, vertrouwen, gedeelde verantwoordelijk en zorg voor elkaar (Manning & Saddlemire, 1996; Wilson, 2004). Schoolregels zijn eerlijk en worden consequent gehandhaafd en er is aandacht voor de veiligheid van leerlingen en personeel (Marshall, 2004; Wilson, 2004).
Cohen et al. (2009) en Thapa et al. (2013) beschrijven in hun overzichtsstudies de uitkomsten van onderzoek naar het effect van schoolklimaat. Hierbij kan een onderscheid gemaakt worden tussen effecten op academisch gebied en effecten op sociaal-emotioneel gebied.
In verschillende studies werden directe en indirecte relaties gevonden tussen het schoolklimaat en de academische prestaties van de leerlingen (Thapa et al., 2013). Leerlingen op scholen met een goed schoolklimaat behaalden betere testscores (MacNeil, Prater, & Busch, 2009). Een positieve leerling-leerkrachtrelatie, een belangrijke onderdeel van het schoolklimaat, heeft een directe positieve invloed op het gedrag en de prestaties van de leerlingen (Hamre & Pianta, 2001). Ook op meer indirecte wijze heeft een positief schoolklimaat positieve effecten op academisch gebied. Zo is er bij een positief schoolklimaat sprake van samenwerking, respect en wederzijds vertrouwen, hetgeen de leeromgeving verbetert en de betrokkenheid van de leerlingen verhoogt (Thapa et al., 2013).
Een positief schoolklimaat is ook gerelateerd aan verschillende positieve effecten op sociaal-emotioneel terrein (Thapa et al., 2013). Dit blijkt onder andere uit onderzoek van Bosworth, Ford en Hernandaz (2011), die vinden dat schoolklimaat een verklarende factor is voor verschillen tussen scholen in de aanwezigheid van geweld en alcohol- en drugsgebruik. Uit een meta-analyse van Steffgen, Recchia, en Viechtbauer (2013) blijkt dat een negatieve relatie bestaat tussen schoolklimaat en geweld op school. Onderzoek naar de rol van het schoolklimaat bij het voorkomen van pestgedrag wijst op een negatieve relatie tussen positief schoolklimaat en pestgedrag (Wang, Berry, & Swearer, 2013). Uit deze onderzoeken blijkt dat een positief schoolklimaat kan zorgen voor een afname van geweld en probleemgedrag.
Onderzoek naar de effecten van het schoolklimaat wijst ook op het belang van verbondenheid. De mate van verbondenheid met de school die door de leerlingen ervaren wordt, is een belangrijk aspect van het schoolklimaat (Cohen et al., 2009). Verbondenheid met de school is een voorspeller voor positieve academische en sociale opbrengsten en vormt een protectieve factor tegen geweld en drugsgebruik. Loukas (2007) suggereert dat de mate van verbondenheid kan worden gezien als een verklarende factor voor de effecten van een positief schoolklimaat.
Effecten van het schoolklimaat op academisch en sociaal gebied kunnen uiteraard niet los van elkaar worden beschouwd, aangezien de ontwikkeling binnen deze gebieden nauw met elkaar samenhangt. Leren is een sociaal proces, waarvoor goede interpersoonlijke relaties belangrijk zijn (Zins, Bloodworth, Weissberg, & Walberg, 2007). Verschillende onderzoeken wijzen op de belangrijke relatie tussen ontwikkelingen in het sociale en academische gebied. Uit onderzoek van Wentzel (1993) bleek bijvoorbeeld dat pro- en anti-sociaal gedrag van leerlingen belangrijke voorspellers zijn van het gemiddelde schoolcijfer. Marchant, Paulson, en Rothlisberg (2001) concluderen dat de percepties van leerlingen van de sfeer in de school een belangrijke invloed hebben op hun prestaties. Positieve ontwikkelingen op sociaal-emotioneel gebied zullen dus ook de ontwikkelingen op het academisch gebied ten goede komen (Thapa et al., 2013).
Concluderend kan gesteld worden dat een positief en veilig schoolklimaat op zowel directe als indirecte wijze een positieve invloed heeft op de academische en sociaal-emotionele ontwikkeling van leerlingen.
Percepties van schoolklimaat
De mate waarin een schoolklimaat al dan niet positief is, is moeilijk objectief vast te stellen. De manier waarop schoolklimaat wordt ervaren door leerlingen of personeel, is altijd subjectief; het klimaat van een school hoeft niet noodzakelijk door alle leerlingen op dezelfde manier ervaren te worden (Booren, Handy & Power, 2011; Koth, Bradshaw & Leaf, 2008; Loukas, 2007). De perceptie van het schoolklimaat blijkt afhankelijk van leerlingkenmerken als sekse, leeftijd en etnische achtergrond (Koth et al., 2008; Mitchell & Bradshaw, 2013). Ook verschillen in ervaringen en rollen kunnen leiden tot een verschillende beleving van het schoolklimaat (Booren et al., 2011). De manier waarop leerlingen de schoolomgeving ervaren heeft een belangrijke impact op hun gedrag op school (Koth et al., 2008). Doordat de beleving van het schoolklimaat tussen leerlingen kan verschillen, kan dit ook tot verschillende individuele uitkomsten leiden (Loukas, 2007). Bij het in kaart brengen van de beleving van het schoolklimaat en sociale veiligheid op scholen, moet dus altijd rekening worden gehouden met de invloed van individuele kenmerken van leerlingen op deze beleving.
2.2 Schoolklimaat meten
Meetinstrumenten voor schoolklimaat en sociale veiligheid
Om uitspraken te kunnen doen over de kwaliteit van het schoolklimaat, zijn meetinstrumenten nodig waarmee de beleving van het schoolklimaat en de sociale veiligheid in kaart kan worden gebracht. Hiervoor kunnen verschillende methoden gehanteerd worden, bijvoorbeeld het uitvoeren van
observaties of het afnemen van interviews of vragenlijsten. De vragenlijst is een veelgebruikt instrument, waarmee op een anonieme manier op grote schaal informatie kan worden verkregen. Een bekend Amerikaans instrument om schoolklimaat te meten is de Comprehensive School Climate Inventory. Hierin worden de vier dimensies van schoolklimaat onderscheiden die Cohen et al. (2009) beschreven (veiligheid, lesgeven en leren, interpersoonlijke relaties en de schoolomgeving). Een ander Amerikaans instrument, de School Climate Bullying Survey, onderscheidt verschillende aspecten van schoolklimaat met een focus op pesten (Bandyopadhyay, Cornell, & Konold, 2009). Hierbij wordt gekeken naar het vóórkomen van pesten, agressieve houdingen en de bereidwilligheid om hulp te zoeken.
Een bekend Nederlands instrument om schoolveiligheid te meten is de Veiligheidsmonitor van het ITS. Deze monitor wordt uitgevoerd onder leerlingen, personeel, directie en soms ook ouders. De resultaten van deze monitor worden gebruikt om te rapporteren over de veiligheid van scholen in Nederland. De ITS Veiligheidsmonitor meet de sociale veiligheid op scholen door te kijken naar twee aspecten: het sociaal veiligheidsbeleid en de ervaringen van sociale (on)veiligheid (Mooij & Witvliet, 2012).
Cito heeft een peilingsonderzoek onder leerlingen op ruim honderd basisscholen uitgevoerd naar de sociale opbrengsten van basisscholen in Nederland. Een onderdeel van dit onderzoek is het ‘positief, veilig en ordelijk school- en klasklimaat’. Hierbij werd gekeken naar de beleving van de school, leerkracht en relaties met klasgenoten. De veiligheid van het klasklimaat werd gemeten door te kijken naar het vóórkomen van relationele, fysieke en materiële agressie (Kuhlemeier, Van Boxtel, & Van Til, 2012).
Sociale veiligheid in Nederland
De hiervoor beschreven Nederlandse instrumenten geven een goed beeld van de beleving van het schoolklimaat en de veiligheid in het onderwijs. De Veiligheidsmonitor van het ITS wordt, in opdracht van OCW, elke twee jaar afgenomen in het basis- en voortgezet onderwijs. Uit de veiligheidsmonitoren van de afgelopen jaren blijkt dat er sprake is van een toename van het veiligheidsgevoel van leerlingen (Mooij & Witvliet, 2012). In 2012 geeft het grootste deel van de leerlingen (95%) aan zich veilig te voelen op school. Tussen 2010 en 2012 is echter een toename van het aantal leerlingen dat aangeeft slachtoffer, dader of getuige te zijn geweest van geweld. Een klein deel van de leerlingen (10%) stelt dat de veiligheid in school moet worden vergroot (Mooij & Witvliet, 2012).
Uit de peiling van Cito in 2011 blijkt dat ongeveer 90% van de leerlingen positief is over hun school (Kuhlemeier et al., 2012). Agressief gedrag komt heel weinig voor in de klas, relationele agressie komt vaker voor dan fysieke of materiële agressie.
Al met al kan geconcludeerd worden dat de meeste leerlingen zich veilig voelen op school. Er komen echter nog steeds incidenten rondom geweld en pesten voor. Dit vormt de aanleiding om het toezicht op het schoolklimaat en de sociale veiligheid op scholen meer aandacht te geven en instrumenten te ontwikkelen om dit toezicht vorm te kunnen geven.
De LVSV-PO
De door de inspectie ontwikkelde LVSV-PO heeft tot doel de beleving van aspecten van het schoolklimaat en de sociale veiligheid van leerlingen uit groep 7 en 8 in kaart te brengen. Verschillende elementen uit de LVSV-PO zijn vergelijkbaar met onderdelen uit de eerder beschreven instrumenten van het Cito en het ITS. Er zijn echter enkele belangrijke verschillen in inhoud en doel ten opzichte van deze bestaande instrumenten. De onderzoeken van het Cito en het ITS verzamelen beschrijvende informatie over de beleving van sociale veiligheid op verschillende scholen in Nederland. In tegenstelling tot het peilingsonderzoek van het Cito en de Veiligheidsmonitor van het ITS heeft de LVSV-PO niet tot doel een totaaloverzicht te bieden van de veiligheidsbeleving van leerlingen in Nederland. De inspectie voert onderzoeken uit op scholen om de kwaliteit van het onderwijs te bepalen en risico’s te detecteren. Tijdens deze onderzoeken wordt informatie verzameld met het doel de (sociale) kwaliteit in kaart te brengen. De LVSV-PO is dan ook bedoeld om informatie te verzamelen over de beleving van de sociale veiligheid op een specifieke school, om aanknopingspunten te bieden voor verder onderzoek en het oordeel van de inspecteur te kunnen onderbouwen.
Het verschil in doel leidt ook tot inhoudelijke verschillen tussen de meetinstrumenten. Net als in de Veiligheidsmonitor van het ITS ligt de nadruk op de beleving van de veiligheid op verschillende plaatsen in de school en het vóórkomen van pesten en incidenten. In de LVSV-PO wordt daarnaast ook aandacht besteed aan het aanbod van de school met betrekking tot het leren van sociale- en burgerschapsvaardigheden en de rol van de leerkracht bij het creëren van een veilig pedagogisch klimaat.
In de LVSV-PO worden vijf onderdelen onderscheiden. In het onderdeel ‘Burgerschap’ wordt gevraagd naar wat leerlingen op school leren met betrekking tot de basiswaarden van de democratische rechtsstaat. Het gaat hierbij om waarden als vrijheid van meningsuiting en begrip hebben voor anderen (Inspectie van het Onderwijs, 2010). Hierbij staat de dimensie ‘Lesgeven en leren’ van schoolklimaat centraal. In het onderdeel ‘Interpersoonlijke relaties’ wordt nagegaan of deze basiswaarden nageleefd worden in de omgang tussen leerlingen. Hierbij wordt gevraagd of buitensluiten en pesten om verschillende oorzaken (geloof, huidskleur) op de school plaatsvindt. Dit betreft de dimensie ‘Interpersoonlijke relaties’. Het onderdeel ‘Pedagogisch klimaat’ vraagt naar de aanwezigheid van regels en afspraken op de school, met name gericht op het pedagogisch handelen van de leerkracht. Hierin komen aspecten van de dimensies ‘Lesgeven en leren’ en ‘Interpersoonlijke relaties (tussen leerlingen en leerkrachten) aan bod. Het onderdeel ‘Anti-sociaal gedrag’ gaat in op de aanwezigheid van anti-sociaal gedrag (pesten, schoppen, slaan etc.) in het afgelopen schooljaar (dimensie ‘Veiligheid’). Het laatste onderdeel, ‘Welbevinden en Schoolbeleving’, richt zich op de beleving van het schoolklimaat en vraagt onder andere of leerlingen zich veilig voelen en met plezier naar school gaan. Deze vragen zijn met name gericht op de dimensie ‘Interpersoonlijke relaties’.
2.3 Psychometrische eisen aan meetinstrumenten
Naast een goede theoretische onderbouwing, moet een meetinstrument ook aan verschillende psychometrische eisen voldoen. De belangrijkste eisen, die van betrouwbaarheid en validiteit, worden in de volgende paragrafen besproken.
Betrouwbaarheid
Het begrip betrouwbaarheid betreft de consistentie van de scores van een instrument (Gliner, Morgan, & Harmon, 2001). Volgens de klassieke testtheorie bestaat een geobserveerde score altijd uit de werkelijke score en de meetfout. Bij een instrument met een hoge betrouwbaarheid wordt deze meetfout zoveel mogelijk gereduceerd en liggen de geobserveerde scores dichter bij de werkelijke scores dan bij een instrument met een lage betrouwbaarheid (Gliner et al., 2001). Om de resultaten van een vragenlijst goed te kunnen interpreteren is het belangrijk dat deze consistent hetzelfde meet, en de scores niet worden beïnvloedt door bijvoorbeeld de persoon die de vragenlijst afneemt of het tijdstip waarop de vragenlijst ingevuld wordt.
Er kunnen verschillende vormen van betrouwbaarheid worden onderscheiden (Gliner et al., 2001). De interne consistentie of inter-itembetrouwbaarheid gaat over de mate waarin de items binnen een instrument consistent zijn. Deze vorm van betrouwbaarheid wordt vaak uitgedrukt in Cronbach’s alfa. De test-hertestbetrouwbaarheid geeft de stabiliteit van het instrument weer, de mate waarin het instrument onder vergelijkbare omstandigheden op verschillende tijdstippen dezelfde scores weergeeft. Deze betrouwbaarheid wordt weergegeven met de correlatiecoëfficiënt, die kan variëren tussen -1 en +1. De inter-itembetrouwbaarheid en test-hertestbetrouwbaarheid zijn relevant voor het bepalen van de betrouwbaarheid van de LVSV-PO.
Validiteit
De validiteit van een instrument gaat over de mate waarin het instrument aan zijn doel beantwoord en meet wat het geacht wordt te meten. Er kunnen verschillende typen validiteit worden onderscheiden, waarvan de inhoudsvaliditeit, begripsvaliditeit en criteriumvaliditeit de meest bekende zijn (Morgan, Gliner, & Harmon, 2001).
De inhoudsvaliditeit gaat over de mate waarin de inhoud van het instrument representatief is voor de concepten die het instrument beoogt te meten. Dit wordt aangetoond door een theoretische onderbouwing van de constructen en de manier waarop deze worden geoperationaliseerd en gemeten door het instrument.
Bij het onderzoeken van de begripsvaliditeit wordt gekeken naar de mate waarin het instrument het theoretische construct meet. De begripsvaliditeit van een instrument kan op verschillende manieren worden aangetoond. Bij complexe constructen kan op theoretische gronden worden verwacht dat verschillende aspecten binnen het construct worden gemeten. Door middel van factoranalyse kan worden aangetoond dat deze aspecten daadwerkelijk in de vragenlijst onderscheiden worden. Door vergelijkingen met andere meetinstrumenten kan de convergente en discriminante validiteit worden bepaald. Bij het onderzoeken van de convergente validiteit wordt een relatief hoge correlatie verwacht
met andere instrumenten waarvan verwacht wordt dat concepten gerelateerd zijn. Bij het onderzoeken van de discriminante validiteit wordt een relatief lage correlatie verwacht met andere instrumenten waarvan op theoretisch gronden verwacht wordt dat concepten niet gerelateerd zijn.
De criteriumvaliditeit betreft de mate waarin een instrument in staat is om toekomstig gedrag of niet-testgedrag te voorspellen. Aangezien de LVSV-PO geen voorspellende waarde heeft, zal de criteriumvaliditeit niet worden onderzocht. Bij het bepalen van de validiteit van de LVSV-PO zal gekeken worden naar de factorstructuur en de convergente validiteit van het instrument.
2.4 Deelvragen
In dit onderzoek wordt nagegaan in hoeverre de LVSV-PO aan de hiervoor beschreven psychometrische eisen voldoet.
De hoofdvraag luidt: “In hoeverre is de LVSV-PO een betrouwbaar en valide instrument om aspecten van de beleving van het schoolklimaat en de sociale veiligheid van leerlingen uit groep 7 en 8 in kaart te brengen?” Om deze vraag te beantwoorden zullen een aantal vormen van betrouwbaarheid en validiteit worden onderzocht.
In de eerste plaats zal onderzoek worden gedaan naar de begripsvaliditeit van de LVSV-PO. In de LVSV-PO is het begrip ‘schoolklimaat’ uitgewerkt in vijf verschillende onderdelen (factoren). Door de factorstructuur van de LVSV-PO te onderzoeken kan worden bepaald in hoeverre met de LVSV-PO daadwerkelijk vijf verschillende aspecten van schoolklimaat worden gemeten.
Hierbij is de volgende deelvraag opgesteld:
1. In hoeverre meet de LVSV-PO vijf verschillende aspecten van schoolklimaat en sociale veiligheid?
Wanneer is vastgesteld of daadwerkelijk vijf verschillende aspecten kunnen worden onderscheiden, kan worden bepaald hoe betrouwbaar deze schalen zijn. Voor elke schaal wordt vastgesteld of de items die de schaal vormen een consistent geheel vormen. De volgende deelvraag zal worden beantwoord:
2. In hoeverre zijn de vijf schalen van de LVSV-PO intern consistent?
Naast de betrouwbaarheid van de schalen, zal ook worden gekeken naar de test-hertestbetrouwbaarheid van de LVSV-PO. Hierbij wordt bepaald of de LVSV-PO op verschillende tijdstippen onder vergelijkbare omstandigheden hetzelfde meet. De deelvraag die hierbij wordt beantwoord luidt:
3. In hoeverre meet de LVSV-PO de beleving van schoolklimaat en sociale veiligheid consistent over tijd?
Ten slotte zal nog een vorm van begripsvaliditeit worden onderzocht, namelijk de convergente validiteit. Onderdelen van de LVSV-PO zullen worden vergeleken met een ander meetinstrument dat eveneens sociale veiligheid beoogt de meten. Het vergelijken van deze vragenlijsten kan inzicht bieden in de mate waarin de concepten schoolklimaat en sociale veiligheid daadwerkelijk gemeten kunnen worden met de LVSV-PO.
Hierbij wordt de volgende deelvraag beantwoord:
4. In hoeverre meet de LVSV-PO daadwerkelijk aspecten van de beleving van schoolklimaat en sociale veiligheid?
In de methodesectie wordt beschreven op welke manier de data verzameld en geanalyseerd zijn om deze deelvragen te kunnen beantwoorden.
3. Methoden
In de methodesectie wordt een onderscheid gemaakt in twee onderzoeken, met elk een eigen steekproef en methode van dataverzameling. Onderzoek 1 betreft het onderzoek naar de factorstructuur (deelvraag 1) en interne consistentie (deelvraag 2), in Onderzoek 2 is data verzameld om de test-hertestbetrouwbaarheid (deelvraag 3) en convergente validiteit (deelvraag 4) te bepalen.
3.1 Onderzoeksgroepen
Steekproef onderzoek 1
Voor onderzoek 1 is gebruikt gemaakt van bestaande data, afkomstig uit de pilot Sociale Kwaliteit. In deze pilot hebben schoolinspecteurs informatie verzameld over de sociale kwaliteit van basisscholen in Nederland, onder andere door het afnemen van de LVSV-PO bij leerlingen uit groep 7 en 8.
Scholen die het vertrouwen van de inspectie hebben, krijgen de beoordeling ‘basisarrangement’ en ontvangen eens per vier jaar een kort onderzoek. De onderzoeken voor de pilot Sociale Kwaliteit in het Primair Onderwijs werden gekoppeld aan deze vierjaarlijkse onderzoeken. Dit betekent dat in de steekproef geen zwakke scholen zijn opgenomen, aangezien deze scholen een ander toezicht-arrangement hebben. De pilot is in mei-september 2013 uitgevoerd. Hiervoor werden aselect 150 basisscholen in Nederland geselecteerd uit het aantal scholen dat die periode een vierjaarlijks onderzoek zou ontvangen. Van 132 scholen zijn ingevulde vragenlijsten ontvangen, een respons van 88%. Gemiddeld hebben 43 leerlingen per school de LVSV-PO ingevuld, met een minimum van 5 leerlingen en een maximum van 119 leerlingen per school.
De steekproef is representatief voor de gehele populatie basisscholen, hierbij is onder andere gekeken naar de provincie, stedelijkheid, schoolgrootte, denominatie, visie en de verdeling van gewichtenleerlingen (Inspectie van het Onderwijs, 2014). De uiteindelijke steekproef bestond uit 5649 leerlingen uit groep 7 en 8. In Tabel 3.1 is de verdeling van sekse en jaargroep weergegeven. Op leerlingniveau zijn alleen deze kenmerken bekend, aangezien de LVSV-PO een anonieme vragenlijst is.
Tabel 3.1
Kenmerken participanten Steekproef 1
Jongens Meisjes niet ingevuld Totaal
n % n % n % n % Groep 7 1332 23.6 1350 23.9 7 0.1 2689 47.6 Groep 8 1390 24.6 1406 24.9 7 0.1 2803 49.6 niet ingevuld 16 0.3 17 0.3 124 2.2 157 2.8 Totaal 2738 48.5 2773 49.1 138 2.4 5649 100 Steekproef onderzoek 2
Voor Onderzoek 2 is een nieuwe steekproef geselecteerd. Het was niet mogelijk de LVSV-PO opnieuw af te nemen bij de leerlingen die hebben meegedaan aan de pilot van onderzoek 1, aangezien die vragenlijsten anoniem zijn afgenomen en de data daarom niet meer op leerlingniveau vergeleken konden worden. De steekproef bestaat uit scholen waarvan het bestuur of het bovenschools bestuur lid is van een klankbordgroep van de inspectie, die meedenkt over het toezicht op de sociale kwaliteit. De steekproef is select, bij de selectie is voor zover mogelijk geprobeerd tot een goede verdeling van relevante kenmerken (denominatie, schoolgrootte, stedelijkheid) te komen. Hierbij werd ernaar gestreefd een doorsnede van de totale populatie scholen te vormen. De deelnemende scholen zijn gelegen in Midden-Nederland en hebben allen een reguliere onderwijskundige visie, een laag percentage gewichtenleerlingen (≥89% ongewogen leerlingen) en een voldoende beoordeling van de inspectie. In Tabel 3.2 zijn per school de gegevens wat betreft deelnemende jaargroep, denominatie, stedelijkheid en schoolgrootte weergegeven. De steekproef bevat aanzienlijk meer leerlingen uit groep 7 dan uit groep 8. Voorafgaand aan de analyses wordt daarom onderzocht in hoeverre verschillen tussen leerlingen in jaargroep en/of sekse van invloed kunnen zijn op de uitkomsten van het onderzoek (zie hiervoor de resultaten van Onderzoek 1).
Tabel 3.2
Kenmerken Scholen Steekproef 2
School Groep Denominatie Stedelijkheid Schoolgrootte
1 7 Protestants-christelijk G32 200-300
2 7 Rooms-katholiek Buiten steden 300-400
3 7 Rooms-katholiek Buiten steden 200-300
4 7/8 Openbaar Buiten steden 100-200
In onderzoek 2 is bij de participanten op verschillende momenten de LVSV-PO afgenomen. Omdat sommige leerlingen op een van de meetmomenten niet aanwezig waren of persoonlijke codes ontbraken (zie paragraaf data-analyse), leverde onderzoek 2 twee enigszins verschillende steekproeven op: een steekproef voor het test-hertestonderzoek (steekproef 2a) en een steekproef voor het onderzoek naar de convergente validiteit (steekproef 2b). In de Tabel 3.3 en Tabel 3.4 is de verdeling van participanten wat betreft sekse en jaargroep voor deze twee steekproeven weergegeven.
Tabel 3.3
Kenmerken participanten Steekproef 2a
Tabel 3.4
Kenmerken participanten Steekproef 2b
3.2 Instrumenten
Onderzoek 1
Bij de participanten uit steekproef 1 is de LVSV-PO afgenomen tijdens de pilot Sociale Kwaliteit. De LVSV-PO bestaat uit vijf onderdelen: ‘Wat je leert op school’, ‘Omgaan met elkaar op deze school’, ‘Situatie op de school’, ‘Wat er gebeurt op deze school’ en ‘Hoe ik me voel op deze school’. Elk onderdeel bevat 7 tot 9 stellingen, waarbij de leerlingen moeten aangeven of zij het ‘helemaal oneens’, ‘oneens’, ‘eens’ of ‘helemaal eens’ zijn met de stelling. Aan het einde wordt de leerlingen gevraagd een cijfer aan hun school te geven, hierbij kunnen ze een cijfer van 1 tot en met 10 aankruisen. Tevens is er ruimte voor eventuele opmerkingen van de leerlingen.
Jongens Meisjes Totaal
n % n % n %
Groep 7 36 31.0 42 36.2 78 67.2
Groep 8 22 19.0 16 13.8 38 32.8
Totaal 58 50 58 50 116 100
Jongens Meisjes Totaal
n % n % n %
Groep 7 38 36.2 43 40.9 81 77.1
Groep 8 13 12.4 11 10.5 24 22.9
Onderzoek 2
De participanten uit steekproef 2 hebben de LVSV-PO tweemaal ingevuld. Daarnaast hebben zij meegedaan aan de landelijke Veiligheidsmonitor van het onderzoeksinstituut ITS. Deze digitale monitor wordt in opdracht van het ministerie van OCW tweejaarlijks op scholen in Nederland afgenomen om de sociale veiligheid op scholen in kaart te brengen. De Veiligheidsmonitor meet de sociale veiligheid op scholen door te kijken naar het sociaal veiligheidsbeleid en de veiligheidsmaatregelen op een school, en de ervaringen van sociale (on)veiligheid van leerlingen uit groep 7 en 8, personeel, schoolleiding en de ouders. In de Veiligheidsmonitor voor leerlingen worden vier onderdelen onderscheiden: ‘regels’ (opstellen en handhaven), ‘risicogedrag’, ‘gevoelens van veiligheid’ en ‘pesten en geweld’ (slachtoffer en dader). In dit onderzoek is de Veiligheidsmonitor alleen ingevuld door leerlingen.
3.3 Procedure
Onderzoek 1
De dataverzameling van Onderzoek 1 heeft plaatsgevonden tijdens de schoolbezoeken in het kader van de Pilot Sociale Kwaliteit. De schoolinspecteurs die deze schoolbezoeken uitvoerden, hebben vooraf een instructiebijeenkomst bijgewoond, waarin aanwijzingen werden gegeven voor de afname van de LVSV-PO. De LVSV-PO werd per school bij enkele groepen (7 en 8) afgenomen door de bezoekende schoolinspecteur. Vooraf legde de inspecteur de leerlingen uit wat het doel van de vragenlijst is en hoe deze ingevuld moet worden. Hierbij volgde de inspecteur de in de handleiding aangegeven richtlijnen (zie bijlage II). De leerlingen vulden de vragenlijst individueel in. Het beantwoorden van vragen en uitdelen en ophalen van de vragenlijst werd gedaan door de inspecteur. De data afkomstig uit de pilot Sociale Kwaliteit waren bij aanvang van dit onderzoek reeds verzameld en ingevoerd in SPSS. Deze dataset is gebruikt om de begripsvaliditeit en de betrouwbaarheid op basis van inter-itemrelaties te bepalen.
Onderzoek 2
De data-verzameling voor Onderzoek 2 vond plaats in het jaar na afloop van de pilot, in april-mei 2014. Dit onderzoek bestond uit het digitaal invullen van de Veiligheidsmonitor en het tweemaal invullen van de LVSV-PO.
Voorafgaand aan het onderzoek zijn afspraken gemaakt met de betrokken directeuren en leerkrachten over de onderzoeksprocedure en de wijze waarop de anonimiteit van de leerlingen en scholen gewaarborgd wordt. Deze afspraken zijn vastgelegd in een werkdocument, dat door alle betrokkenen is ondertekend (zie Bijlage III). Tevens werd een brief opgesteld die de school naar eigen inzicht kon gebruiken om de ouders te informeren (zie Bijlage IV).
De participanten hebben eerst de Veiligheidsmonitor van het ITS ingevuld. Voor het aanmelden en invullen van deze digitale vragenlijst werd zoveel mogelijk de procedure gehandhaafd die in het landelijke onderzoek van het ITS gevolgd werd. Vooraf kregen de leerlingen een korte uitleg
over de Veiligheidsmonitor en een instructie voor het invullen. Hiervoor was een standaardtekst voor de leerkrachten opgesteld (zie bijlage V). De vragenlijst was anoniem, het was echter nodig dat de leerlingen identificeerbaar waren, zodat de resultaten gekoppeld konden worden aan de resultaten van de LVSV-PO. Voor deze identificatie is gebruik gemaakt van de persoonlijke code, die alle deelnemers aan de monitor ontvangen (bedoeld om opnieuw te kunnen inloggen na een storing). De participanten kregen de instructie dat zij deze code aan de leerkracht door moesten geven voordat ze verdergingen met de vragenlijst. De leerkracht noteerde de namen en bijbehorende codes van alle leerlingen en bewaarde deze gegevens. De vragenlijst kon verder zelfstandig door de leerlingen worden ingevuld. Afhankelijk van de ICT-voorzieningen op de scholen is dit klassikaal of in kleine groepen gebeurd.
Een week na het invullen van de Veiligheidsmonitor is de LVSV-PO voor de eerste maal afgenomen (Meting 1). Alle afnamen werden uitgevoerd door dezelfde onderzoeker. Op de school heeft de onderzoeker alle deelnemende leerlingen een nummer toegewezen aan de hand van een alfabetische namenlijst, door de leerkracht ter beschikking gesteld. Deze leerlingnummers werden ter plaatse gekoppeld aan de persoonlijke codes die de leerlingen bij het invullen van de Veiligheidsmonitor hadden ontvangen. De onderzoeker heeft alleen de koppeling van codes en nummers genoteerd, zodat de resultaten niet naar namen van individuele leerlingen te herleiden zijn. De namenlijsten met leerlingnummers werden op de school bewaard voor de tweede afname van de LVSV-PO.
Voorafgaand aan de afname kregen de leerlingen uitleg over het doel van het onderzoek. Bij de instructie en afname van de LVSV-PO werd zoveel mogelijk gebruik gemaakt van de richtlijnen die de schoolinspecteurs tijdens de eerste pilot gevolgd hebben (zie bijlage II). De leerlingen kregen echter aanvullende uitleg over het onderzoek, aangezien zij de vragenlijst op twee momenten moesten invullen en zij daarom een genummerde vragenlijst ontvingen. Tijdens deze instructie werd benadrukt dat de resultaten door niemand naar individuele leerlingen te herleiden zijn. De vragenlijsten werden door de onderzoeker uitgedeeld aan de hand van de lijst met nummers en door de leerlingen individueel ingevuld. Eventuele vragen werden door de onderzoeker beantwoord en de ingevulde vragenlijsten werden na afloop door de onderzoeker verzameld.
De tweede afname van de LVSV-PO (Meting 2) vond ongeveer vijf weken na de eerste afname plaats, hierbij werd dezelfde procedure gevolgd als tijdens de eerste afname. De eerder gegeven instructie en uitleg werden kort herhaald, vervolgens werden de vragenlijsten uitgedeeld aan de hand van de lijst met nummers die tijdens de eerste afname werd opgesteld.
Na afloop van de afnames zijn alle ingevulde vragenlijsten gescand en ingevoerd in SPSS. Deze dataset is gebruikt om de test-hertestbetrouwbaarheid en convergente validiteit te onderzoeken.
3.4 Data-analyse
Onderzoek 1
De dataset afkomstig uit onderzoek 1 is voorafgaand aan de analyses eerst opgeschoond. Hierbij zijn in totaal 125 cases verwijderd. Dit waren vragenlijsten (n=99) die door leerlingen uit groep 6 waren ingevuld omdat zij in een combinatieklas met groep 7 of 8 zaten (deze zijn verwijderd omdat de LVSV-PO oorspronkelijk voor groep 7 en 8 bedoeld is) en vragenlijsten (n=26) die geheel ‘verkeerd’ zouden zijn ingevuld (dit bleken vrijwel allemaal lege vragenlijsten te zijn die onbedoeld waren meegescand). Om na te gaan of er verschillen zijn tussen leerlingen wat betreft sekse en jaargroep, is een tweeweg-variantieanalyse (ANOVA) uitgevoerd met behulp van SPSS. Hierbij is de effectgrootte ‘partial eta squared’ berekend. Waarden vanaf 0.1 wijzen op de aanwezigheid van een effect (Cohen, 1988).
Vervolgens hebben verschillende analyses plaatsgevonden om deelvraag 1 en 2 te kunnen beantwoorden.
Deelvraag 1
Met het programma SPSS is een Principale Component Analyse (PCA) uitgevoerd. In de eerste plaats zijn twee testen uitgevoerd om te controleren of de data geschikt is voor een PCA. De KMO index geeft aan hoe stabiel de analyse is en heeft bij voorkeur een waarde van minimaal 0.6 (Kaiser,1974). “Bartlett’s test of sphericity” geeft aan in hoeverre de items ongecorreleerd zijn, deze moet significant zijn (Bartlett, 1954). Omdat in eerdere ontwikkelfasen van de LVSV-PO een model met vijf componenten is vastgesteld, is de PCA ook gefixeerd op vijf componenten. Om de interpretatie van de factoroplossing mogelijk te maken, is een OBLIMIN rotatie toegepast op de oplossing. Op basis van deze exploratieve factoranalyse is het definitieve factormodel vastgesteld. De fit van dit model werd bepaald door middel van een confirmatieve factoranalyse (CFA), uitgevoerd met het programma ‘R’. De fit van het model werd uitgedrukt in Chi-kwadraat. Een significante waarde wijst erop dat het model en de data van elkaar verschillen; het model heeft dan geen goede fit. Aangezien de Chi-kwadraat gevoelig is voor de grootte van de steekproef, kan deze maat een vertekend beeld geven. Daarom zijn eveneens de Comparative Fit Index (CFI) en de Root Mean Square Error of Approximation (RMSEA) bepaald. Een model met een CFI-waarde van minimaal .9 wijst op een goede fit (McDonald & Ringo Ho, 2002). De RMSEA waarde van een goed passend model zou lager dan .05 moeten zijn (McDonald & Ringo Ho, 2002). Deze fitindices werden naast het model met vijf factoren ook bepaald voor modellen met vier factoren, om te onderzoeken in hoeverre de vijf factoren daadwerkelijk afzonderlijke onderdelen vormen, die niet samengevoegd kunnen worden.
Deelvraag 2
Na vaststelling van de definitieve schalen van de LVSV-PO, kon de interne consistentie van de testscores worden geschat. Om interpretatie van de resultaten van de vragenlijst te vergemakkelijken, zijn de onderdelen B en D gehercodeerd, zodat een hoge waarde in alle gevallen wijst op een positieve beantwoording van de items en lagere waarden een negatievere betekenis hebben. De vijf schalen zijn gevormd door van de scores van de items per onderdeel het gemiddelde
te bepalen. De interne consistentie werd bepaald door voor elk van de vijf schalen Cronbach’s alfa te berekenen in SPSS. Deze waarden geven een schatting van de homogeniteit van de schalen. Hierbij moet de kanttekening geplaatst worden dat Cronbach’s alfa altijd een lagere waarde geeft dan de echte betrouwbaarheid (Sijtsma, 2009). De gevonden waarden moeten daarom worden beschouwd als de minimale waarde van de betrouwbaarheid. Volgens George en Mallery (2003, p. 231) zijn waarden vanaf 0.7 ‘acceptabel’ te noemen en waarden vanaf 0.8 ‘goed’.
Onderzoek 2
Onderzoek 2 leidde tot twee verschillende datasets, die geanalyseerd zijn om deelvraag 3 en 4 te kunnen beantwoorden.
Deelvraag 3
Voor het test-hertestonderzoek zijn de data afkomstig van Meting 1 en Meting 2 van de LVSV-PO gebruikt. In deze dataset zijn alleen de data behouden van de participanten die beide meetmomenten de vragenlijst hebben ingevuld, 9 cases zijn verwijderd. Evenals in Onderzoek 1 zijn de schalen B en D gehercodeerd, vervolgens zijn de items samengevoegd tot vijf schalen.
Om te bepalen in hoeverre de scores van de eerste en de tweede meting overeenkomen, is Spearmans rho bepaald. Deze rangcorrelatiecoëfficient maat is een geschiktere correlatiecoëfficiënt dan Pearsons r, aangezien de antwoordcategorieën van de LVSV-PO een ordinale schaal vormen. De correlatiecoëfficiënten zijn voor de vijf schaalgemiddelden en het cijfer uitgerekend.
Een waarde hoger dan 0.7 wijst op een betrouwbare test (Gliner et al., 2001). Bij instrumenten die gebruikt worden voor belangrijke beslissingen op individueel niveau, worden hoge eisen gesteld aan de betrouwbaarheid (Evers, Lucassen, Meijer, & Sijtsma, 2009). De resultaten van de LVSV-PO worden echter alleen op groepsniveau worden geïnterpreteerd. De LVSV-PO wordt bovendien altijd ingezet als onderdeel van een uitgebreider onderzoek naar het schoolklimaat en de sociale veiligheid, op basis van de resultaten van de LVSV-PO alleen worden geen oordelen uitgesproken. Voor een dergelijk instrument kunnen daarom lagere waarden van betrouwbaarheid worden geaccepteerd. In overeenstemming met in vergelijkbaar onderzoek geaccepteerde maatstaven, worden waarden vanaf 0.6 als voldoende beschouwd (Brand et al., 2003; Trianes, Blanca, De La Morena, Infante, & Raya, 2006).
Deelvraag 4
Voor het onderzoek naar de convergente validiteit is de data afkomstig van Meting 1 van de LVSV-PO en de data afkomstig van de ITS Veiligheidsmonitor gebruikt. Participanten die op het eerste meetmoment afwezig waren (n=3) of waarvan de persoonlijke code van de ITS Veiligheidsmonitor onbekend was (n=17) werden in dit onderzoek uitgesloten. Ook in deze dataset zijn de items van de LVSV-PO samengevoegd tot vijf schalen.
De onderdelen van de LVSV-PO zijn vergeleken met drie onderdelen van de Veiligheidsmonitor die inhoudelijk overeenkomen met de onderwerpen die in de LVSV-PO aan bod komen. Het onderdeel
‘Regels’ uit de Veiligheidsmonitor gaat over het opstellen en handhaven van regels. Vier items die bij dit onderdeel horen, zijn samengevoegd tot één schaal. De antwoordmogelijkheden met de waarden 1 (altijd) tot 4 (nooit) zijn gehercodeerd, zodat een hoge waarde wijst op een positief antwoord. De antwoordmogelijkheid 5 (weet ik niet) is als missende waarde behandeld. Verwacht wordt dat deze items overeenkomen met het onderdeel ‘Pedagogisch klimaat’ van de LVSV-PO.
In het onderdeel ‘pesten en geweld’ van de Veiligheidsmonitor wordt gevraagd naar de ervaringen van leerlingen met verschillende vormen van anti-sociaal gedrag. Hierbij wordt zowel gevraagd naar ervaringen als slachtoffer als naar ervaringen als dader. De veertien items, met de waarden 1 (elke dag) tot 5 (nooit) zijn samengevoegd tot één schaal. De resultaten van dit onderdeel zullen naar verwachting overeenkomen met het onderdeel ‘Anti-sociaal gedrag’ van de LVSV-PO.
In onderdeel ‘Veiligheid’ van de Veiligheidsmonitor wordt gevraagd hoe veilig leerlingen zich voelen op school. Omdat deze items verschillende antwoordcategorieën hebben, zijn ze niet samengevoegd tot één schaal. Het gaat om de items ‘Hoe veilig voel je je op school of rond school?’ met de antwoordcategorieën 1 (heel erg onveilig) tot 5 (heel erg veilig); het item ‘Zijn er plekken op school of rond school waar je je wel eens niet veilig voelt?’ met de antwoordcategorieën ‘ja’ en ‘nee’ (‘weet ik niet’ wordt behandeld als een missende waarde); en het item ‘Is er een plek op school of rond school die veiliger gemaakt moet worden?’, waarbij is gekeken naar de antwoorden die gegeven zijn bij de antwoordmogelijkheid ‘op geen enkele plek’. De verdere doorvragen bij deze items, die ingaan op de veiligheid van specifieke plekken in en rond de school (fietsenstalling, omgeving etc.) zijn niet in de analyses meegenomen.
In de LVSV-PO wordt gevraagd naar de veiligheidsbeleving van leerlingen in het onderdeel ‘Schoolbeleving en Welbevinden’. In dit onderdeel komen echter ook andere aspecten van schoolbeleving aan bod; daarom is ook gekeken naar de samenhang van het afzonderlijke item ‘Op deze school voel ik me veilig’ uit de LVSV-PO en de items uit de Veiligheidsmonitor. Verwacht wordt dat er een sterke relatie zal zijn tussen de items die vragen naar de veiligheidsbeleving.
De samenhang tussen de scores van de onderdelen en items van de LVSV-PO en de Veiligheidsmonitor is bepaald door het berekenen van Spearmans rho. Volgens Cohen (1988) wijst een correlatiecoëfficiënt van .30 op een gemiddelde relatie en een correlatiecoëfficiënt groter van .50 op een sterke relatie.
4. Resultaten en Conclusies per Deelvraag
In dit hoofdstuk worden de resultaten van de analyses weergegeven, hierbij worden tegelijk de deelvragen beantwoord. Het antwoord op de onderzoeksvraag zal in het volgende hoofdstuk besproken worden.
4.1 Onderzoek 1
Verschillen tussen groepen
De verschillen tussen meisjes en jongens en tussen leerlingen uit groep 7 en 8 zijn getest met een tweeweg-variantieanalyse. In Tabel 4.1 zijn de resultaten van deze analyses weergegeven. Er zijn geen significante interactie-effecten, wel zijn er bij de verschillende onderdelen significante effecten van sekse en/of jaargroep. De effectgroottes ‘partial eta squared’ zijn echter allemaal zeer klein (<0.1), hetgeen erop wijst dat de verschillen tussen deze groepen verwaarloosbaar zijn (Cohen, 1988). In de verdere analyses zal daarom geen onderscheid worden gemaakt tussen leerlingen op basis van sekse en jaargroep.
Tabel 4.1
Tweeweg-ANOVA Verschillen tussen Sekse en Jaargroep (Steekproef 1)
Onderdeel Variabele SS F df p
p2 A Sekse 5.532 35.473* 1 .000 .006 Jaargroep .335 2.147 1 .143 .000 Sekse*Jaargroep .190 1.215 1 .270 .000 B Sekse .059 .305 1 .581 .000 Jaargroep 4.600 23.845* 1 .000 .004 Sekse*Jaargroep .731 3.789 1 .052 .001 C Sekse 2.589 13.315* 1 .000 .002 Jaargroep 4.210 21.651* 1 .000 .004 Sekse*Jaargroep .627 3.226 1 .073 .001 D Sekse 16.947 54.466* 1 .000 .010 Jaargroep 2.228 7.160* 1 .007 .001 Sekse*Jaargroep .073 .234 1 .629 .000 E Sekse .108 .399 1 .527 .000 Jaargroep .180 .665 1 .415 .000 Sekse*Jaargroep .077 .285 1 .593 .000 Cijfer Sekse 129.562 71.863* 1 .000 .013 Jaargroep 73.534 40.787* 1 .000 .007 Sekse*Jaargroep .001 .001 1 .981 .000Deelvraag 1
Om deelvraag 1 te kunnen beantwoorden zijn een exploratieve en een confirmatieve factoranalyse uitgevoerd. De resultaten hiervan worden afzonderlijk besproken, waarna de deelvraag zal worden beantwoord.
Resultaten exploratieve factoranalyse
“Bartlett’s test of sphericity” is significant en de KMO index is 0.939. Dit betekent dat de data geschikt is voor het uitvoeren van de Principale Component Analyse.
Een factoroplossing met vijf factoren verklaart 46,96% van de variantie (zie Tabel 4.2). Tabel 4.3 geeft de correlaties tussen de vijf factoren weer.
Tabel 4.3
Correlaties tussen Componenten LVSV-PO, verkregen uit PCA
Component 1 2 3 4 5 1 (Pedagogisch klimaat) 1.000 -.215 -.215 -.336 .481 2 (Interpersoonlijke relaties) -.215 1.000 .417 .253 -.183 3 (Anti-sociaal gedrag) -.215 .417 1.000 .397 -.155 4 (Welbevinden en schoolbeleving) -.336 .253 .397 1.000 -.305 5 (Burgerschap) .481 -.183 -.155 -.305 1.000 Tabel 4.2
Aantal Componenten LVSV-PO, verkregen uit PCA
Component Onderdeel Eigenwaarde % Verklaarde Variantie Cumulatief %
Verklaarde Variantie 1 Pedagogisch klimaat 9.003 23.69 23.69 2 Interpersoonlijke relaties 3.502 9.22 32.91 3 Anti-sociaal gedrag 2.291 6.03 38.94 4 Welbevinden en schoolbeleving 1.577 4.15 43.09 5 Burgerschap 1.470 3.87 46.96
In Tabel 4.4 is te zien hoe de items laden op de vijf componenten. Items met een lading hoger dan 0.3 op een component zijn dikgedrukt. In de tabel is te zien dat bij elke component 6 tot 8 items behoren. De indeling van deze items komt overeen met de in de LVSV-PO gehanteerde indeling in vijf onderdelen. Twee items (aangegeven met een *) hebben een waarde lager dan 0.3 en zijn daarom niet in bij een component ondergebracht, het gaat om het item ‘Op deze school zijn de regels over spijbelen duidelijk’ uit het onderdeel ‘Pedagogisch klimaat’ en het item ‘Op deze school ben ik soms bang voor andere kinderen op school’ uit het onderdeel ‘Welbevinden en schoolbeleving’. In Tabel 4.5 zijn de correlaties tussen de items en componenten weergegeven, in deze tabel is te zien dat de twee eerder genoemde items met geen van de componenten sterke correlaties vertoont. Op basis van deze resultaten is besloten de twee items te verwijderen uit de vragenlijst. Na verwijdering van deze items bestaat de LVSV-PO uit 36 items, verdeeld over vijf componenten.
Tabel 4.4
Lading van Items op Componenten LVSV-PO (PCA)
Item Component
1 2 3 4 5
Geeft het goede voorbeeld .769 -.001 .002 -.026 -.007
Zorgt voor rust in de klas .748 .001 .004 .001 -.056
Houdt zich aan de afspraken .742 -.025 -.041 .001 -.008
Heeft de juf/meester aandacht voor me als dat nodig is .632 .002 -.003 -.083 .005
Zorgt ervoor dat niemand gepest wordt. .542 -.044 -.115 -.104 .075
Worden alle leerlingen eerlijk behandeld .484 -.073 -.147 -.099 .064
Helpen de leerlingen bij het opstellen van de regels in de klas .412 -.033 .029 -.022 .089
Zijn de regels over pesten duidelijk .366 -.105 -.122 -.088 .151
Worden kinderen gepest omdat ze een andere taal spreken .026 -.807 .015 .006 -.008 Worden kinderen gepest omdat hun ouders uit een ander land
komen -.006 -.790 .000 .000 .023
Worden de kinderen die een andere taal spreken door andere
kinderen op het schoolplein buitengesloten .011 -.784 .019 -.019 .007 Zijn er leerlingen die elkaar buitensluiten vanwege hun geloof .013 -.757 .026 .038 -.027 Zijn er leerlingen die elkaar buitensluiten vanwege hun huidskleur -.006 -.751 -.010 -.015 .025 Zijn er leerlingen die elkaar buitensluiten omdat ze uit een andere
buurt komen .037 -.747 .017 .010 -.007
Voel ik me gediscrimineerd door andere leerlingen -.106 -.432 -.227 -.237 .014
Ben ik op school uitgescholden -.023 .106 -.763 -.108 .016
Ben ik in de school of op het schoolplein bedreigd .015 -.061 -.734 .021 .016 Ben ik op school wel eens geschopt of geslagen .004 .087 -.714 -.069 .039
Ben ik op school gepest -.067 .009 -.690 -.206 -.019
Zijn op school spullen van mij expres vernield .121 -.050 -.675 .139 -.006
Zijn er spullen van mij gestolen .115 -.052 -.651 .120 .017
Ben ik op het internet (msn, hyves, facebook enz.) door andere
leerlingen van de school bedreigd .063 -.116 -.571 .076 .031
Ben ik soms bang voor andere kinderen op school* -.108 -.032 -.253 -.122 -.035
Voel ik me in de klas op mijn gemak .167 -.030 -.034 -.729 -.014
Kan ik goed opschieten met mijn klasgenoten -.046 -.030 .015 -.724 .047
Kan ik mezelf zijn .108 .012 .007 -.703 .055
Heb ik echte vrienden -.073 -.032 -.008 -.702 .014
Voel ik me veilig .121 -.055 -.054 -.693 .012
Ik ga met plezier naar school .256 .027 -.034 -.491 .036
Om begrip te hebben voor mensen met een andere godsdienst of
uit een ander land -.079 .027 -.056 .072 .735
Dat mensen met een ander geloof of andere gewoonten
evenveel waard zijn als andere mensen -.082 -.033 -.016 .031 .727
Dat discrimineren verkeerd is -.079 -.043 -.018 .006 .634
Dat iedereen voor zijn mening mag uitkomen .052 -.015 .014 -.024 .599 Dat het belangrijk is om anderen te helpen .029 -.005 .044 -.063 .577
Om je mening te geven .025 .022 .036 -.063 .569
Om rekening te houden met anderen .122 .012 -.019 .000 .520
Op deze school praten leerlingen met elkaar over belangrijke
onderwerpen uit de samenleving .172 .024 .011 -.074 .375
25
Tabel 4.5
Correlaties tussen Items en Componenten LVSV-PO (PCA)
Item Component
1 2 3 4 5
Geeft het goede voorbeeld .775 -.171 -.173 -.282 .371
Zorgt voor rust in de klas .720 -.148 -.148 -.232 .303
Houdt zich aan de afspraken .752 -.200 -.210 -.269 .360
Heeft de juf/meester aandacht voor me als dat nodig is .662 -.158 -.172 -.298 .334
Zorgt ervoor dat niemand gepest wordt. .647 -.248 -.303 -.366 .393
Worden alle leerlingen eerlijk behandeld .595 -.275 -.330 -.358 .363
Helpen de leerlingen bij het opstellen van de regels in de klas .463 -.131 -.095 -.184 .295
Zijn de regels over pesten duidelijk .517 -.284 -.303 -.332 .392
Worden kinderen gepest omdat ze een andere taal spreken .190 -.803 -.323 -.199 .148 Worden kinderen gepest omdat hun ouders uit een ander land
komen .175 -.793 -.331 -.205 .164
Worden de kinderen die een andere taal spreken door andere
kinderen op het schoolplein buitengesloten .185 -.785 -.318 -.216 .158 Zijn er leerlingen die elkaar buitensluiten vanwege hun geloof .144 -.734 -.272 -.139 .102 Zijn er leerlingen die elkaar buitensluiten vanwege hun huidskleur .174 -.762 -.331 -.214 .165 Zijn er leerlingen die elkaar buitensluiten omdat ze uit een andere
buurt komen .187 -.744 -.297 -.183 .141
Voel ik me gediscrimineerd door andere leerlingen .122 -.566 -.480 -.405 .149
Ben ik op school uitgescholden .162 -.237 -.759 -.381 .136
Ben ik in de school of op het schoolplein bedreigd .187 -.367 -.757 -.296 .141 Ben ik op school wel eens geschopt of geslagen .181 -.235 -.712 -.343 .156
Ben ik op school gepest .140 -.313 -.751 -.450 .117
Zijn op school spullen van mij expres vernield .228 -.321 -.666 -.181 .123
Zijn er spullen van mij gestolen .234 -.321 -.652 -.195 .146
Ben ik op het internet (msn, hyves, facebook enz.) door andere
leerlingen van de school bedreigd .201 -.354 -.607 -.211 .148
Ben ik soms bang voor andere kinderen op school* -.022 -.139 -.286 -.184 -.005
Voel ik me in de klas op mijn gemak .419 -.262 -.370 -.802 .299
Kan ik goed opschieten met mijn klasgenoten .223 -.206 -.282 -.724 .249
Kan ik mezelf zijn .366 -.196 -.298 -.750 .318
Heb ik echte vrienden .178 -.200 -.286 -.692 .200
Voel ik me veilig .383 -.282 -.380 -.772 .300
Ik ga met plezier naar school .440 -.174 -.279 -.595 .310
Om begrip te hebben voor mensen met een andere godsdienst of
uit een ander land .257 -.095 -.113 -.142 .679
Dat mensen met een ander geloof of andere gewoonten evenveel
waard zijn als andere mensen .268 -.147 -.112 -.178 .687
Dat discrimineren verkeerd is .237 -.148 -.115 -.179 .605
Dat iedereen voor zijn mening mag uitkomen .348 -.135 -.106 -.223 .631 Dat het belangrijk is om anderen te helpen .319 -.114 -.079 -.233 .604
Om je mening te geven .307 -.089 -.073 -.226 .591
Om rekening te houden met anderen .373 -.117 -.121 -.204 .579
Op deze school praten leerlingen met elkaar over belangrijke
onderwerpen uit de samenleving .370 -.096 -.103 -.236 .474
Resultaten confirmatieve factoranalyse
Op basis van de exploratieve factoranalyse is een model met vijf factoren vastgesteld. De fit van dit model uitgedrukt in Chi-kwadraat is 6799,39 (df = 584), hetgeen wijst op een significant verschil tussen het model en de data. Een CFI van .911 (df = 584) en een RMSEA van .043 (95% betrouwbaarheidsinterval: 0.042-0.044) tonen echter aan dat het vijf-factorenmodel een goede fit heeft. Modellen met vier factoren hebben minder goede fit-indices dan het model met vijf factoren. Dit toont aan dat er geen factoren samengevoegd kunnen worden. In Tabel 4.6 zijn de correlaties tussen de vijf factoren weergegeven. De correlaties tussen de items en de factoren zijn weergegeven in Tabel 4.7, waarbij de sterkste correlaties dikgedrukt zijn weergegeven. In Tabel 4.8 is per item te zien welke proportie variantie door de factor verklaard wordt. Hoewel een aantal items een lage waarde hebben (<0.3) – hetgeen aangeeft dat een groot deel van de variantie niet door de bovenliggende factor wordt verklaard- is er op basis van de eerder beschreven resultaten geen aanleiding om aan te nemen dat deze items niet in de vragenlijst passen.
Deelvraag 1 luidde: ‘In hoeverre meet de LVSV-PO vijf verschillende aspecten van schoolklimaat en sociale veiligheid?’ De Principale Component Analyse wees uit dat 36 items bij vijf factoren ondergebracht konden worden. Uit de Confirmatieve Factor Analyse bleek dat dit model een goede fit heeft. Hieruit wordt geconcludeerd dat de LVSV-PO inderdaad vijf verschillende aspecten van schoolklimaat en sociale veiligheid meet.
Tabel 4.6
Correlaties tussen Factoren LVSV-PO (CFA)
Factor 1 2 3 4 5 1 (Pedagogisch klimaat) 1.000 .363 .427 .638 .675 2 (Interpersoonlijke relaties) .363 1.000 .508 .374 .251 3 (Anti-sociaal gedrag) .427 .508 1.000 .555 .254 4 (Welbevinden en schoolbeleving) .638 .374 .555 1.000 .490 5 (Burgerschap) .675 .251 .254 .490 1.000
