Digitaal burgerschap:
De ontwikkeling van een meetinstrument om de digitale burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs te meten
Masterscriptie Onderwijskunde, Universiteit van Amsterdam L. Hoveling 11872055 Eerste beoordelaar: dr. E.J. Kuiper Tweede beoordelaar: Prof. dr. J. Voogt Amsterdam, 11 juli 2018
Digital Citizenship:
The development of a questionnaire to measure the digital citizenship competences of children in primary school
A new kind of citizenship is needed for societies where digitalization has an important role: digital citizenship. The first aim of this research was to develop a valid and reliable
questionnaire to measure the digital citizenship competences of pupils in the age of 10 till 12 years (group 7 and 8 of primary school). The second aim was to determine the level of competence of students and to investigate differences in competence level between pupils. The questionnaire is based on two important aspects of digital citizenship: digital safety and digital interaction with other people. Knowledge, reflection, attitude and skill items were formulated for these two aspects. The research was based on 121 respondents. The results showed that there were four factors underlying the 45 items. When looking at the differences of digital citizenship competences it was found that girls scored higher than boys. There was no difference between migrant and native pupils in digital citizenship competences.
Coherency was found between parental supervision about pupils online behaviour and digital citizenship competences of pupils. The research has delivered a reliable questionnaire to measure two important aspects of digital citizenship. The skills were measured based on self reflection and self knowledge of pupils. Further research is needed to understand possible differences between the actual skills and skill based on self reflection and self knowledge.
Keywords: Digital citizenship, digital citizenship competences, primary education, factor analysis.
Inhoud 1. Inleiding...8 1.1 Introductie...8 1.2 Onderzoeksvragen...9 2. Theoretisch kader...9 2.1 Burgerschap...10
2.1.1 Definitie en domeinen van burgerschap...10
2.1.2 Burgerschapscompetenties meten...11
2.2 Digitaal burgerschap...12
2.2.1 Het begrip digitaal burgerschap en het meten van digitaal burgerschap...12
2.2.2 Digitale veiligheid...14
2.2.3 Omgang met andere digitale gebruikers...16
2.3 Verschillen tussen leerlingen...18
2.3.1 Verschillen in burgerschapscompetenties...18
2.3.2 Verschillen in digitale burgerschapscompetenties...19
2.3.3 De begeleiding door ouders...19
3. Methode...20
3.1 Design...20
3.2 Procedure...20
3.2.1 De instrumentontwikkeling...20
3.2.2 Afname van het meetinstrument...21
3.3 Participanten...21
3.3.1 Ontwikkeling van het meetinstrument...21
3.3.2 Afname van het meetinstrument...21
3.4 Materialen...23
3.4.1 Instrumentontwikkeling...23
3.5 Analyses...26
3.5.1 Validering van de vragenlijst...26
3.5.2 Het competentieniveau en verschillen tussen leerlingen...28
4. Resultaten...29
4.1 Resultaten validering van de vragenlijst...29
4.1.1 Principale componenten analyse...29
4.1.2 Discriminatie- en moeilijkheidsanalyse...30
4.1.3 De betrouwbaarheidsanalyses...31
4.1.4 De nieuwe schalen...32
4.2 Resultaten competentieniveau en verschillen tussen leerlingen...32
4.2.1 Geslacht en digitale burgerschapscompetenties...33
4.2.2 Etniciteit en digitale burgerschapscompetenties...34
4.2.3 Ouderlijk toezicht en digitale burgerschapscompetenties...34
5. Conclusie...35
5.1 Een valide en betrouwbaar instrument...35
5.2 De competenties: niveaus en verschillen...36
6. Discussie...37
6.1 Reflectie op de resultaten...37
6.2 Beperkingen van het onderzoek...39
6.3 Aanbevelingen voor vervolgonderzoek...40
6.4 Aanbevelingen voor de onderwijspraktijk...41
Referenties...42
Bijlage 1 Pilotvragenlijst...46
Bijlage 2 De uiteindelijke vragenlijst...54
Bijlage 3 Afkortingen van de items...61
Bijlage 4 Gemiddelden en standaarddeviaties van de items...64
Bijlage 6 Communaliteiten...69 Bijlage 7 Discirminatie- en moeilijkheidsanalyse...71 Bijlage 8 Betrouwbaarheidsanalyse...72
1. Inleiding 1.1 Introductie
De laatste jaren is er meer aandacht gekomen voor burgerschap en voor hoe het onderwijs aan burgerschapsvaardigheden van kinderen en jongeren kan bijdragen (Biesta & Lawy, 2006). Burgerschap heeft betrekking op de kennis, vaardigheden en attituden die nodig zijn om als burger actief deel te kunnen nemen aan de samenleving (Thijs, 2008). Vanaf 2006 zijn scholen in Nederland verplicht gesteld om aandacht te besteden aan burgerschap. Scholen zijn vrij in de manier waarop ze dat doen en welke onderwerpen aan de orde komen binnen de gestelde kerndoelen (Bron & van Vliet, 2012; Ten Dam, Geijsel, Reumerman, & Ledoux, 2010a). Deze aandacht voor burgerschap in het onderwijs moet actief burgerschap en sociale integratie bevorderen (Leenders, Veugelers, & De Kat, 2006).
In de samenleving krijgen kinderen en jongeren steeds meer te maken met digitale middelen (Hollandsworth, Dowdy, & Donovan, 2011). Om kinderen en jongeren te ondersteunen in hoe zij op de juiste manier gebruik kunnen maken van die middelen is burgerschap in de digitale wereld nodig. Er kan namelijk niet vanuit worden gegaan dat kinderen en jongeren zelf weten hoe zij op een juiste manier gebruik kunnen maken van digitale middelen (Ribble, 2011). Bovendien is het mogelijk dat kinderen en jongeren slachtoffer worden van het feit dat anderen niet op de juiste manier gebruik maken van digitale middelen (Barnard-Willis, 2012). Burgerschapcompetenties zijn niet altijd één op één te vertalen naar de digitale wereld (Choi, 2016). Van burgerschap in de digitale wereld is daarom een apart domein gemaakt: digitaal burgerschap.
Onderzoek naar digitaal burgerschap heeft zich voornamelijk gericht op hoe dit een plaats kan krijgen in het onderwijs. Zo heeft Ribble (2011) bijvoorbeeld negen domeinen opgesteld die volgens hem aandacht moeten krijgen in het onderwijs. Er zijn weinig meetinstrumenten ontwikkeld die de digitale burgerschapscompetenties van leerlingen meten om inzicht te krijgen het competentieniveau en de ontwikkeling van leerlingen op dit gebied. Binnen het onderwijs is het juist wel belangrijk om aan te sluiten op de ontwikkeling van kinderen. Dit is zelfs wettelijk verplicht gesteld (Huisman, Brekelmans, Dijkgraaf, Van Es, Paijmans,
Sarneel, & Vostermans, 2017).
In Nederland bestaat er al een instrument om burgerschapscompetenties van leerlingen te meten (Ten Dam, Geijsel, Reumerman, & Ledoux, 2011). In dit meetinstrument wordt niet gekeken naar burgerschapscompetenties die specifiek van toepassing zijn op de digitale wereld. Meetinstrumenten die dit wel doen kijken vaak maar naar een deel van de digitale
burgerschapscompetenties die leerlingen nodig hebben. Dit is bijvoorbeeld het geval in het instrument ontwikkeld door Jones en Mitchell (2016). Van der Weijden (2016) heeft een instrument ontwikkeld om digitale burgerschapscompetenties van leerlingen in de onderbouw van het voortgezet onderwijs te meten. Onderzoek toont aan dat er een verschil is tussen basisschoolleerlingen en middelbare scholieren in burgerschapscompetenties (Geijsel, Ledoux, Reumerman, & Ten Dam, 2012). Om deze reden is het instrument van Van der Weijden (2016) niet zonder meer bruikbaar voor basisschoolleerlingen, terwijl digitaal burgerschap op die leeftijd wel al van belang is (Hollandsworth, Donovan, & Welch, 2017).
Door een instrument te ontwikkelen om de digitale burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs te meten, wordt het mogelijk om het competentieniveau van leerlingen te bepalen en op basis daarvan leerlingen of groepen leerlingen met elkaar vergelijken. Dit verschaft meer inzicht in het begrip digitaal burgerschap en in hoeverre leerlingen van elkaar verschillen in digitale
burgerschapscompetenties. Dit kan leerkrachten helpen om leerlingen te ondersteunen bij activiteiten in de digitale wereld.
1.2 Onderzoeksvragen
In het huidige onderzoek staan de volgende onderzoeksvragen centraal om te kunnen voldoen aan de doelstellingen:
1. Hoe kunnen digitale burgerschapscompetenties op een betrouwbare en valide manier gemeten worden met behulp van een vragenlijst?
2. In welke mate beschikken leerlingen in de bovenbouw van het basisonderwijs over digitale burgerschapscompetenties en in hoeverre hangen het geslacht en de etniciteit van leerlingen en de mate van ouderlijk toezicht daarmee samen?
2. Theoretisch kader
In dit hoofdstuk wordt de wetenschappelijke literatuur over burgerschap en digitaal burgerschap besproken. In Paragraaf 2.1 komen het begrip burgerschap en het meten van burgerschapscompetenties aan de orde. In paragraaf 2.2 worden het begrip digitaal burgerschap en twee domeinen daarvan toegelicht. Tot slot worden in paragraaf 2.3 de verschillen tussen leerlingen in kaart gebracht op het gebied van burgerschap en digitaal burgerschap.
2.1 Burgerschap
2.1.1 Definitie en domeinen van burgerschap
Burgerschap heeft betrekking op hoe mensen participeren in de samenleving (Biesta & Lawy, 2006). Hierbij kan onderscheid worden gemaakt tussen burgerschap als uitkomst en
burgerschap als uitoefening. Bij de eerste vorm wordt gefocust op wat leerlingen nodig hebben om als volwassene te kunnen participeren in de samenleving. Burgerschap wordt hierbij gezien als iets dat ‘behaald’ kan worden. De tweede vorm legt de nadruk op het feit dat leerlingen in interactie met anderen leren hoe zij deel dienen te nemen aan de
samenleving en dus al meteen in aanraking komen met burgerschap. Larkins (2014) is in haar onderzoek uitgegaan van de tweede vorm en geeft aan dat leerlingen op verschillende
manieren in aanraking komen met burgerschap, zoals bijvoorbeeld bij het opstellen van regels voor een activiteit.
Burgerschap bestaat uit het politieke, sociale en individuele domein (Ten Dam et al., 2010a). Leerlingen komen met deze domeinen van burgerschap in aanraking tijdens
activiteiten die zij uitvoeren (Geboers, Geijsel, Admiraal, Jorgensen, & Ten Dam, 2015a). Het politieke domein heeft betrekking op de kennis van bijvoorbeeld wetten, politieke partijen, etc. (Ten Dam, Geijsel, Ledoux & Reumerman, 2010b). Daarnaast gaat het binnen het politieke domein om het willen leveren van een kritische bijdrage door bijvoorbeeld met medeleerlingen te praten over het nieuws, het durven uiten van de eigen mening, het kunnen luisteren naar de mening van anderen en nadenken over bijvoorbeeld gelijke rechten.
Burgerschap bestaat daarnaast uit het sociale domein. Onderwerpen als het helpen van anderen komen binnen dit domein aan de orde (Ten Dam et al., 2010b). Geboers, Geijsel, Admiraal en Ten Dam (2015b) hebben in hun onderzoek naar burgerschap aandacht besteed aan het sociale domein. Daarbij maakte ze onderscheid tussen drie onderwerpen: sociale interesse, prosociaal vermogen en reflectief denken. Binnen deze onderwerpen kwam onder andere de houding van leerlingen om deel te willen nemen aan de samenleving aan de orde, maar ook de vaardigheden om op een effectieve manier te communiceren en het kunnen geven van een kritische reflectie op problemen die spelen in de samenleving.
Het laatste domein van burgerschap is het individuele domein. Binnen dit domein wordt bijvoorbeeld van leerlingen gevraagd om een eigen mening te kunnen formuleren, die te verdedigen wanneer dat nodig is en begrijpen hoe een ander tot zijn mening is gekomen
(Ten Dam et al., 2010b; Geboers et al., 2015b). Maar bijvoorbeeld ook het kunnen oplossen van een ruzie en rekening kunnen houden met een ander (Ten Dam et al., 2010b).
Ten Dam et al. (2011) hebben voor de drie domeinen van burgerschap gekeken over welke kennis, attituden, reflecties en vaardigheden leerlingen met een leeftijd van 11-16 jaar moeten beschikken. ‘Goed burgerschap’ heeft in dit kader betrekking op het in staat zijn om op een geaccepteerde en kritische manier deel te nemen aan de samenleving (Westheimer, 2008).Leerlingen hebben hierbij allereerst kennis nodig om als burger te kunnen
functioneren in de samenleving. Voorbeelden hiervan zijn: kennis van de huidige problemen op lokaal, nationaal en Europees niveau, kennis van democratie, etc. (Kerr, 1999). Maar ook kennis over hoe bijvoorbeeld conflicten opgelost kunnen worden (Ten Dam et al., 2010b). Ten tweede zijn vaardigheden als het onderbouwen van een eigen standpunt en het luisteren naar anderen nodig om te kunnen functioneren als burger in de samenleving (Ten Dam et al., 2011). Ten derde wordt van leerlingen een bepaalde attitude gevraagd in het kader van burgerschap. Het gaat hierbij bijvoorbeeld om het willen bieden van ondersteuning aan andere burgers of rekening willen houden met anderen (Ten Dam et al., 2010b). Tot slot is er het reflectie-element van burgerschap. Dit vraagt van leerlingen om bijvoorbeeld
democratische onderwerpen te overdenken en na te denken over onderwerpen als rechtvaardigheid (Ten Dam et al., 2010b).
2.1.2 Burgerschapscompetenties meten
Er zijn verschillende vragenlijsten ontwikkeld en ingezet om burgerschapscompetenties van leerlingen te meten (Schulz, Fraillon, & Ainley, 2012). Kritiek op deze vragenlijsten is dat ze vaak maar een deel van de competenties meten die samenhangen met burgerschap en er dus niet een compleet beeld kan worden gevormd van het competentieniveau van leerlingen (Ten Dam, 2010a). Daarnaast is een algemeen instrument om burgerschapscompetenties van personen uit verschillende delen van de wereld te meten lastig. Dit komt mede omdat burgerschap van personen vraagt dat zij kennis hebben over zaken die te maken hebben met het eigen land, zoals het politieke systeem (Schulz et al., 2012).
In Nederland hebben Ten Dam et al. (2011) een meetinstrument ontwikkeld om burgerschapscompetenties van jongeren te meten, de Citizenship Competences
Questionnaire. Hierbij zien zij burgerschapscompetenties “als het vermogen tot adequaat handelen in sociale situaties die zich voordoen in het dagelijkse leven” (Ten Dam et al.,
2010b, p. 313). Kennis, houdingen, vaardigheden en reflectie vormen de vier onderdelen van een competentie (Ten Dam & Volman, 2007). Ten Dam et al. (2011) hebben items
geformuleerd die de vier competentieonderdelen dekken. Voor de inhoud van de items is uitgegaan van de drie domeinen van burgerschap: het politieke, het sociale en het individuele domein. Deze domeinen zijn vertaald naar vier sociale taken van burgerschap: democratisch handelen, maatschappelijk verantwoord handelen, omgaan met conflicten en omgaan met verschillen.
Om meer inzicht te krijgen in de burgerschapscompetenties van leerlingen op internationale schaal is de International Civic and Citizenship Education Study (ICCS) ingezet (Schulz, Ainley, Fraillon, Kerr, & Losito, 2010). Binnen dit instrument worden vier onderwerpen van burgerschap onderscheiden: de burgerlijke gemeenschap en systemen, de burgerlijke principes, de burgerlijke deelname aan de samenleving en de burgerlijke identiteit van een persoon. Voor deze onderwerpen zijn items geformuleerd die betrekking hadden op de overtuigingen, houdingen, gedragsintenties en het gedrag van leerlingen. Daarnaast bevat de vragenlijst items met betrekking tot de kennis van leerlingen en items waarbij van
leerlingen werd gevraagd de kennis toe te passen binnen de vier onderwerpen van burgerschap. Het instrument is in verschillende landen ingezet om de
burgerschapscompetenties van leerlingen in kaart te brengen. In 2016 is dit opnieuw gedaan waarbij dezelfde vier onderwerpen van burgerschap zijn opgenomen in de vragenlijst. Voor deze domeinen waren echter wel ander soort items geformuleerd. Zo bestond elk domein uit items met betrekking op de houding en betrokkenheid van leerlingen. Wel bestond elk domein nog uit kennisitems en items waarbij leerlingen de kennis moesten toepassen (Schulz, Ainley, Fraillon, Losito, Agrusti, & Friedman, 2018).
2.2 Digitaal burgerschap
2.2.1 Het begrip digitaal burgerschap en het meten van digitaal burgerschap
Leerlingen kunnen worden gezien als digital natives (Ribble, 2011). Zij groeien namelijk op in een digitale samenleving. Aandacht voor digitaal burgerschap kan leerlingen helpen om op een juiste manier gebruik te maken van digitale middelen. Digitaal burgerschap kan worden omschreven als: verantwoord gebruik kunnen maken van digitale middelen die de
mogelijkheid bieden om in contact te komen met andere personen in de online wereld
(Ribble, 2011; Ribble, Bailey, & Ross, 2004). Het is een veelomvattend begrip dat betrekking heeft op vaardigheden, attituden, reflecties en kennis. In verschillende onderzoeken is begrip
digitaal burgerschap en welke competenties leerlingen daarvoor nodig hebben nader bekeken. Bij een vergelijking van deze onderzoeken valt op de focus wordt gelegd op verschillende domeinen van digitaal burgerschap (Nordin, Ahmad, Zubairi, Ismail, Rahman, Trayek, & Ibrahim, 2016). In deze paragraaf worden een aantal vragenlijsten, die zijn ingezet om de digitale burgerschapscompetenties, te meten uitgelicht en met elkaar vergeleken.
Nordin et al. (2016) hebben een instrument ontwikkeld om digitaal burgerschap te meten gebaseerd op de negen elementen van digitaal burgerschap geformuleerd door Ribble (2011). Vijf van de negen elementen van digitaal burgerschap zijn verwerkt in de vragenlijst. Het gaat hierbij om: digitale etiquette, online aankopen doen, digitale verantwoordelijkheid, fysieke veiligheid en digitale veiligheid. De laatste vier elementen van digitaal burgerschap geformuleerd door Ribble (2011) zijn niet opgenomen in het instrument van Nordin et al. (2016), omdat deze onder de verantwoordelijkheid vallen van de begeleiders van leerlingen (bijvoorbeeld leerkrachten).
Jones en Mitchell (2016) hebben een instrument ontwikkeld om digitale
burgerschapscompetenties van leerlingen tussen 11 en 17 jaar te meten. Zij maken daarbij onderscheid tussen digital literacy en digitaal burgerschap. Digital literacy heeft betrekking op vaardigheden die nodig zijn om gebruik te kunnen maken van digitale middelen (Koltay, 2011). Een voorbeeld hiervan de juiste toepassing van privacy instellingen. Vervolgens geven Jones en Mitchell (2016) aan dat het bij digitaal burgerschap zou moeten gaan om het helpen van leerlingen om vaardigheden te ontwikkelen met betrekking tot het vertonen van online respectvol en tolerant gedrag en online maatschappelijke betrokkenheid. Deze visie op digitaal burgerschap hebben de onderzoekers vertaald naar in een vragenlijst om digitale burgerschapscompetenties van leerlingen te meten. De vragenlijst bestaat uit twee schalen: online respectvol gedrag en online maatschappelijke betrokkenheid. De eerste schaal bevatte items over hoe leerlingen zich behoren te gedragen in de digitale wereld tegenover anderen. De schaal online maatschappelijke betrokkenheid bevat items over hoe leerlingen digitale middelen inzetten om anderen te helpen.
Een punt van kritiek op het instrument van Jones & Mitchell (2016) is dat bij de ontwikkeling van het instrument te weinig is uitgegaan van de psychologische en
sociologische theorieën en voornamelijk wordt gefocust op gedrag dat door de samenleving als wenselijk wordt gezien (Choi, Glassman, & Cristel, 2017). Choi et al., (2017) hebben een instrument ontwikkeld om digitaal burgerschap te meten gebaseerd op de psychologische en sociologische theorieën van internet gedrag. De vragenlijst is getest op participanten met een leeftijd van 18 tot 35 jaar en bestond uit vijf schalen: internet political activism, technical
skills, local/global awarness, critical perspective en networking agency. De schaal
networking agency uit de vragenlijst van Choi et al. (2017) en de schaal online respect uit de vragenlijst van Jones & Mitchell (2016) zijn vergelijkbaar met elkaar, omdat ze beide
betrekking hebben op het contact leggen met anderen in de digitale wereld. Een verschil tussen de twee vragenlijsten is dat de schaal online maatschappelijke betrokkenheid in het de vragenlijst van Jones & Mitchell (2016) voornamelijk betrekking op het inzetten van internet om een vriend of een klasgenoot te helpen. De schalen in de vragenlijst van Choi et al. (2017) hebben daarentegen betrekking op de samenleving in zijn geheel en zijn dus breder
geformuleerd dan de items in de vragenlijst van Jones & Mitchell (2016). Met als gevolg dat de items in de vragenlijst van Choi et al. (2017) te ingewikkeld zijn voor kinderen en
jongeren om te beantwoorden.
Tot slot heeft Van der Weijden (2016) een vragenlijst ontworpen om de digitale burgerschapscompetenties te meten van leerlingen in de onderbouw van het voortgezet onderwijs. De indeling van de vragenlijst en de formulering van de items is gebaseerd op het burgerschapsinstrument van Ten Dam et al. (2010b). Het instrument bestaat uit vier
onderwerpen van digitaal burgerschap: digitale omgang met anderen, digitale veiligheid en privacy, digitale informatievaardigheden en digitale participatie.
Om te komen tot de onderwerpen die opgenomen dienen te worden in de vragenlijst om de digitale burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs te meten, zijn de besproken vragenlijsten geanalyseerd. Hierbij is een afweging gemaakt tussen welke onderwerpen van digitaal burgerschap aansluiten op de belevingswereld van
bovenbouwleerlingen. De onderwerpen uit het onderzoek van Choi et al. (2017) werden te ingewikkeld bevonden voor leerlingen uit de bovenbouw, omdat die betrekking hebben op de samenleving in zijn geheel. De onderwerpen digitale participatie en digitale
informatieverwerkingsvaardigheden uit de vragenlijst ontwikkeld door Van der Weijden (2016) zijn ook niet opgenomen in de vragenlijst. Verwacht werd dat deze twee onderwerpen al wel spelen bij bovenbouwleerlingen, maar nog te ingewikkeld zijn om naar te vragen in een vragenlijst. De gemaakte afwegingen hebben ertoe geleid dat de vragenlijst om digitale burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs te meten bestaat uit de onderwerpen: digitale veiligheid en digitale omgang met anderen.
2.2.2 Digitale veiligheid
Participeren in de digitale wereld kan risico’s met zich meebrengen met betrekking tot de veiligheid van leerlingen. Zo hebben leerlingen eenvoudig toegang tot bijvoorbeeld schadelijke informatie en kan persoonlijke informatie makkelijk worden gedeeld. Digitale veiligheid gaat over hoe leerlingen veilig kunnen participeren in de digitale wereld, dat ze weten welke risico’s er zijn in de digitale wereld met betrekking tot hun veiligheid, hoe ze zichzelf kunnen beschermen tegen die risico’s en bij wie ze een melding kunnen maken wanneer hun veiligheid in het geding komt (Ribble, 2012; Barnard-Willis, 2012). In deze paragraaf wordt eerst een toelichting gegeven op de onderwerpen die samenhangen met digitale veiligheid van leerlingen. Vervolgens worden de competenties besproken die leerlingen nodig hebben in het kader van digitale veiligheid.
Privacy is een belangrijk onderdeel van digitale veiligheid. Het geeft leerlingen de mogelijkheid om informatie voor zichzelf te kunnen houden zonder die te moeten delen met anderen. Leerlingen zijn zich er vaak niet van bewust dat alles wat ze op internet delen, gezien kan worden door ‘iedereen’ (Barnard-Willis, 2012). Om hun privacy te kunnen waarborgen moeten ze zich er bewust van zijn dat ze niet zomaar alles delen of posten op bijvoorbeeld sociale media. Daarbij zijn digitale middelen vaak versleuteld met een
wachtwoord. Ook op internet wordt gebruikers vaak gevraagd wachtwoorden in te vullen. Dit zorgt ervoor dat persoonlijke informatie en daarmee de privacy van een persoon kan worden beschermd. Onderzoek liet zien dat leerlingen in staat zijn wachtwoorden geheim te houden voor anderen, maar daarbij wel wachtwoorden bedachten die bestonden uit persoonlijke informatie (Sharples, Graber, Harrison, & Logan, 2009) Dit laatste kan een gevaar vormen voor de privacy van leerlingen, omdat die wachtwoorden makkelijker achterhaald kunnen worden.
Het reageren op advertenties en kopen van producten op internet kan een gevaar vormen voor de privacy van een leerling en daarmee de digitale veiligheid. Leerlingen zijn niet altijd in staat aankopen die zijn doen middels digitale middelen te overdenken (Ribble, 2011). Daarbij is het niet altijd even veilig om betaalgegevens door te geven aan een webshop om een betaling te kunnen doen. Op sociale media zijn steeds meer advertenties te vinden. Wanneer leerlingen reageren op deze advertenties kan dit een gevaar vormen van hun privacy doordat ze gevraagd kunnen worden persoonlijke gegevens in te vullen (Featherman & Hajli, 2016).
Tot slot kunnen mensen zich in digitale wereld anders voordoen dan wie ze in werkelijkheid zijn door de anonimiteit die deze wereld biedt (Barnard-Willis, 2012). Dit maakt het mogelijk dat persoonlijke informatie in de verkeerde handen komt, omdat leerlingen niet goed weten met wie ze contact hebben. Sharples et al. (2009) hebben in hun onderzoek aan leerlingen gevraagd of zij contact hadden met voor hun vreemden op internet. Het merendeel van de kinderen gaf aan geen contact te hebben met vreemden.
Het waarborgen van de privacy en dus de digitale veiligheid vraagt specifieke
competenties van leerlingen. Zo vraagt het bijvoorbeeld van leerlingen om kennis te hebben over hoe ze hun persoonsgegevens kunnen beschermen (Ribble, 2015). Ten tweede vraagt digitale veiligheid om vaardigheden als het kunnen afschermen van persoonsgegevens door bijvoorbeeld de privacy instellingen op sociale media sites goed in te stellen (Barnard-Willis, 2012) en het kunnen instaleren van software updates (Ribble et al., 2004; Ribble, 2015). Ten derde kan informatie in de digitale wereld snel gedeeld worden en dus snel in handen kan komen van verschillende personen. Dit vraagt om een attitude van leerlingen dat ze het belangrijk vinden dat niet “iedereen” over hun persoonlijke gegevens hoeft te beschikken en dat ze die dus niet zomaar delen (Ribble, 2015). Tot slot vraagt wordt in het kader van digitale veiligheid van leerlingen gevraagd om regelmatig na te denken over zaken als hoe veilig het openen van een link of bijlage is of het regelmatig nadenken over het veranderen van wachtwoorden. Dit vormen elementen van de reflectie in het kader van digitale
veiligheid.
2.2.3 Omgang met andere digitale gebruikers
Burgers die gebruik maken van digitale middelen moeten zich daarbij bewust zijn van andere gebruikers (Ribble, 2011). Tegenwoordig bieden verschillende websites en applicaties de mogelijkheid aan leerlingen om contact te onderhouden met leeftijdsgenoten (Bauman, 2015). Dit kan gevaren met zich meebrengen, doordat personen zich op die websites en binnen die applicaties anders voor kunnen doen dan wie ze in werkelijkheid zijn met als gevolg dat zij ongepast gedrag vertonen (Barnard-Willis, 2012). Mede om die reden is de omgang met andere digitale gebruikers een aspect is van digitaal burgerschap. In deze paragraaf wordt eerst een toelichting gegeven op de onderwerpen die samenhangen met digitale omgang met anderen. Vervolgens worden de competenties besproken die leerlingen nodig hebben.
In de literatuur wordt in relatie tot het omgaan met anderen gesproken over de term netiquette. Dit is een combinatie van de woorden etiquette en netwerk (Scheuermann & Tayor, 1997). Netiquette heeft betrekking op de morele en ethische waarden bij activiteiten in de digitale wereld (Park, Na, & Kim 2014) en de regels met betrekking tot de manier van communiceren in de digitale wereld (Brusco, 2011). Welke netiquette worden toegepast is afhankelijk van de ontvanger van een bericht (Scheuermann & Taylor, 1997). Uit onderzoek is gebleken dat een frequentere deelname aan online activiteiten er niet voor zorgt dat een gebruiker zich beter houdt aan de netiquette (Park, et al., 2014).
Sociale media worden veel ingezet om in contact te komen met anderen. Voorbeelden van sociale media zijn Twitter, Facebook, Youtube, etc. Het gebruik van sociale media brengt een aantal voordelen met zich mee. Zo biedt het bijvoorbeeld de mogelijkheid aan leerlingen om in contact te blijven met elkaar (O’Keefe, & Clarke-Pearson, 2011; Richards, Caldwell, & Go, 2015). Daarnaast kan het gebruik van sociale media bijdragen aan het welzijn van de leerling, bijvoorbeeld wanneer een leerling een positieve reactie ontvangt op sociale media. Het gebruik van sociale media kan ook gevaren met zich meebrengen (McBride, 2011; O’Keefe & Clarke-Pearson, 2011). Zo kan van leerlingen worden gevraagd op sociale media sites om persoonlijke gegevens of gegevens van anderen te delen. Denk bijvoorbeeld aan het delen van foto’s. Daarnaast kan het ontvangen van een negatieve reactie op sociale media het gevoel van zelfvertrouwen en welzijn verlagen (Richards et al., 2015). Tot slot kunnen leerlingen op sociale media sites in aanraking komen met online pesten. Dit kan gevolgen hebben voor de ontwikkeling van leerlingen. Zo kan een leerling een depressie ontwikkelen als gevolg van online pesten (Baker & Tanrikulu, 2010; Hemphill, Kotevski & Heerde, 2015). Uit onderzoek komt naar voren dat leerlingen, leerkrachten en ouders verschillend denken over in hoeverre leerlingen in aanraking komen met online pesten (Sharples et al., 2009). Leerkrachten bestempelde online pesten bijvoorbeeld als een probleem. Leerlingen gaven daarentegen aan weinig met online pesten in aanraking te komen.
Om leerlingen weerbaar te maken tegen de gevaren van sociale media wordt van hen gevraagd te beschikken over specifieke competenties. Ten eerste dienen leerlingen
bijvoorbeeld kennis te hebben van de consequenties van online pesten en wat te doen in een situatie waarin ze te maken krijgen met online pesten. Ten tweede vraagt de omgang met anderen in de digitale wereld om de attitude van leerlingen dat zij bijvoorbeeld eraan denken om toestemming te vragen voordat zij een foto posten op sociale media waarop anderen staan. Ten derde worden vaardigheden van leerlingen gevraagd als het kunnen indenken hoe een ander zicht voelt wanneer er een naar bericht wordt gepost over diegene (Ribble, 2015).
Dit vraagt tegelijkertijd om reflectie van leerlingen waarbij ze nadenken over de
consequenties van het versturen van een bericht naar iemand (Ribble, 2015). Berichten in de digitale wereld blijven namelijk vaak bestaan ook al heeft een leerling ervoor gekozen de berichten zelf te verwijderen.
2.3 Verschillen tussen leerlingen
2.3.1 Verschillen in burgerschapscompetenties
De resultaten uit internationaal onderzoek naar burgerschapscompetenties van leerlingen met een gemiddelde leeftijd van 13.5 laten zien dat meisjes beschikken over meer
burgerschapskennis dan jongens (Schultz et al., 2010; Schultz et al., 2018). In een Nederlands onderzoek is voor de verschillende onderdelen van een competentie en voor de vier sociale taken van burgerschap, opgenomen in de Citizenship Competence Questionnaire, gekeken naar het verschil tussen jongens en meisjes (Geijsel et al., 2012). De leerlingen die deelnamen aan het onderzoek waren afkomstig van verschillende basis- en middelbare scholen en hadden een leeftijd die lag tussen 8 en 14 jaar. De resultaten lieten zien dat meisjes hoger scoren op alle vier de onderdelen van een competentie: kennis, vaardigheden, attitude en reflectie. Daarnaast scoorden meisjes hoger dan jongens op bijna alle subschalen uit de vragenlijst gebaseerd op de vier sociale taken van burgerschap. In een ander Nederlands onderzoek is eveneens gebruik gemaakt van de Citizenship Competences Questionnaire om het competentieniveau van leerlingen met een leeftijd tussen 11 en 16 jaar vast te stellen (Geijsel et al., 2015). Op basis van de resultaten konden vier schalen worden onderscheiden in de vragenlijst: sociale interesse, reflectief denken, prosociaal vermogen en assertiviteit. Op de eerste drie schalen scoorden meisjes hoger dan jongens.
Naast geslacht vertoont ook de etniciteit samenhang met de
burgerschapscompetenties. Leerlingen met een niet-Nederlandse achtergrond behalen een lagere score op de burgerschapscompetenties in vergelijking met leerlingen met een
Nederlandse achtergrond (Geijsel et al., 2012). Ook uit internationaal onderzoek blijkt dat in sommige deelnemende landen leerlingen met een andere etnische achtergrond dan die meerderheid in het land waarin ze wonen een lagere score behalen op
burgerschapscompetenties (Schultz et al., 2010).
De leeftijd van leerlingen blijkt eveneens samen te hangen met bepaalde aspecten van de burgerschapscompetenties (Geijsel et al., 2012). Middelbare scholieren behalen een hogere score op de kennisitems dan leerlingen van de basisschool. Basisschoolleerlingen
scoren daarentegen hoger op de items met betrekking tot de attitude en reflectie van leerlingen.
Niet alleen leerlingkenmerken hangen samen met de burgerschapscompetenties. Ook omgevingsfactoren als de sociaal-economische status (SES) hangt samen met de
burgerschapscompetenties van leerlingen waarbij een hogere SES zorgt voor betere burgerschapscompetenties (Geijsel et al., 2012; Schultz et al., 2010; Lopes, Benton, & Cleaver, 2009). Daarnaast hebben leerlingen betere burgerschapscompetenties wanneer hun ouders interesse tonen in de politiek en sociale problematiek (Schultz et al., 2010).
2.3.2 Verschillen in digitale burgerschapscompetenties
Er is nog weinig onderzoek gedaan naar de digitale burgerschapscompetenties van leerlingen. Jones en Mitchell (2016) hebben twee onderwerpen van digitaal burgerschap uitgevraagd in de door hun ontwikkelde vragenlijst: online respect en online maatschappelijke
betrokkenheid. De resultaten lieten zien dat naar mate de leerlingen ouder werden de scores op de totale vragenlijst en de schaal online respect afnamen. Leerlingen tussen 15 en 17 jaar scoorden namelijk significant lager op die twee onderdelen dan leerlingen uit de lagere leeftijdscategorieën. Tot slot hadden de leerlingen van 15-17 jaar een significant lagere score op de schaal online maatschappelijke betrokkenheid in vergelijking met leerlingen met een leeftijd van 13-14 jaar.
Daarnaast kwam uit de resultaten van twee onderzoeken naar voren dat meisjes een hogere score behalen op de digitale burgerschapscompetenties dan jongens (Jones & Mitchell, 2016; Van der Weijden, 2016). Wanneer specifieker wordt gekeken naar het verschil in geslacht per schaal zijn geen verschillen gevonden voor digitale participatie,
digitale informatievaardigheden en reflectie op digitale informatievaardigheden (Van der
Weijden, 2016).
Wanneer er naar de totale score van leerlingen wordt gekeken verschillen allochtone en autochtone leerlingen niet van elkaar (Van der Weijden, 2016). Wordt er echter op schaalniveau gekeken dat zijn er wel verschillen tussen allochtone en autochtone leerlingen. Hierbij scoren allochtone leerlingen hoger op de schalen digitale participatie en reflectie op
2.3.3 De begeleiding door ouders
Hollandsworth et al. (2011) geven aan dat ouders een belangrijke rol hebben bij het
begeleiden van kinderen ten aanzien van digitaal burgerschap omdat kinderen al in aanraking komen met digitale middelen voordat zij naar school gaan. Daarnaast hebben ouders de verantwoordelijkheid over het gedrag dat hun kind in de digitale wereld laat zien (Huisman et al., 2017). Er is daarom voor gekozen om in dit onderzoek, naast de leerling-kenmerken, ook te kijken naar de rol van ouders in het kader van digitaal burgerschap.
Uit onderzoek komt naar voren dat het belangrijk is dat ouders op de hoogte blijven van de ontwikkelingen in de digitale wereld (Plowman, Stephen, & McPake, 2010). Ouders die namelijk meer competent zijn in het gebruik van digitale middelen en die hier een positieve kijk op hebben, zijn eerder in staat om die middelen te introduceren bij hun kinderen en ze te begeleiden bij het gebruik ervan. Resultaten uit het onderzoek van Livingstone en Bober (2005) laten zien dat er geen directe relatie is tussen de regels van ouders met betrekking tot het gebruik van digitale middelen en de blootstelling van kinderen aan gevaren in de digitale wereld. In plaats daarvan raden deze onderzoekers aan dat ouders bijvoorbeeld regelmatig aan hun kinderen vragen wat zij op internet doen om kinderen op die manier te kunnen begeleiden bij activiteiten in de digitale wereld.
3. Methode 3.1 Design
Het onderzoek bestond uit twee fasen: de ontwikkeling en validering van het meetinstrument, en de afname van het meetinstrument. Het doel van de eerste fase van het onderzoek was het ontwikkelen van een valide en betrouwbare vragenlijst om digitale burgerschapscompetenties van leerlingen in de bovenbouw van de basisschool te meten. Tijdens de tweede fase van het onderzoek is gebruik gemaakt van een correlationeel design om inzicht te verwerven in de samenhang tussen de digitale burgerschapscompetenties en het geslacht en de etniciteit van leerlingen en de mate van ouderlijk toezicht op wat leerlingen doen op internet en sociale media.
3.2 Procedure
Aan het onderzoek namen twee groepen leerlingen deel. Tijdens de instrument
ontwikkelingsfase is de eerste versie van de vragenlijst ingevuld door een pilotgroep. Op basis hiervan zijn aanpassingen gedaan aan de vragenlijst die hebben geleid tot een vernieuwde versie die is ingevuld door de tweede groep leerlingen.
3.2.1 De instrumentontwikkeling
De leerlingen die deelnamen aan de pilot zijn gesplitst in twee groepen op basis van de basisschoolgroep waarin ze zaten. De vragenlijst is eerst ingevuld door de leerlingen uit groep 7 en daarna door de leerlingen uit groep 8. Nadat de leerlingen de vragenlijst hadden ingevuld, is de vragenlijst doorgenomen met deze leerlingen. Dit is gedaan middels een cognitief interview (Beatty & Willis, 2007). Deze interviewmethode stelt de onderzoeker in staat om de items uit een vragenlijst door te nemen met een groep participanten en op basis daarvan aanpassingen te verrichten. Tijdens het cognitieve interview lag de nadruk op de begrijpelijkheid van de items en of de items aansloten bij de leeftijdscategorie. Zo was het bijvoorbeeld nodig om erachter te komen of de leerlingen gebruik maakten van sociale media, omdat over dit onderwerp items waren opgenomen in de vragenlijst.
3.2.2 Afname van het meetinstrument
De uiteindelijke versie van de vragenlijst afgenomen in vier basisschool groepen, twee groepen 7 en twee groepen 8. Voordat de leerlingen de vragenlijst invulden, hebben zij het introductieblad gelezen met informatie over het onderzoek en de manier waarop de leerlingen de vragenlijs moesten invullen. Zowel voorafgaand als tijdens het invullen van de vragenlijst mochten leerlingen vragen stellen als iets niet duidelijk was.
3.3 Participanten
3.3.1 Ontwikkeling van het meetinstrument
De leerlingen die deelnamen aan de pilot van het onderzoek zijn geworven via het netwerk van de onderzoeker en namen niet deel aan de uiteindelijke vragenlijst. De helft van de leerlingen zat in groep 7 van de basisschool. De andere helft van de leerlingen zat in groep 8.
De gemiddelde leeftijd van de leerlingen was 10.5 jaar (SD=0.76). De meeste leerlingen gaven aan dat hun ouders (bijna) nooit meekijken als zij iets op internet doen. Het zelfde aantal leerlingen gaf aan dat zij (bijna) nooit met hun ouders spreken over wat zij doen op internet. Van bijna alle leerlingen zijn beide ouders geboren in Nederland. Tot slot is aan de leerlingen gevraagd welke sociale media zij gebruiken. Hieruit kwam naar voren dat
Whatsapp en Youtube door alle leerlingen werd gebruikt. Facebook en Twitter werden door geen van de leerlingen gebruikt.
3.3.2 Afname van het meetinstrument
De leerlingen die de tweede versie van de vragenlijst hebben ingevuld, vormden een gelegenheids-steekproef. Vanuit het netwerk van de onderzoeker zijn vier bovenbouw groepen geworven die deel wilden nemen aan het onderzoek. Met de bovenbouw worden de groepen 7 en 8 van de basisschool bedoeld. Alle bovenbouwgroepen waren onderdeel van één basisschool. Met de leerkrachten van de desbetreffende groepen en de directie van de school is het onderzoeksdesign besproken. De participanten zijn minderjarig en daarom is middels passieve informed consent toestemming voor deelname gevraagd aan de ouders van de participanten. Hierbij hebben de ouders van twee leerlingen aangegeven dat zij niet wilden dat hun kind zou deelnemen aan het onderzoek. Deze leerlingen hebben de vragenlijst daarom niet ingevuld.
In totaal hebben 121 leerlingen de vragenlijst ingevuld, waarvan 54 jongens (44.6%) en 67 meisjes (55.4%). Er waren 61 leerlingen (50.4%) afkomstig uit groep 7 en 60 leerlingen (49.6%) uit groep 8. De gemiddelde leeftijd van de leerlingen was 10.9 jaar (SD= 0.66). Voor het onderzoek is onderscheid gemaakt tussen autochtone en allochtone kinderen. Hierbij waren 96 leerlingen (79.3%) van autochtone afkomst en 25 leerlingen (20.7%) van
allochtone afkomst. Om te bepalen of een leerling van autochtone of allochtone afkomst was, is gebruik gemaakt van de definitie van het Centraal Bureau voor de Statistiek (CBS). Deze definitie stelt dat een leerling van allochtone afkomst is wanneer één van de ouders in het buitenland is geboren. Daarnaast is aan de leerlingen gevraagd welke sociale media zij gebruiken. Youtube werd door de meeste leerlingen gebruikt, namelijk door 116 leerlingen (95.9%). Twitter was het minst populair onder de leerlingen. Hier maakten 6 leerlingen (5.0%) gebruik van. In totaal gaven 4 leerlingen (3.3%) aan helemaal geen gebruik te maken van sociale media. De beschreven leerling-kenmerken zijn terug te vinden in tabel 1. Hierbij zijn de waarden uitgesplitst voor groep 7 en 8.
Tabel 1: Beschrijvende gegevens van de leerlingen Groep 7 Groep 8 N % N % Totaal 61 50.4 60 49.6 Geslacht Jongens 33 27.3 21 17.4 Meisjes 28 23.1 39 32.2 Etniciteit Autochtoon 50 41.3 46 38.0 Allochtoon 11 9.1 14 11.6
Gebruik sociale media
Facebook 8 6.6 7 5.8 Whatsapp 47 38.8 58 47.9 Snapchat 15 12.4 34 28.1 Twitter 5 4.1 1 0.8 Instagram 18 14.9 36 29.8 Youtube 57 47.1 59 48.7 Anders 24 19.8 16 13.2 Geen 4 3.3 0 0
Tot slot is aan de leerlingen gevraagd of hun ouders meekijken met wat zij op internet doen en of ze met hun ouders praten over wat ze op sociale media en op internet doen. Deze gegevens zijn terug te vinden in tabel 2.
Tabel 2 Beschrijvende statistiek met betrekking tot het toezicht van ouders
Groep 7 Groep 8
Items N % N %
Kijken je ouders mee als je (Bijna) nooit 22 18.2 23 19.0
iets op internet doet? Af en toe 34 28.1 30 24.8
Vrij vaak 3 2.5 6 5.0
Heel vaak 2 1.7 1 0.8
Praat je met je ouders over wat je doet op internet?
(Bijna) nooit 20 16.5 20 16.5
Af en toe 28 23.4 29 24.0
Vrij vaak 8 6.6 9 7.4
Heel vaak 5 4.1 2 1.7
Praat je met je ouders over (Bijna) nooit 29 24.0 21 17.3
wat je doet op sociale media? Af en toe 24 19.9 26 21.5
Vrij vaak 6 7.4 10 8.3
3.4 Materialen
3.4.1 Instrumentontwikkeling
In de eerste fase van het onderzoek is een vragenlijst ontwikkeld om digitale
burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs te meten. Voor de ontwikkeling van het meetinstrument is gebruik gemaakt van literatuur over
burgerschap en digitaal burgerschap. Op basis van de literatuur is ervoor gekozen om competenties te formuleren voor de onderwerpen digitale veiligheid en digitale omgang met anderen. Het burgerschapsinstrument van Ten Dam et al. (2010b) was de aanleiding om de competenties onder te verdelen in de volgende categorieën: attitude, vaardigheden, reflectie en kennis. Deze categorieën vormen de vier aspecten van een competentie (Ten Dam & Volman, 2007). De formulering van de items en de lay out van de vragenlijst zijn ontleend aan het burgerschapsinstrument ontwikkeld door Ten Dam et al. (2011), omdat de doelgroep van het dit onderzoek in de dezelfde leeftijdscategorie valt als de groep waarvoor het
burgerschapsinstrument is ontwikkeld. Tot slot is een deel van de items overgenomen uit de instrumenten om digitaal burgerschap te meten in de onderbouw van het voortgezet onderwijs ontwikkeld door Van der Weijden (2016) en uit het onderzoek van Jones & Mitchell (2016).
De eerste versie van de vragenlijst bestond uit 91 items verdeeld over de onderwerpen digitale veiligheid en digitale omgang met anderen die elk bestonden uit drie schalen gebaseerd op de aspecten van een competentie. De kennisitems waren aan het einde van de vragenlijst geplaatst en bestonden uit een mix van items die gingen over digitale veiligheid (7 items) en digitale omgang met anderen (6 items). Voor de attitude, vaardigheden en reflectie items is gebruik gemaakt van een 4-punts Likertschaal. De kennis items waren meerkeuze vragen waarbij steeds één antwoordoptie juist was. Bij de laatste antwoordkeuze hadden leerlingen de mogelijkheid een eigen antwoord in te vullen. Hier is voor gekozen, omdat de kennisvragen gingen over situaties waarbij leerlingen moesten aangeven hoe zij zouden handelen. Wanneer de eerste drie antwoordopties niet aansloten op wat de leerling zou doen in een situatie kon de leerling een eigen antwoord invullen. Bij de beoordeling van dat antwoord, is gekeken in hoeverre het overeen kwam met het juiste antwoord. Om uitspraken te kunnen doen over verschillen tussen leerlingen in digitaal burgerschap zijn er vragen toegevoegd aan de vragenlijst over het geslacht van de leerling, de etniciteit van de leerling en het toezicht van ouders. De items die gingen over het toezicht van ouders hadden
internet en of leerlingen met hun ouders bespreken wat zij op internet doen. De eerste versie van de vragenlijst is te vinden in bijlage 1.
Tijdens de pilot van het onderzoek is deze eerste versie van de vragenlijst getest. Acht leerlingen hebben de vragenlijst ingevuld en de items zijn besproken met deze leerlingen. Tijdens het invullen van de vragenlijst is de tijd bijgehouden. Bij het bespreken van de vragenlijst lag de focus op de begrijpelijkheid van de items en of de items aansloten bij de leeftijdscategorie waarin de leerlingen zich bevonden. Naar aanleiding van de bevindingen uit de pilot zijn een aantal aanpassingen gedaan aan de vragenlijst. Doordat de vragenlijst te lang werd gevonden door de leerlingen zijn een aantal items verwijderd. Het gaat hierbij om de items waarover de leerlingen uiteenlopende gedachten hadden zoals: “hoe vaak denk je na over je digitale veiligheid.” Daarnaast zijn de items die gingen over e-mail verwijderd uit de vragenlijst, omdat de leerlingen aangaven daar geen gebruik van te maken. Ten tweede is er een item toegevoegd aan de algemene vragen om het onderscheid te kunnen maken in hoe vaak leerlingen met hun ouders bespreken wat zij op internet doen en wat zij op sociale media doen. De leerlingen die deelnamen aan de pilot gaven namelijk aan dat dit
verschillende dingen zijn. Tot slot is de antwoordoptie ‘niet van toepassing’ toegevoegd bij de attitude, vaardigheden en reflectie items. Dit is gedaan, omdat de leerlingen aangaven dat niet alle items al op iedereen van toepassing zijn. Zo was er bijvoorbeeld een leerling in de pilot die nog nooit een foto op sociale media had gepost en daarom geen antwoord kon geven op de items die daarover gingen.
De aanpassingen hebben geleid tot de tweede versie van de vragenlijst die staat in bijlage 2. Deze tweede versie is ingevuld door 121 leerlingen om de betrouwbaarheid en validiteit van de vragenlijst vast te kunnen stellen.
3.4.2 Beschrijving van het instrument
De tweede versie van de vragenlijst bestaat uit 71 items. Negen items hebben betrekking op de achtergrond van de leerling. De rest van de items is onder te verdelen over zes schalen: attitude digitale veiligheid (negen items), vaardigheden digitale veiligheid (zes items), reflectie digitale veiligheid (acht items), attitude digitale omgang met anderen (twaalf items), vaardigheden digitale omgang met anderen (tien items), reflectie digitale omgang met anderen (acht items) en de categorie met de kennisitems (elf items). De uiteindelijke vragenlijst staat beschreven in bijlage 2.
De attitude items hebben betrekking op houding en mening van de leerling ten aanzien van digitale veiligheid en digitale omgang met anderen. De vraag bij elk item was: hoe goed past de uitspraak bij jou? De schaal attitude digitale veiligheid bestaat uit negen attitude items. Een voorbeeld item is: “ik vind het belangrijk dat telefoonnummers niet zomaar gedeeld worden op internet.” De schaal attitude digitale omgang met anderen bestaat uit twaalf attitude items. Een voorbeelditem is: “op sociale media let ik op mijn taalgebruik.” Leerlingen gaven antwoord op de attitude items middels een 4-punts Likertschaal (1= past helemaal niet bij mij, 2= past niet zo bij mij, 3= past wel wat bij mij, 4= past helemaal bij mij).
De vaardigheden items hebben betrekking op vaardigheden die samenhangen met digitale veiligheid en digitale omgang met anderen. De vraag bij elk item was: hoe goed ben jij in? De schaal vaardigheden digitale veiligheid bestaat uit zes vaardigheden items. Een voorbeeld item is: “hoe goed ben jij in het bedenken van wachtwoorden die voor een ander moeilijk te achterhalen zijn?” De schaal vaardigheden digitale omgang met anderen bestaat uit tien vaardigheden items. Een voorbeeld item is: “hoe goed ben jij in het oplossen van een ruzie op sociale media?” Leerlingen gaven antwoord op de vaardigheden items middels een 4-punts Likertschaal (1= helemaal niet goed, 2= niet zo goed, 3= best wel goed, 4= heel goed).
De reflectie items hebben betrekking op het overdenken van situaties op het gebied van digitale veiligheid en digitale omgang met anderen. De vraag bij elk item was: hoe vaak denk jij na over? De schaal reflectie digitale veiligheid bestaat uit zes reflectie items. Een
voorbeeld hierbij is: “hoe vaak denk jij na over het vragen van toestemming voordat je een foto van iemand deelt op sociale media?” De schaal reflectie digitale omgang met anderen bestaat uit acht reflectie items. Een voorbeeld item is: “hoe vaak denk jij na over hoe een ruzie op sociale media voorkomen had kunnen worden?” Leerlingen gaven antwoord op de reflectie items middels een 4-punts Likertschaal (1= (bijna) nooit, 2= af en toe, 3= vrij vaak, 4= heel vaak).
De kennis items hebben betrekking op de kennis die een leerling bezit op het gebied van digitale veiligheid en digitale omgang met anderen. Deze categorie bestaat uit elf items. De items werden beantwoord middels meerkeuze opties met vier antwoordmogelijkheden. Bij de laatste antwoordmogelijkheid kunnen leerlingen een eigen antwoord invullen. Een
voorbeelditem is: “het is warm en je zit met je vrienden op het strand. Je maakt een leuke foto van jullie groepje. Wat doe je?”
3.5 Analyses
De analyses kunnen opnieuw onderverdeeld worden in twee fasen. In de eerste fase stond de validering van de vragenlijst centraal. De tweede fase had betrekking op het
competentieniveau van de leerlingen en de samenhang tussen de leerling-kenmerken en de digitale burgerschapscompetenties. De items waren positief geformuleerd. Een hogere score op de vragenlijst betekende dan ook een hoger competentieniveau op het gebied van digitaal burgerschap. De antwoordoptie ‘niet van toepassing’ is niet meegenomen in de analyses, aangezien het niet mogelijk was het competentieniveau van een leerling te bepalen wanneer diegene nog niet eerder met een vaardigheid als, bijvoorbeeld, het afschermen van
telefoonnummers op sociale media te maken heeft gehad.
3.5.1 Validering van de vragenlijst
Er is een principale componenten analyse (PCA) uitgevoerd om vast te stellen welke schalen uit de items herleid konden worden waarbij de varimax rotatie is toegepast. Deze vorm van rotatie gaat er vanuit dat de factoren onderling niet gecorreleerd zijn. De PCA is uitgevoerd voor de attitude items, vaardigheden items en reflectie items. De kennisitems zijn als
dichtoom beschouwd en daarom niet opgenomen in deze analyse (1= item goed beantwoord, 0= item fout beantwoord). De antwoordcategorie ‘niet van toepassing’ is als missing data opgenomen waarbij is gekozen voor de optie pairwise deletion. De items waarop een
participant ‘niet van toepassing’ heeft geantwoord zijn als gevolg hiervan niet opgenomen in de analyse. Binnen de PCA is een Kaiser-Meyer-Olkin meassure of sampling adequacy (KMO) uitgevoerd om te kunnen analyseren of de steekproef groot genoeg was om het aantal onderliggende factoren te bepalen (Field, 2009). De KMO kan een waarde aannamen tussen 0 en 1. Een waarde van .50 of hoger kan als voldoende worden beschouwd. Het is wel hoe hoger de KMO waarde des beter de items correleren met de factoren wat de PCA
betrouwbaarder maakt, omdat de onderliggende factoren dan beter kunnen worden bepaald. Vervolgens zijn de eigenwaarden geïnterpreteerd om het aantal onderliggende factoren vast te kunnen stellen. Daarbij is gebruik gemaakt van het Kaiser criterium dat aangeeft dat factoren met een eigenwaarde boven 1 behouden dienen te worden. Daarnaast is de screeplot uitgetekend om het aantal onderliggende factoren te bepalen op basis van het knikcriterium. Ten derde zijn de factorladingen berekend om te zien hoe de items correleerden op de onderliggende factoren. Tot slot zijn de communaliteiten van de items geanalyseerd. Dit gaf
informatie over de verklaarde variantie van een de items. Wanneer de communaliteit van een item lager is dan .20 dient dat item te worden verwijderd (Kline, 2005).
Vervolgens zijn twee analyses uitgevoerd op de kennisitems. Ten eerste is de discriminatie index berekend. Hierbij wordt gekeken of een item voldoende onderscheid maakt tussen laag– en hoogscorende participanten (Gregory, 2012). Een ideaal item zorgt ervoor dat hoog scorende participanten het item goed beantwoorden en laag scorende participanten niet. De discriminatie index is uitgedrukt in een d waarde. Deze waarde wordt opgebouwd door de participanten te verdelen in twee groepen: de 27% hoogst scorende participanten en de 27% laagst scorende participanten. De d waarde is vervolgens berekend door het aantal hoog scorende participanten die het item goed hadden beantwoord af te trekken van de laag scorende participanten die het item goed hadden beantwoord gedeeld door het aantal participanten in de hoogscorende of laagscorende groep. De d waarde kan variëren tussen -1.0 en +1.0. Bij een negatieve d waarde hebben meer laag scorende
participanten het item goed beantwoord dan hoog scorende participanten. Een d waarde die precies 0 aangeeft laat zien dat het item niet discrimineert tussen de laag- en hoog scorende participanten. Hoe dichter de d waarde bij 1.0 ligt des te beter weet het item onderscheid te maken tussen laag- en hoog scorende participanten, omdat het verschil in hoeveel
participanten een vraag goed hebben tussen beide groepen dan groter is.
Ook het moeilijkheidsniveau van de kennisitems is bepaald. Hiervoor is gebruik gemaakt van de item difficulty index die uitgedrukt kan worden in een p-waarde (Gregory, 2012). Dit geeft informatie over of participanten in staat waren het item goed te
beantwoorden. De p-waarde wordt voor elk item apart bepaald en varieert tussen 0 en 1. Hoe dichter de index bij 0 ligt des te moeilijker het item. Items met een index rond 0.5 en tussen 0.3 en 0.7 zijn het meest effectief, omdat hieruit de meeste informatie kan worden gehaald over de verschillen tussen participanten.
Tot slot is de betrouwbaarheid van de vragenlijst geanalyseerd. Dit is gedaan nadat het aantal onderliggende factoren is vastgesteld op basis van de PCA. Voor het vaststellen van de betrouwbaarheid is gebruik gemaakt van de Cronbach’s alpha (α). Deze waarde geeft
informatie over de interne consistentie van de items ofwel of de items positief met elkaar correleren (Gregory, 2012). De antwoordoptie ‘niet van toepassing’ is als missing data opgenomen in de betrouwbaarheidsanalyse. Bij het berekenen van de Cronbach’s alpha is er alleen de mogelijkheid om de antwoordoptie: ‘niet van toepassing’ via listwise deletion op te nemen in de analyse. Dit had als gevolg dat alle proefpersonen die een keer voor de
informatie die uit de betrouwbaarheidsanalyse naar voren kwam vormde de aanleiding om items te verwijderen. Onderzoekers verschillen van mening vanaf welke Cronbach’s alfa waarde kan worden gesproken van voldoende betrouwbaarheid. Dit is mede afhankelijk van of een vragenlijst bij individuen wordt afgenomen of bij groepen. In het huidige onderzoek wordt een Cronbach’s alfa van .70 als voldoende betrouwbaar beschouwd (Field, 2009).
3.5.2 Het competentieniveau en verschillen tussen leerlingen
Na de analyse en validering van de vragenlijst is het competentieniveau van leerlingen vastgesteld en onderzocht welke leerling-kenmerken samenhangen met digitale
burgerschapscompetenties. Hiervoor zijn verschillende analyses gebruikt. Om te beginnen zijn de gemiddelden samen met standaarddeviaties van de schalen en de attitude,
vaardigheden en reflectie items berekend. Deze gemiddelden en standaarddeviaties zijn vergeleken met het vastgestelde gemiddelde van 2.5 om inzicht te krijgen in het
competentieniveau van de leerlingen. Aan de kennisitems is de score 1 toegekend bij het goed beantwoorden van het item en de score 0 bij een foute beantwoording. Vervolgens is voor elke leerling een somscore (range 0-6) berekend van de kennisitems en gekeken naar de verdeling daarvan.
Vervolgens is middels een onafhankelijke t test gekeken naar de verschillen op basis van geslacht en etniciteit. Bij etniciteit werd onderscheid gemaakt tussen autochtone en allochtone participanten. Tot slot is onderzocht of de mate van ouderlijk toezicht samenhangt met de digitale burgerschapscompetenties van leerlingen. De mate van ouderlijk toezicht is gemeten middels drie items: “kijk je met je ouders mee als je iets op internet doet (Ouders1), praat je wel eens met je ouders over wat je doet op internet (Ouders2) en praat je met je ouders over wat je doet op sociale media (Ouders3)?” De leerlingen konden bij deze items kiezen uit vier antwoordopties (1= (bijna) nooit, 2= af en toe, 3= vrij vaak, 4= heel vaak). Aan de antwoordopties zijn scores toegekend (1-4). Vervolgens is per leerling een somscore berekend voor deze drie items en een lineaire regressie analyse uitgevoerd.
4. Resultaten
In dit hoofdstuk worden de resultaten van het onderzoek besproken. Het bestaat uit twee paragrafen. In 4.1 worden de resultaten met betrekking tot de validering van de vragenlijst besproken. In 4.2 komen de resultaten met betrekking tot het competentieniveau en de verschillen in competentieniveau tussen leerlingen aan de orde.
4.1 Resultaten validering van de vragenlijst 4.1.1 Principale componenten analyse
Voor de attitude, vaardigheden en reflectie items is een principale componenten analyse (PCA) uitgevoerd om het aantal onderliggende factoren te bepalen waarbij is gekozen voor de optie pairwise deletion. De PCA is uitgevoerd voor 45 items. De Kaiser-Meyer-Olkin meassure of sampling adequacy (KMO) test laat zien dat de grootte van de steekproef voldoende was om het aantal onderliggende factoren te bepalen (KMO= .560).
Binnen de PCA kan het aantal onderliggende factoren op basis van twee methoden worden vastgesteld: de eigenwaarden of de knik in de screeplot. In totaal hadden 14 factoren een eigenwaarde van minstens één wat betekent dat er 14 onderliggende factoren zijn aan de items. In de screeplot was een knik te zien bij vier onderliggende factoren. Op basis van dit criterium kan daarom worden gesteld dat er vier factoren onderliggend zijn aan de attitude, vaardigheden en reflectie items. Voor het vaststellen van het aantal onderliggende factoren wordt in het onderzoek uitgegaan van de screeplot, omdat op basis hiervan de items het meest logisch geschaald konden worden.
Voorafgaand aan het onderzoek werd verwacht dat er zes factoren onderliggend zouden zijn aan de items. Uit de analyse kwam echter naar voren dat er vier onderliggende factoren zijn. Samen verklaren de vier factoren 43.09% van de verklaarde variantie. De factorladingen zijn berekend om een verdeling te kunnen maken van de items over de vier schalen. In bijlage 5 staan de factorladingen weergegeven. Op basis van factorladingen is er voor gekozen om één item te verwijderen (OAv8), omdat dit item negatief correleerde met factor 1 en laag correleerde met de andere factoren. De communaliteiten zijn vervolgens berekend voor vier onderliggende factoren om informatie te winnen over de verklaarde variantie van de items. Uit bijlage 6 valt op te maken dat de verklaarde variantie van,
bijvoorbeeld, het eerste item 53.5% was. Dit betekende dat 46.5% onverklaard bleef door de vier onderliggende factoren. Wanneer een communaliteit lager is dan .20 dient dit item te worden verwijderd (Kline, 2005). Dat was het geval bij vier items. Om die reden zijn items DVa5, DVv6, DVr6 en OAa10 niet opgenomen in de verdere analyses. In bijlage 3 staan de items uitgeschreven met de daarbij behorende codes.
Bij de vier ontstane schalen kon niet langer onderscheid worden gemaakt in attitude, vaardigheden en reflectie items. Dit was oorspronkelijk wel het uitgangspunt op basis van de theorie. Daarnaast bevatten de nieuwe schalen zowel items die gaan over digitale veiligheid
als items die gaan over digitale omgang met anderen, de twee inhoudelijke noemers in de oorspronkelijke vragenlijst. De items van de vier schalen zijn daarom inhoudelijk
geanalyseerd. Op basis van de inhoud van de items zijn de schalen geherdefinieerd naar: omgaan met privacy (1), omgaan met elkaar (2), rekening houden met elkaar (3), digitale veiligheid (4). In bijlage 5 is een overzicht te vinden van de schalen met de daarbij horende items.
4.1.2 Discriminatie- en moeilijkheidsanalyse
Voor de kennis items is een discriminatie- en een moeilijkheidsanalyse uitgevoerd. Bij de beantwoording van de kennisitems hadden de leerlingen keuze uit vier antwoordopties en bij het goed beantwoorden van de vraag werd de score 1 toegekend. Een fout antwoord had een score van 0 als gevolg. Dit maakt dat de kennisitems dichtoom zijn. De kennisitems staan uitgeschreven in bijlage 3.
De discriminatie index is berekend om inzicht te krijgen in hoe een item onderscheid weet te maken tussen hoog- en laagscorende participanten en wordt uitgedrukt in een d waarde. Uit de analyse kwam naar voren dat de d waarden lagen tussen .16 en .78. Item KDB7 en item KDB9 hebben een d waarde van lager dan .20. Dat betekent dat deze items onvoldoende onderscheid maken tussen hoog- en laag scorende participanten en om die reden verwijderd dienen te worden.
De moeilijkheidsindex wordt uitgedrukt in een p-waarde die informatie geeft over het niveau van een item. Meerkeuze items brengen een gokkans met zich mee waarbij de
leerlingen in het onderzoek 25% kans hadden het antwoord op de vragen goed te gokken. Met de gegeven gokkans zou de p-waarde van een item rond .63 moeten liggen (Gregory, 2012). De p-waardes van de items in het huidige onderzoek liggen tussen de .17 en .86. Het item met een p-waarde van .17 kan als te moeilijk worden beschouwd, omdat weinig participanten dit item goed hebben beantwoord. Het item met een p-waarde van .86 kan als te makkelijk worden beschouwd aangezien een aanzienlijk deel van de participanten dit item goed heeft beantwoord. Na de analyse van de p-waarden zijn item KDB8 en KDB9 verwijderd.
Wanneer de d waarde en de p-waarde in relatie tot elkaar worden bekeken bij de drie verwijderde items ondersteunt dit de keuze om deze items te verwijderen. Zo had item KDB9 bijvoorbeeld een hoge p-waarde en een lage discriminatie index wat laat zien dat dit item te makkelijk was waardoor het onvoldoende onderscheid wist te maken tussen de hoog- en laagscorende participanten. Item KDB7 had een voldoende p-waarde, maar een lage
discriminatie index in tegenstelling tot KDB8 waar het omgekeerde aan de hand was. De discriminatie- en moeilijkheidsanalyse hebben ertoe geleid dat acht kennisitems overbleven waarvan vijf items die gaan over digitale veiligheid en drie items over digitale omgang met anderen.
4.1.3 De betrouwbaarheidsanalyses
Om de betrouwbaarheid van de vragenlijst vast te stellen is de Cronbach’s alpha berekend. De resultaten hiervan staan in tabel 4. Bij het berekenen van de Cronbach’s alpha is er alleen de mogelijkheid om de antwoordoptie ‘niet van toepassing’ via listwise deletion op te nemen in de analyse. Dit zorgt ervoor dat alle proefpersonen die een keer voor die antwoordoptie hebben gekozen niet zijn opgenomen in de analyse. Het is per schaal verschillend hoeveel leerlingen hebben gekozen voor de optie ‘niet van toepassing’ en daarom verschilt het per schaal op basis van hoeveel participanten de Cronbach’s alpha is berekend.
Om te beginnen is de betrouwbaarheid bepaald voor alle attitude, vaardigheden en reflectie items samen. De analyses lieten zien dat er gesproken kon worden van een hoge betrouwbaarheid (α= .931). Vervolgens is gekeken naar de betrouwbaarheid van de schalen. De analyses lieten zien dat de schalen voldoende betrouwbaar zijn. Op basis van de
betrouwbaarheidsanalyse is ervoor gekozen om item OAa9 alsnog te verwijderen. De
Cronbach’s alpha van de schaal nam namelijk toe bij verwijdering van dit item. In bijlage 8 is een tabel opgenomen met de Cronbach’s alpha’s als een item verwijderd zou worden.
De kennisitems hebben een lage betrouwbaarheid zien (α .504). Verwijdering van twee items zorgt voor een iets hogere betrouwbaarheid (α .545), maar er kan nog steeds niet gesproken worden van voldoende betrouwbaarheid. De resultaten met betrekking tot de kennisitems dienen om die reden voorzichtig geïnterpreteerd te worden.
Tabel 4: Resultaten van de betrouwbaarheidsanalyse van de schalen (n=aantal participanten)
Component n α
Totale vragenlijst digitaal burgerschap 41 .931
Omgaan met privacy 66 .910
Omgaan met elkaar 65 .866
Rekening houden met elkaar 79 .805
Kennis digitaal burgerschap 119 .545
4.1.4 De nieuwe schalen
De PCA, discriminatie- en moeilijkheidsanalyse en de betrouwbaarheidsanalyse hebben ertoe geleid dat er 51 items overbleven. De overgebleven items zijn onder te verdelen over vier schalen: omgaan met privacy (veertien items), omgaan met elkaar (veertien items), rekening houden met elkaar (tien items), digitale veiligheid (zeven items) en de categorie kennis digitaal burgerschap (zes items).
4.2 Resultaten competentieniveau en verschillen tussen leerlingen
In deze paragraaf worden het competentieniveau en de verschillen in competentieniveau tussen leerlingen besproken. Om te beginnen zijn de gemiddelden en standaarddeviaties van de items geanalyseerd. In bijlage 4 is een tabel opgenomen met deze gegevens. Op de attitude, vaardigheden en reflectie items kon een score worden behaald die lag tussen 1 en 4. Aan de antwoordcategorie ‘niet van toepassing’ is geen score toegekend en als gevolg daarvan in de analyses opgenomen als missing data. Wanneer wordt uitgegaan van een gemiddelde item score van 2.5 valt op dat de participanten op 38 van de 45 attitude, vaardigheden en reflectie items boven het itemgemiddelde scoren.
Vervolgens is op schaalniveau gekeken naar de gemiddelden en standaarddeviaties. Deze staan beschreven in tabel 5. De scores op de vier schalen lagen binnen een range van 1 tot 4 met een schaalgemiddelde van 2.5. Doordat de antwoordoptie ‘niet van toepassing’ opnieuw niet is opgenomen in de analyses verschilt het per schaal op basis van hoeveel proefpersonen het gemiddelde en de standaarddeviatie zijn berekend. Het verschilt namelijk per schaal hoeveel participanten voor die antwoordcategorie hebben gekozen. In tabel 5 staat het aantal participanten beschreven op basis waarvan de analyses zijn uitgevoerd. De analyse van de gemiddelden laat zien dat de leerlingen alleen op de schaal omgaan met elkaar (M= 2.48; SD= 0.48) net beneden het schaalgemiddelde hebben gescoord.
De categorie kennis digitaal burgerschap bestond uit meerkeuze vragen met vier antwoordmogelijkheden. Bij het goed beantwoorden van een vraag werd de score 1
toegekend. Bij een fout antwoord was dit een 0. Na de discriminatie- en moeilijkheidsanalyse en de betrouwbaarheidsanalyse bleven zes kennisitems. Er is voor elke leerling een somscore berekend voor de zes kennisitems (range: 0-6). De meeste leerlingen hebben een somscore behaald die lag tussen 3 en 5.
Tabel 5: Beschrijvende statistieken: aantal proefpersonen, range, gemiddelden en standaarddeviaties van de schalen
Schaal N Minimum Maximum M SD
Omgaan met privacy 66 1.14 3.93 2.82 0.67
Omgaan met elkaar 65 1.14 3.50 2.48 0.48
Rekening houden met elkaar 79 1.50 4.00 3.26 0.45
Digitale veiligheid 73 1.57 3.86 3.02 0.57
Kennis digitaal burgerschap 119 0 6.00 3.44 1.60
Totaal digitaal burgerschap 41 1.62 3.49 2.88 0.44
4.2.1 Geslacht en digitale burgerschapscompetenties
Een onafhankelijke t-toets is uitgevoerd om te zien of er verschillen zijn tussen jongens en meisjes in competentieniveau. Uit de resultaten blijkt dat er een verschil is voor geslacht wanneer de vier schalen van digitaal burgerschap samen worden genomen, t(39) = -2.80, p =.009. Hierbij scoren meisjes (M=3.04, SD=0.29) hoger dan jongens (M=2.69, SD= 0.49).
Vervolgens is gekeken naar de verschillen tussen jongens en meisjes. In tabel 3 valt te zien dat meisjes op alle schalen een significant hogere score behalen in vergelijking met jongens. Wanneer wordt gekeken naar de grootte van de effecten kan op basis van de indeling van Cohen (1992) worden gesteld dat de categorie kennis digitaal burgerschap (5) een klein effect laat zien. De schalen omgaan met privacy (1), omgaan met elkaar (2), rekening houden met elkaar (3) en digitale veiligheid (4) laten een gemiddeld effect zien. Er is een groot effect gevonden voor totaal digitaal burgerschap. Het verschil in geslacht op de categorie kennis digitaal burgerschap dient voorzichtig geïnterpreteerd te worden vanwege de lage
betrouwbaarheid
Tabel 6: Resultaten onafhankelijke t-toets voor twee gemiddelden
Jongens Meisjes Schaal M (SD) N M (SD) N t (df) p 95% BI Cohen’s d OP 2.53 (0.71) 26 3.01 (0.58) 40 -3.00 (64) .004* [-0.80; -0.16] 0.74 OE 2.29 (0.56) 30 2.64 (0.33) 35 -3.06 (63) .002* [-0.59; -0.12] 0.76 RHE 3.08 (0.56) 30 3.37 (0.33) 49 -2.65 (77) .011* [-0.52; -0.07] 0.63 DV 2.79 (0.58) 34 3.21 (0.48) 39 -3.35 (71) .001* [-0.67; -0.17] 0.79 TDB 2.69 (0.49) 20 3.04 (0.29) 21 -2.80 (39) .009* [-0.62; -0.10] 0.87 KDB 3.00 (1.59) 54 3.80 (2.00) 65 -2.79 (117) .006* [-1.37; -0.23] 0.44
