Digitaal burgerschap:
De ontwikkeling van een meetinstrument en onderzoek naar de competentiebeheersing van leerlingen in de bovenbouw van het basisonderwijs
Masterscriptie Onderwijskunde, Universiteit van Amsterdam J. Schagen 6132332
Begeleiding: mw. dr. E.J. Kuiper Tweede beoordelaar: prof. Dr. J. Voogt
2 Digitaal burgerschap:
De ontwikkeling van een meetinstrument en onderzoek naar de competentiebeheersing van leerlingen in de bovenbouw van het basisonderwijs
Masterscriptie Onderwijskunde, Universiteit van Amsterdam J. Schagen 6132332
Begeleiding: mw. dr. E.J. Kuiper Tweede beoordelaar: prof. Dr. J. Voogt
3 Inhoudsopgave
Inleiding 6
Theoretisch kader 8
Burgerschap in het onderwijs 8
Belang van digitaal burgerschap 8
Digitale burgerschapscompetenties 9
Passend gebruik 9
Verantwoordelijk gebruik 9
Actieve deelname aan burgerschapsactiviteiten 9
Digitale technologieën gebruiken 9
Meten van digitale burgerschapscompetenties van leerlingen 10
Verschillen tussen leerlingen 11
Onderzoeksvragen 12 Methode 13 Design 13 Onderzoeksgroep en werving 13 Dataverzameling en instrument 14 Analyse 15 Resultaten 17 Resultaten instrumentontwikkeling 17 Leerlingresultaten 17 Principale componentenanalyse 18
Betrouwbaarheid per schaal 18
Moeilijkheids- en discriminatie-index 19
Digitale burgerschapscompetenties van leerlingen 21 Resultaten op de attitude- en vaardighedenitems per schaal 21
Resultaten op de kennisitems 23
Verschillen tussen leerlingen 23
Jongens en meisjes 23
Verschillen tussen groepen 7 en 8 24
Conclusie 25
Meten van digitaal burgerschap in de bovenbouw van het basisonderwijs 25 Beheersing van digitale burgerschapscompetenties 26
Discussie 28
Interpretatie onderzoeksresultaten 28
Instrumentontwikkeling 28
Reflectie op de resultaten 28
Relatie met de theorie 29
Beperkingen aan het onderzoek 29
Suggesties voor vervolgonderzoek 30
Aanbevelingen voor de praktijk 31
4
Bijlagen 35
Bijlage 1: meetinstrument pilotversie 35
Bijlage 2: meetinstrument definitieve versie 41
Bijlage 3: itemladingen bij drie factoren 46
Bijlage 4: itemladingen bij vier factoren 48
Bijlage 5: t-toets jongens en meisjes per schaal 50
Bijlage 6: t-toets jongens en meisjes per item 51
Bijlage 7: t-toets groep 7 en 8 per schaal 53
5 Digital citizenship:
The development of a questionnaire and research into the competencies of fifth and sixth graders in Dutch primary schools
Since 2006, citizenship education is compulsory in the Dutch primary school system. Aspects of citizenship and the competence of children has therefore been subject of recent research, but the digital aspect of citizenship has not yet gained the attention it needs. In this study, research was conducted to investigate which competencies pupils in the fifth and sixth grade should master and to what extent they already do. A first version of a questionnaire was developed to measure these competencies. This questionnaire contained attitude, skill and knowledge items about online participation, online safety and responsible and adequate use of digital means. During a pilot, 46 fifth and sixth grade Dutch children of two different schools filled out the questionnaire and gave feedback on the instrument. With this information, the questionnaire was adjusted and, in the second phase of this research, filled out by 215 fifth and sixth graders in six different primary schools. Factor analysis showed there were three different scales in the questionnaire: digital participation, netiquette and digital skills. There was a separate knowledge section. The scales had an average or mediocre reliability, so any results need to be interpreted cautiously. The factor analysis was also used to adjust the questionnaire by changing or deleting several items. Next, the questionnaire was analyzed to see how children scored. On every scale, pupils scored above average. Overall, there were no significant differences between boys and girls or between fifth and sixth graders. Girls did score higher on netiquette and on the knowledge questions. The lowest scores, which were around average, were at the scales participation and knowledge, especially at technical knowledge which for instance includes making up passwords. This indicates that it is necessary to embed digital citizenship more in the Dutch curriculum. The instrument needs some more adjustments to make it more reliable in order to test other pupils on their digital citizenship competencies in the future.
6 Inleiding
Scholen moeten doelgerichter werken aan sociale en maatschappelijke vorming’, zo
concludeerde de Onderwijsinspectie in april 2015 (Inspectie van het Onderwijs, 2015). Een maand later merkte toenmalig staatssecretaris van onderwijs Sander Dekker op dat het zorgelijk is dat er weinig ontwikkeling is in het burgerschapsonderwijs, met name omdat de competenties van leerlingen achterblijven (Dekker, 2015). Zowel de Inspectie als de
staatssecretaris gaven dus aan dat er actuele zorg is over de ontwikkeling van
burgerschapsonderwijs aan leerlingen, hoewel de verplichting van scholen om hier een bijdrage aan te leveren al sinds 2006 bestaat (SLO, z.j.a). Toch hebben deze zorgen zich nog niet geuit in een verbetering van het burgerschapsonderwijs, zo blijkt uit zeer recent
onderzoek (Munniksma, Dijkstra, Van Der Veen, Ledoux, & Van De Werfhorst, 2017). Dat er weinig ontwikkeling is in de totstandkoming van burgerschapsonderwijs kan wellicht komen door het gebrek aan sturing op het gebied van burgerschapscompetenties. Scholen zijn zeer vrij in de invulling van hun burgerschapsonderwijs en toezicht hierop richt zich voornamelijk op visie en planmatigheid. Vanuit het onderwijsveld is kritiek op dit gebrek aan inhoudelijke sturing (Onderwijsraad, 2012). De Stichting Leerplanontwikkeling (SLO) heeft wel een aantal voorbeelddoelen van burgerschapsonderwijs opgesteld (SLO, z.j.b), maar de invulling hiervan blijkt dus lastig voor scholen en leerkrachten.
In de literatuur wordt het belang van het onderwijzen in burgerschap vaak
onderstreept. Banks (2004) geeft aan dat dit belang is ontstaan door veranderende diversiteit en toenemende migratie. Het Engelse Department for Education and Employment noemde in 1999 al dat het onderwijs in burgerschap en democratie zo belangrijk is dat dit onderwijs wettelijk moet worden vastgelegd om te zorgen dat alle leerlingen hierover onderwezen worden (Turner, 1999). In Nederland is op deze ontwikkelingen gereageerd door in 2006 de al genoemde inspanningsverplichting vast te leggen in de Wet Primair Onderwijs. Het begrip burgerschapsonderwijs werd later ge(her)definieerd door de Onderwijsraad: “Jongeren leren functioneren, vanuit eigen idealen, waarden en normen, in een pluriforme, democratische samenleving, en bij hen het vermogen ontwikkelen aan deze samenleving een eigen bijdrage te (willen) leveren” (Onderwijsraad, 2012, p.14).
De pluriforme samenleving die de Onderwijsraad (2012) beschrijft, wordt ook steeds meer digitaal. Jongeren groeien op in een tijdperk dat bekend staat als het digitale tijdperk, waarin technologie voortdurend wordt ontwikkeld en verbeterd(Isman & Canan Gungoren, 2014). De wereld is inmiddels doordrongen van digitale middelen die jongeren nodig hebben om te communiceren of te handelen (Martin, 2008). Om goed in deze samenleving te kunnen
7 functioneren zouden jongeren dus ook digitale aspecten van burgerschap moeten beheersen, zoals online betrokkenheid, bijvoorbeeld door zich te mengen in online politieke discussies, en respectvol online gedrag (Jones & Mitchell, 2015). In de afgelopen jaren is in diverse onderzoeken nagegaan welke burgerschapscompetenties jongeren moesten ontwikkelen (Hoskins & Mascherini, 2009; Ten Dam, Geijsel, Reumerman, & Ledoux, 2011). Deze auteurs ontwikkelden bovendien instrumenten om die competenties te meten. De meetinstrumenten die burgerschap meten bevatten echter geen items over digitaal
burgerschap. Ook in de voorbeelddoelen van het SLO wordt niet expliciet gesproken over digitale burgerschap.
Er is in verhouding nog weinig onderzoek gedaan naar digitaal burgerschap. De onderzoeken die zijn uitgevoerd, hebben voornamelijk betrekking op leerlingen in het voortgezet onderwijs (Jones & Mitchell, 2015; Van der Weijden, 2015). Over de digitale burgerschapscompetenties van kinderen in het basisonderwijs is echter nog nauwelijks iets bekend. Dit terwijl ook basisschoolkinderen veelvuldig in aanraking zijn met de digitale wereld: op een steeds jongere leeftijd maken zij gebruik van digitale middelen en internet en is er continue interactiviteit (Escoda, 2014). Daarnaast blijkt uit onderzoek dat leerlingen in het basisonderwijs niet alleen veelvuldig gebruik maken van het internet, maar dit ook nog vaak onveilig doen, bijvoorbeeld door het slecht kunnen inschatten van informatie, de impact van bepaalde sites of het gevaar van het delen van persoonlijke informatie (Cabello-Hutt, Cabello, & Claro, 2017; Valcke, Schellens, Van Keer, & Gerarts, 2007). Dit betekent dat er noodzaak is om succesvol, veilig en verantwoordelijk met digitale middelen om te gaan. In dit onderzoek wordt daarom gekeken naar de digitale burgerschapscompetenties van leerlingen in de bovenbouw van het primair onderwijs in Nederland. Daarbij wordt een instrument
ontwikkeld om die competenties te meten. Het doel daarbij is inzicht te verschaffen in wat deze competenties zijn en te meten in hoeverre leerlingen aan deze competenties voldoen. Met dit inzicht en de resultaten kan het digitale burgerschapsonderwijs verder worden ontwikkeld en verbeterd, om kinderen optimaal te kunnen laten participeren in de digitale samenleving.
8 Theoretisch kader
Burgerschap in het onderwijs
Burgerschapsonderwijs is sinds 2006 een verplicht onderdeel van het Nederlandse
basisschoolcurriculum. Dit houdt in dat scholen de inspanningsverplichting hebben om bij leerlingen ‘actief burgerschap en sociale integratie’ te bevorderen (Eidhof, 2015). Dat betekent dat kinderen moeten leren hoe ze zich als burger moeten gedragen, in de
samenleving waarin ze al volop participeren. Een logisch gevolg hiervan is dat kinderen ook de competenties moeten bezitten om deze rol van burger uit te oefenen. In de afgelopen jaren is het burgerschapsonderwijs daarom volop ontwikkeld (Banks, 2004).
Toch hebben Nederlandse leerlingen nog weinig burgerschapskennis in vergelijking met andere Europese landen (Eidhof, 2015; Munniksma et al., 2017). Dit ligt volgens zowel Eidhof (2015) als Munniksma et al. (2017) onder andere aan het ontbreken van een
planmatige en systematische invulling van de inspanningsverplichting. In de woorden van Munniksma et al. (2017, p. 166): “De globale formulering van de burgerschapsopdracht betekent dat onduidelijk is wat de samenleving van scholen mag verwachten.” Er zijn geen concrete doelen waar leerlingen aan moeten voldoen. Bovendien zijn er geen middelen om te meten of leerlingen vervolgens aan deze doelen voldoen. Hiertoe is wel een aantal pogingen gedaan in de literatuur (Onderwijsraad, 2012; Ten Dam et al., 2011; Turner, 1999), maar dit heeft nog geen concrete uitwerking opgeleverd in de zin van het invoeren van
minimumdoelen en de inzet van meetinstrumenten, zoals Eidhof (2015) oppert.
Belang van digitaal burgerschap
Door de opkomst van het internet is er een digitale samenleving ontstaan met eigen
mogelijkheden om daarin te participeren. Het uitwisselen van informatie, vormen van groepen en het deelnemen aan activiteiten (zowel offline als online) is enorm vergemakkelijkt (Choi, Glassman, & Cristol, 2017). Hierbij horen ook nieuwe vaardigheden om met deze
mogelijkheden om te kunnen gaan. In de woorden van Simsek & Simsek: They are required to have mastery in new literacies which allow them to use all kinds of emerging technologies to share their views and make their voices heard” (Simsek & Simsek, 2013, p. 126). Het beheersen van deze ‘digitale geletterdheid’ is een voorwaarde om digitale technologie te kunnen gebruiken alsook om aan digitale burgerschapsactiviteiten deel te nemen.
De komst van de nieuwe technologie zorgt ook voor nieuwe risico’s (Jones & Mitchell, 2015). Het onjuist gebruik van internet kan leiden tot negatief gedrag, zoals cyberpesten en sexting. Dit kan op zijn beurt weer negatieve effecten hebben op de
9 identiteitsvorming en het zelfvertrouwen van jongeren (Jones & Mitchell, 2015). Om dit te voorkomen is goed digitaal burgerschap van belang, waarbij het volgens Jones en Mitchell (2015) draait om het stimuleren van respectvol en tolerant gedrag en het vergroten van het aantal online burgerschapsactiviteiten. Als kinderen de juiste inzichten hebben, zullen de kansen op onverantwoord gedrag afnemen.
Digitale burgerschapscompetenties
De vraag is dus welke competenties jongeren moeten beheersen om goed te kunnen participeren in de digitale samenleving en om ongewenst online gedrag te voorkomen. Er bestaan verschillende definities van digitaal burgerschap en de vaardigheden die daaronder vallen(Choi et al., 2017; Jones & Mitchell, 2015; McGillivray, McPherson, Jones, &
McCandlish, 2016; Ribble, 2012; Ribble & Bailey, 2010) . In deze paragraaf wordt een eigen definitie geformuleerd en worden de begrippen in deze definitie verhelderd. De definitie luidt: ‘Digitaal burgerschap is het passend en verantwoordelijk gebruik kunnen maken van digitale technologie en actief deel kunnen nemen aan digitale burgerschapsactiviteiten.’
Passend gebruik. De term passend gebruik richt zich op de etiquette ofwel het respect
bij het gebruiken van sociale media. Het gaat daarbij over het rekening houden met anderen als je digitale technologie gebruikt en het bewustzijn van het effect van jouw handelen op anderen (Ribble, 2012). Volgens Ribble (2012) dient kinderen onder andere geleerd te worden welke manieren van communicatie mogelijk zijn en wanneer welke manier het best te
gebruiken is. Ook een tolerante houding naar iedereen met een andere mening is onderdeel van passend gebruik (Jones & Mitchell, 2015). Volgens Jones en Mitchell (2015) moet hier nog meer aandacht aan worden besteed bij het onderwijzen van digitaal burgerschap, waar de nadruk nu nog voornamelijk ligt op cyberpesten.
Verantwoordelijk gebruik. Bij verantwoordelijk gebruik van digitale middelen draait
het om de veiligheid bij het gebruik daarvan. Het gaat dan niet alleen om het beschermen van je eigen informatie door het goed te beveiligen of niet te delen, maar ook om het voorzichtig omspringen met de informatie van anderen (Ribble, 2012). McGillivray et al. (2016) stellen dat het daarbij belangrijk is kinderen bewust te maken van de manier waarop informatie door anderen wordt ontvangen en kan worden gebruikt.
Actieve deelname aan burgerschapsactiviteiten. Het derde onderdeel van de
definitie van digitaal burgerschap die gehanteerd wordt in dit onderzoek is de participatie in digitale burgerschapsactiviteiten. Deze wordt beschreven door Jones en Mitchell (2015) als het inzetten van technologieën om deel te nemen aan digitale burgerschapsactiviteiten.
10 Hiermee wordt bedoeld dat jongeren via digitale middelen aan activiteiten deelnemen waarbij zij hun stem kunnen laten horen of met elkaar en anderen in gesprek kunnen. Dit hangt uiteraard nauw samen met het passend en verantwoordelijk gebruik van digitale media, die daar een voorwaarde voor zijn. Ook Choi, Glassman en Cristol (2017) beschrijven deze digitale participatie, waarbij zij de termen participation/engagement en critical resistance gebruiken. Deze twee onderdelen houden in dat men participeert door zijn stem te laten horen bij onvrede of gevoel van onrecht (Choi et al., 2017).
Digitale technologieën gebruiken. Digitale burgerschapscompetenties
veronderstellen algemene vaardigheden om digitale middelen te kunnen gebruiken. In dit onderzoek wordt, zoals ook onderschreven door Jones en Mitchell (2015) en Park (2013), gesteld dat digitale geletterdheid een voorwaarde is voor digitaal burgerschap en geen onderdeel van de competenties die leerlingen moeten bezitten. Met andere woorden: als leerlingen digitale vaardigheden niet beheersen, kunnen zij niet, of minder, deelnemen aan digitale burgerschapsactiviteiten.
Meten van digitale burgerschapscompetenties van leerlingen: bestaande instrumenten
In eerder onderzoek zijn meetinstrumenten ontwikkeld om de burgerschapscompetenties van leerlingen of studenten te meten. De meeste van deze meetinstrumenten richten zich op burgerschap in het algemeen en bevatten geen of nauwelijks items die specifiek betrekking hebben op digitale burgerschapscompetenties. Zowel Hoskins en Mascherini (2009) als Ten Dam, Geijsel, Reumerman en Ledoux (2011) hebben bijvoorbeeld een vragenlijst ontwikkeld met betrekking tot het meten van algemene burgerschapscompetenties. Hierbij zijn digitale burgerschapscompetenties niet specifiek onderscheiden en gemeten, hoewel deze wel onder bepaalde items geschaard zouden kunnen worden. Beide meetinstrumenten bespreken onderdelen als actief burgerschap (Hoskins & Mascherini, 2009) of handelen op een sociaal verantwoordelijke manier (Ten Dam et al., 2011), maar koppelen dit niet aan de digitale samenleving waarin kinderen zich begeven.
Er zijn nog maar weinig meetinstrumenten die specifiek gericht zijn op digitaal burgerschap. Jones & Mitchell (2015) hebben een instrument ontwikkeld voor leerlingen tussen 11 en 17 jaar oud dat zich focust op cyberpesten, tolerantie en respect en op online participatie. In een andere vragenlijst (Sahari Nordin et al., 2016), gericht op universitaire studenten, richten de onderzoekers zich op veiligheid, etiquette, welbevinden en
verantwoordelijkheid. Van der Weijden (2015) nam zowel participatie, veiligheid en privacy als omgang met anderen mee in een vragenlijst, gericht op leerlingen in de eerste twee jaar
11 van het voortgezet onderwijs.
Er is nog geen instrument beschikbaar dat de digitale burgerschapscompetenties van leerlingen in het basisonderwijs meet, uitgaande van de eerder gegeven definitie. Bestaande instrumenten richten zich niet op betrokkenheid bij online burgerschap of focussen niet op leerlingen in het basisonderwijs. Het meetinstrument van Van der Weijden (2015) komt hier nog het dichtst bij in de buurt, maar richt zich op kinderen in het voortgezet onderwijs. Omdat zij wellicht verder zijn in hun ontwikkeling met betrekking tot digitaal burgerschap voldoet dat instrument niet zonder meer voor de doelgroep van dit onderzoek.
Verschillen tussen leerlingen in de beheersing van digitale burgerschapscompetenties
Het beheersen van digitale burgerschapscompetenties is voor elke leerling belangrijk. Uit eerste verkennende onderzoeken blijkt dat meisjes beter scoren op digitaal burgerschap dan jongens, en dan met name op kennis over burgerschap (Jones & Mitchell, 2015; Van der Weijden, 2015). Deze resultaten sluiten aan bij bevindingen van algemene
burgerschapsonderzoeken (Eidhof, Ten Dam, Dijkstra, & Van De Werfhorst, 2017; Schulz, Ainley, Fraillon, Kerr, & Losito, 2010; Ten Dam, Geijsel, Reumerman, & Ledoux, 2011). Beheersing van de basiskennis en -vaardigheden om met digitale middelen om te gaan lijkt niet de oorzaak van deze verschillen. Onderzoek heeft namelijk aangetoond dat er op dat gebied weinig verschillen zijn tussen jongens en meisjes (Aesaert, Van Braak, Van Nijlen, & Vanderlinde, 2015; Volman, Van Eck, Heemskerk, & Kuiper, 2005), of jongens hier zelfs beter in zijn (Meelissen & Drent, 2008). Dit laatste blijkt volgens recenter onderzoek echter alleen als jongens zichzelf op dit onderwerp beoordelen (Aesaert et al., 2015). Bij het daadwerkelijk meten van deze vaardigheden ontdekten Aesaert et al. geen verschillen. Daarnaast is het mogelijk dat er verschillen zullen zijn tussen leerlingen, afhankelijk van hun leeftijd. Over het algemeen kan verwacht worden dat kinderen in een hogere groep beter presteren, omdat ze meer onderwijs hebben genoten. Als leerlingen echter geen langdurig en zorgvuldig opgebouwd burgerschapsonderwijs hebben gehad, is de vraag of er verschillen zichtbaar zijn. In dat geval kunnen die verschillen bijvoorbeeld verklaard worden door algemene ontwikkeling of een verder ontwikkeld bewustzijn. Dit is goed mogelijk wanneer het gaat om digitale burgerschapscompetenties, omdat eerder al is aangegeven dat voor het (digitale) burgerschapsonderwijs geen doorlopende leerlijn of structurele aanpak bestaat. Om deze reden zal in dit onderzoek dan ook gekeken worden naar de verschillen tussen groepen met betrekking tot beheersing van digitale burgerschapscompetenties.
12 Onderzoeksvragen
In dit onderzoek wordt gepoogd de volgende vragen te beantwoorden:
1) Hoe kunnen de digitale burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs worden gemeten?
2) In hoeverre beheersen leerlingen in de bovenbouw van het primair onderwijs deze digitale burgerschapscompetenties en zijn daarbij verschillen waarneembaar tussen groepen leerlingen met betrekking tot jaargroep en sekse?
13 Methode
Design
Er is sprake van een cross-sectioneel survey-design (Creswell, 2014), dat uit twee delen bestaat. Eerst heeft er een pilotfase van het onderzoek plaatsgevonden. Hiervoor zijn eerder ontworpen vragenlijsten (Jones & Mitchell, 2015; Van der Weijden, 2015) en literatuur over digitaal burgerschap de basis geweest. Op basis van deze literatuur en eerder onderzoek is een vragenlijst geconstrueerd. Deze vragenlijst is getest in een pilotfase. Met de bevindingen uit de pilotfase is het instrument aangepast. Vervolgens vond de uitvoeringsfase plaats, waarin het instrument is afgenomen en de validiteit en betrouwbaarheid zijn onderzocht. Tot slot zijn de resultaten van deze afname geanalyseerd.
Onderzoeksgroep en werving
In de pilotfase van het onderzoek is de vragenlijst getest op leerlingen van twee basisscholen, eenmaal in een groep 7 (N=20) en eenmaal een groep 8 (N=27). Een van de scholen staat in Amsterdam, de andere in Weesp. Hoewel de populatie in Amsterdam gevarieerder is dan in Weesp, kennen beide scholen een diverse leerlingpopulatie, kijkend naar de afkomst van de leerlingen. Naast de afname van de vragenlijst heeft in de pilotfase ook een focusgroep plaatsgevonden met een groepje van vier leerlingen per klas, om eventuele moeilijkheden of verbetersuggesties te achterhalen.
De definitieve vragenlijst is in drie groepen 7 en vier groepen 8 afgenomen, van in totaal zes verschillende basisscholen. In tabel 1 is het aantal leerlingen per jaargroep en sekse te zien. De leeftijd is gemiddeld elf jaar en vier maanden en varieerde tussen de acht jaar (slechts één kind) en dertien jaar. Veruit de meeste kinderen waren elf jaar oud (N=78) of twaalf jaar oud (N=91). De afkomst van de leerlingen en hun ouders is zeer divers te noemen, zoals te zien is in tabel 2.
14 Tabel 1.
Aantallen leerlingen per jaargroep en geslacht
N % Jongens 91 42% Meisjes 114 53% Sekse onbekend 10 5% Groep 7 62 29% Groep 8 146 68% Groep onbekend 7 3% Totaal 215 100% Tabel 2.
Afkomst respondenten en ouders
Afkomst Respondent Moeder Vader
N % N % N % Nederland 191 (88,8%) 81 37,7% 63 29,3% Marokko 3 (1,4%) 50 23,3% 57 26,5% Suriname 2 (0,9%) 12 5,6% 11 5,1% Turkije 0 (0%) 10 4,7% 12 5,6% Nederlandse Antillen 0 (0%) 4 1,9% 5 2,3% Anders 10 (4,7%) 46 21,4% 50 23,3% Weet niet 0 (0%) 3 1,4% 6 2,8% Niet ingevuld 9 (4,2%) 9 4,2% 11 5,1%
Alle scholen zijn benaderd vanuit de stage-instelling of het netwerk van de onderzoeker. Zij zijn ofwel persoonlijk ofwel per mail benaderd voor deelname aan het onderzoek, waarbij is toegelicht wat de precieze werkwijze zou zijn en welke gegevens zij achteraf over hun klas konden verwachten. Deze informatie is na het onderzoek aan de betreffende leerkrachten gestuurd in de vorm van een anonieme rapportage over de klas. Aan de ouders van deelnemende leerlingen is een brief met informatie over het onderzoek
verstrekt en daarbij de mogelijkheid tot toestemming via passief consent.
Dataverzameling en instrument
Voor het onderzoek is gebruik gemaakt van een vragenlijst. Deze vragenlijst is door de onderzoeker ontworpen en is gebaseerd op eerdere vragenlijsten over dit onderwerp (Jones &
15 Mitchell, 2015; Van der Weijden, 2015) en de literatuur rondom digitaal burgerschap. Hierbij wordt uitgegaan van de in het theoretisch kader omschreven definitie van digitaal
burgerschap, te weten: “Digitaal burgerschap is het passend en verantwoordelijk gebruik kunnen maken van digitale technologie en actief deel kunnen nemen aan digitale
burgerschapsactiviteiten”. De items zijn daarom verdeeld in de categorieën passend gebruik, verantwoordelijk gebruik en actieve deelname. Deze drie categorieën vormen dan ook de beoogde schalen in het instrument. Voor de leerlingen die deelnemen aan het onderzoek hebben deze categorieën meer gangbare namen gekregen, te weten ‘veiligheid en privacy op sociale media’ (verantwoordelijk gebruik), ‘hoe ga je met elkaar om op sociale media’ (passend gebruik) en ‘het zoeken, vinden en bespreken van informatie op internet’ (actieve deelname). De items meten de competenties, ofwel de kennis, vaardigheden en attitudes, van de leerlingen. Aan het eind van de vragenlijst zijn enkele vragen gesteld over
persoonskenmerken, zoals leeftijd, sekse en het gebruik van sociale media, om inzicht te krijgen in de populatie en mogelijke verbanden te kunnen leggen.
In de pilotfase zijn er zes kennisitems, twaalf items over vaardigheden en zestien items over attitudes opgenomen. In de definitieve versie van het instrument waren dit zes
kennisitems, dertien vaardighedenitems en veertien attitude-items.
In de pilotfase is het aangepaste instrument op papier afgenomen. Daarnaast heeft tijdens de pilotfase een focusgroep plaatsgevonden met vier leerlingen waarbij is besproken hoe zij de inhoud en het gebruik van het instrument hebben ervaren. Hieruit bleek dat zij over het algemeen de items goed begrepen, maar dat er teveel items in stonden over het delen en bespreken van nieuws, terwijl dit niet bij hen leefde. Daarnaast waren er een paar
opmerkingen over de opmaak van de vragenlijst. Deze opmerkingen zijn meegenomen in de aanpassing van de vragenlijst naar de definitieve versie.
In de uitvoeringsfase is het opnieuw aangepaste instrument bij een andere populatie afgenomen. Deze resultaten zijn wederom verwerkt en geanalyseerd in SPSS.
Analyse
In de pilotfase van het onderzoek is gefocust op het verbeteren en optimaliseren van de vragenlijst. Dit is gedaan aan de hand van het bestuderen van antwoordpatronen, de opmerkingen van de focusgroepen en de eigen ervaring van de onderzoeker tijdens het afnemen van de vragenlijst. Met deze informatie is de vragenlijst waar nodig aangepast. In de uitvoeringsfase van het onderzoek is een Principale Componentenanalyse (PCA) uitgevoerd. Hiermee is gekeken of de beoogde schalen ook daadwerkelijk ontstonden, welke
16 items bij welke schaal hoorden en of er items voor verwijdering in aanmerking kwamen. Ook is gekeken naar de betrouwbaarheid van het instrument en de afzonderlijke schalen. Daarnaast is de moeilijkheids- en discriminatie-index van de kennisitems berekend. Dit is gebeurd om te zien of de kennisitems niet te moeilijk of te makkelijk waren voor de leerlingen en of zij voldoende discrimineerden. Op basis van deze informatie kunnen items die buiten de gewenste waarden zitten, verwijderd worden om de kwaliteit en betrouwbaarheid van het instrument te vergroten. Vervolgens zijn de overgebleven items en schalen geanalyseerd om te zien in hoeverre leerlingen de gemeten competenties beheersen. Daarbij is aan de hand van een t-toets ook gekeken naar verschillen tussen jongens en meisjes en tussen de groepen 7 en 8.
17 Resultaten
In dit hoofdstuk worden de resultaten van de hiervoor genoemde analyses besproken. Hierbij wordt onderscheid gemaakt tussen de instrumentontwikkeling en de leerlingresultaten op het instrument.
Resultaten instrumentontwikkeling
Het instrument is tot stand gekomen na analyse van literatuur met betrekking tot digitaal burgerschap en eerdere instrumenten die digitaal burgerschap meten. In de pilotfase zijn aanpassingen doorgevoerd die te maken hadden met de duidelijkheid van de vraagstelling, de lay-out en de inhoud van de vragen. Tijdens de focusgroepen werd bijvoorbeeld aangegeven dat er relatief veel items met betrekking tot het online delen en bespreken van
nieuwsberichten werden gesteld, terwijl de respondenten daar (nog) niet mee bezig waren. Een aantal items rond dit thema is dan ook aangepast of verwijderd. Daarentegen zijn in deze fase ook nog items toegevoegd rondom het thema online respect. Dit onderwerp was nog niet in de vragenlijst opgenomen terwijl het volgens de literatuur (Jones en Mitchell, 2015) wel een belangrijk thema is. Uiteindelijk ontstond een definitieve vragenlijst waarin kennis, vaardigheden en attituden worden gemeten met betrekking tot de onderdelen actief burgerschap, passend gebruik en verantwoordelijk gebruik.
Leerlingresultaten
Voorafgaand aan het uitvoeren van de analyses zijn de items in SPSS omgepoold zodat de hoogste score met het meest positieve antwoord correspondeerde. Ook is de optie ‘niet van toepassing (n.v.t.) als ‘missing value’ aangegeven, zodat deze geen invloed heeft op de gemiddelde score. Daarnaast is een Kaiser-Meyer-Olkin analyse gedaan om vast te stellen of de grootte van de steekproef adequaat genoeg was om betrouwbare analyses uit te kunnen voeren. Met een score van .618 is deze betrouwbaarheid middelmatig, maar wel hoog genoeg voor een betrouwbare analyse (Hutcheson & Sofroniou, 1999). Ook is de Bartlett’s test of sphericity uitgevoerd, die significant bleek te zijn. Dit betekent dat de variabelen gerelateerd zijn en dus geschikt voor het detecteren van structuur (Field, 2013).
Bij de analyse van de antwoordpatronen werd duidelijk dat item 19 (Als je een andere naam gebruikt op sociale media, weet niemand dat jij het bent. Je mag dan dus best liegen) verwijderd diende te worden. Dit item lijkt veelvuldig verkeerd geïnterpreteerd te zijn door leerlingen. Dat is af te leiden uit een analyse van de items met betrekking tot het gebruik van sociale media, doordat het antwoordpatroon van deze vraag niet past in het antwoordpatroon van de items er omheen. Veel leerlingen scoorden hoog op bijvoorbeeld vraag 18, 20 en 21,
18 die over hetzelfde onderwerp als vraag 19 gaan, maar scoren vervolgens laag op vraag 19. Dit heeft te maken met de negatieve formulering van de vraag, die waarschijnlijk over het hoofd is gezien. De resultaten van dit afzonderlijke item zullen daardoor hoogstwaarschijnlijk niet betrouwbaar zijn.
Principale Componenten Analyse. Vervolgens is een Principale Componenten
Analyse (PCA) met varimax-rotatie uitgevoerd, om het aantal schalen en de items behorende bij die schalen in het meetinstrument vast te stellen. Hierbij zijn de dichotome kennisitems niet meegenomen, deze vormen een aparte schaal. De PCA gaf tien componenten met een eigenwaarde boven de 1, die samen 69.6% van de variantie verklaarden. De scree plot (figuur 1) liet echter een zeer duidelijke knik zien na drie componenten. Omdat een verdeling in drie componenten ook de verwachting was vanuit de theorie, is besloten om in eerste instantie deze verdeling aan te houden. Deze drie componenten verklaren samen 34.3% van de
variantie. Vervolgens is gekeken naar de inhoudelijke interpretatie van deze componenten. In bijlage 3 zijn de ladingen van de items op de verschillende componenten te zien. Inhoudelijk bleken de items binnen elke component niet op een logische wijze samen te hangen. Omdat er ook mogelijk andere structuren en indelingen van de verschillende componenten kunnen bestaan, is vervolgens gekeken naar verschillende aantallen componenten waarbij de verdeling van de items wel inhoudelijk met elkaar samenhingen. Bij een PCA met vier componenten ontstond wel een logische verdeling (bijlage 4). In dit geval kan de eerste component worden omschreven als items met betrekking tot online vaardigheden van de leerlingen, de tweede component bevat items rondom online participatie van leerlingen en de derde component richt zich op de ‘nettiquette’ van digitaal burgerschap: hoe hoor je online met elkaar om te gaan? De vierde component bevatte slechts twee items die niet onder een van de andere componenten konden worden geplaatst. Er is daarom besloten deze items (26 en 27) te verwijderen. Dit leidde alsnog tot een verdeling in drie componenten, zoals de eerdergenoemde literatuur en scree plot voorspelden. Bij de inhoudelijke interpretatie van de drie componenten is gekeken of hier items bij zaten die niet bij de component pasten. Om deze reden is ervoor gekozen om items 4, 7, 8, 9, 32 en 33 te verwijderen uit de vragenlijst. Betrouwbaarheid per schaal. De betrouwbaarheidsanalyse van de drie subschalen,
na verwijdering van bovenstaande items, toont een slechte betrouwbaarheid van de schaal nettiquette (α = .516), een twijfelachtige betrouwbaarheid van de schaal online vaardigheden (α = .677) en een acceptabele betrouwbaarheid van de schaal online participatie (α = .700). Op basis van deze analyse komt alleen item 25 in de schaal online vaardigheden nog in aanmerking voor verwijdering, omdat de betrouwbaarheid daarmee zeer gering stijgt (α =
19 .681). Vanwege het inhoudelijke belang van dit item is echter gekozen om het item voor de vragenlijst te behouden.
Figuur 1. Scree plot behorende bij de Principale Componentenanalyse met varimax-rotatie.
Moeilijkheids- en discriminatie-index. Na de componentenanalyse is er gekeken
naar de kennisitems, die vanwege hun dichotome karakter niet mee zijn genomen in de PCA. Voor de kennisitems zijn zowel de moeilijkheidsindex als de discriminatie-index van de items berekend. De moeilijkheidsindex geeft aan hoe moeilijk een item voor de respondenten was: het is het percentage respondenten dat het item goed heeft beantwoord. Een item met een moeilijkheidsindex onder .15 is te moeilijk en een item dat boven de .85 scoort is te makkelijk (Rathvon, 2004). De resultaten van deze analyse en de discriminatie-index zijn de vinden in tabel 3. Kennisitem 24 scoorde hierbij te hoog (MI = .90), wat aangeeft dat het item te makkelijk was, en kwam dus voor verwijdering in aanmerking. De overige items scoorden binnen de uiterste grenzen.
De discriminatie-index geeft aan in hoeverre kennisitems op de goede manier discrimineren. De verwachting is dat respondenten die hoog scoren op de test ook hoog scoren op afzonderlijke items. Als dit niet het geval is, kunnen deze items een negatieve invloed hebben op de betrouwbaarheid van het instrument. Om de discriminatie-index te berekenen is de extreme groups calculation method gebruikt, waarbij het 25e en het 75e percentiel per item wordt berekend en wordt gekeken naar het verschil daartussen (Holmes
20 Finch, Immekus, & French, 2016). Hierbij zijn scores tussen de 0.4 en 1 goed, tussen de 0.3 en 0.4 redelijk goed (er moet wellicht een kleine aanpassing worden gedaan), tussen de 0.2 en 0.3 vereist het item aanpassing en een score onder de 0.2 geeft aan dat het item moet worden verwijderd (Ebel, 1965). Op basis van deze standaarden zou item 24 moeten worden
verwijderd (DI = .168) en item 10 moeten worden gereviseerd (DI = .239).
Kijkend naar zowel de moeilijkheids- als discriminatie-index zijn twee items verwijderd uit de vragenlijst. Ten eerste is item 24 (Je hebt anoniem een vervelend bericht over iemand op sociale media geplaatst en je ziet dat de ander daar verdriet om heeft. Wat kun je het beste doen?) verwijderd. Dit item bleek te makkelijk en wellicht teveel ingevuld naar sociale wenselijkheid. Het scoorde zeer matig op zowel de discriminatie-index (DI = .168) als de moeilijkheidsindex (MI = .90). Ook item 10 (Criminelen kunnen ook op internet persoonlijke informatie, zoals wachtwoorden en telefoonnummers, stelen.) is verwijderd. Dit item scoorde op zowel de discriminatie- (DI = .239) als de moeilijkheidsindex (MI = .83) op de rand van het toelaatbare. Vanwege deze twijfelachtigheid zal er in de discussie een suggestie voor aanpassing van dit item worden gedaan.
Tabel 3
Moeilijkheids- en discriminatie-index voor kennisitems
Item 25e
percentiel
75e percentiel
DI MI
10. Criminelen kunnen ook op internet persoonlijke informatie, zoals wachtwoorden en telefoonnummers, stelen.
0.76 1.00 0.24 0.83
11. Een goed wachtwoord is altijd makkelijk te onthouden.
0.21 1.00 0.79 0.34
12. Je doet mee aan een prijsvraag op internet. Aan het eind moet je persoonlijke gegevens, zoals je
telefoonnummer en e-mailadres invullen. Wat kun je het beste doen?
0.46 1.00 0.54 0.66
13. Iemand die je niet kent stuurt je een bericht op sociale media. Hij/zij vraagt je foto’s van jezelf te sturen. Wat kun je het beste doen?
0.50 1.00 0.50 0.71
23. Je ziet steeds nare berichten over jezelf op sociale media. Wat kun je het beste doen?
0.83 1.00 0.17 0.63
24. Je hebt anoniem een vervelend bericht over iemand op sociale media geplaatst en je ziet dat de ander daar verdriet om heeft. Wat kun je het beste doen?
21 Digitale burgerschapscompetenties van leerlingen
In deze paragraaf wordt gekeken naar de resultaten van de leerlingen op het meetinstrument. Als eerste worden de resultaten op de vaardigheden- en attitude-items besproken. Vervolgens komen de resultaten op de kennisitems aan bod, waarna de verschillen tussen jongens en meisjes en jaargroepen worden onderzocht.
Vanwege de geringe betrouwbaarheid moeten de leerlingresultaten op de schalen nettiquette en online vaardigheden kritisch worden bekeken. Om die reden zullen de
resultaten binnen deze schalen dan ook zowel op schaalniveau als per item worden besproken.
Resultaten op de attitude- en vaardighedenitems per schaal. In onderstaande tabel
zijn de resultaten per schaal te zien. De maximale score die de respondenten konden hebben was 4.00, de minimale score 1.00. Uit deze tabel blijkt dat op de schalen nettiquette en online vaardigheden ruim boven het schaalgemiddelde van M=2.50 werd gescoord. De score op de schaal nettiquette zit zelfs dicht tegen de maximale score aan. De score op de schaal digitale participatie ligt zeer dicht bij het schaalgemiddelde.
Tabel 4
Beschrijvende statistieken per schaal. Hierbij is n het aantal items per schaal, N het aantal respondenten op deze schaal, M het gemiddelde en wordt de standaarddeviatie (SD) gegeven.
Schaal n N M SD
Nettiquette (NQ) 4 211 3.58 .47
Online vaardigheden (OV) 9 213 3.31 .42
Digitale participatie (DP) 4 202 2.65 .74
In verband met de geringe betrouwbaarheid van de schalen nettiquette en online vaardigheden wordt in de volgende tabel (tabel 5) per item het gemiddelde en de standaarddeviatie
aangegeven. Met deze gegevens kan per item een uitspraak worden gedaan over de prestaties van leerlingen op dat item. Op de schalen nettiquette en online vaardigheden is te zien dat de respondenten op elk item gemiddeld 3.00 of hoger scoren. Bij de schaal online participatie ligt dit gemiddelde lager, ruim onder de 3.00. Bovendien is daar het enige item (item 31) te vinden waarop leerlingen onder het schaalgemiddelde van 2.50 scoren.
22 Tabel 5
Gemiddelde scores (M) en standaarddeviatie (SD) op attitude- en vaardighedenitems op de schaal online vaardigheden.
Item N M SD
1. Goed nadenken voordat ik een foto of filmpje van mezelf op sociale media plaats 204 3.50 .54 2. Mezelf afvragen wie een bericht dat ik op sociale media plaats, kan zien 191 3.15 .85 3. Een bericht dat ik op sociale media heb gezet, verwijderen 182 3.18 .86
5. Een wachtwoord bedenken dat niemand raadt 207 3.48 .76
6. Bepalen op welke links ik beter niet kan klikken, omdat ze gevaarlijk kunnen zijn 200 3.11 .84 15. Een bericht naar iemand zo schrijven dat hij/zij weet dat het een grapje is 201 3.28 .70 16. Anderen duidelijk maken dat je het niet leuk vindt als ze zonder jouw toestemming iets
over jou op internet zetten
193 3.61 .70
17. Nadenken over wat ik zeg online, zodat ik er later geen spijt van heb 205 3.36 .74
25. Het delen van nieuwsberichten met andere mensen 178 3.02 .80
Tabel 6
Gemiddelde scores (M) en standaarddeviatie (SD) op attitude- en vaardighedenitems op de schaal nettiquette.
Item N M SD
18. Vriendschapsverzoeken van mensen die je niet kent op sociale media, moet je niet accepteren
205 3.30 .92
20. Als je een vervelend filmpje of een foto over iemand doorstuurt, ben je ook schuldig als diegene daardoor verdriet heeft
199 3.73 .61
21. Iets dat je in de klas of op het schoolplein niet zou doen, moet je ook niet op sociale media doen.
197 3.60 .68
23 Tabel 7
Gemiddelde scores (M) en standaarddeviatie (SD) op attitude- en vaardighedenitems op de schaal online participatie.
Item N M SD
28. Ik praat via sociale media graag met anderen over wat er in de wereld gebeurt 181 2.72 .91 29. Ik lees graag op sociale media/internet over onderwerpen die in het jeugdjournaal zijn
geweest of waar we op school over hebben gepraat
189 2.78 .98
30. Ik vind het leuk om via sociale media te praten met mensen van een andere cultuur of uit een ander land
170 2.70 1.01
31. Ik doe graag mee met online discussies, bijvoorbeeld bij de stelling van het jeugdjournaal 176 2.42 1.09
Resultaten op de kennisitems. De kennisitems vormen een apart onderdeel van de
vragenlijst. In tabel 8 wordt het aantal goede antwoorden per item beschreven in absolute en relatieve cijfers. Uit de resultaten blijkt dat de leerlingen boven de 60% scoren op de items met de vraagstelling ‘Wat kun je het beste doen?’ (item 12, 13 en 23). Op de enige
overgebleven technische vraag (item 11) scoren de leerlingen een stuk lager. Tabel 8
Resultaten kennisitems. De bijbehorende vragen zijn te vinden in het meetinstrument in de bijlage.
Item N Aantal goed % goed
11. 215 74 34.4%
12. 215 141 65.6%
13. 204 144 70.2%
23. 207 130 62.8%
Verschillen tussen leerlingen
Jongens en meisjes. Door middel van een t-toets is gekeken of er verschillen zijn in
de beheersing van digitale burgerschapscompetenties tussen jongens en meisjes. Hiervoor is in eerste instantie gekeken naar verschillen tussen de seksen op de afzonderlijke
vaardigheden- en attitude-items en vervolgens per schaal.
Over de gehele vragenlijst gemeten blijkt dat meisjes niet significant hoger of lager scoren dan jongens, t(205) =-1.42 , p = .157. Meisjes scoren wel significant hoger op de schalen nettiquette (t(205)=-2.84, p = .005) en kennis van digitaal burgerschap (t(205)=-4.06, p < .001), maar niet op de schalen online vaardigheden (t(205)=-0.97, p = .330) en online
24 participatie (t(205)=0.88, p = .383).
Vanwege de matige betrouwbaarheid van twee van de drie schalen zijn de items op die schalen ook nog afzonderlijk vergeleken. Op verschillende individuele items scoren meisjes significant hoger dan jongens, te weten item 3 (een bericht dat ik op sociale media heb gezet, verwijderen), item 12 (Je doet mee aan een prijsvraag op internet. Aan het eind moet je persoonlijke gegevens, zoals je telefoonnummer en e-mailadres invullen. Wat kun je het beste doen?), item 18 (Vriendschapsverzoeken van mensen die je niet kent op sociale media, moet je niet accepteren) en item 23 (Je ziet steeds nare berichten over jezelf op sociale media. Wat kun je het beste doen?). Op item 28 (Ik praat via sociale media graag met anderen over wat er in de wereld gebeurt) scoren de jongens significant hoger. Op de overige items was geen significant verschil te zien. Een overzicht van de scores op elke schaal en elk item is te vinden in bijlagen 5 en 6.
Verschillen tussen groepen 7 en 8. Om te meten of er verschillen bestaan tussen de
prestaties van leerlingen uit groep 7 en de prestaties van leerlingen uit groep 8, is ook hiervoor een t-toets voor twee afzonderlijke gemiddelden uitgevoerd. Net als bij de verschillen in sekse is gekeken naar de verschillen over het geheel, per schaal en tot slot per item vanwege de lage betrouwbaarheid van de schalen. Hieruit bleek dat over de gehele vragenlijst er geen
significant verschil was tussen kinderen van groep 7 en van groep 8 (t(205) = -.055, p = .957). Ook de afzonderlijke schalen laten geen significante verschillen zien. Op itemniveau blijken leerlingen van groep 7 en 8 op twee items wel significant te verschillen. Op zowel item 3 (Een bericht dat ik op sociale media heb gezet, verwijderen) als item 29 (Ik lees graag op sociale media/internet over onderwerpen die in het jeugdjournaal zijn geweest of waar we op school over hebben gepraat) scoort groep 8 significant hoger dan groep 7. In bijlagen 7 en 8 is een volledig overzicht van de scores per item en per schaal te vinden.
25 Conclusie
Sinds de verplichting om burgerschap te onderwijzen in 2006 is vastgelegd is er weinig onderzoek gedaan naar de digitale burgerschapscompetenties die leerlingen in het
basisonderwijs moeten beheersen. In dit onderzoek is gekeken welke competenties dit zijn, is een instrument ontwikkeld om deze competenties te meten en is weergegeven hoe leerlingen vervolgens op dit instrument scoren. Er stonden twee vragen centraal, waarop in dit hoofdstuk een antwoord wordt gegeven.
Meten van digitaal burgerschap in de bovenbouw van het basisonderwijs
De eerste vraag die in dit onderzoek centraal stond was: Hoe kunnen de digitale
burgerschapscompetenties van leerlingen in de bovenbouw van het basisonderwijs worden gemeten? Om hier een antwoord op te kunnen geven is allereerst de literatuur rondom het (meten van) digitaal burgerschap bestudeerd. De bestaande meetinstrumenten zijn kritisch bekeken en items uit deze lijsten zijn overgenomen, geherformuleerd naar de doelgroep. Ook zijn de thema’s de basis geweest voor zelf ontworpen items. Hieruit ontstond een eerste versie van een vragenlijst Digitaal burgerschap, die is afgenomen bij twee pilotklassen. Aan de hand van de resultaten van deze pilotklassen en de op- en aanmerkingen van de focusgroepen die na elke afname zijn gehouden, is de vragenlijst aangepast.
Vervolgens is de definitieve vragenlijst afgenomen bij vier groepen 7 en vier groepen 8 (N=215). De vragenlijst is ingevoerd in SPSS, waarbij is gekeken naar de schaalverdeling en betrouwbaarheid van de vragenlijst, alsook naar de inhoudelijke resultaten. Deze laatste worden in de volgende paragraaf besproken. De vragenlijst was geconstrueerd uitgaande van drie schalen: ‘verantwoordelijk gebruik, passend gebruik en actieve participatie. Uit de factoranalyse bleek een andere schaalverdeling naar voren te komen. De eerste schaal is online vaardigheden en richtte zich op hoe vaardig de leerlingen waren in het gebruik van internet en sociale media, zowel aan de kant van de mogelijkheden als van de gevaren. De tweede schaal is online participatie en bevatte items die betrekking hadden op de manier waarop en de mate waarin leerlingen elkaar online spraken en informatie deelden. Tot slot besloeg de laatste schaal items die gericht waren op de manier waarop leerlingen vinden dat men met elkaar om moet gaan op het internet, getiteld nettiquette. De
betrouwbaarheidsanalyse op de ontstane schalen gaf aan dat er bij twee van de drie schalen sprake was van een matige betrouwbaarheid. Behalve vaardigheden- en attitude-items bevatte de vragenlijst ook een aantal items die de kennis van leerlingen over digitaal burgerschap meten. Deze items zijn niet meegenomen in de schaalanalyses, maar zijn afzonderlijk
26 geanalyseerd op itemmoeilijkheid en -discriminatie. Na verwijdering van een aantal items vanwege een negatieve beïnvloeding van de betrouwbaarheid of validiteit van het instrument, bleven twintig items over die de digitale burgerschapscompetenties van leerlingen in groep 7 en 8 meten.
Beheersing van digitale burgerschapscompetenties
De tweede vraag van het onderzoek luidde: “In hoeverre beheersen leerlingen in de
bovenbouw van het basisonderwijs deze digitale burgerschapscompetenties en zijn daarbij verschillen waarneembaar tussen groepen leerlingen met betrekking tot jaargroep en sekse?” Om deze vraag te kunnen beantwoorden is de definitieve vragenlijst zoals hierboven
besproken afgenomen bij 215 leerlingen in zeven verschillende klassen. Vanwege de matige betrouwbaarheid van twee schalen is voor deze schalen ook een analyse op itemniveau
uitgevoerd. Leerlingen blijken over het algemeen hun eigen vaardigheden en attituden hoog in te schatten: zij scoren ruim boven het gemiddelde op deze onderdelen. Hier is vooral sprake van op de schaal nettiquette. De schaal online participatie scoort hierbij het laagst, hoewel het gemiddelde op deze schaal nog altijd boven het gemiddelde zit en er slechts één vraag net onder dit gemiddelde scoort. De kennisitems worden gemiddeld voor 58,25% correct
beantwoord. Vooral op de drie items waarbij gevraagd wordt wat de leerling in een bepaalde situatie het best kan doen, is hoog gescoord. Deze items hebben betrekking op zowel het passend als verantwoordelijk gebruik van digitale media, omdat het over veiligheid en privacy in relatie tot zichzelf en anderen gaat. De meer technische derde vraag scoort beduidend lager. Dit item gaat specifiek over online veiligheid en dus over verantwoordelijk gebruik van sociale media.
Vervolgens is ook gekeken naar verschillen tussen zowel jongens en meisjes als tussen kinderen in groep 7 en groep 8. Tussen de seksen is er geen significant verschil waarneembaar over het gehele instrument, maar er zijn wel significante verschillen te zien op de schaal nettiquette en op het kennisonderdeel. Bij beide onderdelen scoren meisjes significant hoger. Kijkend naar de afzonderlijke items, zien we dat meisjes op vier items significant hoger scoren. Dit zijn zowel attitude-, vaardigheden- als kennisitems. Op één item scoren jongens significant hoger. Dit was de vraag Ik praat via sociale media graag met anderen over wat er in de wereld gebeurt.
Wat betreft de verschillen tussen leerlingen in groep 7 en groep 8 zijn er geen
significante resultaten gevonden tussen de twee groepen. Op itemniveau scoren leerlingen uit groep 8 wel tweemaal significant hoger dan leerlingen uit groep 7. Dit betreft de items Een
27 bericht dat ik op sociale media heb gezet, verwijderen en Ik lees graag op sociale
media/internet over onderwerpen die in het jeugdjournaal zijn geweest of waar we op school over hebben gepraat.
28 Discussie
In dit hoofdstuk wordt besproken of de onderzoeksresultaten aansluiten op de theorie en hoe deze resultaten te interpreteren zijn. Daarnaast wordt aangegeven wat beperkingen aan het onderzoek zijn en op welke manier vervolgonderzoek bij kan dragen aan het thema digitaal burgerschap. Tot slot worden aanbevelingen gegeven voor de praktijk.
Interpretatie onderzoeksresultaten
Instrumentontwikkeling. Het startpunt van dit onderzoek was een definitie van
digitaal burgerschap met drie aspecten: passend gebruik, verantwoordelijk gebruik en actieve online participatie. Hoewel er drie schalen in het instrument ontstonden, sloten de ontstane schalen niet aan op de zojuist genoemde onderdelen van de definitie. Uit vervolgonderzoek zal moeten blijken of de ontstane schalen representatief zijn voor het thema digitaal
burgerschap.
Reflectie op de resultaten. Bij de kennisitems valt op dat de enige technische vraag
over wachtwoordgebruik beduidend lager scoort dan de overige kennisitems. Dit is wellicht toe te wijzen aan het gebrek aan concreet digitaal burgerschapsonderwijs. Omdat de overige kennisitems meer gericht zijn op inzicht, kunnen leerlingen deze nog juist beantwoorden door een afweging te maken tussen de mogelijke antwoorden. Een technische vraag vereist
feitelijke kennis en deze lijkt bij een deel van de leerlingen te ontbreken. Het tiende item is verwijderd omdat de vraag net te eenvoudig is gebleken. Een aanpassing van het item zich zal moeten richten op bijvoorbeeld specifieke termen als phishing. Deze term werd al gebruik in het onderzoek van Van der Weijden (2016), dat als basis voor deze vragenlijst diende, maar werd in dat onderzoek verwijderd vanwege vermeende moeilijkheid. Naar de vraagstelling moet dus kritisch worden gekeken bij eventueel vervolgonderzoek.
Daarnaast valt op dat de scores op de afzonderlijke schalen allemaal boven het verwachte schaalgemiddelde van M=2.50 zitten, hoewel de schaal online participatie daar nauwelijks boven zit. Dit komt overeen met de observaties die bij de pilotfase zijn gedaan, waarbij leerlingen aangaven niet of in zeer geringe mate met dit onderwerp bezig te zijn. Wellicht achten de leerlingen zichzelf hierdoor minder vaardig in het onderwerp of hebben zij hier een minder positieve attitude over ontwikkeld.
Binnen de schaal online participatie valt op dat jongens significant hoger scoren op de vraag: Ik praat via sociale media graag met anderen over wat er in de wereld gebeurt. Omdat uit de theorie is gebleken dat meisjes over het algemeen hoger scoren op vragenlijsten met
29 betrekking tot burgerschapsvorming en hierbij een positievere attitude hebben dan jongens, kan dit als opvallend resultaat worden beschouwd.
Tot slot zijn er geen significante verschillen te zien tussen groep 7 en 8. Dit valt te verklaren doordat er op dit onderwerp geen doorlopende leerlijn bestaat met betrekking tot wat leerlingen aan het eind van een leerjaar moeten weten, kunnen of beheersen. Hoewel leerlingen in een hogere groep meestal ouder zijn en vaak meer ervaring hebben met internetgebruik en sociale media, wil dit dus niet zeggen dat zij de bijbehorende
vaardigheden, kennis en attituden ook beter beheersen. Op itemniveau scoren leerlingen uit groep 8 wel tweemaal significant hoger dan leerlingen uit groep 7. Dit betreft de items Een bericht dat ik op sociale media heb gezet, verwijderen en Ik lees graag op sociale
media/internet over onderwerpen die in het jeugdjournaal zijn geweest of waar we op school over hebben gepraat. Een sluitende verklaring voor deze hogere scores kan niet worden gegeven, maar een mogelijke oorzaak is de actievere rol van groep 8 leerlingen op sociale media vergeleken met leerlingen in groep 7.
Relatie met de theorie. Vanuit de literatuur was de verwachting dat leerlingen
wellicht nog niet alle digitale burgerschapscompetenties beheersen. Dit zou te wijten zijn aan het ontbreken van een doorlopende leerlijn (Eidhof, 2015). Of dat daadwerkelijk geldt voor deze onderzoeksgroep is lastig af te leiden: de vaardigheden- en attitude-items in dit
instrument zijn immers gericht op zelfbeoordeling. Bij deze kennisitems was de verwachting dat meisjes hoger zouden scoren dan jongens, aangezien eerdere onderzoeken dit aantoonden (Jones & Mitchell, 2015; Van der Weijden, 2015). Dit bleek ook het geval: meisjes scoorden significant hoger op kennis en op de schaal nettiquette. Op de andere schalen en over de gehele vragenlijst gemeten waren geen significante verschillen te constateren. Ook tussen de groepen 7 en 8 waren geen significante verschillen over het instrument, op twee individuele items na. Dit kan in verband worden gebracht met het ontbreken van een doorlopende leerlijn met betrekking tot burgerschap. Van kinderen wordt verwacht dat zij hoger scoren op reken- of taaltoetsen als zij in een hogere groep zitten, omdat nieuwe stof en herhalingsstof in een doorlopende lijn worden aangeboden. Burgerschapsonderwijs is helaas nog incidenteel en kan om die reden nog niet zulke effecten hebben (Eidhof, 2015).
Beperkingen aan het onderzoek
De respondenten in dit onderzoek zijn geselecteerd op basis van het kennisnetwerk van de onderzoeker en komen van allerlei scholen in Amsterdam. Hoewel de populatie en de achtergrond van de leerlingen op deze scholen wel zeer divers was, lijkt de steekproef niet
30 representatief omdat de leerlingen allemaal in Amsterdam wonen en naar school gaan. Het is mogelijk dat leerlingen buiten de randstad of op het platteland anders scoren op het
meetinstrument dan deze steekproef. Daarnaast is generalisatie lastig vanwege de grootte van de steekproef. Er is een veel grotere steekproef nodig om een uitspraak te doen over het
niveau van competentiebeheersing van leerlingen in de groepen 7 en 8 van het basisonderwijs. De uitspraken met betrekking tot de feitelijke competentiebeheersing zijn bovendien mogelijk beïnvloed door het feit dat de leerlingen zelf de vragenlijst hebben ingevuld en daarmee zichzelf scoren op hun competenties. Dit betreft met name de attitude- en
vaardighedenitems: deze geven slechts aan in hoeverre de leerlingen denken een bepaalde attitude te hebben of een bepaalde vaardigheid te beheersen. Uit onderzoek (Aesaert et al., 2015; Van Loon, 2014) blijkt bijvoorbeeld dat leerlingen in groep 7 en 8 zichzelf vaak overschatten wat betreft beheersing van eigen competenties.
Tot slot is het lastig een uitspraak te doen over de resultaten van het overgrote deel van de vragenlijst, vanwege de lage betrouwbaarheid van de schalen. Vanwege de twijfelachtige samenhang van de vragenlijst kan niet met zekerheid worden gezegd hoe leerlingen op de verschillende onderdelen scoren. Op itemniveau zijn uitspraken wel mogelijk.
Suggesties voor vervolgonderzoek
Er kan een aantal aanpassingen of toevoegingen aan het meetinstrument worden gedaan om het beter geschikt te maken voor het meten van digitale burgerschapscompetenties. Ten eerste moeten sommige items worden aangepast. Een aantal verwijderde kennisitems kan terugkeren in de vragenlijst als deze beter aansluiten op de thema’s in de vragenlijst.
Daarnaast is het aantal kennisitems in de nu gebruikte versie van de vragenlijst relatief laag. Om een realistisch beeld van de kennisbeheersing van leerlingen te hebben, verdient het aanbeveling om meer kennisitems te ontwikkelen en toe te voegen. De onderwerpen waarop leerlingen meer bevraagd zouden moeten worden zijn de risico’s en mogelijkheden van digitale media en actieve participatie. Deze onderwerpen zijn naar voren gekomen uit de theorie maar worden niet bevraagd in de huidige vragenlijst.
Ten derde is een grotere en representatievere steekproef een goede vervolgstap. Zoals beschreven is er nu een relatief kleine groep ondervraagd en kwamen alle leerlingen uit dezelfde stad. Om een betrouwbaarder beeld te creëren dat eventueel generaliseerbaar is, zullen leerlingen uit verschillende regio’s ondervraagd moeten worden.
Om tot slot het risico op zelfoverschatting te verminderen, zou een mogelijkheid zijn om naast de verbetering van de vragenlijst een observatie-instrument te ontwikkelen waarmee
31 kan worden beoordeeld of leerlingen ook daadwerkelijk de genoemde vaardigheden en kennis beheersen. Zo kan een betrouwbaardere uitspraak worden gedaan over de stand van zaken rondom het digitale burgerschapsonderwijs.
Aanbevelingen voor de praktijk
Het ontwikkelde instrument en de resultaten van de afname daarvan geven aanknopingspunten voor het onderwijzen en toetsen van digitaal burgerschap.
Uit het onderzoek blijkt dat zeker één basisvaardigheid nog niet wordt beheerst, te weten de kennis over veiligheid. Het gaat in dit geval om juist wachtwoordgebruik, maar waarschijnlijk zijn ook andere onderwerpen onvoldoende bekend bij leerlingen. In de onderwijspraktijk zou daarom aandacht gevestigd kunnen worden op het informeren van kinderen over de gevaren van het gebruik van internet en sociale media en de daarbij horende bescherming, zoals het bedenken van een goed wachtwoord of het voorzichtig omgaan met persoonlijke informatie.
Daarnaast kunnen leerkrachten meer inzetten op het onderwerp ‘online participatie’. Dit is de schaal waarop leerlingen in dit onderzoek het laagst scoorden. Een manier om hier vorm aan te geven is het structureel bespreken van nieuws, kinderen daarover online met elkaar te laten discussiëren of verbindingen te leggen met andere klassen. Hiervoor bestaan al projecten, maar die krijgen momenteel nog geen vaste plek in het huidige onderwijs.
Tot slot lijkt een taak weggelegd voor de beleidsmakers in het onderwijs. Vanuit meerdere richtingen is aangegeven dat het burgerschapsonderwijs nog weinig concretisering kent en dat dit de reden is voor het uitblijven van structureel burgerschapsonderwijs (Eidhof, 2015; Munniksma et al., 2017; Onderwijsraad, 2012). Het is aan beleidsmakers om in deze behoefte te voorzien door concrete doelen en uitgewerkte leerlijnen aan te bieden, zoals dat ook bij andere vakken gebeurt. Daarbij moet worden nagedacht over de manier van aanbieden en de onderwerpen die centraal zouden moeten staan.
32 Literatuurlijst
Aesaert, K., Van Braak, J., Van Nijlen, D., & Vanderlinde, R. (2015). Primary school pupils’ ICT competences: Extensive model and scale development. Computers & Education, 81, 326–344. https://doi.org/10.1016/j.compedu.2014.10.021
Banks, J. (2004). Teaching for Social Justice, Diversity, and Citizenship in a Global World. The Educational Forum, 68(4), 296–305. https://doi.org/10.1080/00131720408984645
Cabello-Hutt, T., Cabello, P., & Claro, M. (2017). Online opportunities and risks for children and adolescents: The role of digital skills, age, gender and parental mediation in Brazil. New Media & Society, 9, 1–21. https://doi.org/10.1177/1461444817724168
Choi, M., Glassman, M., & Cristol, D. (2017). What it means to be a citizen in the internet age: Development of a reliable and valid digital citizenship scale. Computers & Education, 107, 100–112. https://doi.org/10.1016/j.compedu.2017.01.002
Creswell, J. W. (2014). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. Londen: SAGE Publications.
Dekker (2015). Antwoord op schriftelijke vragen van het lid Jadnanansing (PvdA) over gebrekkige sociale en maatschappelijke vorming op scholen. Op 17 november 2016 ontleend aan
https://www.nationaleonderwijsgids.nl/system/ckeditor_assets/attachments/482/beantwo
ording-kamervragen-over-gebrekkige-sociale-en-maatschappelijke-vorming-op-scholen.pdf
Ebel, R.L. (1965). Measuring educational achievement. New Jersey: Englewood Cliffs. Eidhof, B. B. F. (2015). Voorbij de vrijblijvendheid in het burgerschapsonderwijs. Idee,
36(4), 30–33. Op 06 november 2017 ontleend aan
https://pure.uva.nl/ws/files/9344005/Idee_2015_4_dec.pdf
Eidhof, B. B. F., Ten Dam, G. T. M., Dijkstra, A. B., & Van De Werfhorst, H. G. (2017). Youth citizenship at the end of primary school: the role of language ability. Research Papers In Education, 32(2), 217–230. https://doi.org/10.1080/02671522.2016.1167235
Escoda, A. P. (2014). Media literacy in primary school: new challenges in the digital age. Education in the Knowledge Society (EKS), 15(1), 43–69.
33 Field, A. (2013). Discovering Statistiscs Using IBM SPSS Statistics. London: Sage.
Holmes Finch, W., Immekus, J.C., & French, B.F. (2016). Applied psychometrics using SPSS and AMOS. Charlotte: IAP.
Hoskins, B. L., & Mascherini, M. (2009). Measuring Active Citizenship through the Development of a Composite Indicator. Social Indicators Research, 90(3), 459–488. https://doi.org/10.1007/s11205-008-9271-2
Hutcheson, G. & Sofroniou, N. (1999). The multivariate social scientist. London: Sage. Inspectie van het Onderwijs (2015). Onderwijsverslag: De staat van het onderwijs. Utrecht:
Inspectie van het onderwijs.
Isman, A., & Canan Gungoren, O. (2014). Digital citizenship. Turkish Online Journal of Educational Technology, 13(1), 73–77. https://doi.org/10.1002/asi.20906
Jones, L. M., & Mitchell, K. J. (2015). Defining and measuring youth digital citizenship. New Media & Society, 18(9), 1461444815577797.
https://doi.org/10.1177/1461444815577797
Martin, A. (2008). Digital literacy and the “digital society.” Digital Literacies: Concepts, Policies and Practices, 30, 151–176. https://doi.org/10.1093/elt/ccr077
McGillivray, D., McPherson, G., Jones, J., & McCandlish, A. (2016). Young people, digital media making and critical digital citizenship. Leisure Studies, 35(6), 724–738.
https://doi.org/10.1080/02614367.2015.1062041
Meelissen, M. R. M., & Drent, M. (2008). Gender differences in computer attitudes: Does the school matter? Computers in Human Behavior, 24, 969–985.
https://doi.org/10.1016/j.chb.2007.03.001
Munniksma, A., Dijkstra, A. B., Van Der Veen, I., Ledoux, G., & Van De Werfhorst, H. (2017). Burgerschap in het voortgezet onderwijs. Nederland in vergelijkend perspectief. Amsterdam. Op 17 december 2017 ontleend aan
http://www.kohnstamminstituut.uva.nl/iccs-nederland/assets/iccs2016burgerschapnederland.pdf
Onderwijsraad. (2012). Verder met burgerschap in het onderwijs. Den Haag.
34 40(2), 215–236. https://doi.org/10.1177/0093650211418338
Rathvon, N. (2004). Early reading Assessment. A practitioner’s handbook. New York: The Guilford Press.
Ribble, M. (2012). Digital Citizenship for Educational Change. Kappa Delta Pi Record, 48, 148–151. https://doi.org/10.1080/00228958.2012.734015
Ribble, M. S., & Bailey, G. D. (2010). Teaching digital citizenship. International Conference on Education and Educational Technologies - Proceedings, (785), 387–392.
https://doi.org/378
Sahari Nordin, M., Badariah Tunku Ahmad, T., Madziah Zubairi, A., Ahmad Hisham Ismail, N., Hamid Abdul Rahman, A., A Trayek, F. A., & Burhan Ibrahim, M. (2016).
Psychometric Properties of a Digital Citizenship Questionnaire. International Education Studies, 9(3). https://doi.org/10.5539/ies.v9n3p71
Schulz, W., Ainley, J., Fraillon, J., Kerr, D., & Losito, B. (2010). ICCS 2009 International Report: Civic knowledge, attitudes, and engagement among lower- secondary school students in 38 countries. Amsterdam. Op 17 december 2017 ontleend aan
http://www.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/ICCS_2009_I nternational_Report.pdf
Simsek, E., & Simsek, A. (2013). New Literacies for Digital Citizenship. Contemporary Educational Technology, 4(3), 126–137.
SLO (z.j.a.). Burgerschap. Op 17 november 2016 ontleend aan http://www.slo.nl/primair/themas/burgerschap/
SLO (z.j.b). Doelen burgerschapsonderwijs en mensenrechteneducatie voor het schoolcurriculum primair onderwijs. Op 17 november 2016 ontleend aan http://downloads.slo.nl/Documenten/doelen-burgerschapsonderwijs-en-mensenrechteneducatie-voor-het-schoolcurriculum.pdf
Ten Dam, G., Geijsel, F., Reumerman, R., & Ledoux, G. (2011). Measuring young people’s citizenship competences. European Journal of Education, 46(3), 354–372.
https://doi.org/10.1111/j.1465-3435.2011.01485.x
Turner, P. (1999). Education for Citizenship and the Teaching of Democracy in Schools. Teaching Public Administration, 19(2), 46–49.
35 https://doi.org/10.1177/014473949901900204
Valcke, M., Schellens, T., Van Keer, H., & Gerarts, M. (2007). Primary school children’s safe and unsafe use of the Internet at home and at school: An exploratory study. Computers in Human Behavior, 23(6), 2838–2850. https://doi.org/10.1016/j.chb.2006.05.008
Van der Weijden, J. A. M. (2015). Digitaal burgerschap: de ontwikkeling van een
meetinstrument en onderzoek naar de competenties van leerlingen in de eerste twee jaar van het voortgezet onderwijs. Universiteit van Amsterdam.
Van Loon, M. (2014). Fostering Monitoring and Regulation of Learning. Maastricht. Op 17 december 2017 ontleend aan
http://digitalarchive.maastrichtuniversity.nl/fedora/get/guid:7ab59fc8-3b7b-4e0d-bbfb-9198430539b3/ASSET1
Volman, M., Van Eck, E., Heemskerk, I., & Kuiper, E. (2005). New technologies, new differences. Gender and ethnic differences in pupils’ use of ICT in primary and secondary education. Computers & Education, 45, 35–55.
36 Bijlagen
Bijlage 1: meetinstrument pilotversie
Vragenlijst Digitaal Burgerschap
Beste leerling,
Deze vragenlijst gaat over:
- Veiligheid en privacy op sociale media - Hoe je met elkaar omgaat op sociale media
- Het zoeken, delen en bespreken van informatie op internet
Er wordt gevraagd naar je mening en soms ook naar wat je weet. Je krijgt hier geen cijfer voor. Je antwoorden blijven geheim, ook voor je meester of juf en je ouders.
Je geeft antwoord door het rondje in te kleuren van het antwoord dat het best bij jou past of dat jij goed vindt. Je mag bij elke vraag maar één rondje inkleuren. Als je vindt dat je een verkeerd
antwoord hebt gegeven, zet je een duidelijk kruis door het verkeerde antwoord en kleur je het goede antwoord in, zo dus:
Bij sommige vragen moet je een antwoord kiezen dat het best bij jou past. Er wordt dan gevraagd hoe goed je ergens in bent. Je kleurt dan het bolletje van ‘heel goed’, ‘redelijk goed’, ‘niet zo goed’, ‘helemaal niet goed’ of ‘n.v.t.’. Dat betekent ‘niet van toepassing’ en daar kun je voor kiezen als je vindt dat de vraag niet over jou gaat. Bijvoorbeeld omdat de vraag gaat over het gebruiken van je mobiele telefoon en je helemaal geen mobiele telefoon hebt. Soms is de vraag of je het ergens mee eens bent. Je kunt dan kiezen uit ‘helemaal mee eens’, ‘een beetje mee eens’, ‘niet zo mee eens’, ‘helemaal niet mee eens’ of weer ‘n.v.t.’. Soms moet je bij een antwoord kiezen tussen ‘waar’ of ‘niet waar’ en soms zijn er drie antwoorden mogelijk, waarvan er eentje goed is.
Wat betekenen de woorden in deze vragenlijst?
In deze vragenlijst gaat het vaak over dezelfde woorden. Om te zorgen dat je alle vragen begrijpt, staat hieronder de betekenis van de belangrijkste woorden. Je mag natuurlijk ook altijd een vraag stellen als je iets niet begrijpt.
Sociale media: Allerlei digitale manieren om met elkaar te praten of foto’s en filmpjes te delen.
Voorbeelden zijn Facebook, Whatsapp, Snapchat, Instagram, Twitter en YouTube.
Anoniem: Zonder dat iemand weet wie je echt bent.
Je kunt nu beginnen met het invullen van de vragenlijst. Succes! Heel goed Redelijk goed Niet zo goed
Helemaal niet
goed n.v.t.
