6. Discussie
6.2. De ontwikkelde meetinstrumenten
Er zijn weinig gevalideerde meetinstrumenten om uitkomsten van projecten zoals ‘Oorlog in mijn buurt’ te meten(Van den Berge et al., 2014). In deze scriptie is een nieuw meetinstrument ontwikkeld en beoordeeld met een factoranalyse en betrouwbaarheidsanalyse. Om deze reden is een sterk punt van dit onderzoek gericht op de constructvaliditeit. Bij constructvaliditeit kijkt men in welke mate de geobserveerde variabelen de theoretische constructen meten. Hierbij kijkt men ook naar hoe de onderzoeker het construct
onderzoek zijn de inhoud van de vragenlijst en de manier van meten. Uit de factoranalyse en betrouwbaarheidsanalyse is een goede validiteit en betrouwbaarheid van het instrument gebleken. Deze nieuwe vragenlijst is dus een sterke basis en kan verder onderzocht en
verbeterd worden. Daarnaast is het een sterk punt dat de vragenlijst gebaseerd is op delen van bestaande vragenlijsten. De items bevatten de belangrijkste onderdelen van wat de literatuur noemt over een construct. Tevens bestaan de schalen uit minimaal vijf items, waardoor gekeken kan worden naar consistentie in de antwoorden. De items zijn door elkaar
weergegeven om te zorgen voor oplettendheid bij de leerlingen. Naast de vragenlijst hebben de leerlingen ook zelf de kans gekregen om aan te geven wat ze hebben geleerd of onthouden. Dit resulteerde in een uitgebreider beeld van de leeruitkomsten van een programma zoals ‘Oorlog in mijn buurt’.
Daarnaast is de manier van meten een kwaliteit van dit onderzoek, gericht op de externe validiteit. Externe validiteit is de mate waarin de resultaten van het onderzoek te generaliseren zijn naar de werkelijke populatie (Maruyama & Ryan, 2014). Kenmerken van de externe validiteit zijn gericht op de setting, de onderzoeker, de doelgroep, de volledigheid van beschrijvingen en de beschikbaarheid van het meetinstrument. De volgende sterke punten van dit onderzoek kunnen hierover genoemd worden: (1) de uitleg van het onderzoek is bij elke klas hetzelfde geweest, door dezelfde onderzoeker; (2) de doelgroep en de procedure zijn specifiek en uitgebreid beschreven, waardoor het onderzoek te repliceren is; (3) het
meetinstrument is beschikbaar voor derden, waardoor het meetinstrument voor anderen te gebruiken en nogmaals te onderzoeken is; (4) scholen uit verschillende steden hebben geparticipeerd, zoals Amsterdam, Bergen, Eindhoven en Wageningen. Dit laat een grote diversiteit aan verschillende soorten scholen zien. Zowel dorpse als grootstedelijke, kleine, grote, katholieke en openbare scholen. Er moet echter een kanttekening geplaatst worden bij de niet-selectieve steekproef, aangezien deelnemende scholen mogelijk andersoortige scholen zijn dan niet-deelnemende scholen.
6.3. Beperkingen
Dit onderzoek kent een aantal beperkingen. Ten eerste is het bij een niet-experimenteel onderzoek lastig om uitspraken over causaliteit te doen. Er is geen controlegroep onderzocht, waarbij de leerlingen het project ‘Oorlog in mijn buurt’ niet hebben gevolgd. Hierdoor zijn andere verklaringen voor de resultaten niet uit te sluiten, zoals verklaringen die te maken hebben met de persoonlijke omstandigheden of omgevingsinvloeden. Om deze invloeden zo veel mogelijk uit te sluiten zijn de leerkrachten gevraagd naar factoren die mogelijk van
invloed zijn geweest op de resultaten. Hieruit bleek dat bij school A een extra les over onderduiken gegeven is en bij school B zijn gesprekken geweest gericht op sociale
vaardigheden (waaronder inlevingsvermogen). Er zijn echter geen verschillen te zien tussen de drie scholen in deze scores op de eindmeting, maar het is niet geheel uit te sluiten dat de scores van de leerlingen hierdoor zijn beïnvloed.
Ten tweede kan het zijn dat de leerlingen sociaal wenselijke antwoorden hebben gegeven. Om dat proberen te voorkomen, is expliciet genoemd dat het onderzoek anoniem is en dat er geen goed of fout antwoord bestaat. Daarnaast is het mogelijk dat de bevraging alleen al de mening van de leerlingen beïnvloed heeft. De vragenlijst is onder schooltijd afgenomen, waardoor de leerlingen het gevoel kunnen krijgen dat ze moeten presteren. Hierdoor zouden ze mogelijk de stellingen allemaal positief kunnen benaderen. Dit is altijd een beperking van zelfrapportages, omdat dit niet altijd het juiste beeld schetst. Een
combinatie van zelfrapportages met interviews en eventueel observaties zou de validiteit verhogen.
Ten derde zijn er nog beperkingen van het meetinstrument te noemen. Zo is het een uitdaging om inlevingsvermogen met een vragenlijst te meten, zoals Endacott en Brooks (2018) stellen. Zij leggen uit dat historische empathie lastig te meten is. De redenen die zij daar voor noemen is onder andere dat veel factoren invloed kunnen hebben of dat het niet te meten is met een zelfrapportage, maar eerder met een reflectie of opdracht. Daarnaast behoeven de gebruikte items van de schaal inlevingsvermogen naar inschatting meer toelichting. Een voorbeeld is het item: ‘Ik begrijp waarom mensen in de Tweede
Wereldoorlog bepaalde keuzes maakten.’ Er is toelichting nodig om welke keuzes dit gaat, zoals Joden laten onderduiken of Duitsers helpen. Daarnaast gaat het in de stellingen van de schaal inlevingsvermogen over de begrippen ‘begrijpen’, ‘inbeelden’ en ‘voorstellen’, wat naar inschatting lastige begrippen zijn voor leerlingen. Er is in dit onderzoek besloten om deze items voor te lezen en mondeling toe te lichten, in plaats van op papier verder uit te werken. Wanneer dit onderzoek letterlijk herhaald wordt, zal dit ook gedaan moeten worden en dat is mogelijk niet in elk onderzoek haalbaar. Ook bij dit onderzoek was dit bij de
nameting niet bij elke klas haalbaar, omdat de nameting online afgenomen moest worden door COVID-19. Omdat het niet mondeling kon, is besloten om het bij de online nameting toch in de vragenlijst toe te lichten.
Daarnaast bleek tijdens de vragenlijst afname dat twee items uit de vragenlijst
taalkundig lastig te begrijpen waren voor de leerlingen; ‘Ik wil betrokken zijn bij mijn buurt’ en ‘Ik voel mij verbonden met de buurt’. Hierdoor kan het zijn dat leerlingen zich op deze
punten wel ontwikkeld hebben, maar dat dit door dergelijke onduidelijkheden niet gemeten is. Een groot aantal leerlingen vroegen tijdens het invullen wat ‘betrokken zijn’ en ‘verbonden voelen’ betekent. Deze begrippen behoeven dus meer toelichting. Tevens werden drie items regelmatig verkeerd geïnterpreteerd door de leerlingen. Ten eerste dachten de leerlingen regelmatig bij ‘Ik zou willen verhuizen uit deze buurt’ dat het willen wonen in een luxe villa een reden was om te willen verhuizen. Daar gaat het echter in deze context niet om. Ten tweede vullen leerlingen bij het item ‘Ik vind het leuk om te lezen over de geschiedenis van mijn buurt’ mogelijk hun antwoord negatief in wanneer ze niet van lezen houden, ondanks dat ze mogelijk geschiedenis wel leuk vinden. Deze misinterpretaties zouden verholpen kunnen worden met een communicatieve verduidelijking of herformulering van de items.
6.4. Implicaties en aanbevelingen
Dit resultaten van dit onderzoek hebben meerdere betekenissen voor de praktijk en wetenschap. Ten eerste zijn de implicaties gericht op het burgerschapsonderwijs. Uit dit onderzoek blijkt dat leerlingen die meededen aan ‘Oorlog in mijn buurt’, waarin ze een oudere interviewden over de Tweede Wereldoorlog, vooruit gingen op hun
inlevingsvermogen, interesse in de lokale geschiedenis, verbondenheid met hun buurt en communicatieve vaardigheden. Deze leeruitkomsten komen terug in het verplichte curriculum van burgerschapsonderwijs. Daarbij wordt bij ‘Oorlog in mijn buurt’ binnen en buiten de school aan deze doelen gewerkt. Concluderend kan gezegd worden dat dit onderzoek inzicht geeft in de maatschappelijke opbrengsten van een dergelijke vorm van burgerschapsonderwijs (oral history). Daarnaast heeft dit onderzoek een mogelijkheid in kaart gebracht voor het binnen- en buitenschools werken aan de burgerschapscompetenties. Hier was behoefte aan volgens het NRO (2016). Daarnaast is het belangrijk om deze competenties te kunnen meten (Van den Berge et al., 2014). Dit onderzoek geeft een aanvulling op de weinig toepasbare Nederlandse meetinstrumenten voor maatschappelijke en sociale competenties.
Ten tweede heeft dit onderzoek implicaties voor scholen. Zoals hierboven genoemd kan dat gericht zijn op burgerschapsonderwijs. Burgerschapsonderwijs wordt nog regelmatig gezien als een lastig in te vullen leerdomein (Vogelzang, 2020). De uitgebreide beschrijving van het project ‘Oorlog in mijn buurt’ kan leraren meer zicht geven op wat
burgerschapsonderwijs concreet inhoudt. Daarnaast zijn de resultaten van dit onderzoek veelbelovend op het gebied van historisch omgevingsonderwijs. Wanneer scholen weten dat een project zoals ‘Oorlog in mijn buurt’ bijdraagt aan zowel de doelen van
zijn om deel te nemen aan een dergelijk project. De belemmeringen voor het uitvoeren van omgevingsonderwijs die Declercq (2010) noemt, kunnen mogelijk weggenomen worden door organisaties zoals ‘In mijn buurt’.
De derde implicatie is gericht op organisaties die omgevingsonderwijs vormgeven. Aangezien leerkrachten moeite hebben met de invulling van zowel burgerschaps- als
omgevingsonderwijs, is er een mogelijkheid voor organisaties om hier hulp bij te bieden. Dit kan variëren van het werkelijk uitvoeren op een school tot lesmateriaal maken voor een specifieke school of omgeving of een website ontwikkelen voor leerkrachten. De organisaties kunnen een positieve werking hebben op de scholen om omgevingsonderwijs uit te voeren. Ze kunnen leerkrachten motiveren, stimuleren of helpen door ideeën te geven door verschillende mogelijkheden te laten zien. Bij ‘Oorlog in mijn buurt’ gaat dit specifiek over ouderen uit de omgeving die de oorlog hebben meegemaakt. In de nabije toekomst zal niemand meer aanwezig zijn om in gesprek te gaan met iemand die uit eigen ervaring kan vertellen over de Tweede Wereldoorlog. Dit maakt het belang alleen nog maar groter om nu dit soort
omgevingsonderwijsprojecten te doen. Daarnaast is het van belang omdat ‘Oorlog in mijn buurt’ een onderwijspakket is dat door veel scholen wordt gebruikt. Omdat veel scholen hier gebruik van maken, is het belangrijk om te onderzoeken in hoeverre de beoogde
doelstellingen worden behaald.
6.5. Vervolgonderzoek
Naar aanleiding van dit onderzoek zijn meerdere adviezen op te stellen voor
vervolgonderzoek. De eerste adviezen zijn gericht op het doen van meer onderzoek. Zo kan het bijvoorbeeld interessant zijn om dit onderzoek te repliceren. Door COVID-19 moest het onderzoek eerder gestopt worden, waardoor het grootste deel van de groep de nameting niet heeft kunnen invullen. Aangezien een kleine groep al veelbelovende resultaten laat zien, is het interessant om te kijken wat een grotere groep als resultaat geeft. Daarbij kan het nuttig zijn om een controlegroep in het onderzoek mee te nemen om eventuele alternatieve verklaringen zo veel mogelijk uit te sluiten. Deze controlegroep volgt niet het project, maar vult wel in hetzelfde tijdsbestek twee keer de vragenlijst in.
Ook qua inhoud van het onderzoek zijn nog meer mogelijkheden. Er kan bijvoorbeeld een vergelijking met andere soortgelijke programma’s gedaan worden, om te kijken of daar verschillen en/of overeenkomsten in te vinden zijn. Het meten van lange termijn effecten kan tevens een aanvulling zijn, waarbij gekeken wordt wat de leerlingen na vijf jaar nog
suggestie is het onderzoeken van omgevingsonderwijs of oral history in een andere context. Dit onderzoek had alleen betrekking op de Tweede Wereldoorlog. Dat zegt nog niet dat met een ander onderwerp dezelfde resultaten gevonden zullen worden.
De volgende adviezen zijn gericht op de manier van meten. Ten eerste is het van belang om het meetinstrument verder te ontwikkelen. Uit de analyses blijkt het een valide en betrouwbaar meetinstrument te zijn, maar toch zijn er nog regelmatig misinterpretaties bij de leerlingen. Deze items kunnen ter verduidelijking herschreven of explicieter uitgelegd worden. Na deze herziening zal dan opnieuw het validiteits- en betrouwbaarheidsonderzoek gedaan moeten worden. Het laatste advies is om de zelfrapportages aan te vullen met observaties, focusgroepen en/of interviews. Op deze manier kan een breder beeld gecreëerd worden van de opbrengsten van een programma als ‘Oorlog in mijn buurt’. Zo gaven de antwoorden van de leerlingen op de open vraag al extra inzichten, maar toonden ze tevens aan dat een verdere toelichting interessant zou zijn.
5. Conclusie
Het doel van dit kwantitatieve evaluatieonderzoek was om te kijken of de beoogde doelstellingen van het historisch omgevingsonderwijsprogramma ‘Oorlog in mijn buurt’ behaald worden. ‘Oorlog in mijn buurt’ is een project voor basisschoolleerlingen van groep 7 en 8, waarbij het interviewen van een oudere uit de buurt over de Tweede Wereldoorlog centraal staat. Deze manier van werken wordt oral history genoemd. Door oral history werken leerlingen aan een aantal doelen van burgerschapsonderwijs, zowel binnen als buiten de school. Voor dit onderzoek is een Nederlandse vragenlijst ontworpen, door gebruik te maken van bestaande vragenlijsten. Uit de betrouwbaarheidsanalyse en factoranalyse bleek dit een goed meetinstrument te zijn en daarbij een aanvulling op het beperkte aantal
meetinstrumenten voor dit soort constructen. Door middel van een vragenlijstonderzoek is gepoogd om de volgende onderzoeksvraag te beantwoorden: ‘In hoeverre draagt deelname
aan het omgevingsonderwijsproject ‘Oorlog in mijn buurt’ (waarin leerlingen ouderen uit de buurt interviewen over het verleden) bij aan de communicatieve vaardigheden, gevoel van interesse in en verbondenheid met de buurt en het inlevingsvermogen van de leerlingen?’
Op de voormeting scoorden de leerlingen al redelijk op de bovenstaande
leeruitkomsten. De leerlingen ontwikkelen zich vrij sterk op inlevingsvermogen en een klein beetje op het gevoel van verbondenheid met de buurt en communicatieve vaardigheden. Ten aanzien van de interesse in de lokale geschiedenis vindt er nauwelijks verandering plaats. Als aanvulling is een exploratieve analyse gedaan. Hieruit blijkt een verschil in beginsituatie van
de leerlingen tussen scholen en tussen sekse. Dit is een resultaat waar ontwerpers of uitvoerders van het project rekening mee zouden kunnen houden. Op de vraag wat de leerlingen geleerd hebben van het project, worden vooral antwoorden gegeven die te maken hebben met inlevingsvermogen en de verworven kennis over de (lokale) geschiedenis.
Concluderend zijn dit veelbelovende resultaten voor projecten zoals ‘Oorlog in mijn buurt’ en voor het burgerschaps- en historisch omgevingsonderwijs. Aangezien in de nabije toekomst niemand meer in een gesprek kan vertellen over zijn/haar ervaringen de Tweede
Wereldoorlog, is het belang groot om dit soort omgevingsonderwijs projecten met oral history aan te bieden. Op deze manier kunnen leerlingen dienen als overdragers van ons culturele erfgoed.
Literatuurlijst
Adams. J. D. (2013). Theorizing a sense of place in a transnational community. Children,
Youth and Environments, 23(3), 43-65.
Bandura, A. (1986). Social foundations of thought and action: A social cognitive theory. Englewood Cliffs, NJ: Prentice- Hall, Inc.
Banks, J. A. (2004). Diversity and citizenship education. San Francisco, CA: Yossey-Bass. Blevins, B., LeCompte, K., & Wells, S. (2017). Innovations in Civic Education: Developing
Civic Agency Through Action Civics. Theory & Research in Social Education, 44(3), 344-384.
Bosschaart, A. (2009). De eigen omgeving en veldwerk. In Van den Berg, G. (Red.),
Handboek vakdidactiek aardrijkskunde (pp. 233-269). Enschede, Nederland: Ipskamp
Drukkers BV.
Bronkhorst, L. H., & Akkerman, S.F. (2016). At the boundary of school: Continuity and discontinuity in learning across contexts. Educational Research Review 16, 18-35. Busby, R. S. (2018). Learning through doing: Preservice teacher training in historical inquiry
through oral history projects. The Oral history Review, 38(1), 175-184.
Caldarella, P., & Merrell, K. W. (1997). Common dimensions of social skills of children and adolescents: A taxonomy of positive behaviors. School Psychology Review, 26, 265- 279.
Cleaver, E., Ireland, E., Kerr, D., & Lopes, J. (2005). Citizenship Education Longitudinal
Study. Second cross-sectional survey 2004. Listening to young people: Citizenship education in England. DfES research report 626. London, UK: DfES.
Curriculum.nu. (2019). Leergebied Burgerschap. Voorstel voor de basis van de herziening van de kerndoelen en eindtermen van de leraren en schoolleiders uit het
ontwikkelteam Burgerschap. Geraadpleegd op 16 januari 2020, van
file:///C:/Users/Asus/Downloads/leergebied-burgerschap.pdf.
D’Adamo, L., & Fallace, T. (2011). The multigenre Research Project: An approach to developing historical empathy. Social Studies Research and Practice, 6(1).
Dan, Y., Wei, T., & Zhao, W. (2013). Evaluation of history interest inventory – development and evaluation of a history interest inventory for Chinese K-12 students. Journal of
International Social Studies, 3(2), 71-86.
Daniels, H. (2001). Vygotsky and pedagogy. London, UK: Routledge Falmer. De Bakker, L. (2015). De invloed van erfgoededucatie en herinneringscultuur op de
historische beeldvorming van Amsterdamse basisschoolleerlingen (Masterscriptie).
De Bruin, R., & Bosua, M. (2013). Geschiedenis geven. Praktische vakdidactiek voor het
basisonderwijs. (3e ed.). Assen, Nederland: Koninklijke van Gorcum BV.
Dere, I. (2019). Viewpoints of social studies teachers about oral history method. Review of
International Geographical Education Online, 9(1), 171-192.
Declerq, E. (2010). Belemmeringen voor omgevingsonderwijs. Geraadpleegd op 20 januari 2020, van http://www.omgevingsonderwijs.be
Drenth, P. J. D., & Sijtsma, K. (2006). Testtheorie: Inleiding in de theorie van de
psychologische test en zijn toepassingen. (4e ed.). Houten, Nederland: Bohn, Stafleu,
van Loghum.
Edwards, C. (2006). Putting life into history: How pupils can use oral history to become critical historians. The Historical Association, 123, 21-25.
Endacott, J. L. (2013). Reconsidering Affective Engagement in Historical Empathy. Theory &
Research in Social Education, 38(1), 6-47.
Endacott, J. L., & Brooks, S. (2018). Historical empathy: Perspectives and responding to the past. In Metzger, S. A., & Harris, L. M. (Reds.), The wiley international handbook of
history teaching and learning (pp. 203-221). United States of America: John Wiley &
Sons, Inc.
Endacott, J. L., & Pelekanos, C. (2015). Slaves, women, and war! Engaging middle school students in historical empathy for enduring understanding. The Social Studies, 106(1), 1-7.
Esposito, L. (2012). Where to begin? Using place-based writing to connect students with their local communities. The English Journal, 101(4), 70-76.
Eurydice (2017). Citizenship Education at School in Europe 2017. Eurydice Report.
Luxembourg: Publications Office of the European Union. Geraadpleegd op 3 januari 2020, van https://op.europa.eu/en/publication-detail/-/publication/83c330f0-c847-
11e7-9b01-01aa75ed71a1/language-nl/format-PDF.
Ford, E. (2016). Bringing town and gown together: Using local history to engage students and create collaborative partnerships. Journal of Museum Education, 41(4), 262-274. Geboers, E., Geijsel, F., Admiraal, W., & Ten Dam, G. (2013). Review of the effects of
citizenship education. Educational Research Review 9, 158-173.
Greene, J. P., Kisida, B., & Bowen, D. H. (2014). The educational value of fieldtrips.
Education Next, 14(1), 78-86.
Grever, M., & van Boxtel, C. (2014). Verlangen naar tastbaar verleden. Erfgoed, onderwijs
en historisch besef. Hilversum, Nederland: Uitgeverij Verloren BV.
Gruenewald, D. A., Koppelman, N., & Elam, A. (2007). "Our place in history": Inspiring place-based social history in schools and communities. The Journal of Museum
Education, 32(3), 233-242.
Harris, R., & Foreman-Peck, L. (2004). ‘Stepping into other peoples’ shoes’: Teaching and assessing empathy in the secondary history curriculum. International Journal of
Historical Learning, Teaching and Research, 4(2), 1-14.
Hernandez, B., Hidalgo, M. C., Salazar-Laplace, E., & Hess, S. (2007). Place attachment and place identity in natives and non-natives. Journal of Environmental Psychology, 27, 310-319.
Hülsken, M. (2018). Onderwijsvernieuwers van lerarenopleiding Geschiedenis en ALPO
winnen Comeniusbeurs. Kenniscentrum Kwaliteit van leren. Hogeschool van Arnhem
en Nijmegen. Geraadpleegd op 20 januari 2020, van
https://www.han.nl/onderzoek/nieuws/onderwijsvernieuwers-van-/.
Hulstijn, E. M., Boomsma, A., Cohen-Kettenis, P. T., & Mellenbergh, G. J. (2008). De vragenlijst sociale vaardigheden van jongeren. Tijdschrift voor orthopedagogiek, 47, 460-470.
Hunner, J. (2011). Historic environment education: Using nearby history in classrooms and museums. The Public Historian, 33(1), 33-43.
International Civic and Citizenship Education Study. (2009). International report: Civic
knowledge, attitudes and engagement among lower-secondary school students in 38 countries. IEA. Amsterdam, Nederland: Multicopy Netherlands BV.
International Civic and Citizenship Education Study. (2016). International report: Becoming
citizens in a changing world. Springer Open.
Isac, M. M., Maslowski, R., Creemers, B., & Van der Werf, G. (2013). The contribution of schooling to secondary-school students’ citizenship outcomes across countries. School effectiveness and school improvement. An International Journal of Research, Policy
and Practice, 25, 29-63.
Lewicka, M. (2008). Place attachment, place identity, and place memory: Restoring the forgotten city past. Journal of Environmental Psychology, 28, 209-231.
Lindeman, H., & Van Woudenberg, H. (2011). Verbinden van buitenschools leren met
binnenschools leren. Utrecht, Nederland: APS.
Maruyama, G., & Ryan, C. S. (2014). Research methods in social relations (8e ed.). Londen, UK: Wiley Blackwell.
Merrell, K.W., & Gimpel, G.A. (1998). Social skills of children and adolescents:
Conceptualization, assessment, treatment. Mahwah, NJ: Erlbaum.
NRO. (2016). Met onderzoek onderwijs vernieuwen. Programma Nationaal Regieorgaan
Onderwijsonderzoek 2016-2019. Den Haag. Geraadpleegd op 10 januari 2020, van