Cross-culturele testadaptatie van de teachers’ sense of efficacy scale aan de Malawiaanse onderwijscontext

(1)

Running head: CROSS-CULTURELE TESTADAPTATIE VAN DE TEACHERS’ SENSE OF EFFICACY SCALE

Cross-culturele testadaptatie van de Teachers’ Sense of Efficacy Scale

aan de Malawiaanse onderwijscontext

Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam D. Franke – van Ham, 0547336 Begeleiding: dr. T. Jaarsma/mw. dr. E.J. Kuiper Tweede beoordelaar: mw. prof. dr. M.L.L. Volman

(2)

Cross-culturele testadaptatie van de Teachers’ Sense of Efficacy Scale

aan de Malawiaanse onderwijscontext

Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam D. Franke – van Ham, 0547336 Begeleiding: dr. T. Jaarsma/mw. dr. E.J. Kuiper Tweede beoordelaar: mw. prof. dr. M.L.L. Volman

(3)

Running head: CROSS-CULTURELE TESTADAPTATIE VAN DE TEACHERS’ SENSE OF EFFICACY SCALE Inhoudsopgave Abstract ... 4 1. Inleiding ... 5 2. Theoretisch kader ... 7 2.1. Teachers’ self-efficacy ... 7

2.2. Teachers’ self efficacy als universeel construct ... 7

2.3. Cross-culturele testadaptatie... 8

2.3.1 Bias ... 8

2.3.2 Procedure voor cross-culturele testadaptatie ... 10

3. Context ... 12

3.1. De Malawiaanse onderwijscontext ... 12

3.2. Het World Teacher Program in Malawi ... 13

4. Methode ... 14 4.1. Deelnemers ... 14 4.2. Materialen ... 14 4.3. Procedure ... 16 4.4. Analyse ... 17 5. Resultaten ... 19 5.1 Methode bias ... 19 5.2 Item bias ... 19 5.3 Aanpassingen in de TSES ... 21 6. Conclusie en discussie ... 24 Literatuur ... 27 Bijlage A: Vragenlijst ... 30 Bijlage B: Interviewleidraad ... 32

Bijlage C: Analyse Interviews ... 33

(4)

Cross-cultural test adaptation of the Teachers' Sense of Efficacy Scale to the Malawian educational context

Abstract

Good educational research in developing countries is difficult because most research instruments have not been developed for use in other than Western educational contexts. Validation of such instruments is therefore necessary. Cross-cultural test adaptation is a way of minimizing cultural bias in research instruments. Using a cross-cultural test adaptation procedure, an existing questionnaire, the Teachers' Sense of Efficacy Scale (TSES), was adapted to the Malawian educational context. This questionnaire measures the degree of self-efficacy among teachers. Interviews were conducted with nine Malawian teachers and a Malawian education expert to obtain more substantive information about the

interpretation of the various items. Two forms of bias in the TSES were found, method bias and item bias. Based on these results, changes in the TSES are suggested for use in the Malawian educational context.

(5)

1. Inleiding

Wereldwijd leren 260 miljoen kinderen door gebrekkig onderwijs nooit lezen en schrijven (UNESCO Institute for Statistics, 2017). Waar in Westerse landen de focus binnen het onderwijs al langere tijd op de kwaliteitsverbetering van het onderwijs ligt, lag de focus in Afrikaanse ontwikkelingslanden de afgelopen decennia vooral op de bereikbaarheid en toegankelijkheid van het onderwijs (Aikman, 2011). Kinderen die niet naar school gaan bereiken immers zelden of nooit de minimumvaardigheden voor rekenen en lezen. Desondanks bereikt tweederde van de kinderen die wel naar school gaan na vijf jaar de minimumvaardigheden ook niet (UNESCO Institute for Statistics, 2017). Er zijn steeds meer

Afrikaanse overheden die de ernst van dit probleem inzien en kwaliteitsverbetering van het onderwijs als doel stellen van onderwijshervormingen (Hamano, 2011). Non-gouvernementele organisaties (NGO’s) werken onder andere in Malawi samen met de overheid om de kwaliteit van het onderwijs te verbeteren. Dit kan door bijvoorbeeld het uitbreiden van financiële middelen of door het inzetten van interventies. De effectiviteit van deze interventies is soms echter moeilijk te onderzoeken vanwege onder meer het gebrek aan bij de Malawiaanse context passende meetinstrumenten. Het doel van deze studie is het aan de Malawiaanse context aanpassen van een bestaand meetinstrument zodat dit in de toekomst kan worden gebruikt om het effect van een dergelijke interventie te kunnen evalueren.

Uit diverse onderzoeken is gebleken dat de kwaliteit van het onderwijs mede afhangt van de kwaliteit van de leerkrachten (Korthagen, 2004; Hardman, Ackers, Abrishamian & O’Sullivan, 2011). Verschillende NGO’s verlenen in Malawi dan ook hulp door in te zetten op de professionalisering van lokale leerkrachten. Een voorbeeld hiervan is het World Teacher Program (WTP) van Edukans. Edukans is een professionele NGO die zich richt op de kwaliteitsverbetering van het onderwijs in

ontwikkelingslanden. Het WTP vormt daarbinnen een platform voor het uitwisselen van expertise tussen de Nederlandse en lokale deelnemers. Het WTP van Edukans biedt zo de mogelijkheid voor zowel Nederlandse leerkrachten als leerkrachten uit ontwikkelingslanden om door middel van een

intercultureel programma aan hun professionalisering te werken. Edukans beoogt hiermee de leerkrachtkwaliteit van alle deelnemers te bevorderen (Edukans, 2017). Het WTP in Malawi is een voorbeeld van hulpverlening door een NGO waarbij samen met de lokale overheid aan

kwaliteitsverbetering van het onderwijs wordt gewerkt.

Professionaliseringsprogramma’s voor leerkrachten zijn vaak onderwerp van evaluatieonderzoek (Korthagen, 2004; Mazur & Woodland, 2017). Er is echter nog weinig bekend over de effectiviteit van interculturele professionaliseringsprogramma’s zoals het WTP (Hardman et al. 2011). Onderzoek

(6)

bijna volledig gedecentraliseerd zijn, afkomstig zijn uit zowel de publieke als de private sector en

geografisch verspreid zijn over universiteiten, NGO’s en centra over de hele wereld (Mazur & Woodland, 2017). Naast praktische problemen zijn er ook methodologische problemen bij het meten van de

effectiviteit van interculturele professionaliseringsprogramma’s. Zo is het overgrote deel van de gestandaardiseerde meetinstrumenten ontwikkeld en gestandaardiseerd in een gelimiteerd

demografisch en geografisch gebied, namelijk in Noord-Amerika en Europa. Als gevolg hiervan kunnen deze tests ongeschikt zijn om te gebruiken bij andere onderzoeksgroepen (Abubakar, 2015). Culturele invloeden kunnen namelijk leiden tot verschillende vormen van bias bij onderzoeken die gebruik maken van onderzoeksinstrumenten die niet gevalideerd zijn in de culturele context waarin ze worden ingezet (Van de Vijver & Hambleton, 1996; Van de Vijver & Tanzer, 2004). In dit scriptieonderzoek zal daarom een bestaand meetinstrument dat gebruikt wordt voor de evaluatie van de effectiviteit van het WTP worden gevalideerd voor de Malawiaanse onderwijscontext met als doel de kans op bias zoveel mogelijk te beperken. Dit instrument, de Teachers’ Sense of Efficacy Scale (TSES), meet de self-efficacy van leraren.

Self-efficacy is een persoonlijke overtuiging die iemand heeft van de eigen bekwaamheid om taken uit te voeren, passend bij een bepaald kwaliteitsniveau (Bandura, 1977). In het geval van self-efficacy bij leerkrachten gaat het om de individuele overtuigingen van de leerkracht ten aanzien van zijn of haar mogelijkheden om specifieke onderwijstaken uit te voeren in een specifieke situatie (Tschannen-Moran & Hoy, 2001). Dit vertrouwen in de eigen bekwaamheid heeft een positieve invloed op het

leerkrachtgedrag en daarmee op de kwaliteit van het gegeven onderwijs (Dellinger, Bobbett, Olivier & Ellett, 2008). Gezien de relatie tussen teachers’ self-efficacy en het leerkrachtgedrag en daarmee de leerkrachtkwaliteit, is dit construct door Edukans gekozen om de effectiviteit van het WTP te meten. Dit onderzoek wil een bijdrage leveren aan een valide onderzoeksinstrumentarium om self-efficacy cross-cultureel te meten. Hierbij wordt gebruik gemaakt van een procedure voor cross-culturele testadaptatie die niet eerder is toegepast op de TSES.

De onderzoeksvragen vloeien hieruit voort: In hoeverre is er sprake van bias bij de Teachers’ Sense of Efficacy Scale en zo ja van welke vormen? Hoe kan de Teachers’ Sense of Efficacy Scale aan de hand van cross-culturele testadaptatie worden aangepast aan de Malawiaanse onderwijscontext?

(7)

2. Theoretisch kader

In dit theoretisch kader worden de centrale concepten van het onderzoek toegelicht. Dit zijn achtereenvolgens: teachers’ self-efficacy (2.1), teachers’ self-efficacy als universeel construct (2.2) en cross-culturele testadaptatie (2.3).

2.1. Teachers’ self-efficacy

Het geloof in het ‘eigen kunnen en zijn’ van de leerkracht is een belangrijk element van

leerkrachtkwaliteit (Tschannen-Moran & Hoy, 2001). De door leerkrachten ervaren eigen competentie heeft namelijk een positieve invloed op het leerkrachtgedrag en daarmee op de kwaliteit van het door hen gegeven onderwijs (Thoonen, Sleegers, Oort, Peetsma, & Geijsel, 2011). Het complexe proces van zelfovertuiging dat in hoge mate beïnvloedt hoe mensen denken, zich voelen, zich motiveren en gedragen wordt self-efficacy genoemd (Bandura, 1977).

Uit onderzoek blijkt dat teachers’ self-efficacy, de persoonlijke overtuiging van leraren dat ze bekwaam zijn om het leren van leerlingen te bevorderen, bepalend is voor hun gedrag in de klas en invloed heeft op hun inzet en gestelde doelen (Dellinger et al., 2008, Tschannen-Moran & Hoy, 2001; Schunk & Zimmerman, 2007). Het ervaren van een hoge mate van teachers’ self-efficacy heeft een positieve invloed op de doelen die leerkrachten zichzelf stellen en op de toewijding aan de

verwezenlijking van deze doelen. Zo is er sprake van een positief verband tussen een hoge mate van teachers’ self-efficacy en het gebruik van positieve feedback en individuele aandacht voor leerlingen (Caprara, Barbaranelli, Steca & Malone, 2006). Daarnaast gaan leerkrachten met een hoge mate van teachers’ self-efficacy eerder uitdagende onderwijssituaties aan en besteden ze veel aandacht aan leerlingen met leermoeilijkheden en het ontwikkelen van lesmaterialen (Tschannen-Moran & Hoy, 2006; Wake & Kitsantas, 2007). Ook toont onderzoek aan dat er een positief verband is tussen een hoge mate van teachers’ self-efficacy en de motivatie en prestaties van leerlingen en op de ontwikkeling van onderwijsinnovaties (Klassen & Tze, 2014).

2.2. Teachers’ self-efficacy als universeel construct

Onderzoek heeft self-efficacy geconceptualiseerd als een generiek gevoel dat refereert naar het vertrouwen dat men heeft in zijn eigen capaciteit om om te gaan met een variatie van verschillende nieuwe dan wel veeleisende situaties (Sherer et al., 1982). Generieke self-efficacy wordt ook wel omschreven als een breed en stabiel gevoel van persoonlijke competentie om effectief om te gaan met

(8)

construct is dat in verschillende culturen op eenzelfde manier wordt ervaren en geïnterpreteerd (Scholz, Doña, Sud & Schwarzer, 2002; Schwarzer et al., 1997).

De meest alomvattende studie op dit gebied is de studie van Scholz et al. (2002) die aantoont dat self-efficacy zowel een een-dimensionaal als universeel construct is. Als er onderzoek wordt gedaan naar de universaliteit van een construct over verschillende landen en culturen moet er met meerdere

factoren rekening gehouden worden. Zo moet het gebruikte meetinstrument passend worden vertaald en cross-cultureel worden aangepast aan de diverse culturen. Bovendien is het belangrijk dat de vragenlijst dezelfde structuur heeft over alle culturen heen. Voor dit onderzoek hebben 19.120 deelnemers uit 25 verschillende landen de General Self-Efficacy Scale (Schwarzer & Jerusalem, 1995) ingevuld en zijn de uitkomsten met elkaar vergeleken. Hieruit blijkt dat self-efficacy een

leeftijdsonafhankelijk construct is. Een two-way variantie analyse uitgevoerd op land en professie verklaart eveneens slechts 0.6% van de variantie (Scholz et al., 2002). De conclusie van de studie van Scholz et al. (2002) is dat self-efficacy betrouwbaar, eendimensionaal en homogeen is binnen alle 25 onderzochte landen, waarmee de universele eigenschap van dit construct bewezen wordt.

2.3. Cross-culturele testadaptatie

In het kader van onderzoek naar de effectiviteit van het WTP in Malawi wordt de ontwikkeling van teachers’ self-efficacy gemeten. Daarvoor wordt een bestaande vragenlijst gebruikt, de Teachers’ Sense of Efficacy Scale (Tschannen-Moran & Hoy, 2001). Deze vragenlijst is zoals eerder is benoemd

ontwikkeld in Amerika en West-Europa. Met het oog op het belang van een cultureel-sensitief onderzoeksinstrument is het noodzakelijk om deze vragenlijst te valideren voor de Malawiaanse onderwijscontext. Daarvoor kan een procedure voor cross-culturele testadaptatie worden gebruikt. Daarbij is het belangrijk om, naast een passende vertaling van het instrument, ook culturele aspecten ten aanzien van het invullen van een vragenlijst in overweging te nemen om de kans op bias zoveel mogelijk te beperken.

2.3.1 Bias

De International Test Commission, een vereniging van nationale organisaties die zich inzetten voor het bevorderen van effectief test- en beoordelingsbeleid en voor de juiste ontwikkeling, evaluatie en gebruik van educatieve en psychologische instrumenten, is in 1992 begonnen met het opstellen van richtlijnen ten aanzien van cross-culturele testadaptatie (He & Van de Vijver, 2012). Veel tests werden destijds namelijk enkel vertaald toegepast wat kon leiden tot foutieve afnamen en foutieve

(9)

interpretaties van diverse psychologische meetinstrumenten. Dit gebeurde bijvoorbeeld bij tests waarbij de items woorden of opdrachten bevatten die niet bekend waren of toegepast konden worden in andere culturen dan de Westerse cultuur. De internationaal geldende richtlijnen hebben als doel om de kans op bias waarvan sprake kan zijn in een instrument zoveel mogelijk te beperken en hiermee

rekening te houden bij testadaptatie (He & Van de Vijver, 2012). Bias treedt op wanneer

scoreverschillen op de indicatoren van een bepaald construct niet overeenkomen met verschillen in de onderliggende eigenschap (Van de Vijver & Tanzer, 2004). Er bestaat bij cross-culturele adaptatie kans op drie typen bias, afhankelijk van het theoretische construct, het meetinstrument of specifieke items. Deze typen worden construct bias, methode bias en item bias genoemd (Van de Vijver & Leung, 1997; Van de Vijver & Tanzer, 2004).

Construct bias geeft aan dat het gemeten construct niet binnen elke cultuur identiek is. Dit kan

voorkomen wanneer er slechts een gedeeltelijke overlap is in de definitie van het construct over verschillende culturen of wanneer niet alle relevante gedragingen die verband houden met het construct aanwezig zijn in elke cultuur (Van de Vijver & Poortinga, 1997). In dit onderzoek wordt het construct self-efficacy gemeten. Uit eerdere onderzoeken is gebleken dat self-efficacy een universeel construct is (Scholz et al., 2002; Schwarzer et al., 1997) dat in verschillende culturen op eenzelfde manier wordt ervaren en geïnterpreteerd. Dit maakt dat de verwachting is dat construct bias niet zal worden aangetroffen in de vragenlijst die getest wordt in dit onderzoek.

Methode bias is een generieke term voor bias die ontstaat door steekproefselectie (sample bias),

structurele kenmerken van het meetinstrument (instrument bias) of door toepassingsproblemen (administration bias) (He & Van de Vijver, 2012). Sample bias resulteert uit de onvergelijkbaarheid van samples als gevolg van cross-culturele variatie in steekproefkenmerken die van invloed kunnen zijn op de testuitslagen, zoals bijvoorbeeld variaties tussen een stedelijke of landelijke context of een verschil in de mate van alfabetisering. Instrument bias ontstaat door kenmerken van het meetinstrument die een

bepaalde responsestijl oproepen. Mensen met verschillende culturele achtergronden reageren mogelijkerwijs verschillend op een vragenlijst, bijvoorbeeld bij het beantwoorden van een vragenlijst aan de hand van een Likertschaal (Hui & Triandis, 1989; Weijters, Cabooter, & Schillewaert, 2010). Zo hebben studies aangetoond dat mensen met een lage sociaaleconomische status uit collectivistische culturen zichzelf hoger inschalen en eerder een positief antwoord geven op een item (Harzing, 2006).

Administration bias kan veroorzaakt worden door verschillen in afnameomstandigheden, dubbelzinnige

(10)

Vijver, 2012). De verwachting is dat alle drie de vormen van methode bias mogelijkerwijs worden aangetroffen.

Item bias ontstaat als een bepaald item verschillende betekenissen heeft in verschillende culturen.

Met andere woorden, een item van een schaal veroorzaakt bias als personen met dezelfde eigenschap, maar afkomstig uit verschillende culturen, het item verschillend interpreteren (Van de Vijver & Leung, 1997). Item bias kan ontstaan door een slechte vertaling, door niet-toepasbaarheid van de inhoud van de items in verschillende culturen, of door items die woorden met verschillende betekenissen bevatten (He & Van de Vijver, 2012). De verwachting is dat ook deze vorm van bias mogelijkerwijs zal worden aangetroffen.

2.3.2 Procedure voor cross-culturele testadaptatie

De richtlijnen zoals deze door de International Test Commission (2017) zijn opgesteld bevelen geen specifieke procedure aan voor cross-culturele testadaptaties, omdat psychometrische methoden altijd in ontwikkeling zijn. Om de eventuele aanwezigheid van de verschillende typen bias toch te kunnen onderscheiden is in dit onderzoek de procedure voor cross-culturele testadaptatie, beschreven door Abubakar (2015), gevolgd. Er is voor deze procedure gekozen aangezien deze onder andere gebaseerd is op veldwerk uitgevoerd in Afrika (Holding, Abubakar & Wekulo-Kitsao, 2008) en daarom goed aansluit bij de huidige onderzoekscontext van Malawi. In de procedure worden vier fases voor cross-culturele testadaptatie omschreven, namelijk construct clarification, item development, scale development en test

evaluation (Abubakar, 2015). Elke fase zal hieronder worden omschreven.

De eerste fase, construct clarification, heeft als doel om het te meten construct duidelijk te definiëren en te bepalen hoe dit construct het beste gemeten kan worden. Hierbij kan ervoor worden gekozen om een nieuwe vragenlijst te ontwerpen of een bestaande vragenlijst aan te passen aan de te onderzoeken context. Vervolgens is het is deze fase belangrijk om met lokale experts in gesprek te gaan door middel van bijvoorbeeld focus groep discussies of interviews over het construct en de vragenlijst om de aanwezigheid van verschillende typen bias te kunnen onderscheiden. In de tweede fase, item

development, worden de verschillende items van de vragenlijst opgesteld die uiteindelijk de definitieve

vragenlijst zullen vormen. Daarbij wordt gebruik gemaakt van de informatie die is verzameld in de eerste fase. Indien nodig moeten de items worden vertaald. De formulering van de items moet ook zorgvuldig worden bekeken. Hoe eenvoudiger een item, hoe waarschijnlijker het is dat deze goed functioneert, vooral in populaties met een lage graad van alfabetisering of die onbekend zijn met het afnemen van tests. Bij scale development, de derde fase van cross-culturele testadaptatie, wordt de gehele vragenlijst

(11)

opgesteld inclusief score- en afnameprocedures. Bij de omschrijving van de manier van afname moet rekening worden gehouden met de lokale context en hoe deze van invloed kan zijn op de afname. De vierde en laatste fase, test evaluation, heeft als doel om de aangepaste vragenlijst uit te proberen en te evalueren en eventueel nogmaals bij te stellen alvorens deze definitief te maken.

(12)

3. Context 3.1. De Malawiaanse onderwijscontext

Zowel het neoliberalisme als de Britse kolonisatie van Malawi hebben hun weerslag gehad op de kwaliteit van het onderwijs in Malawi. Het neoliberalisme is van grote invloed op het Malawiaanse onderwijssysteem (Carlson, 2014). Neoliberalisme is een politieke ideologie die dominant werd in de late jaren tachtig tot begin jaren negentig en gericht is op het verminderen van overheidsinterventie in de economie (Harvey, 2005). Binnen het neoliberalisme wordt marktwerking gezien als een oplossing voor economische groei en het bereiken van sociale gelijkheid. In veel Afrikaanse landen hebben Westerse landen, met name de Verenigde Staten en Groot-Brittannië, de ideologie van het

neoliberalisme opgelegd door in ruil voor financiële hulp ontwikkelingsprogramma’s te implementeren die gebaseerd zijn op neoliberale oplossingen voor economische en politieke problemen (Rutkowski, 2008). Op die manier hebben internationale organisaties en meer specifiek intergouvernementele organisaties een belangrijke rol gespeeld in het onderwijsbeleid op nationaal niveau in onder meer Malawi. Het onderwijs is een gebied dat sterk wordt beïnvloed door neoliberale ideeën, omdat het vooral de rol van de overheid is om onderwijs te bieden (Rutkowski, 2008). De aanwezigheid van het neoliberalisme is onder andere te merken aan het minimale aanbod van

professionaliserings-programma’s voor leerkrachten door onvoldoende financiering door de overheid. Als gevolg hiervan geven Malawiaanse leerkrachten aan dat ze onvoldoende professionalisering ontvangen (Kadzamira, 2006).

Daarnaast is het Malawiaanse onderwijs ook sterk beïnvloed door de Britse kolonisatie (World Bank, 2010). Tijdens de kolonisatie was het doel van het oprichten van scholen onder andere het verspreiden van het Christendom. Met de onafhankelijkheid van Malawi in 1964 werd het Britse onderwijssysteem voortgezet. In 1994 werd in Malawi gratis basisonderwijs geïntroduceerd om zo de toegankelijkheid van het onderwijs te stimuleren. In het eerste jaar na deze beleidswijziging verdrievoudigden de

basisschoolinschrijvingen waardoor er een nationaal tekort aan klaslokalen en gekwalificeerde leraren ontstond dat nog altijd niet is aangevuld (Ravishankar, El-Kogali, Sankar, Tanaka, & Rakoto-Tiana, 2016). Verschillende onderzoeken tonen aan dat hoewel meer leerlingen nu toegang hebben tot het

basisonderwijs in Malawi, de kwaliteit van het onderwijs is afgenomen ten opzichte van voor de introductie van het gratis basisonderwijs (Chimombo, 2005; World Bank, 2010).

(13)

3.2. Het World Teacher Program in Malawi

Vanwege het gebrek aan kwalitatief goede leerkrachten is de professionalisering van leerkrachten en daarmee de kwaliteitsverbetering van het onderwijs tegenwoordig een belangrijk doel van de onderwijshervormingen in Malawi (Hamano, 2011). De Malawiaanse overheid werkt hiervoor samen met verschillende NGO’s, waaronder Edukans. Om te investeren in de professionalisering van

leerkrachten heeft Edukans het World Teacher Program (WTP) opgezet. Het WTP is een langetermijn-uitwisselingsprogramma voor (aankomende) onderwijsprofessionals: docenten in opleiding, leraren, schoolleiders en anderen werkzaam in het Nederlandse onderwijssysteem. Het WTP vormt een platform voor het uitwisselen van expertise tussen de Nederlandse en lokale deelnemers en biedt zo de

mogelijkheid voor zowel Nederlandse leerkrachten als leerkrachten uit ontwikkelingslanden om door middel van een intercultureel programma aan hun professionalisering te werken. In 2018 hebben zeven reizen met ongeveer 25 Nederlandse deelnemers per reis plaatsgevonden. Reizen gaan naar Suriname, Ethiopië, Uganda, India, Kenia en Malawi. In de Malawi regio Lilongwe wordt het programma voor het tweede jaar uitgevoerd (Edukans, 2018).

Edukans heeft voor het WTP twee algemene doelstellingen geformuleerd, te weten (1) de

deelnemende studenten, docenten, schoolleiders en assistenten inspireren en motiveren door samen te werken aan educatieve, didactische en pedagogische kwesties en (2) het analyseren en implementeren van ideeën voor veranderingen en verbeteringen van het onderwijssysteem in Malawi op basis van concrete langetermijnplannen (Edukans, 2018). Het programma is gebaseerd op het zogenaamde STAR-Schoolmodel, waarin alle lokale belanghebbenden in het onderwijs en de schoolgemeenschappen betrokken zijn; de leerling, de leerkracht, het schoolbestuur, de omgeving en de gemeenschap (Edukans, 2018).

(14)

4. Methode 4.1. Deelnemers

De onderzoeksgroep bestond uit Malawiaanse basisschoolleerkrachten die deelnamen aan het World Teacher Program (WTP) van Edukans, in Malawi, van 21 april tot 6 mei 2018. Daarnaast is er gebruik gemaakt van de raadpleging van een lokale onderwijsexpert. Voorafgaand aan het WTP zijn de

Malawiaanse basisscholen die deelnamen aan het WTP door Edukans geselecteerd in overleg met lokale partijen. De deelnemers zijn vervolgens in overleg met de directieleden van de basisscholen benaderd voor deelname aan deze studie waarbij rekening werd gehouden met het beschikken over voldoende Engelse taalvaardigheid en de bereidheid om deel te nemen. Uiteindelijk heeft dit geresulteerd in een onderzoeksgroep van N = 9 waarvan n = 6 mannen en n = 3 vrouwen. De onderzoeksgroep is dus samengesteld aan de hand van een ‘-purposive’ en ‘non-probalistic’ sample, omdat de deelnemers geselecteerd zijn op basis van vooraf gestelde criteria relevant voor de onderzoeksdoelstelling (Miles & Huberman, 1994; Patton, 2002). De gemiddelde leeftijd was M = 32 jaar (range 26-43). Voorafgaand aan het onderzoek heeft elke deelnemer een informatiebrief doorgelezen en vervolgens toestemming gegeven voor het anoniem gebruiken van de verzamelde data.

4.2. Materialen

Vragenlijst. Voor het meten van de mate van self-efficacy bij leerkrachten bleek de ‘Teachers’ Sense

of Efficacy Scale’ (TSES) een geschikt meetinstrument (Tschannen-Moran & Hoy, 2001). De TSES is een veelgebruikte, gerenommeerde vragenlijst die in verschillende contexten is ingezet en betrouwbaar is gebleken (Klassen et al., 2009). De items van de TSES zijn zo geconstrueerd dat ze informeren naar de eigen beoordeling van bekwaamheid in veel voorkomende, dagelijkse handelingen die van een

leerkracht gevraagd worden. De TSES bestaat uit drie subschalen die kenmerkend zijn voor het dagelijks werk van leerkrachten: onderwijskundige strategieën, klassenmanagement en het bevorderen van leerlingbetrokkenheid (Tschannen-Moran & Hoy, 2001). Wat betreft de betrouwbaarheid van de schaal werd een Cronbachs alpha gevonden van .94 (Tschannen-Moran & Hoy, 2001). Voor de subschalen onderwijskundige strategieën, klassenmanagement en leerlingbetrokkenheid werden alpha’s gevonden van respectievelijk .91, .90 en .87. De resultaten van deze analyses wijzen op een goede

betrouwbaarheid van de TSES voor het construct teachers’ self-efficacy, zowel op de subschalen als voor het construct als geheel.

(15)

De TSES bestaat uit 24 Engelstalige items. Voorbeelden van vragen zijn: ‘How much can you use a variety of assessment strategies?’ (onderwijskundige strategieën), ‘How well can you respond to defiant students?’ (klassenmanagement) en ‘How much can you do to foster student creativity?’

(leerlingbetrokkenheid). Om de respondenten de ruimte te geven om te oordelen over hun self-efficacy is een negenpuntsschaal gebruikt met ankerpunten op 1- niets, 3- een beetje, 5- redelijk goed, 7- goed, en 9- heel goed. Een hoge score op de schaal betekent een hoge mate van teachers’ self-efficacy.

De TSES werd voorafgegaan door een voorblad waarop onder andere naar verschillende

demografische gegevens van de deelnemers werd gevraagd, zoals leeftijd, geslacht en opleidingsniveau. Tevens stond er een korte instructie ten behoeve van het invullen van de TSES op het voorblad (Bijlage A: Vragenlijst).

Interviewleidraad leerkrachten. Bij de leerkrachten zijn, na het invullen van de TSES, individuele

interviews afgenomen om de mogelijke aanwezigheid van de verschillende typen bias binnen de TSES te kunnen onderscheiden. Het interview had als doel om meer inhoudelijke informatie te verkrijgen per deelnemer over de manier van invullen van de vragenlijst en de interpretatie van de verschillende items. Voorafgaand aan het onderzoek is een interviewleidraad opgesteld (Bijlage B: Interviewleidraad) die tijdens het interview werd doorlopen. Deze leidraad bevatte vragen over de verschillende typen bias.

Construct bias. In deze studie werd het construct self-efficacy gemeten. Zoals eerder opgemerkt

bleek uit eerdere onderzoeken dat self-efficacy een universeel construct is (Scholz et al., 2002; Schwarzer et al., 1997) dat in verschillende culturen op eenzelfde manier wordt ervaren en

geïnterpreteerd. Er is daarom voor gekozen geen vragen in het interview op te nemen die gaan over construct bias.

Methode bias. Een voorbeeld van een vraag om de eventuele aanwezigheid van sample bias te

kunnen onderscheiden is: ‘Heeft u al eens eerder een vragenlijst ingevuld?’ Het kan namelijk van invloed zijn op de testuitslag als geen enkele deelnemer ooit een vragenlijst heeft ingevuld. Een voorbeeldvraag om instrument bias te kunnen onderscheiden is: ‘Hoe heeft u het werken met een Likertschaal ervaren?’ Als de deelnemers onbekend zijn met het invullen van een vragenlijst aan de hand van een Likertschaal kan dat van invloed zijn op de testuitslag.

Item bias. Om de mogelijke aanwezigheid van item bias te kunnen onderscheiden zijn vragen

gesteld als: ‘Wat vond u van de gebruikte terminologie in de vragenlijst?’ Woorden die bijvoorbeeld niet worden gebruikt in Malawi kunnen zo ontdekt worden en in de herziene vragenlijst worden vervangen

(16)

Interview onderwijsexpert. In navolging van de procedure voor cross-culturele testadaptatie is na

het afnemen van de interviews bij de leerkrachten een interview afgenomen bij een lokale

onderwijsexpert. Hiervoor is geen interviewleidraad opgesteld aangezien de gegeven antwoorden van de leerkrachten leidend waren tijdens dit interview. Met de onderwijsexpert zijn deze antwoorden doorlopen en is overlegd of sommige antwoorden wel of niet tot een aanpassing in de vragenlijst zouden moeten leiden. Hierbij werd per gegeven antwoord bekeken of een aanpassing van de

vragenlijst op basis van deze data zou leiden tot een verduidelijking van een item of de instructie en of het zou leiden tot een verkleining van de kans op bias.

4.3. Procedure

Om de eventuele aanwezigheid van de verschillende typen bias in de TSES te kunnen onderscheiden is de procedure voor cross-culturele testadaptatie, beschreven door Abubakar (2015), gevolgd.

De eerste fase in deze procedure, construct clarification, heeft als doel om het te meten construct duidelijk te definiëren en te bepalen hoe dit construct het beste gemeten kon worden. Het te meten construct dat in dit onderzoek centraal stond, teachers’ self-efficacy, werd echter al eerder gedefinieerd en ook de vragenlijst passende bij dit construct, de TSES, is gevalideerd (Tschannen-Moran & Hoy, 2001). Er is daarom voor gekozen van deze bestaande vragenlijst gebruik te maken. Vervolgens is het in deze fase belangrijk om lokale experts, de Malawiaanse leerkrachten, te raadplegen om eventuele methode bias en item bias op het spoor te komen. De deelnemers kregen instructie over het verloop van het onderzoek en werden daarbij aangespoord zo open en vrijuit mogelijk te antwoorden. Vervolgens heeft elke deelnemer de originele vragenlijst volledig ingevuld. De deelnemers konden tijdens het invullen verduidelijkingsvragen stellen aan de onderzoeker. Na het voltooien van de vragenlijst werd er

aansluitend individueel met elke deelnemer een semi-gestructureerd interview afgenomen aan de hand van de vooraf opgestelde interviewleidraad (zie paragraaf 4.2). Het invullen van de vragenlijst en het daaropvolgende interview namen tezamen ongeveer 45 minuten in beslag per deelnemer.

In de tweede fase, item development, worden de verschillende items van de vragenlijst opgesteld die uiteindelijk de herziene vragenlijst zullen vormen. Indien nodig moeten de items worden vertaald. In het huidige onderzoek was dat echter niet het geval aangezien de originele TSES een Engelstalige vragenlijst betreft en men in Malawi Engels als voertaal heeft naast de verschillende aanwezige

streektalen. De formulering van de items werd aan de hand van de in fase één verzamelde data en naar aanleiding van raadpleging van de lokale onderwijsexpert opnieuw bekeken.

(17)

Bij scale development, de derde fase van cross-culturele testadaptatie, wordt de gehele vragenlijst opgesteld inclusief score- en afnameprocedures. In dit onderzoek werd de originele score- en

afnameprocedure toegevoegd aangezien deze al eerder in diverse contexten is ingezet en betrouwbaar is gebleken (Klassen et al., 2009).

De vierde en laatste fase, test evaluation, heeft als doel om de herziene vragenlijst uit te proberen en te evalueren en eventueel nogmaals bij te stellen alvorens deze definitief te maken. In dit onderzoek is deze fase van testadaptatie niet doorlopen vanwege gebrek aan tijd en middelen.

4.4. Analyse

De afgenomen interviews zijn uitgeschreven en vervolgens gecodeerd. Daarbij werden, in navolging van He en Van de Vijver (2012), de volgende codes gehanteerd:

Hoofdcode: Methode bias Subcodes:

− sample bias: bias die ontstaat door steekproefselectie. Een opmerking als ‘Ik heb nog nooit eerder een vragenlijst met een Likert-schaal ingevuld’ duidt op mogelijke sample bias.

− instrument bias: bias die ontstaat door structurele kenmerken van het meetinstrument. Een

opmerking als ‘In Malawi werken we met een beoordelingssysteem dat precies andersom staat. Dan is 9 laag en 1 het hoogste. In deze vragenlijst is dat precies andersom’ is een aanwijzing dat er sprake kan zijn van instrument bias.

− administration bias: bias die ontstaat door de wijze van afnemen van het instrument. Om dit type bias te kunnen onderscheiden zijn aanvullende methoden van dataverzameling nodig zoals het observeren van de interviewer. Dit werd in deze studie niet meegenomen.

Hoofdcode: Item bias Subcode:

− item bias (vertaling): bias die ontstaat door de vertaling van het instrument. Een opmerking als ‘Ik begreep alles, het gebruikte niveau van het Engels was niet te moeilijk voor mij’ kan erop wijzen dat er geen sprake is van item bias ten aanzien van de vertaling van het instrument.

−_{item bias (iteminhoud): bias die ontstaat door niet-toepasbaarheid van de inhoud van de items in} verschillende culturen. Een opmerking als ‘We gebruiken voor leerlingen in het primair onderwijs de

(18)

term ‘learners’, niet ‘students’. Dat zijn leerlingen op het voortgezet onderwijs’ is een aanwijzing dat er sprake kan zijn van item bias ten aanzien van de iteminhoud.

−_{item bias (woordbetekenis): bias die ontstaat door items die woorden met verschillende} betekenissen bevatten. Een opmerking als ‘Wat wordt bedoeld met het woord defiant? Dat gebruiken we in Malawi niet’ duidt op mogelijke item bias ten aanzien van woordbetekenis. In Bijlage C: (Analyse Interviews) wordt per code aangegeven welke antwoorden uit de interviews hieronder vallen en het aantal keren dat de antwoorden door verschillende deelnemers genoemd werden. De tabel bestaat uit drie kolommen. In de linker kolom wordt de code, het type bias,

aangegeven. In de middelste kolom worden de antwoorden weergegeven die onder dit type bias vallen. Het getal tussen haakjes staat voor het aantal keren dat een antwoord is gegeven door verschillende deelnemers. Opmerkingen die door vijf of meer verschillende deelnemers zijn genoemd zijn direct meegenomen en verwerkt in de herziene vragenlijst. Hierna zijn de overige antwoorden van de leerkrachten besproken met de Malawiaanse onderwijsexpert. Er is gekeken of een gemaakte

opmerking alsnog tot een aanpassing van de vragenlijst zou kunnen leiden zodat de kans op bias verder verkleind wordt. In de derde kolom kan vervolgens worden afgelezen of een opmerking van invloed is geweest op de herziene versie van de TSES.

(19)

5. Resultaten

In dit hoofdstuk worden in paragraaf 5.1 en 5.2 de gevonden resultaten voor achtereenvolgens methode bias en item bias besproken. Vervolgens wordt in paragraaf 5.3 aangegeven tot welke aanpassingen deze resultaten hebben geleidt in de vragenlijst.

5.1 Methode bias

Methode bias ontstaat wanneer variaties in de antwoorden ontstaan door het meetinstrument in plaats van de daadwerkelijke verschillen tussen respondenten ten aanzien van het construct welke het meetinstrument beoogt te meten, in het geval van de TSES het construct teachers’ self-efficacy. Uit tabel 1 kan worden afgelezen welke opmerkingen die wijzen op mogelijke sample bias en instrument bias, de twee vormen van methode bias, zijn gemaakt tijdens de interviews met de leerkrachten.

De analyse van de antwoorden die zijn gegeven tijdens de interviews wijst erop dat er sprake zou kunnen zijn van sample bias. Dit blijkt uit het feit dat het merendeel van de deelnemers nog nooit een vragenlijst heeft ingevuld. Bovendien heeft het merendeel van de deelnemers nog nooit een vragenlijst ingevuld waarbij gebruik wordt gemaakt van een Likert-schaal. Slechts drie van de negen deelnemers geeft aan bekend te zijn met zelfrapportage.

Er lijkt geen sprake te zijn van instrument bias. Bijna alle deelnemers hebben aangegeven dat ze het gemakkelijk vonden om door middel van een Likert-schaal antwoord te geven. De instructie op het voorblad van de vragenlijst was voor het merendeel van de deelnemers duidelijk.

5.2 Item bias

Een item kan gebiased zijn omdat een item verschillende betekenissen kan hebben voor verschillende groepen mensen. Om de mogelijke aanwezigheid van de drie vormen van item bias – iteminhoud, vertaling en woordbetekenis – te kunnen achterhalen, zijn er tijdens de interviews vragen gesteld die hierop betrekking hadden. Uit tabel 2 kan worden afgelezen welke opmerkingen met betrekking tot het voorkomen van de drie verschillende vormen van item bias zijn gemaakt tijdens de interviews met de leerkrachten.

Na analyse van de antwoorden die zijn gegeven tijdens de interviews lijkt er geen sprake te zijn van de eerste vorm van item bias; iteminhoud. Slechts enkele leerkrachten hebben opmerkingen gemaakt die onder deze vorm van bias vallen.

(20)

Tabel 1 Methode bias

Type biasa _{Opmerkingen met betrekking tot het voorkomen van methode bias}b

Methode bias (sample bias)

- Ik heb nog nooit eerder een vragenlijst met een Likert-schaal ingevuld (5). - Ik heb vaker vragenlijsten ingevuld (4).

- Ik ben bekend met zelfrapportage (3).

- Het is moeilijk om jezelf een score te geven (1).

Methode bias (instrument bias)

- Het was gemakkelijk om door middel van een Likert-schaal antwoord te geven (8). - Ik vind negen niveaus fijn om mee te werken (6).

- De instructie was duidelijk (5)

- Ik wist niet hoe ik mijn antwoord moest noteren; er moet misschien bij komen te staan dat er een cirkel om het juiste getal gezet moet worden? (4)

- Wat betekenen de tussenstreepjes tussen de antwoordmogelijkheden? (3). - Ik vind vijf niveaus voldoende (3).

- In Malawi werken we met een beoordelingssysteem dat precies andersom staat; 9 is dan een lage beoordeling en 1 het hoogst haalbare (2).

a_{Type bias: toegekende code tijdens data-analyse.}b_{Opmerkingen: uitdrukkingen van deelnemers die onder dit type bias vallen. Tussen haakjes}

staat het totaal aantal keren dat deze opmerking is genoemd door verschillende deelnemers.

Om de mogelijke aanwezigheid van de tweede vorm van item bias, vertaling, aan te kunnen tonen is gevraagd hoe men het niveau heeft ervaren van het Engels zoals gebruikt in de originele vragenlijst. Alle negen deelnemers hebben aangegeven dat ze geen moeilijkheden hebben ondervonden gerelateerd aan het niveau van de taal van de vragenlijst. Er lijkt dan ook geen sprake te zijn van item bias ten aanzien van de vertaling.

De derde vorm van item bias, woordbetekenis, houdt in dat er sprake is van een item die een andere betekenis heeft over verschillende groepen heen. Hiervan bleek sprake te zijn in de vragenlijst met betrekking tot de term ‘defiant’. Vijf van de negen deelnemers gaf namelijk aan het in de originele vragenlijst gebruikte woord ‘defiant’ niet te begrijpen; dit is geen gangbaar Engels woord in Malawi. Daarnaast gaven acht deelnemers aan dat het woord ‘education’ vervangen dient te worden door het woord ‘certification’. Het woord ‘education’ leidt tot verwarring aangezien men dan uitgaat van de groep die de deelnemer les geeft in plaats van de eigen hoogst genoten opleiding.

(21)

Tabel 2 Item bias

Type biasa _{Opmerkingen met betrekking tot het voorkomen van item bias}b

Item bias (iteminhoud)

- In plaats van het woord ‘student’ gebruiken wij in het basisonderwijs het woord ‘learner’. Een student is een leerling in het vervolgonderwijs (3).

- We gebruiken andere woorden voor goed en minder goed presterende leerlingen, namelijk ‘fast and slow learners’ in plaats van ‘difficult students’ (2).

Item bias (vertaling)

- Ik begrijp de vragen en het niveau van het gebruikte Engels goed (9).

Item bias (woordbetekenis)

- Wat wordt er met ‘education’ bedoeld: de klas die ik nu lesgeef of mijn eigen opleiding? Er kan dan beter ‘certification’ staan. (8)

- Wat wordt er bedoeld met het woord ‘defiant’? Dat gebruiken we in Malawi niet (5). - Wat betekent de afkorting WTP? Deze moet uitgeschreven worden. (1)

- Wat wordt er bedoeld met het woord ‘foster’? (1). - Wat wordt er bedoeld met het woord ‘strategies’? (1). - Wat wordt er bedoeld met het woord ‘craft’? (1).

staat het totaal aantal keren dat deze opmerking is genoemd door verschillende deelnemers.

5.3 Aanpassingen in de TSES

De resultaten van het onderzoek zoals deze zijn weergegeven in de voorgaande paragrafen leiden tot aanpassingen van de originele vragenlijst. In tabel 3: Aanpassingen in de TSES staat weergegeven welke opmerkingen tot welke aanpassingen hebben geleid. De herziene vragenlijst is opgenomen als bijlage (Bijlage D: Herziene vragenlijst). In deze paragraaf worden de aanpassingen per type bias nader toegelicht.

Methode bias. De resultaten ten aanzien van de twee soorten methode bias geven geen directe

reden tot aanpassingen van de originele vragenlijst. Dit komt doordat geen van de opmerkingen die zou kunnen leiden tot een aanpassing is gemaakt door vijf of meer deelnemers. De gegeven antwoorden zijn desondanks met de Malawiaanse onderwijsexpert besproken en deze consultatie heeft wel tot

aanpassingen geleidt.

De eerste aanpassing betreft de normering van de vragenlijst. Binnen dit onderzoek is er in de vragenlijst gebruik gemaakt van een Likert-schaal, waarop de mate waarin iemand zich kan vinden in de vraag dan wel stelling kan worden weergegeven. Het aantal niveaus van de Likert-schaal blijft

(22)

vinden tegenover drie deelnemers die de voorkeur gaven aan een vijfpuntsschaal. De nieuwe vragenlijst zal echter een Likert-schaal voeren met ankerpunten op 9- niets, 7- een beetje, 5- redelijk goed, 3- goed, en 1- heel goed. Een hoge score op de schaal betekent vervolgens een lage mate van teachers’ self-efficacy. Hiertoe is besloten om de interpretatie van de verschillende niveaus van de Likert-schaal voor Malawiaanse deelnemers begrijpelijker te maken en aan te laten sluiten bij hetgeen gebruikelijk is in Malawi, namelijk een lage score voor een positieve beoordeling.

De tweede aanpassing van de vragenlijst betreft de instructie op het voorblad. De geschreven instructie op het voorblad van de vragenlijst werd door vijf van de negen deelnemers als duidelijk en begrijpelijk ervaren. Vier deelnemers vroegen echter om verduidelijking over de manier van het

noteren van het juiste antwoord. Na raadpleging van de onderwijsexpert is besloten om de instructie uit te breiden met een voorbeeld ten aanzien van het invullen van het juiste antwoord om zo

onduidelijkheden bij toekomstige afnamen te voorkomen.

Item bias. De resultaten ten aanzien van iteminhoud en vertaling, de eerste twee vormen van item

bias, geven geen directe reden tot aanpassingen van de originele vragenlijst. Dit komt doordat geen van de opmerkingen die zou kunnen leiden tot een aanpassing is gemaakt door vijf of meer deelnemers. De gegeven antwoorden zijn desondanks met de Malawiaanse onderwijsexpert besproken en deze

consultatie heeft wel tot een aanpassing geleidt. Er is besloten om het woord ‘student’ in de gehele vragenlijst te vervangen voor het woord ‘learner’. In Malawi spreekt men namelijk over ‘students’ wanneer leerlingen naar het voortgezet onderwijs gaan en over ‘learners’ als het leerlingen uit het primair onderwijs betreft. Het toekomstige evaluatieonderzoek van het WTP wordt uitgevoerd in het primair onderwijs wat maakt dat deze aanpassing doorgevoerd wordt.

Van de derde vorm van item bias, woordbetekenis, bleek sprake te zijn in de vragenlijst met betrekking tot de term ‘defiant’. In overleg met de onderwijsexpert is besloten om het woord ‘defiant’ te vervangen door het woord ‘provocative’. Item 21 zal in de herziene vragenlijst worden omschreven als: ‘How well can you respond to provocative learners?’ Daarnaast gaven acht deelnemers aan dat het woord ‘education’ vervangen dient te worden door het woord ‘certification’. Het woord ‘education’ leidt tot verwarring aangezien men dan uitgaat van de groep die de deelnemer les geeft in plaats van de eigen hoogst genoten opleiding. Voor het invullen van de vragenlijst kan het van belang zijn om te weten welke opleiding de deelnemer zelf heeft genoten. Na consultatie met de onderwijsexpert is eveneens besloten om de gebruikte afkorting ‘WTP’ in zijn geheel uit te schrijven naar ‘World Teacher Program’ zodat hier geen onduidelijkheid over kan ontstaan.

(23)

Tabel 3

Aanpassingen in de TSES

Type biasa _{Opmerkingen met betrekking tot het voorkomen van bias}b _Aanpassingc

- Ik heb nog nooit eerder een vragenlijst met een Likert-schaal ingevuld (5).

- Ik heb vaker vragenlijsten ingevuld (4). - Ik ben bekend met zelfrapportage (3).

- - - - Methode bias (instrument bias)

- Het was gemakkelijk om door middel van een Likert-schaal antwoord te geven (8).

- Ik vind negen niveaus fijn om mee te werken (6). - De instructie was duidelijk (5)

- Ik wist niet hoe ik mijn antwoord moest noteren; er moet misschien bij komen te staan dat er een cirkel om het juiste getal gezet moet worden? (4)

- Wat betekenen de tussenstreepjes tussen de antwoordmogelijkheden? (3).

- Ik vind vijf niveaus voldoende (3).

-

- -

Toevoegen van een antwoordvoorbeeld.

-

Aanpassing van de normering van de Likert-schaal.

Item bias (iteminhoud)

- In plaats van het woord ‘student’ gebruiken wij in het basisonderwijs het woord ‘learner’. Een student is een leerling in het vervolgonderwijs (3). - We gebruiken andere woorden voor goed en minder goed presterende leerlingen, namelijk ‘fast and slow learners’ in plaats van ‘difficult students’ (2).

‘Student’ vervangen door ‘learner’.

-

- Ik begrijp de vragen en het niveau van het gebruikte Engels goed (9). -

- Wat wordt er bedoeld met het woord ‘defiant’? Dat gebruiken we in Malawi niet (5).

- Wat betekent de afkorting WTP? Deze moet uitgeschreven worden. (1) - Wat wordt er bedoeld met het woord ‘foster’? (1).

- Wat wordt er bedoeld met het woord ‘strategies’? (1). - Wat wordt er bedoeld met het woord ‘craft’? (1).

‘Education’ vervangen door ‘certification’.

‘Defiant’ vervangen door ‘provocative’.

Uitschrijven van WTP. -

- -

(24)

6. Conclusie en discussie

Om de effectiviteit van het World Teacher Program (WTP) van Edukans in Malawi in de toekomst te kunnen evalueren, is in deze studie onderzocht hoe de Teachers’ Sense of Efficacy Scale (TSES) aan de hand van cross-culturele testadaptatie kan worden aangepast aan de Malawiaanse onderwijscontext. Teachers’ self-efficacy blijkt van groot belang te zijn voor de kwaliteit van het handelen van een

leerkracht in de klas (o.a. Tschannen-Moran & Ho, 2001). Onderzoek van onder meer Scholz et al. (2002) heeft uitgewezen dat het construct self-efficacy generiek en universeel is; het wordt in uiteenlopende culturen op vergelijkbare wijze ervaren. Voor het meten van teachers’ self-efficacy is de TSES

ontwikkeld, in de context van Noord-Amerika en West-Europa. Om na te gaan of de TSES ook in de Malawiaanse context bruikbaar is, zijn enkele fases van de procedure voor cross-culturele testadaptatie, zoals beschreven door Abubakar (2015) doorlopen. Via die procedure kan nagegaan worden in hoeverre sprake is van vormen van bias, met als uiteindelijk doel om de kans op bias zoveel mogelijk te beperken. Bij het onderzoek waren negen Malawiaanse leerkrachten betrokken die een goede representatie vormen van de deelnemers aan het WTP van Edukans, en een Malawiaanse onderwijsexpert.

Uit de resultaten blijkt dat er bij gebruik van de originele versie van de TSES inderdaad sprake was van bias, namelijk methode bias en item bias. Het merendeel van de deelnemers bleek nog nooit een zelfrapportage-vragenlijst te hebben ingevuld en ook niet bekend te zijn met het werken met een Likert-schaal. Beide uitkomsten wijzen erop dat er sprake zou kunnen zijn van methode bias; onder meer Hui en Triandis (1989) en Weijters, Cabooter, en Schillewaert (2010) hebben erop gewezen dat de

vormgeving van vragenlijsten, bijvoorbeeld het gebruik van een Likert-schaal, vanuit verschillende culturele achtergronden verschillend kan worden geïnterpreteerd. Dit benadrukt het belang om

rekening te houden met de onervarenheid van de WTP-deelnemers ten aanzien van het werken met een vragenlijst en bijbehorende instructie. Om dit te ondervangen, is besloten om de instructie op het voorblad van de vragenlijst uit te breiden met een antwoordvoorbeeld. Daarnaast zal de normering van de Likert-schaal worden omgedraaid, waarbij anders dan in de originele versie van de TSES een lage score op de schaal een hoge mate van teachers’ self-efficacy representeert. Hiertoe is besloten om de interpretatie van de verschillende niveaus van de Likert-schaal voor Malawiaanse deelnemers

begrijpelijker te maken en aan te laten sluiten bij hetgeen gebruikelijk is in het onderwijs in Malawi, namelijk dat een lage score staat voor een positieve beoordeling. Op deze manier wordt de kans op methode bias beperkt.

Item bias bleek vooral voor te komen ten aanzien van iteminhoud en woordbetekenis. Hieruit blijkt dat alleen een letterlijke vertaling van een vragenlijst niet voldoende is om deze te laten aansluiten bij

(25)

een andere, niet in het standaardisatieproces meegenomen onderzoeksgroep. Diverse termen zoals deze zijn gebruikt in de originele versie van de TSES hebben een andere betekenis in Malawi of zijn niet bekend. Dit sluit aan bij wat He en Van de Vijver (2012) benoemen met betrekking tot item bias, namelijk dat die kan ontstaan als items inhoudelijk niet relevant of herkenbaar zijn in een bepaalde culturele context, of als men een andere dan de oorspronkelijk bedoelde betekenis aan woorden te geeft. De betreffende termen zijn vervangen in de herziene versie van de TSES om zo aan te sluiten bij de Malawiaanse onderwijscontext en de kans op item bias te beperken.

De gevonden vormen van bias onderstrepen het belang van het cross-cultureel aanpassen van een meetinstrument als dit wordt toegepast bij een andere culturele onderzoeksgroep dan de

onderzoeksgroep waarvoor het instrument oorspronkelijk ontwikkeld is. Zoals aangegeven door He en Van de Vijver (2012), werden in het verleden veel tests enkel vertaald toegepast wat leidde tot foutieve afnamen en foutieve interpretaties. Door de procedure voor cross-culturele testadaptatie van Abubakar (2015) te volgen, is in deze studie aangetoond dat er een risico is op verschillende vormen van bias als de originele versie van de TSES wordt toegepast in de Malawiaanse onderwijscontext. Hiermee wordt tevens de bruikbaarheid van deze procedure ondersteund.

Dit onderzoek kent ook enkele beperkingen. De eerste beperking van het onderzoek is het relatief kleine aantal deelnemers waardoor de steekproef niet representatief kan zijn ten aanzien van de gehele populatie waarvoor de herziene versie van de TSES is ontwikkeld. Bij de selectie van de steekproef is echter rekening gehouden met belangrijke kenmerken van de totale populatie, en is gestreefd naar spreiding in leeftijd en geslacht. Een tweede beperking is dat administration bias niet is meegenomen in dit onderzoek. Administration bias kan een gevolg zijn van variatie in afnameomstandigheden,

dubbelzinnige instructies, interactie tussen interviewer en respondenten en communicatieproblemen. Hiermee is in dit onderzoek geen rekening gehouden, waardoor we niet kunnen uitsluiten dat er sprake is geweest van administration bias. Tot slot is binnen dit onderzoek de fase van test evaluation niet uitgevoerd. Deze vierde en laatste fase van de procedure voor cross-culturele testadaptatie heeft als doel om de aangepaste vragenlijst uit te proberen en te evalueren en eventueel nogmaals bij te stellen alvorens deze definitief te maken. Deze fase zou in vervolgonderzoek uitgevoerd kunnen worden om zo de vragenlijst nog beter aan te laten sluiten bij de Malawiaanse context.

In deze studie werden verschillende vormen van bias gevonden in een bestaand meetinstrument. Hierbij werd gebruik gemaakt van een procedure voor cross-culturele testadaptatie die niet eerder is toegepast op de TSES. De resultaten onderstrepen het belang van het volgen van een zorgvuldige

(26)

ingezet in een andere culturele onderzoeksgroep dan de onderzoeksgroep waarin het instrument ontwikkeld is, een procedure voor cross-culturele testadaptatie te volgen. Op deze manier kan worden voorkomen dat scoreverschillen op de indicatoren van een bepaald construct niet verwijzen naar verschillen in de onderliggende eigenschap, maar naar andere verschillen, en de uitslag van een meetinstrument foutief wordt geïnterpreteerd.

(27)

Literatuur

Abubakar, A. (2015). Equivalence and Transfer Problems in Cross-Cultural Research. International

Encyclopedia of the Social & Behavioral Sciences (pp. 929-933).

Aikman, S. (2011). Educational and indigenous justice in Africa. International Journal of Educational

Development, 31(1), 15-22.

Bandura, A. (1977). Self-efficacy: Toward a Unifying Theory of Behavioral Change. Psychological Review,

84(2), 191-215.

Caprara, G.V., Barbaranelli, C., Steca, P., & Malone, P.S. (2006). Teachers’ self efficacy beliefs as determinants of job satisfaction and students’ academic achievement: A study at the schoollevel.

Journal of school psychology, 44, 473-490.

Carlson, D. (2014). Foreword. In J. Hall, (Ed.), Underprivileged school children and the assault on dignity:

Policy challenges and resistance (vi-xii). New York, NY: Routledge.

Chimombo, J.P.G. (2005). Quantity versus quality in education: Case studies in Malawi. International

Review of Education, 51(1), 155-172.

Dellinger, A.B., Bobbett, J.J., Olivier, D.F., & Ellett, C.D. (2008). Measuring teachers’ self-efficacy beliefs: Development and use of the TEBS-Self. Teaching and Teacher Education: An International Journal of

Research and Studies, 24(3), 751-766.

Edukans (2017). De reis van je leven. [Brochure]. Amersfoort: Edukans

Edukans. (2018). Terms of Reference World Teacher 2018; Malawi, Lilongwe. Amersfoort: Edukans Hamano, T. (2011). The education policy agenda and education research in Africa: Concerning mainly

primary education. Proceedings, 13, 13-18.

Hardman, F., Ackers, J., Abrishamian, N., & O’Sullivan, M. (2011). Developing a systemic approach to teacher education in sub-Saharan Africa: Emerging lessons from Kenya, Tanzania and Uganda.

Compare: A Journal of Comparative and International Education, 41, 669-683.

Doi:10.1080/03057925.2011.581014

Harvey, D. (2005). A Brief history of neoliberalism. Oxford: Oxford University Press.

Harzing, A.W. (2006). Response styles in cross-national survey research: A 26-country study.

International Journal of Cross Cultural Management, 6(2), 243-266.

He, J., & Vijver, F. van de, (2012). Bias and equivalence in cross-cultural research. Online readings in

psychology and culture, 2(2), 8.

(28)

Hui, C.H., & Triandis, H.C. (1989). Effects of culture and response format on extreme response style.

Journal of cross-cultural psychology, 20(3), 296-309.

International Test Commission. (2017). The ITC Guidelines for Translating and Adapting Tests (Second

edition). Retrieved from https://www.intestcom.org/page/16

Jerusalem, M., & Schwarzer, R. (1992). Self-efficacy as a resource factor in stress appraisal processes. In R. Schwarzer (Ed.), Self-efficacy: Thought control of action (pp. 195-213). New York: Routledge Kadzamira, E.C. (2006). Teacher motivation and incentives in Malawi. Zomba: Centre for Educational

Research and Training, University of Malawi.

Klassen, R.M., Bong, M., Usher, E.L., Chong, W.H., Huan, V.S., Wong, I.Y.F., & Georgiou, T. (2009). Exploring the Validity of a Teachers’ Self-Efficacy Scale in Five Countries. Contemporary Educational

Psychology, 34(1), 67-76.

Klassen, R.M., & Tze, V.M.C. (2014). Teachers’ self-efficacy, personality, and teaching effectiveness: A meta-analysis. Educational Research Review, 12, 59-76.

Korthagen, F.A.J. (2004). In search of the essence of a good teacher: Towards a more holistic approach in teacher education. Teaching and Teacher Education, 20, 77-97. Doi:10.1016/j.tate.2003.10.002 Mazur, R., & Woodland, R.H. (2017). Evaluation of a cross-cultural training program for Pakistani

educators: Lessons learned and implications for program planning. Evaluation and Program Planning,

62, 25-34.

Miles, M., & Huberman, M. (1994). Qualitative data analysis : An expanded sourcebook (2nd ed.). Thousand Oaks, CA: Sage.

Patton, M.Q. (2002). Qualitative research and evaluation methods (3rd ed.). Thousand Oaks, CA: Sage. Ravishankar, V., El-Kogali, S., Sankar, D., Tanaka, N., & Rakoto-Tiana, N. (2016). Primary education in

Malawi: expenditures, service delivery and outcomes. Washington: World Bank.

Rutkowski, D.J. (2008). Converging us softly: How intergovernmental organizations promote neoliberal educational policy. Critical studies in Education, 48(2), 229-247.

Scholz, U., Doña, B.G., Sud, S., & Schwarzer, R. (2002). Is general self-efficacy a universal construct? Psychometric findings from 25 countries. European journal of psychological assessment, 18(3), 242. Schunk, D.H., & Zimmerman, B.J. (2007). Influencing children’s self efficacy and self regulation of reading

and writing through modeling. Reading & writing quarterly, 23, 7-25.

Schwarzer, R., Born, A., Iwawaki, S., Lee, Y-M., Saito, E., & Yue, X. (1997). The assessment of optimistic self-beliefs: Comparison of the Chinese, Indonesian, Japanese, and Korean versions of the general self-efficacy scale. Psychologia, 40(1), 1-13.

(29)

Schwarzer, R., & Jerusalem, M. (1995). Generalized Self-Efficacy scale. In J. Weinman, S. Wright, & M. Johnston, Measures in health psychology: A user’s portfolio. Causal and control beliefs (pp. 35- 37). Windsor, England: NFER-NELSON.

Sherer, M., Maddux, J. E., Mercandante, B., Prentice-Dunn, S., Jacobs, B., & Rogers, R. W. (1982). The Self-Efficacy Scale: Construction and Validation. Psychological Reports, 51(2), 663–671.

Tschannen-Moran, M., & Hoy, A.W. (2001). Teacher efficacy: Capturing an elusive construct. Teaching

and Teacher Education, 17(7), 783-805.

Tschannen-Moran, M., & Hoy, A.W. (2006). The differential antecedents of self efficacy beliefs of novice and experienced teachers. Teaching and teacher education, 23, 944-956.

Thoonen, E.E.J., Sleegers, P.J.C., Oort, F.J., Peetsma, T.T.D., Geijsel, F., (2011). How to improve teaching practices: The role of teacher motivation, organizational factors, and leadership practices.

Educational Administration Quarterly, 47(3), 496-536.

UNESCO Institute for Statistics (2017). More than one-half of children and adolescents are not learning

worldwide. Montreal: UNESCO Institute for Statistics.

Vijver, F.J. van de, & Hambleton, R.K. (1996). Translating tests. European psychologist, 1(2), 89-99. Vijver, F.J. van de, & Leung, K. (1997). Methods and data analysis for cross-cultural research (Vol. 1).

Thousand Oaks, CA: Sage.

Vijver, F.J. van de, & Poortinga, Y.H. (1997). Towards an integrated analysis of bias in cross-cultural assessment. European Journal of Psychological Assessment, 13(1), 29-37.

Vijver, F.J. van de, & Tanzer, N.K. (2004). Bias and equivalence in cross-cultural assessment: An overview. Revue Européenne de Psychologie Appliquée/European Review of Applied Psychology,

54(2), 119-135.

Wake, H., & Kitsantas, A. (2007). Teacher and collective efficacy beliefs as predictors of professional commitment. The journal of educational research, 100(5), 303-310.

Weijters, B., Cabooter, E., & Schillewaert, N. (2010). The effect of rating scale format on response styles: The number of response categories and response category labels. International Journal of Research

in Marketing, 27(3), 236-247.

(30)

Running head: CROSS-CULTURELE TESTADAPTATIE VAN DE TEACHERS’ SENSE OF EFFICACY SCALE Bijlage A: Vragenlijst EFFECTIVENESS RESEARCH Name: Age: Gender: Education:

How many years do you work in education?:

How often did you participate in the WTP of Edukans?:

Instructions:

Indicate how competent you consider yourself in the situations below. There are no wrong answers.

(31)

Running head: CROSS-CULTURELE TESTADAPTATIE VAN DE TEACHERS’ SENSE OF EFFICACY SCALE No thi ng - Very li ttl e - Som e i nf lu enc e - Qui te a bi t - A gr ea t d ea l

1. How much can you do to get through to the most difficult students?

2. How much can you do to help your students think critically? 3. How much can you do to control disruptive behavior in the

classroom?

4. How much can you do to motivate students who show low interest in school work?

5. To what extent can you make your expectations clear about student behavior?

6. How much can you do to get students to believe they can do well in school work?

7. How well can you respond to difficult questions from your students?

8. How well can you establish routines to keep activities running smoothly?

9. How much can you do to help your students value learning? 10. How much can you gauge student comprehension of what

you have taught?

11. To what extent can you craft good questions for your students?

12. How much can you do to foster student creativity? 13. How much can you do to get students to follow classroom

rules?

14. How much can you do to improve the understanding of a student who is failing?

15. How much can you do to calm a student who is disruptive or noisy?

16. How well can you establish a classroom management system with each group of students?

17. How much can you do to adjust your lessons to the proper level for individual students?

18. How much can you use a variety of assessment strategies? 19. How well can you keep a few problem students from

ruining an entire lesson?

20. To what extend can you provide an alternative explanation when students are confused?

21. How well can you respond to defiant students?

22. How much can you assist families in helping their children do well in school?

23. How well can you implement alternative 31strategies in your classroom?

24. How well can you provide appropriate challenges for very capable students? (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9) (1) (2) (3) (4) (5) (6) (7) (8) (9)

(32)

Bijlage B: Interviewleidraad

INTERVIEW MALAWI

- Heeft u al eens eerder een vragenlijst ingevuld?

- Wat is uw ervaring met beoordeling / feedback? Zelfrapportage?

- Hoe heeft u het werken met een Likert-schaal ervaren? (interpretatie 9 niveaus: waarom dit antwoord, niet lager/hoger. Bekendheid, gemak)

- Was de instructie voorafgaande aan de vragenlijst duidelijk? Zou u hier iets aan veranderen?

- Wat vond u van het taalgebruik; het niveau van het gebruikte Engels?

- Wat vond u van de gebruikte terminologie in de vragenlijst? Werden er woorden die u niet bekend zijn gebruikt?

(33)

Bijlage C: Analyse Interviews

Type biasa _Opmerkingenb _Invloedc

- Ik heb nog nooit eerder een vragenlijst met een Likert-schaal ingevuld (5). - Ik heb vaker vragenlijsten ingevuld (4).

- Ik ben bekend met zelfrapportage (3).

Nee Nee Nee Nee Methode bias (instrument bias)

- Het was gemakkelijk om door middel van een Likert-schaal antwoord te geven (8).

- Ik vind negen niveaus fijn om mee te werken (6). - De instructie was duidelijk (5).

- Ik wist niet hoe ik mijn antwoord moest noteren; er moet misschien bij komen te staan dat er een cirkel om het juiste getal gezet moet worden? (4) - Wat betekenen de tussenstreepjes tussen de antwoordmogelijkheden? (3). - Ik vind vijf niveaus voldoende (3).

Nee Nee Nee Ja Nee Nee Ja Item bias (iteminhoud)

- In plaats van het woord ‘student’ gebruiken wij in het basisonderwijs het woord ‘learner’. Een student is een leerling in het vervolgonderwijs (3). - We gebruiken andere woorden voor goed en minder goed presterende leerlingen, namelijk ‘fast and slow learners’ in plaats van ‘difficult students’ (2).

Ja

Nee

- Ik begrijp de vragen en het niveau van het gebruikte Engels goed (9). Nee

- Wat wordt er bedoeld met het woord ‘defiant’? Dat gebruiken we in Malawi niet (5).

- Wat wordt er bedoeld met het woord ‘foster’? (1). - Wat wordt er bedoeld met het woord ‘strategies’? (1). - Wat wordt er bedoeld met het woord ‘craft’? (1).

- Wat betekent de afkorting WTP? Deze moet uitgeschreven worden. (1)

Ja Nee Nee Nee Ja Ja Tabel 1 Analyse interviews

staat het totaal aantal keren dat deze opmerking is genoemd door verschillende deelnemers. c_{Invloed: is de opmerking meegenomen en}

(34)

Bijlage D: Herziene vragenlijst

EFFECTIVENESS RESEARCH

Name: Age: Gender: Certification:

How many years do you work in education?:

How often did you participate in the World Teacher Program of Edukans?:

Instructions:

Indicate how competent you consider yourself in the situations below. Choose and color the most suitable answer. There are no wrong answers.

Example: