Debbie Vertelman
Met succes een
onderzoekslab
implementeren
Studentnummer: 10549285 Datum: 18 augustus 2017
Module: ULP G (bachelorscriptie)
Begeleiders: Loek Spitz en Melina Fleurke Aantal woorden: 9923
1 Abstract
In dit onderzoek is gekeken naar succesfactoren om een onderzoekslab te implementeren in de schoolcultuur. Eerst zijn er bij wetenschap & techniekcoördinatoren interviews afgenomen, deze resultaten zijn verwerkt in een zelfontworpen vragenlijst. De vragenlijst werd verspreid onder de leerkrachten. Uit de resultaten bleek dat een aantal invloedrijke factoren
tegenstrijdige resultaten oplevert. Zo is de complexe factor tijd zowel een belemmering als geen belemmering voor de scholen. Ook de communicatie lijkt een factor te zijn waar nog winst te behalen valt; communicatie is waarschijnlijk een oorzaak van een aantal
tegenstrijdige resultaten. Al met al is uit dit onderzoek gebleken dat de factoren die positief van invloed zijn op een onderwijsinnovatie aanwezig zijn op de verschillende scholen.
2 Inhoud
Inleiding 3
Theoretisch Kader 5
Wetenschap & Technologie 6
Onderzoekend en Ontwerpend Leren 7
Wetenschappelijke Attitude Leerkrachten en OOL 10
Schoolcultuur 14
Factoren bij Onderwijsinnovaties 15
Fasen van Onderwijsinnovatie 20
Verwachtingen en Deelvragen 22 Methode 23 Participanten 23 Instrumenten 25 Procedure 28 Data-analyse 29 Resultaten 29 Organisatie Onderzoekslab 30 Factor Tijd 30 Inspiratiebijeenkomsten 31
Factoren die Succes Vergroten 33
Discussie 34
Conclusie 34
Discussie 37
Implicatie voor de Praktijk 38
Literatuur 40
Bijlage 45
Bijlage A: Interview Leidraad Wetenschap & Techniekcoördinatoren 45
Bijlage B: Gebruikte Vragen uit Vragenlijst 46
3 Inleiding
In 2012 is er door het platform Bèta Techniek en de PO-raad een verkenningscommissie aangesteld met als doel dat er in 2020 op alle basisscholen in Nederland wetenschap & technologie wordt gegeven (Van Graft, Klein Tank, & Beker, 2014; Verkenningscommissie wetenschap en technologie primair onderwijs, 2013).Het werk van deze
verkenningscommissie heeft ertoe geleidt dat er in 2012 door de overheid, het bedrijfsleven en het onderwijsveld het Nationaal Techniekpact 2020 is ondertekenend
(Verkenningscommissie wetenschap en technologie primair onderwijs, 2013). Bij het Nationaal techniekpact 2020 wordt er vanuit drie actielijnen gewerkt: kiezen voor techniek, leren in de techniek en werken in de techniek (Techniekpact, 2013). In het voorjaar van 2016 is het Nationaal Techniekpact 2020 aangepast en herzien. De koers van het Techniekpact wordt doorgezet, maar om mee te kunnen bewegen met de maatschappij is er met twaalf doelen een nieuwe onderverdeling gemaakt (Techiekpact, 2016). Ook na het actualiseren van het Nationaal Techniekpact 2020 blijft het doel, dat er op iedere school structureel
wetenschap & technologie-onderwijs wordt gegeven in 2020, van kracht (Techniekpact, 2016).
In dit onderzoek wordt een casestudie uitgevoerd bij stichting Sirius. Stichting Sirius is een schoolbestuur in Amsterdam Zuidoost, met dertien openbare basisscholen en één school voor speciaal basisonderwijs. De scholen hebben allemaal hun eigen onderwijsvisie, zo is er regulier onderwijs, maar ook Montessori, Dalton, Jenaplan en Steve Jobs onderwijs. Stichting Sirius heeft als doel dat in 2018 op alle scholen, binnen de stichting, wetenschap &
technologie een plek heeft in het onderwijs (Sirius, 2015). Deze plekken worden
onderzoekslabs genoemd. Het gaat hierbij om een herkenbare ruimte in de klas of de school waar leerlingen zelfstandig aan de slag kunnen met verschillende materialen (Breed
4 het opzetten van deze plekken; er is geld beschikbaar om materialen te kopen en er worden trainingen en bijeenkomsten georganiseerd (Van Dijk, z.j.).
Dit schooljaar, 2016-2017, zou er op alle veertien scholen een kleuterlab moeten zijn. Stichting Sirius is begonnen bij de kleuters met het opzetten van de onderzoekslabs. Dit schooljaar starten ook enkele scholen met een onderzoekslab in de middenbouw en daarna zal de bovenbouw volgen. In het onderzoekslab werken de leerlingen zelfstandig met
verschillende materialen, dit zijn klassieke ontwikkelingsmaterialen maar ook recent
ontwikkelde wetenschap & technologie-materialen, zoals een lichttafel met mozaïeken. Deze materialen stimuleren de leerlingen om zelf op onderzoek uit te gaan (Breed Bestuurlijk Overleg Amsterdam, 2016). Er wordt dan ook geen instructie gegeven en de leerkrachten hebben een begeleidende rol (Klamer & Fleurke, 2016).
Stichting Sirius pakt deze onderwijsinnovatie wetenschappelijk aan, zo zijn er al twee bacheloronderzoeken uitgevoerd met betrekking tot de kleuterlabs door twee studenten van de Universitaire Pabo van Amsterdam. Daarnaast is er door de projectleider Fleurke een
nulmeting uitgevoerd bij de directeuren en de wetenschap & techniekcoördinatoren van de verschillende scholen, om de voortgang van het proces te kunnen monitoren (Sirius, 2016). Naast deze wetenschappelijke aanpak zorgt de stichting ook voor publiciteit door in
verschillende tijdschriften te publiceren (o.a. Breed Bestuurlijk Overleg Amsterdam, 2016; Klamer & Fleurke, 2016; Van Dijk, z.j.).
Bij het eerste bacheloronderzoek is er onderzocht in hoeverre het leergedrag van de leerlingen en het gedrag van handelen van de leerkrachten overeenkomen met wat te verwachten valt vanuit de OOL-didactiek (Kolvoort, 2014). Uit dit onderzoek kwam naar voren dat de leerlingen vanuit zichzelf gedrag laten zien dat past bij de OOL-didactiek; omdat het kleuters zijn blijft het voornamelijk bij verkennend en explorerend gedrag. De
5 aansturen op hogere cognitieve vaardigheden en de leerkrachten een meer wetenschappelijke houding te geven, werd aangeraden om de leerkrachten bij te scholen in de OOL-didactiek. Naar aanleiding van dit onderzoek is Sirius gestart met het bijscholen van de onderbouw leerkrachten. Roos (2015) heeft in haar bacheloronderzoek gekeken naar de
leerkrachttrainingen. Het doel was om te ontdekken waar de training zich voornamelijk op zou moeten richten om de leerlingen zo goed mogelijk de onderzoekscyclus te laten doorlopen. Er is in het onderzoek gefocust op het open of gestructureerd aanbieden van materialen. Naar aanleiding van dit onderzoek is er besloten om tijdens de
leerkrachttrainingen aandacht te besteden aan de gestructureerde vorm.
Met de voorgaande onderzoeken is er vormgegeven aan de bijscholing van de
leerkrachten. Door de leerkrachten bij te scholen is al een start gemaakt met de implementatie van de onderwijsinnovatie. De projectleider heeft gemerkt dat op sommige scholen het
concept van een onderzoekslab duidelijker aanwezig is dan op andere scholen. Om de onderwijsinnovatie goed te kunnen implementeren in de schoolculturen zou stichting Sirius graag willen weten of er aspecten binnen de scholen bijdragen aan het succes van een onderzoekslab. Om dat te kunnen onderzoeken is de volgende onderzoeksvraag opgesteld:
Wat zijn succesfactoren om een onderzoekslab te implementeren in een schoolcultuur?
Theoretisch Kader
Dit theoretisch kader begint met een toelichting op wetenschap & technologie in het
basisonderwijs met daarbij de onderzoeks- en ontwerpcyclus. Vervolgens wordt schoolcultuur kort beschreven en zal er ingegaan worden op succes- en faalfactoren die bij de implementatie van onderwijsinnovatie van invloed zijn. Daarna zullen aan de hand van verschillende
6 worden de verwachtingen en deelvragen met betrekking tot de hierboven genoemde
onderzoeksvraag besproken.
Wetenschap & Technologie
Wetenschap & technologie zou een manier van kijken naar de wereld moeten zijn en niet iets als een apart vak. De verkenningscommissie wetenschap & technologie primair onderwijs (2013) heeft voor wetenschap & technologie de volgende begripsbepaling opgesteld:
Het is een manier van kijken naar de wereld. Wetenschap en technologie begint bij de verwondering: waarom is de wereld zoals zij is? Vanuit die attitude komen vragen op of worden problemen gesignaleerd. De zoektocht naar antwoorden op die vragen en problemen leidt tot oplossingen in de vorm van kennis en/of producten. Deze oplossingen zijn tegelijk weer uitgangspunt voor nieuwe vragen (p. 6).
Onderwijs in wetenschap & technologie stimuleert een ‘nieuwsgierige’, onderzoekende en probleemoplossende houding bij kinderen. De vaardigheden die de leerlingen ontwikkelen bij onderwijs in wetenschap & technologie zijn onderdeel van de ‘21ste-eeuwse’ vaardigheden.
Tijdens het onderwijs in wetenschap & technologie komen de leerlingen in aanraking met de verschillende fasen van een onderzoeksproces, zoals het ontwerpen van experimenten, het verzamelen van bewijzen en het trekken van conclusies (Zimmerman, 2007). Bij de
verschillende fasen hebben de leerlingen cognitieve en meta-cognitieve vaardigheden nodig. Voor het ontwikkelen en consolideren van deze vaardigheden is veel oefening vereist
(Zimmerman, 2007).
Turner en Ireson (2010) hebben aangetoond dat het vroeg aanbieden van wetenschap & technologie essentieel is voor de vorming van een positieve houding ten opzichte van wetenschap. Dit komt doordat bij het vroeg aanbieden de kinderen nog intrinsiek enthousiast zijn voor wetenschap & technologie. Hoe hoger het kind komt op de basisschool, hoe minder enthousiast het kind is over wetenschap (Murphy & Beggs, 2003). De motivatie van de
7 leerlingen is van invloed op de houding die de leerlingen aannemen. Dat de motivatie afneemt naarmate de kinderen ouder worden zou volgens Turner en Ireson (2010) minder worden als de kinderen van jongs af aan al in aanraking komen met wetenschap & technologie. Het vroeg aanbieden zorgt niet alleen voor een positievere houding ten opzichte van wetenschap & technologie, maar ook dat de vaardigheden die de leerlingen nodig hebben goed
geconsolideerd kunnen worden.
Onderzoekend en Ontwerpend Leren
Om de cognitieve en meta-cognitieve vaardigheden, die nodig zijn bij wetenschap &
technologie, te ontwikkelen kan de didactiek van Onderzoekend en Ontwerpend Leren (OOL) gebruikt worden. Deze didactiek heeft als doel: ‘Kinderen competenties te laten ontwikkelen
die samenhangen met de (natuur-) wetenschappelijke manier van werken of te werken als ontwerper’ (Van Graft & Kemmers, 2007, p.13). Volgens Van Graft en Kemmers (2007) is
bij de OOL-didactiek onderzoeken en ontwerpen een middel en niet een doel. Met behulp van het proces (van onderzoeken of ontwerpen) leren de kinderen over een vakgebied. Het
ontwikkelen van de cognitieve en meta-cognitieve vaardigheden gaat dan hand in hand met het opdoen van kennis over wetenschap & technologie. Kennis, vaardigheden en attitude die horen bij wetenschap & technologie worden door middel van activerende werkvormen
verworven. Bij onderzoekend leren gaat het specifiek om het vinden van een antwoord op een vraag en bij ontwerpend leren gaat het meer om het maken van een product als oplossing voor een probleem.
De didactiek van OOL wordt vaak weergegeven in verschillende onderzoeks- en ontwerpcycli (De Vaan & Marell, 2012; Van Graft & Kemmers, 2007). Deze verschillen komen doordat de grenzen van de verschillende fasen binnen het onderzoeken en ontwerpen
8 arbitrair zijn. In Figuur 1 is een overzicht te zien van de verschillende onderzoekscycli die in omloop zijn. De verschillende onderzoekscycli worden weergegeven in de kolommen.
In het figuur is te zien dat de blokken per kolom niet even groot zijn, de grootte komt zoveel mogelijk overeen met het aantal stappen dat uitgevoerd dient te worden in desbetreffende fasen. Zo is te zien dat de ‘Hypothesize & test fase’ van Suchman bij Llewellyn is opgedeeld in de ‘supposition’ en ‘implentation’ fasen. Deze laatste fase is in de cyclus van Van Graft & Kemmers opgedeeld in het ‘opzetten experiment’ en ‘uitvoeren experiment’.
Onderzoekend leren, waar de OOL-didactiek op gebaseerd is, bestaat uit drie hoofdprocessen: het opstellen van een hypothese, het opzetten van een experiment en het evalueren van het bewijs (Zimmerman, 2007). Deze drie hoofdprocessen zijn terug te vinden in de onderzoeks- en ontwerpcycli in Figuur 1. In dit onderzoek zal er gebruik worden
Figuur 1: Overzicht van de verschillende onderzoekcycli. Per kolom wordt een onderzoekscyclus weergegeven. De
grootte van de blokken komt overeen met het aantal stappen die doorlopen worden in de fase. Overgenomen uit: Van Graft, M. & Kemmers, P. (2007). Basisdocument: Onderzoekend en Ontwerpend Leren, Leren Onderzoekend & Ontwerpend Leren bij Natuur en Techniek. Enschede: SLO (p. 17).
9 gemaakt van de cycli van Van Graft en Kemmers (2007, p. 17 en 23), omdat deze wordt gebruikt in de nascholing en opleidingen die stichting Sirius aanbiedt aan de medewerkers. Van Graft en Kemmers (2007) hebben de drie hoofdprocessen verdeeld over zeven stappen, zie Figuur 1 en 2. Bij iedere stap voeren de leerlingen andere activiteiten uit.De laatste fase roept vaak weer nieuwe vragen op, waardoor de cyclus opnieuw doorlopen kan worden. Hoewel de cycli statisch worden weergegeven, hoeven deze niet in een vaste volgorde
doorlopen te worden. Bijvoorbeeld bij onderzoekend leren kan na ‘uitvoeren experiment’ ook terug worden gegaan naar ‘opzetten experiment’ (De Vaan & Marell, 2012; Van Graft & Kemmers, 2007).
De onderzoekscyclus bestaat uit de fasen: confrontatie, verkennen, opzetten experiment, uitvoeren experiment, concluderen, communiceren en verdiepen. Bij de ontwerpcyclus gaat het om de fasen: probleem, verkennen, ontwerp voorstel, maken, testen & bijstellen,
communiceren en verdiepen. De fasen van de verschillende cycli komen grotendeels overeen, Figuur 2: Cycli van onderzoekend en ontwerpend leren met daarin de verschillende fasen. Overgenomen uit Van
Graft, M. & Kemmers, P. (2007). Basisdocument: Onderzoekend en Ontwerpend Leren, Leren Onderzoekend & Ontwerpend Leren bij Natuur en Techniek. Enschede: SLO (p.23).
10 zoals bijvoorbeeld de confrontatie fase bij onderzoekend leren en de probleem fase bij
ontwerpend leren. Bij beide fasen gaat het erom dat de waarnemingen vragen oproepen en dat vanuit die vragen één van de cycli wordt doorlopen. Naast de overeenkomsten zijn er ook verschillen, deze verschillen zijn door De Vaan & Marell (2012) overzichtelijk weergegeven in een tabel, zie Tabel 1.
Tabel 1
Verschillen tussen de onderzoeks- en ontwerpcycli
Gebied Onderzoekscyclus Ontwerpcyclus
Leervorm Ontdekkend leren Probleemoplossend werken
Richtinggevend startpunt Operationele vraag Probleemstelling
Drijfveren/motivatie Motivatie Inspiratie
Leeractiviteiten Verkennen en onderzoeken Uitvinden Gewenst resultaat Objectief antwoord
(ontdekking)
Product (uitvinding) dat op een of andere wijze in de behoefte voorziet of een oplossing biedt
Verschillende leerlingen In principe gelijk antwoord Verschillende oplossingen Accenten in begeleiding Doorvragen, aandacht voor
verslaglegging, enz.
Plannen laten toelichten, materiaalvoorziening, taakverdeling, reflectie enz. Noot: leerprocessen vergeleken. De tabel is overgenomen uit: De Vaan, E. & Marell, J. (2012). Praktische didactiek voor natuuronderwijs. Bussum, Nederland: Coutinho.
Eerste kolom geeft de gebieden weer waar de onderzoeks- en ontwerpcycli op verschillen. De tweede en derde kolom geven weer waar het bij de cycli om gaat.
Uit de tabel is op te maken dat de verschillen niet zitten in de verschillende fasen, maar meer in het leerproces; wat de kinderen leren en wat de belangrijkste punten zijn voor de
begeleiding.
Wetenschappelijke Attitude Leerkrachten en OOL
Om de kinderen goed te kunnen begeleiden tijdens lessen met de OOL-didactiek is de wetenschappelijke attitude van leerkrachten van invloed (Haney, Czerniak, & Lumpe, 1996; Van Aalderen-Smeets & Walma van der Molen, 2013). Een negatieve attitude bij een
11 leerkracht resulteert in dat er minder tijd wordt besteed aan het onderwijzen van wetenschap & technologie. Ook wordt de positieve attitude bij leerlingen, die volgens Turner en Ireson (2010) zo belangrijk is, door leerkrachten met een negatieve attitude minder gestimuleerd (Van Driel, Beijaard, & Verloop, 2001). Leerkrachten moeten dus een positieve attitude hebben of ontwikkelen ten aanzien van wetenschap & technologie (Van Aalderen-Smeets, Walma van der Molen & Asma, 2012).
Naar de attitude die leerkrachten zouden moeten hebben ten aanzien van wetenschap & technologie is veel onderzoek gedaan. De resultaten van verschillende onderzoeken zijn moeilijk te vergelijken, omdat veel studies instrumenten gebruiken die maar een gedeelte van het concept attitude meten (Van Aalderen-Smeets & Walma van der Molen, 2013). Dit lijdt ertoe dat het interpreteren van de resultaten en het vergelijken van de resultaten lastig is, omdat de concepten niet hetzelfde zijn (Padro & Calvo, 2002). Om toekomstige studies wel met elkaar te vergelijken hebben Van Aalderen-Smeets et al. (2012) een nieuw theoretisch raamwerk ontwikkeld om de attitude van leerkrachten te meten, zie Figuur 3.
Dit raamwerk is tot stand gekomen na een reviewstudie met 45 studies, die
persoonlijke en/of professionele attitude van de leerkrachten meten. Om de 45 studies in te kunnen delen zijn de studies onderverdeeld in verschillende componenten, met als startpunt het tripartite model. Dit algemene psychologische model voor attitude onderscheidt drie componenten: cognitie, ‘beïnvloeding’ en gedrag (Eagly & Chaiken, 1993). Van Aalderen-Smeets et al. (2012) hebben per component subcomponenten toegevoegd. In Figuur 3 is te zien dat het raamwerk uit drie componenten bestaat met zeven kenmerken. Het derde component, waargenomen controle (perceived control), hebben Van Aalderen-Smeets et al. (2012) zelf ontwikkeld. Het derde component van het tripartite model, gedrag, is niet een van de drie componenten in het raamwerk. Volgens Van Aalderen-Smeets et al. (2012) zijn gedrag en gedragsintentie conceptueel anders dan attitude. Gedrag en gedragsintentie zijn
12 volgens hen uitkomsten van het theoretische construct: attitude. Met het nieuwe theoretisch raamwerk kan zowel de persoonlijke als professionele attitude beschreven worden.
Van Aalderen-Smeets en Walma van der Molen (2013) hebben aan de hand van dit nieuwe theoretisch raamwerk een instrument ontwikkeld, om de attitude van de
basisschoolleerkrachten ten aanzien van wetenschap & technologie te meten; het Dimensions of Attitude Towards Science instrument (DAS-instrument). Dit instrument bestaat uit zeven subschalen die gebaseerd zijn op de zeven subcomponenten uit het nieuwe theoretisch
raamwerk, zie Figuur 3. Deze subschalen bestaan weer uit verschillende items, in totaal zijn er 28 items. De respondenten moeten deze items beoordelen met behulp van een
vijf-punt-Likertschaal. De Nederlandse versie van het DAS-instrument is gevalideerd door de vragenlijst voor te leggen aan 556 respondenten (Van Aalderen-Smeets & Walma van der Molen, 2013).
Figuur 3: Nieuw theoretisch raamwerk om naar de attitude van leerkrachten te
kijken ten aan zien van wetenschap & technologie. Over genomen uit: Van Aalderen-Smeets, S. I., Walma van der Molen, J. H., & Asma, L. J. F. (2012). Primary teachers’ attitudes toward science: a new theoretical framework. Science Education, 96(1), 158-182. doi:10.1002/sce.20467 (p. 176)
13 Door onderzoek van Van Aalderen-Smeets et al. (2012) is nu bekent uit welke
onderdelen de attitude van leerkrachten ten aanzien van wetenschap & technologie bestaat. Er zouden nu gerichte trainingen ontwikkeld kunnen worden om de positieve attitude bij
leerkrachten te ontwikkelen. Alleen een attitude aanpassen gaat niet zo eenvoudig (Ramey-Gassert, Shroyer, & Staver, 1996; Schoon & Boone, 1998; Van Driel et al, 2001).
Leerkrachten stappen niet zomaar af van wat ze hebben opgebouwd tijdens hun carrière (Van Driel et al, 2001). Om de attitude van leerkrachten te veranderen zijn er voortdurende
professionele ontwikkelingsactiviteiten nodig (Levitt, 2000 in Van Driel et al, 2001). De activiteiten die georganiseerd worden om de professionele attitude van leerkrachten te ontwikkelen zou concreet en op een projectmatige manier moeten worden aangeboden op lokaal niveau (Haney et al., 1996). Volgens Haney et al. (1996) is er geen ‘ideale’ manier om de attitude te veranderen. Tijdens trainingen zou er gebruik moeten worden gemaakt van verschillende strategieën, zoals expliciete focus op attitude van leerkrachten, peer coaching, reflectie op praktijk en hoe verschillende materialen in gezet kunnen worden (Beijaard, Verloop, Wubbels, & Feiman-Nemser, 2000; Haney et al., 1996).
De afgelopen jaren is het aantal trainingen om wetenschap & technologie-onderwijs te geven gegroeid (Van Aalderen-Smeets & Walma van der Molen, 2015). Deze trainingen lijken meer effectief om de attitude van leerkrachten te veranderen, dan om de inhoudskennis bij te spijkeren (Knapp, 1997). Toch zien de verschillende studies het veranderen van de attitude van leerkrachten meer als een bijproduct, dan als een resultaat (Van Aalderen-Smeets & Walma van der Molen, 2015). Uit verschillende onderzoeken is gebleken dat een effectieve training tussen de 20 en 50 contacturen zou moeten hebben en dat de bijeenkomsten verspreid moeten zijn over een langere periode (Desimone, 2009). Uit recent onderzoek naar de attitude verandering van basisschoolleerkrachten ten aanzien van wetenschap & technologie, zijn er positieve resultaten gevonden bij een training met 18 contacturen (Van Aalderen-Smeets en
14 Walma van der Molen, 2015). De training is zelf door Van Aalderen-Smeets en Walma van der Molen ontwikkeld. De training bestaat uit zes bijeenkomsten van drie uur verspreidt over een periode van zes maanden. De totale tijdsinvestering is 18 uur aan contacturen en nog 35-40 uur aan opdrachten maken en uitvoeren. In een quasi-experimenteel onderzoeksdesign met voor- en nameting, hebben ze aangetoond dat de leerkrachten die de training hebben gevolgd na de training een positievere attitude hebben ten aanzien van wetenschap & technologie dan de leerkrachten die deze training niet hebben gevolgd. Om de verandering in de attitude te kunnen meten hebben ze gebruik gemaakt van het DAS-instrument dat in 2013 door Van Aalderen-Smeets en Walma van der Molen is ontwikkeld.
Al met al laat de training en het daarbij horend onderzoek van Van Aalderen-Smeets en Walma van der Molen (2015) zien dat een gerichte training met maar één hoofddoel en zes interactieve bijeenkomsten al effectief kan zijn om een attitude positief te beïnvloeden.
Schoolcultuur
Uit de vorige paragraaf is duidelijk geworden dat de attitude van leerkrachten een belangrijke rol heeft in het onderwijzen van wetenschap & technologie. Maar in hoeverre de leerkrachten deze positieve attitude kunnen ontwikkelen, is afhankelijk van de schoolcultuur. Munby, Cunningham en Lock (2002) geven aan dat de schoolcultuur de professionele ontwikkeling van leerkrachten in de weg kan staan. Onder schoolcultuur wordt verstaan, de cultuur die op school heerst. Cultuur kan gedefinieerd worden als: ‘Een geheel van denkmodellen en
gedragspatronen dat gedeeld wordt door een samenleving, gemeenschap of groepering. Cultuur is een dynamisch geheel van overtuigingen, praktijken, competenties, ervaringen en bijbehorende impliciete en expliciete spelregels.’ (Onderwijsraad, 2007, p. 30). Er is geen
eenduidige definitie van schoolcultuur, omdat binnen onderzoeken schoolcultuur
15 2000). In dit onderzoek wordt er uitgegaan van de volgende definiëring van schoolcultuur:
‘Het geheel aan opvattingen over waarden, normen, doelstellingen en verwachtingen dat dominant is binnen de organisatie, en het daaruit resulterende gedrag van de medewerkers.’
(Hoy & Miskel, 2013), omdat deze definitie alle drie de lagen van cultuur bevat: waarden, normen en culture uitingen (Maslowski, 2000).
Sinds de jaren zeventig wordt de cultuur van de school gezien als een cruciale factor in het doorvoeren van onderwijsveranderingen (Goodlad, 1975 en Sarason, 1971 in Maslowski 2000), omdat de menselijke factor de grootste invloed is op de onderwijsinnovatie (Kor & Wijnen, 2001; Open Universiteit Nederland, 2005; Schein, 1996; Van Driel et al., 2001) en schoolcultuur wordt gevormd door de personen in de school. De schoolcultuur moet
aansluiten bij de onderwijsinnovatie, of anders gezegd de onderwijsinnovatie moet aansluiten op de schoolcultuur. Het is dus van belang dat de leerkrachten open staan om hun attitude aan te passen, zowel richting de onderwijsinnovatie als richting de visie op de schoolcultuur (Schein 1996; Teune, De Boer, & De Laat, 2008; Van Aalderen-Smeets & Walma van der Molen 2012).
Factoren bij Onderwijsinnovaties
Niet alleen schoolcultuur zou belangrijk zijn bij onderwijsinnovaties, maar ook de factor: tijd (Otto, 2000 in Vodegel, Van den Bosch, & Smid, 2011). Tijd is belangrijk, omdat het lang duurt voordat het resultaat van een onderwijsinnovatie zichtbaar wordt (Vodegel et al., 2011). Om onderwijsvernieuwingen goed te implementeren moet er in het onderwijs uitgegaan worden van een proces dat acht tot tien jaar duurt (Fullan, 2016; Teune et al., 2008). Er moet niet alleen tijd en aandacht aan het begin van de onderwijsinnovatie worden besteed, maar ook tijdens de jaren die volgen. Tijdens de jaren die volgen is evaluatie en reflectie belangrijk,
16 want het verbeteren van de onderwijsinnovatie start bij het delen van ervaringen en een
kritische reflectie op de praktijk (Vodegel et al., 2011).
Deze twee factoren kunnen worden gezien als overkoepelende factoren en ze kunnen invloed hebben op alle lagen die te maken hebben met de implementatie van de
onderwijsvernieuwing, zoals: doelstelling, realisatie, management en proces (Vodegel et al., 2011). In dit onderzoek ligt de focus op het proces, er wordt gekeken naar de scholen en hoe zij de onderzoekslabs realiseren. Er zal dus gefocust worden op literatuur die gericht is op het proces van implementatie.
Vodegel et al. (2011) en Waslander (2007) wijzen erop dat er weinig tot geen wetenschappelijk onderzoek is gedaan naar factoren die een positieve invloed hebben bij de implementatie van onderwijsinnovaties. Echter in een dieptestudie die de Open Universiteit in opdracht van SURF1 heeft uitgevoerd, naar de succes- en faalfactoren van innovatieprojecten in het hoger onderwijs in Nederland, komt naar voren dat er wel veel onderzoek is gedaan naar de factoren die invloed hebben op onderwijsinnovaties (Open Universiteit Nederland, 2005).
Factoren die falen vergroten. Holmes (2001) heeft onderzoek gedaan naar waarom projecten falen. Onderwijsinnovatie kunnen falen als de projectleider slecht geïntegreerd is in de organisatie. Ook wordt de kans op falen volgens hem vergroot als er geen duidelijke verdeling is van de verantwoordelijkheden. Karlsen, Svendson en Omli (2003, in Open Universiteit Nederland, 2005) geven aan dat onderwijsinnovaties kunnen mislukken als het verandermanagement wordt verwaarloosd. Ook kan volgens hen het mislukken van innovaties in verband staan met een gebrek aan controle- en prestatiebeheer. De ontwikkeling en het volgen van winst moet systematisch gemeten worden. De Open Universiteit Nederland (2005)
1SURF is een ICT-samenwerkingsorganisatie van het onderwijs en onderzoek in Nederland.
17 noemt nog een andere factor dat een rol speelt: als de onderwijsinnovatie van het
schoolbestuur of de directie blijft, dan is de kans op falen groter.
In de studie van Open Universiteit Nederland (2005) worden de factoren die invloed hebben op het falen ‘zekere’ faalfactoren genoemd, omdat ze meer bijdragen aan het falen dan aan het succes. Deze factoren zijn: 1) gebrek aan evenwicht tussen de investering en het resultaat, 2) informatiepolitiek, waarbij macht wordt misbruikt en informatie niet wordt over gedragen, 3) gebrek aan verantwoordelijkheid, 4) cultuurkloof tussen de onderwijsplanners en de uitvoerders, 5) te grote betrokkenheid: niet weten wanneer verlies te nemen van innovatie, 6) alles-in-één oplossingen.
Niet alleen bovenstaande factoren hebben invloed op de onderwijsinnovatie, ook de omgeving is van invloed. Hoe groter de invloed van de omgeving op de innovatie, hoe groter de kans op mislukken (Open Universiteit Nederland, 2005; O’Hare, Watson, & Kavan, 1999).
Factoren die succes vergroten. In de (eerder genoemde) dieptestudie van Open Universiteit Nederland (2005) is eerst een literatuurstudie uitgevoerd, naar welke succes- en faalfactoren er in de literatuur bekend zijn. Om deze factoren te valideren is er gebruik gemaakt van de zogenaamde ‘Group Concept Mapping’ procedure. De experts op het gebied van (onderwijs)innovatie hebben 220 potentiële faal- en succesfactoren gegenereerd. De factoren zijn ingedeeld naar belangrijkheid, door de experts, met behulp van een vijf-punt-Likertschaal (Open Universiteit Nederland, 2005). In Tabel 2 is een overzicht op genomen van de twintig meest belangrijke succes- en faalfactoren volgens de experts. In de tabel zijn naast de factoren ook het gemiddelde, de standaarddeviatie, de range, de minimale en de maximale score van de factor opgenomen. Hoe hoger het gemiddelde, hoe belangrijker volgens de experts.
18 Tabel 2
De 20 meest belangrijke succes- en faalfactoren volgens de experts (N=13)
Rank Factor M SD Range Min Max
1 Zichtbaarheid toegevoegde waarde1 4.54 .66 2 3 5
2 In hoeverre lost een innovatie een probleem op2 4.46 .52 1 4 5 3 De projectleider moet competent zijn 4.46 .66 2 3 5
4 Vier je successen 4.46 .78 2 3 5
5 Betrokken en competent management 4.38 .65 2 3 5
6 Volledig toegewijde, kundige projectleider 4.38 .87 3 2 5
7 Positieve ambitie bij betrokken 4.38 .96 3 2 5
8 Deskundigheid binnen team 4.33 .78 2 3 5
9 Betrokkenheid afnemers 4.31 .75 2 3 5
10 Open cultuur bij medewerkers van innovatie 4.31 .95 3 2 5 11 Aantoonbare relatie tussen innovatie en verbetering
kwaliteit en kwantiteit leeractiviteiten van leerlingen.
4.23 .60 2 3 5
12 Inhoudelijk/organisatorisch competente medewerkers binnen de innovatie
4.23 .73 2 3 5
13 Informeren 4.23 1.01 3 2 5
14 Sterke sleutelpersonen op cruciale posities 4.17 1.03 3 2 5 15 Duidelijke frequente communicatie voor, tijdens en
na innovatie
4.15 .69 2 3 5
16 Gedeelde visie over het wat en hoe 4.15 .69 2 3 5
17 Toegevoegde waarde moet snel duidelijk zijn voor een ieder
4.15 .69 2 3 5
18 Blijvende management aandacht en monitoring 4.15 .69 2 3 5 19 Succesvolle tussenproducten/ zichtbare resultaten 4.15 .80 3 2 5 20 Participatie van betrokkenen tijdens traject 4,15 .90 2 3 5
*Noot: Aangepast van: Open Universiteit Nederland (2005)
M= gemiddelde, SD= standaarddeviatie, Min= minimaal gegeven antwoord, Max= maximaal gegeven antwoord
1 Hoe zichtbaar zijn de voordelen van een innovatie, kwestie van PR, maar ook keuze van accenten. Hoe
zichtbaarder, hoe beter. 2 Hoe meer men denkt dat dit zo is des te beter (de innovatie is en niet alleen nieuw maar
ook beter).
De factoren die uit deze studie naar voren komen zijn niet allemaal relevant voor het primair onderwijs, omdat de organisatiestructuur verschillend is. Ook is de omvang van de
onderwijsinnovatie in dit onderzoek kleiner dan de omvang in de dieptestudie. Voor de factoren in Tabel 2 geldt hoe beter deze zijn uitgewerkt, hoe groter de kans op succes.
Ook Teune et al. (2008) geven vier punten die bijdragen aan het succes van een onderwijsinnovatie. Het eerste punt is dat er ontwikkelruimte moet zijn voor leerkrachten. Hiermee wordt bedoeld dat de leerkrachten de ruimte moeten krijgen om te kunnen
19 experimenteren met de onderwijsinnovatie. De leerkrachten moeten zelf ervaren hoe zij de onderwijsinnovatie kunnen toepassen tijdens de dagelijkse activiteiten. Zij zijn immers een belangrijke schakel als het gaat om onderwijsinnovatie. Als tweede punt is de communicatie van belang. Communicatie met de leerkrachten is van invloed op het slagen van een
onderwijsinnovatie. Het derde punt dat belangrijk is, is dat de verschillende onderdelen van een onderwijsinnovatie op elkaar aansluiten. Het proces wordt stapje voor stapje verder uitgewerkt en in gebruik genomen, het is een iteratief proces (Vodegel et al., 2011). Het laatste punt dat volgens Teune et al. (2008) van belang is, is dat wordt aangegeven welke kennis en vaardigheden er nodig zijn voor de onderwijsinnovatie. Daarbij gaat het niet alleen om wat de leerkrachten voor kennis en vaardigheden nodig hebben, maar ook wat er van de andere teamleden en leerlingen wordt verwacht.
Twee-kanten-factoren. In de literatuur zijn ook factoren te vinden die wel invloed hebben op de implementatie van een onderwijsinnovatie, maar of deze bijdragen aan het succes of falen hangt af van de uitwerking. Dit zijn vaak factoren die twee kanten op kunnen gaan. Een voorbeeld hiervan zijn de zogenoemde opinieleiders (Open universiteit Nederland, 2005; Teune et al., 2008).Met een opinieleider wordt iemand bedoeld die in de wandelgangen een sterke mening heeft. De overige teamleden luisteren daarnaar en nemen de mening voor het grootste gedeelte over. Als de opinieleider enthousiast is over een onderwijsinnovatie, dan is de kans groter dat de onderwijsinnovatie geïmplementeerd wordt dan wanneer de
opinieleider negatief of terughoudend is over de onderwijsinnovatie. Een opinieleider hoeft niet aanwezig te zijn in een schoolorganisatie, bij afwezigheid is deze factor dus niet van toepassing.
20 Fasen van Onderwijsinnovatie
De verschillende factoren laten zien dat er veel komt kijken bij een onderwijsinnovatie, het implementeren van een onderwijsinnovatie verloopt dan ook via een complex proces (Open Universiteit Nederland, 2005). Voordat een onderwijsinnovatie in een schoolcultuur is opgenomen, worden er eerst verschillende fasen doorlopen. De naam van de fasen en de hoeveelheid is afhankelijk van het model dat gebruikt wordt (Fullan, 2016; Katz & Kahn, 1978; Kor en Wijnen, 2001; Open Universiteit Nederland, 2005; Ries, 2012).
Een van de modellen voor fasen van onderwijsinnovatie komt van Katz en Kahn. Zij hebben in 1978 een model gepresenteerd dat uit drie fasen bestaat: een diagnostische fase, een doelsettingsfase en een innovatief-proces fase. In de diagnostische fase gaat het erom de organisatiestructuur duidelijk krijgen en een plan maken hoe de organisatie in het vervolg georganiseerd zou moeten worden. In de doelsettingsfase worden doelen opgesteld en het ontwerp van de gewenste situatie wordt uitgewerkt. En in de laatste fasen: innovatief-proces, wordt bepaald welke strategieën, methoden en interventies gebruikt kunnen worden om de gewenste situatie uit de tweede fasen te kunnen realiseren (Katz & Kahn, 1978).
Kor en Wijnen (2001) hebben het model van Katz en Kahn (1978) verder
gespecifieerd in zes fasen: initiatie, definitie, ontwerp, voorbereiding, realisatie en onderhoud. In de initiatiefase worden alle gegevens die nodig zijn verzameld. In de definitiefase worden de gewenste resultaten gedefinieerd. In de ontwerpfase wordt het ontwerp van de
onderwijsinnovatie uitgedacht en in de voorbereidingsfase wordt deze uitgewerkt zodat het in de realisatiefasen kan worden geïmplementeerd. In de laatste fase, onderhoud, worden de resultaten bijgehouden en gebruikt om de onderwijsinnovatie nog beter te kunnen
implementeren.
Het model van Katz en Kahn (1978) heeft de vorm van het traditionele model met drie fasen. De benaming van deze fasen kunnen verschillen, maar de inhoud is vrijwel identiek
21 (Fullan, 2016). Fullan (2016) ziet het I3-model als het traditionele model. Dit model bestaat
uit de drie fasen: initiatie, implementatie, institutionalisatie. In de initiatie fase staat de planning van de onderwijsinnovatie centraal. In de implementatiefase gaat het om de ontwikkeling, de invoering en de evaluatie van de onderwijsinnovatie. Bij de laatste fase, institutionalisatie staat de duurzaamheid van de onderwijsinnovatie centraal (Fullan, 2016; Open Universiteit Nederland, 2005). Figuur 4 laat een versimpelde weergave van het model zien.
In het figuur is te zien dat het model niet zozeer de verschillende fasen onderscheidt, maar dat de fasen elkaar beïnvloeden. Dit zorgt voor een complex model. Een andere reden waarom het model complex is komt doordat de onderwijsinnovatie eerst helemaal goed moet worden uitgedacht voordat het in de praktijk zou kunnen worden uitgevoerd.
Door de snelle en nieuwe technologische ontwikkelen, worden er een nieuwe modellen ontwikkeld om het proces van onderwijsinnovatie te kunnen weergeven. Het
Figuur 4: ‘Simplified Overview of the change process’.
Versimpelde weergaven van het I3-model. Overgenomen uit
Fullan, M. (2016). The new meaning of educational change (5de ed.). New York: Columbia University. (p.56)
22 traditionele I3-model wordt bij deze modellen als uitgangspunt genomen (Fullan, 2016). Een
nieuw model komt van Ries (2012), zijn model heeft ook drie fasen: visie, sturen, versnellen. Volgens Ries moet innovatie door een iteratief proces in de praktijk voortdurend verbeterd worden. Bij het traditionele I3-model proberen ze eerst de onderwijsinnovatie te
perfectioneren in een lab situatie, voordat de innovatie in de praktijk wordt gebracht (Fullan, 2016), waardoor aanpassingen in de praktijk bijna niet aan de orde zijn. Terwijl Ries (2012) vindt dat het perfectioneren pas in de praktijk zou moeten gebeuren aangezien dit beter bij de snelle ontwikkelingen in de maatschappij zou passen (Fullan, 2016). Ook Fullan (2016) is een nieuw model aan het ontwikkelen, met drie fasen. Dit model is nog niet vergenoeg uitgewerkt, om te kunnen gebruiken voor dit onderzoek.
Verwachtingen en Deelvragen
Om de onderzoeksvraag: wat zijn succesfactoren om een onderzoekslab te implementeren in
een schoolcultuur? te kunnen beantwoorden zijn de volgende deelvragen opgesteld:
1. Welke uit de literatuur bekende factoren dragen bij Sirius bij aan het succes van onderzoekslabs?
2. Welke uit de literatuur bekende factoren staan het succes van de onderzoekslabs bij Sirius in de weg?
3. Welke uit de literatuur bekende factoren bij onderwijsinnovaties in het algemeen zijn sterk van invloed bij de invoering van onderzoekslabs?
De bestudeerde literatuur heeft tot vier verwachtingen geleidt. De eerste verwachting gaat over de factoren die volgens de literatuur van invloed zouden zijn. Om een
onderwijsinnovatie te kunnen laten slagen, zouden de factoren die de kans op succes
23 Universiteit Nederland, 2005; Teune et al., 2008; Vodegel et al., 2011). De verwachting is dat factoren die de kans op falen vergroten in mindere mate aanwezig zijn dan de factoren die de kans op succes vergroten.
De tweede verwachting heeft betrekking op de leerkrachttraining die Sirius aanbiedt. Uit de literatuur van Van Aalderen-Smeets en Walma van der Molen (2015) kwam naar voren dat een gerichte leerkrachttraining, met relatief weinig contacturen een positief resultaat geeft. Naar aanleiding van eerder onderzoek bij Sirius naar de leerkrachttraining (Kolvoort, 2014; Roos, 2015), is de training voor leerkrachten die werkzaam zijn binnen Sirius vormgegeven. Er wordt verwacht dat deze gerichte leerkrachtentraining een positief effect heeft op het implementeren van het onderzoekslab.
De derde verwachting heeft betrekking op de zogenoemde algemene factor, tijd (Teune et al., 2008; Otto, 2000 in Vodegel et al., 2011). Er wordt verwacht dat deze factor een grote invloed heeft op de implementatie van het onderzoekslab.
De vierde en laatste verwachting gaat over de opinieleider. Uit de literatuur komt naar voren dat de invloed van de opinieleider afhangt van de uitwerking (Open Universiteit Nederland, 2005; Teune et al., 2008). Binnen dit onderzoek wordt verwacht dat de
opinieleider een positieve invloed zal hebben, omdat de opinieleider een coördinerende rol heeft binnen de school.
Methode Participanten
Het onderzoek bestond uit twee delen, een kwalitatief en een kwantitatief deel. Voor het kwalitatieve gedeelte is er gebruik gemaakt van de wetenschap & techniekcoördinatoren, die werkzaam zijn binnen Sirius. Deze komen per schooljaar een aantal keer samen om de voortgang van wetenschap & technologie op de verschillende scholen te bespreken: waar
24 lopen de scholen tegen aan, wat zijn succeservaringen en welke hulp kunnen de scholen en het bestuur elkaar bieden. Deze groep is in de eerste bijeenkomsten van het schooljaar 2016-2017 op de hoogste gesteld dat er een onderzoek zou plaats vinden. In een mail na deze bijeenkomst waren ze individueel gevraagd of ze wilden deelnemen aan het eerste gedeelte van het onderzoek. Vijf participanten verdeelt over vier scholen hadden gereageerd op de mail. De vijf participanten zijn dus allemaal wetenschap & techniekcoördinator op hun school en hadden er zelf voor gekozen om mee te doen. Eén van de participanten sprak frequent over een leerkracht, naar aanleiding hiervan is deze leerkracht ook meegenomen in dit gedeelte van het onderzoek. Uiteindelijk bestond de groep uit zes participanten verdeelt over vier scholen. Vijf van deze participanten hebben ook deelgenomen aan het kwantitatieve gedeelte van het onderzoek.
Het kwantitatieve gedeelte van het onderzoek is uitgezet binnen alle veertien scholen van het bestuur. In een van de bijeenkomsten van de wetenschap & techniekcoördinatoren was besloten dat het werven van participanten via de wetenschap & techniekcoördinatoren zou verlopen. Op de scholen waar nog geen wetenschap & techniekcoördinator aanwezig was, zou de directeur de contactpersoon zijn. De onderzoekster heeft de wetenschap &
techniekcoördinatoren of directeuren persoonlijk via een mail benaderd met het verzoek om de link naar de digitale vragenlijst door te sturen naar het onderwijsgevende personeel op de school. De onderzoekster heeft geen verdere zicht gehad op hoe de verspreiding van deze link onder de ongeveer 250 onderwijsgevende personen is verlopen. Door de onderzoekster was wel druk uitgeoefend. Dit is gebeurd door telefonisch contact te zoeken met de scholen die nog niet gereageerd hadden. Tijdens dat gesprek werd het belang van het invullen en
doorsturen van de vragenlijst nog een keer benadrukt. Alle scholen hebben later nog één keer een herinnering ontvangen van de onderzoekster. Uiteindelijk hebben 45 participanten, verdeelt over 12 scholen, meegewerkt aan het onderzoek, zie Tabel 3.
25 Tabel 3
Verdeling van de participanten over de scholen
School N School 1 1 School 2 3 School 3 3 School 4 1 School 5 6 School 6 1 School 7 7 School 8 9 School 9 5 School 10 1 School 11 1 School 12 7
Noot: N= aantal respondenten
Van deze participanten is 80% groepsleerkracht, 4,4% onderwijsassistent en 15,6% overig. Dit betekent dat ze een andere functie hebben binnen de school. De respondenten zijn verdeeld over de drie verschillende bouwen in de school, 26,7% is werkzaam in de onderbouw, 20,0% in de middenbouw en 53,3% in de bovenbouw.
Instrumenten
Interview. Het kwalitatieve gedeelte bestond uit het afnemen van een
semi-gestructureerd interview. Het doel van de interviews was, om een beeld te krijgen hoe er op de scholen werd gewerkt aan het opstarten en implementeren van een onderzoekslab. Voor dit interview was een interviewleidraad opgesteld aan de hand van het theoretisch kader, zie Bijlage A. ‘Zijn er factoren in de school die de werking/kwaliteit van het kleuterlab
beïnvloeden?’ Zoals deze vraag laat zien zijn er geen specifieke factoren die zijn gevonden in
het theoretisch kader opgenomen in de vragen. Hiervoor was gekozen zodat de participanten niet zouden worden gestuurd in het beantwoorden van de vraag. Daarnaast werden op deze manier andere factoren, dan gevonden in de literatuur, niet uitgesloten.
26 De interviewleidraad bestond uit zes hoofdvragen met ieder één à twee subvragen. De eerste drie hoofdvragen zijn algemene vragen over het onderzoekslab: Welke labs zijn er al aanwezig op school, welke vorm hebben deze labs en wat is de organisatie van deze
onderzoekslabs. Deze drie hoofdvragen zijn gebruikt om een beeld te krijgen waar de scholen op dat moment waren met de implementatie van het onderzoekslab. Terwijl de andere
hoofdvragen een beeld zouden moeten geven van hoe de verdere implementatie van het onderzoekslab zou gaan verlopen. Dit zijn namelijk vragen over de mening van de participant, zoals ‘Bent u tevreden over de werking van het kleuterlab? Waarom?’ en ´Wat is uw
ideaalbeeld van de onderzoekslabs?’. De afname van het interview duurde ongeveer 20
minuten per participant.
Om de betrouwbaarheid te waarborgen, is ieder interview op dezelfde manier afgenomen door dezelfde onderzoekster. De ecologische validiteit, de mate dat de
onderzoeksresultaten overeenkomen met de dagelijkse praktijk (Hoyle, Harris, & Judd, 2002), is verhoogd doordat de interviews zijn afgenomen in een vertrouwde omgeving van de
participant. De interviewleidraad is met verschillende personen besproken, zoals
onderzoeksbegeleider, collega studenten, contactpersoon vanuit het bestuur en familie. Dit draagt bij aan de validiteit van de interviewleidraad. Ook het aantal participanten en de verschillen daartussen dragen bij aan de externe validiteit van het interview.
Vragenlijst. Voor het kwantitatieve gedeelde is een zelfontworpen vragenlijst afgenomen, zie Bijlage C. De vragen die gesteld zijn komen voort uit de resultaten van de interviews en het theoretisch kader. De vragen zijn verdeeld over verschillende categorieën en concepten. Zo was er net zoals bij de interviews een algemeen gedeelte, met daarin algemene vragen: ‘Op welke school bent u werkzaam, in welke bouw bent u werkzaam en hoeveel jaar
werkervaring heeft u.’ Deze vragen zijn gesteld om een beeld te krijgen van de participanten
27 deel over het kleuterlab, middenbouwlab of bovenbouwlab, afhankelijk van in welke bouw de participant werkzaam was. De vragen in deze drie delen waren wel hetzelfde alleen
toegespitst op het kleuter-, middenbouw- of bovenbouwlab. Zo kreeg iemand die werkzaam is bij de kleuters: ‘Is er een kleuterlab aanwezig?’. Zou deze respondent werkzaam zijn geweest in de midden- of bovenbouw dan zou het woord kleuterlab vervangen zijn door
middenbouwlab of bovenbouwlab.
Ook over de categorieën leerkrachttraining en inspiratiebijeenkomsten werden vragen gesteld. Voor deze twee categorieën is gekozen, omdat uit de literatuur naar voren is gekomen dat het belangrijk is dat leerkrachten weten welke kennis en vaardigheden zij nodig hebben (Teune et al., 2008) en deze worden in de leerkrachtentraining en in de
inspiratiebijeenkomsten aangeboden. ‘De onderwerpen die behandeld worden tijdens een
inspiratiebijeenkomst sluiten aan bij mijn behoeften.’ Bij het gedeelte over de
leerkrachttraining is er meer naar de vaardigheden gevraagd die de leerkrachten nodig hebben om een onderzoekslab te begeleiden, zoals ‘De training heeft mij bewust gemaakt van mijn
vraaggedrag richting de leerlingen.’ en ‘Wat ik heb geleerd tijdens de training pas ik dagelijkse in mijn klas toe.’
Naast deze categorieën zijn er ook vragen gesteld over vier verschillende concepten: tevredenheid, organisatie, leerkrachthandelen en autonomie van de leerkrachten. De factoren die het succes vergroten vallen onder deze concepten. Autonomie van leerkrachten heeft namelijk te maken met de factor ontwikkelruimte voor leerkrachten. Het concept van leerkrachthandelen sluit aan bij de factor kennis en vaardigheden. Het concept tevredenheid bevat alle factoren, want het gaat over wat de participant vindt of ervaart, zoals ‘Ik ben
tevreden over de werking van het onderzoekslab.’ en ‘Ik heb het gevoel dat de leerlingen enthousiast zijn over het onderzoekslab.’ Het laatste concept organisatie is gekozen, omdat de
28
maken van het onderzoekslab.’Vanuit de literatuur is namelijk bekend dat de omgeving een grote invloed heeft op een onderwijsinnovatie (O’Hare et al., 1999).
Bovengenoemde categorieën en concepten zijn verdeeld over de 117 vragen uit de vragenlijst. Een participant hoefde niet alle 117 vragen in te vullen, afhankelijk van zijn of haar antwoordkeuze zijn er door iedere participant maximaal 75 vragen ingevuld. Het invullen van de vragenlijst duurde gemiddeld 10 minuten en dit gebeurde digitaal via
Google-formulieren.
Bij de vragenlijst is de betrouwbaarheid achteraf gemeten met de cronhbach’s alfa aan de hand van de verschillende concepten, zie Tabel 4.
Tabel 4
Betrouwbaarheid van de verschillende concepten
Concept Α N
Tevredenheid .746 7
Organisatie .824 7
Leerkrachthandelen .881 3
Autonomie leerkrachten .775 3
Noot: N= aantal vragen per concept
In Tabel 4 is te zien dat het aantal vragen per concept klein is. Dit betekent dat er geen
conclusies gedaan mogen worden over de betrouwbaarheid. In Bijlage B zijn de vragen die bij de verschillende concepten horen opgenomen. Door iedere vraag te onderbouwen vanuit de interviews en het theoretisch kader is getracht om de inhoudsvaliditeit te verhogen.
Procedure
De semi-gestructureerde interviews voor het kwalitatieve gedeelte van het onderzoek zijn afgenomen op de desbetreffende scholen. Alle interviews vonden na schooltijd plaats in een klaslokaal op de school. Alle interviews zijn, na opname, getranscribeerd. De getranscribeerde
29 interview resultaten zijn gebruikt om samen met het theoretisch kader de vragenlijst vorm te geven.
De vragenlijst was via de e-mail verspreid. Alle wetenschap & techniekcoördinatoren of directeuren van de veertien scholen waren persoonlijk door de onderzoekster via de mail benaderd. In de e-mail was de desbetreffende persoon gevraagd om de e-mail met daarin een link naar de digitale vragenlijst door te sturen naar al het onderwijsgevende personeel van de school. De participanten konden de vragenlijst via een digitale link, naar Google-formulieren, invullen. De antwoorden zijn via het programma Google-formulieren omgezet naar een spreadsheet en vandaaruit naar een SPSS-file. Met behulp van het SPSS-programma is de data geanalyseerd.
Data-analyse
Aan de hand van de transcripten van de interviews zijn de resultaten van de interviews verwerkt in de vragenlijst. Door het uitvoeren van een principale componenten analyse in SPSS is de betrouwbaarheid van de verschillende concepten in de vragenlijst vastgesteld.
Het was de bedoeling dat van de concepten correlaties zouden worden berekend, zoals tevredenheid met organisatie, tevredenheid met autonomie leerkrachten en tevredenheid met leerkrachthandelen. Deze correlaties zouden berekend worden met hulp van het
SPSS-programma. Dit zodat er verbanden gevonden zouden kunnen worden tussen de verschillende concepten. De correlaties zijn niet berekend, omdat het aantal participanten te klein was en er gegevens miste. Hierdoor kan een deel van deelvraag 3 niet beantwoord worden.
Resultaten
In deze paragraaf zullen de resultaten besproken worden aan de hand van de verwachtingen uit het theoretisch kader. Eerst zullen algemeen beschrijvende en opvallende resultaten
30 beschreven worden. Als laatste zullen de succesfactoren die gevonden zijn gerapporteerd worden.
Organisatie Onderzoekslab
Uit de vragenlijst is naar voren gekomen dat niet op alle scholen een kleuterlab aanwezig is. Van de participanten die in de onderbouw werken wordt aangegeven dat op 6 van de 9 (66,7%) scholen een kleuterlab aanwezig is. Op één school is er een middenbouwlab aanwezig.
Opvallend is dat bij twee scholen tegenstrijdige resultaten worden gevonden. Er wordt zowel aangegeven dat er een onderzoekslab is, als dat geen onderzoekslab aanwezig is. Bij de ene school gaat het om een kleuterlab en bij de andere school om een bovenbouwlab.
De meeste scholen zijn dit schooljaar (2016-2017) gestart met het kleuterlab. Het middenbouwlab is ook dit schooljaar gestart. Twee scholen zijn eerder gestart met een kleuterlab, één in 2015-2016 en de ander in 2014-2015.
Sirius biedt drie verschillende vormen van een onderzoekslab aan. Twee van deze vormen worden toegepast: aparte ruimte in de school of een kast. Op twee scholen wordt er gewerkt met de vorm van een aparte ruimte. De andere scholen werken met de vorm van een kast. Er is geen verschil gevonden in antwoorden tussen beide vormen van het onderzoekslab.
Factor Tijd
Uit de literatuur is gebleken dat tijd een belangrijke factor zou zijn. In Figuur 5 is het resultaat te zien op de vraag: ‘Er is geen tijd om het onderzoekslab op te zetten.’ De meeste
participanten hebben aangegeven dat tijd een belemmering is om een onderzoekslab op te zetten.
31 Figuur 5: visuele weergaven van de antwoorden op de vraag: ‘Er is geen tijd om het onderzoekslab op te zetten’.
Opvallend in Figuur 5 is dat de onderbouw en bovenbouw verspreid hebben gereageerd, terwijl de middenbouw sterk aangeeft dat tijd een belemmering is bij het opzetten van een onderzoekslab. Als laatste valt op dat veel participanten neutraal hebben geantwoord. De factor tijd is wel aanwezig, maar het wordt niet direct ervaren als een belemmering.
Inspiratiebijeenkomsten
Uit de interviews komt naar voren dat de inspiratietheetjes en inspiratiebijeenkomsten, georganiseerd door Sirius, wisselend worden bezocht door de verschillende scholen. Bij enkele scholen zijn de data van deze bijeenkomsten opgenomen in de jaarplanning, waardoor leerkrachten verplicht worden.
‘Er zijn ook inspiratietheetjes en onze directrice heeft het zo goed geregeld dat ze het ook in de jaarplanning heeft gezet, dus iedereen moet. Dus het is niet zo als je wilt ga je, maar het staat in je jaarplanning dus je gaat gewoon.’
0 2 4 6 8 10 12 14 16 18 20 Helemaal mee oneens
mee oneens niet mee oneens/niet mee
eens
mee eens Helemaal mee eens Onderbouw middenbouw bovenbouw
32 Dit resultaat wordt ook teruggevonden in de vragenlijst. Van de twaalf scholen is bij de helft van de scholen de data van de inspiratiebijeenkomsten in de jaarplanning opgenomen. Uit de vragenlijst komt een wisselend beeld over het wel of niet heen gaan naar de
inspiratiebijeenkomsten en het hebben opgenomen van de data in de jaarplanning, zie Tabel 5.
Tabel 5
Aanwezigheid inspiratiebijeenkomsten en data opgenomen in jaarplanning
Nnn Nnw Nwn Nww School 1 1 School 2 3 School 3 1 1 1 School 4 1 School 5 2 4 School 6 1 School 7 2 1 3 1 School 8 5 3 1 School 9 1 4 School 10 1 School 11 1 School 12 4 3
*Noot: Nnn = Niet opgenomen, niet aanwezig, Nnw = Niet opgenomen, wel aanwezig; Nwn=
wel opgenomen, niet aanwezig; Nww=wel opgenomen, wel aanwezig
Uit Tabel 5 is af te lezen, dat op scholen waar de data van de inspiratiebijeenkomsten is opgenomen in de jaarplanning, de meeste participanten ook naar de inspiratiebijeenkomsten gaan. Opvallend is dat er op de scholen wisselend wordt geantwoord op de vraag of de data van de inspiratiebijeenkomsten zijn opgenomen in de jaarplanning en of de
inspiratiebijeenkomsten worden bezocht.
Uit een interview kwam naar voren dat de leerkrachten niet naar de
inspiratiebijeenkomsten zouden gaan, maar dat het wordt gezien als iets erbij. De meerwaarde en de noodzaak zou niet worden ingezien.
33
‘We proberen vooral de inspiratietheetjes erin te krijgen, maar de leerkrachten zie het als iets erbij. Dan moeten ze weer ’s middags ergens heen. Het neemt toch weer een middag van je werk af. Ze zien niet zo de meerwaarde en de noodzaak.’
Dat de meerwaarde niet wordt gezien is niet terug te vinden in de vragenlijst. De participanten die aangeven niet naar de inspiratiebijeenkomsten te gaan, geven wel aan dat het een
meerwaarde heeft voor de school of voor de participant zelf. Redenen die worden gegeven om niet heen te gaan, hebben allemaal te maken met de factor tijd. ‘Als het gewoon meteen om
14.30 uur was, en wij na schooltijd minder te doen hadden’
Factoren die Succes Vergroten
Opinieleider. De opinieleider uit de literatuur kan worden vergeleken met de aanjager binnen een school. Uit de interviews komt naar voren dat de wetenschap &
techniekcoördinatoren vaak de aanjagers zijn binnen de scholen. Op alle scholen is een
aanjager aanwezig, alleen is niet op alle scholen duidelijk wie dit is binnen de school. Voor de participanten is de meerwaarde van een aanjager duidelijk: collega’s enthousiasmeren.
Ontwikkelruimte. Uit de vragenlijst komt naar voren dat de participanten vinden dat ze veel invloed hebben in het onderzoekslab. De participanten geven dit voornamelijk aan bij het kiezen van de materialen, activiteiten en bij het aankleden van het onderzoekslab. Ook het niveau van de opdrachten sluit volgens de participanten goed aan. De leerlingen zouden zelfstandig met de materialen kunnen werken. Dit beeld van ontwikkelruimte die de leerkrachten hebben, komt ook uit de resultaten van de interviews. De scholen hebben allemaal hun eigen manier van werken met het onderzoekslab, omdat ze zelf de materialen mogen uitzoeken en zelf de organisatie kunnen bepalen.
Kennis en vaardigheden. Over hun eigen leerkrachthandelen zijn de participanten minder uitgesproken. Over het algemeen wordt er neutraal geantwoord. De participanten
34 geven aan dat ze tevreden zijn over hun eigen handelen, maar dat er ook nog punten beter zouden kunnen. Uit de interviews komt naar voren dat Sirius onderzoekend en ontwerpend leren trainingen aanbiedt, gericht op het leerkrachthandelen in een onderzoekslab. Deze training komt ook terug in de vragenlijst. Echter 62% van de participanten heeft geen training gevolgd. Van dit percentage zou de helft graag wel de training hebben gevolgd. Opvallend zijn de redenen die worden gegeven waarom de training niet is gevolgd: 1) nog nooit van de training gehoord of niet aangeboden. 2) de respondenten volgen andere cursussen. 3) nog niet werkzaam binnen Sirius ten tijden dat de training werd aangeboden.
Discussie
In deze paragraaf zal eerst antwoord gegeven worden op de deelvragen en de
onderzoeksvraag. Vervolgens zullen de belangrijkste beperkingen voor dit onderzoek
besproken worden. Ten slotte zal er een koppeling worden gemaakt naar wat dit onderzoek tot nu toe heeft bijgedragen of kan bijdragen aan de praktijk.
Conclusie
Deelvraag 1. De eerste deelvraag gaat over welke factoren uit de literatuur bijdragen aan het succes van een onderzoekslab bij Sirius. In de literatuur worden door Teune et al. (2008) en Open Universiteit Nederland (2005) verschillende factoren genoemd die de kans op succes vergroten. Uit dit onderzoek komt naar voren dat een aantal van deze factoren ook duidelijk aanwezig zijn binnen Sirius, waardoor de kans op succes groter is. Een van deze factoren is de factor ontwikkelruimte. De leerkrachten ervaren dat ze veel vrijheid krijgen. Deze vrijheid van de leerkrachten resulteert in dat op iedere school het onderzoekslab een andere aankleding heef. De invloed van de leerkrachten is te zien, in het materiaal, type activiteiten en de organisatie.
35 Een andere factor die de kans op succes vergroot, is de factor kennis en vaardigheden. Deze factor komt op verschillende plekken terug in het implementatie proces van het
onderzoekslab. Aan deze factor wordt aandacht besteed tijdens de inspiratiebijeenkomsten die gedurende het schooljaar worden georganiseerd. Ook komt deze factor terug tijdens de
leerkrachttraining die Sirius aanbiedt aan de medewerkers. Tijdens de inspiratiebijeenkomsten en leerkrachttraining wordt niet alleen aandacht besteed aan de factor kennis en vaardigheden, maar ook aan de factor van evaluatie en reflectie. Deze factor draagt binnen Sirius dus ook bij aan het vergroten van het succes van het onderzoekslab.
In de literatuur werd ook nog een factor genoemd die een negatieve of een positieve invloed zou hebben afhankelijk van de uitwerking, de opinieleider (Open Universiteit Nederland, 2005; Teune et al., 2008). Binnen Sirius heeft deze factor een positieve invloed. De opinieleider enthousiasmeert de collega’s.
Deelvraag 2. De tweede deelvraag ging over welke factoren het succes van het onderzoekslab in de weg staan binnen Sirius. In de gevonden literatuur zijn veel factoren bekent die het succes van een onderwijsinnovatie in de weg staan (Holmes, 2001; Open Universiteit Nederland, 2005). Geen van deze factoren zijn gevonden op de scholen van Sirius. Dat een aantal van deze factoren niet gevonden zijn, kan verklaard worden door de organisatiestructuur. Zoals de factor over dat de projectleider niet goed geïntegreerd is in de organisatie. Deze is niet van toepassing, omdat de projectleider zelf werkzaam is binnen Sirius en de teamleden in de scholen zelf de onderwijsinnovatie moeten uitvoeren en verder ontwikkelen.
Deelvraag 3. De derde deelvraag ging over welke bekende factoren in het algemeen een sterke invloed hebben bij de invoering van een onderzoekslab. Doordat de correlaties tussen de verschillende concepten niet gemeten konden worden, omdat er de participanten
36 groep te klein is en er data miste, kan deze vraag niet goed beantwoord worden. Er is namelijk niet duidelijk wat de invloed is van de verschillende concepten.
Binnen Sirius kunnen wel twee factoren aangewezen worden die van invloed zijn op de invoering van het onderzoekslab. Op sommige scholen wordt tijd wel gezien als een belemmering en op andere scholen minder. Dit beeld laat zien dat de factor tijd een grote invloed heeft op de implementatie van het onderzoekslab. Of deze factor een negatieve invloed gaat hebben, is met dit onderzoek niet vast te stellen. Ditzelfde geld voor de tegenstrijdige resultaten die zijn gevonden. Deze tegenstrijdigheden vallen onder de factor communicatie. Als er duidelijk gecommuniceerd wordt binnen de scholen, dan zullen deze tegenstrijdigheden afnemen. Alleen kan met dit onderzoek niet vastgesteld worden of de factor communicatie meer een negatieve invloed zou hebben dan een positieve invloed.
Onderzoeksvraag. Met behulp van bovenstaande deelvragen kan er antwoord gegeven worden op de onderzochte vraag in dit onderzoek: ‘Wat zijn succesfactoren om een
onderzoekslab te implementeren in een schoolcultuur?’. In dit onderzoek is de invloed van
meerdere factoren onderzocht, van deze onderzochte factoren kunnen er drie aangewezen worden als duidelijk succesfactoren. Dit zijn de factoren: ontwikkelruimte voor leerkrachten, kennis en vaardigheden en de opinieleider. Deze drie zijn succesfactoren, omdat uit de resultaten is gebleken dat deze positief zijn beoordeeld door de participanten.
Er zijn naast deze drie succesfactoren nog twee andere factoren die een sterke invloed hebben op het implementatieproces van een onderzoekslab: communicatie en tijd. Echter kunnen deze niet als succesfactor aangewezen worden, omdat er niet vastgesteld kan worden of deze een positieve of negatieve invloed hebben.
37 Discussie
In dit onderzoek zijn er drie belangrijke beperkingen aan te wijzen. De eerste beperking is de vragenlijst. In de vragenlijst is er gewerkt met een doorlink-systeem, waardoor niet alle vragen door iedereen zijn ingevuld. Dit heeft ertoe geleidt dat de vooraf gestelde analyses niet uitgevoerd konden worden, omdat het aantal respondenten te laag is. Hierdoor is de correlatie tussen de verschillende concepten niet gemeten en kon de derde deelvraag niet goed
beantwoord worden. Voor de volgende keer kan de vragenlijst beter zonder doorlink-systeem worden uitgevoerd. Om de verschillende groepen wel te kunnen blijven onderscheiden zouden de algemene vragen, zoals: man/vrouw, school, welke bouw werkzaam en aantal jaar werkervaring gebruikt kunnen worden.
De tweede beperking heeft ook betrekking op de vragenlijst. Meer dan de helft van de respondenten zijn werkzaam in de bovenbouw (53,3%). Deze groep heeft een aparte plek in het onderzoek, want de doelstelling van Sirius is dat er aankomend schooljaar 2017-2018 pas gestart wordt met het opstarten van een onderzoekslab in de bovenbouw. Hierdoor heeft deze groep een grootdeel van de vragen in de vragenlijst niet beantwoord (vanwege het doorlink-systeem).
De laatste beperking gaat over het aantal respondenten verdeeld over de verschillende scholen. Door het tijdbestek waarin dit onderzoek is uitgevoerd, is er voor gekozen om
genoegen te nemen met de scheve verdeling van de participanten. Er is bewust gekozen om de scholen waarbij één iemand heeft gereageerd wel mee te nemen in het onderzoek. Er is
gekeken naar de rol van deze respondenten op de desbetreffende scholen. Op scholen met maar één respondent heeft de wetenschap & techniekcoördinator alleen gereageerd. Er is aangenomen dat de coördinator, vanwege een breed beeld van de school, wel een betrouwbaar beeld heeft gegeven van de school. Daarom zijn ze wel meegenomen in het onderzoek.
38 Zou er voor gekozen zijn om deze respondenten te verwijderen, dan zou dit een
negatieve invloed gehad kunnen hebben op de al kleine groep participanten. Zouden zij namelijk verwijderd zijn dan vallen er vijf scholen af, het aantal scholen zou dan op zeven uitkomen. Waardoor de betrouwbaarheid van de generalisatie naar de verschillende scholen zou dan afnemen.
Implicatie voor de Praktijk
Naar aanleiding van het onderzoek kan geconcludeerd worden dat Sirius goed op weg is om de onderzoekslabs met succes te implementeren in de schoolcultuur. Echter dat er meer factoren zijn gevonden die de kans op succes vergroten dan de kans op falen, betekent het nog niet dat de onderzoekslabs een succes worden. Daarom kunnen er een aantal aanbevelingen gedaan worden.
De eerste aanbeveling gaat over de bijeenkomsten met de wetenschap & techniekcoördinatoren. Het is belangrijk dat deze worden doorgezet, want in deze
bijeenkomsten wordt er geëvalueerd en gereflecteerd op de onderzoekslabs. Deze evaluatie en reflectie is belangrijk, omdat er voldoende aandacht moet blijven voor de onderzoekslabs. Het goed implementeren duurt acht tot tien jaar (Fullan, 2016; Teune et al, 2008) en de scholen zijn nu maximaal drie jaar bezig. Dit betekent dat de scholen pas in de implementatiefase van het I3-model zitten (Fullan, 2016), terwijl een onderwijsinnovatie vaak pas faalt in de
institutionalisatiefase (Light, 1998 in Open Universiteit Nederland et al, 2005). Deze fase begint vaak vier jaar na dat er gestart is met een onderwijsinnovatie. Daarom is het belangrijk dat de bijeenkomsten met de wetenschap & techniekcoördinatoren wordt doorgezet, zo blijft er aandacht voor de onderzoekslabs en wordt de kans op succes vergroot.
De tweede aanbeveling gaat over de tegenstrijdigheden die zijn gevonden. Het advies is om de scholen op de hoogte te stellen van deze tegenstrijdige resultaten. Een verklaring
39 hiervoor zou namelijk de interne communicatie op scholen kunnen zijn. Als er niet eenduidig en duidelijk wordt gecommuniceerd op de scholen, is de kans op falen groter, omdat de leerkrachten niet weten waar ze aan toe zijn. Een andere verklaring voor de tegenstrijdige resultaten zou kunnen zijn, dat de onderwijsinnovatie via een iteratiefproces wordt uitgewerkt. Door het onderzoekslab stapje voor stapje uit te breiden kan het zijn dat niet alle leraren daar even snel van op de hoogte zijn.
De derde aanbeveling gaat over de kennis en vaardigheden die nodig zijn in het onderzoekslab. Deze kennis en vaardigheden worden aangeboden in de ‘Training W&T OOL…’. Uit het onderzoek komt dat een grootdeel van de leerkrachten deze training niet heeft gevolgd. Terwijl deze training wordt gezien als een factor die positief van invloed is op het onderzoekslab. Om het bereik van deze factor te vergroten, is de aanbeveling om de training nog een keer aan te bieden aan de leerkrachten die deze training graag zouden willen volgen of die net werkzaam zijn binnen Sirius.
40 Literatuur
Beijaard, D., Verloop, N., Wubbels, Th., & Feiman-Nemser, S. (2000). The professional development of teachers. In R.J. Simons, J. van der Linden, & T. Duffy (Eds.), New
learning (pp. 261-279), opgehaald van https://www.wolterskluwer.nl/
Breed Bestuurlijk Overleg Amsterdam (2016). Leren experimenteren in het Kleuterlab.
Innovatief Onderwijs Amsterdam. Mei 2016. 4-7.
Desimone, L. M. (2009). Improving impact studies of teachers’ professional development: toward better conceptualizations and measures. Educational Researcher, 38, 181–199. doi: 10.3102/0013189X08331140
De Vaan, E. & Marell, J. (2012). Praktische didactiek voor natuuronderwijs. Bussum, Nederland: Coutinho.
Eagly, A., & Chaiken, S. (1993). The psychology of attitudes. Belmont, CA: Wadsworth group/Thomson Learning.
Fullan, M. (2016). The new meaning of educational change (5de ed.). New York: Columbia University.
Haney, J.J., Czerniak, C.M., & Lumpe, A.T. (1996). Teacher beliefs and intentions
regarding the implementation of science eduction reform strands. Journal of Research
in Science Teaching, 33, 971-993. doi: 10.1002/(SICI)1098-2736(199611) 33:9 <
971::AID-TEA2 > 3.0.CO;2-S
Holmes, A. (2001). Failsafe IS project delivery. Burlington: Ashgate.
Hoy, W.K., & Miskel, C.G. (2013). Educational administration: Theory, research, and
practice (9th ed.). New York: McGraw-Hill.
Hoyle, R.K., Harris, M.J., & Judd, C.M. (2002). Research methode in social relations (7the ed.). London, England: Wadsworth, Thomson Learning
