Implementatie van Innovaties in Basisscholen
Een vergelijking tussen verschillende betrokken actoren.
Graduate School of Child Development and Education Onderwijswetenschappen
Masterthesis
Marlou Meulenberg | 12874671
Begeleiders:
Dr. Bieke Schreurs | Dr. Joost Jansen in de Wal
Datum: 20 juli 2020 Aantal woorden: 12.173
2
Facilitating Factors and Barriers for the
Implementation of Innovations in Primary Schools.
A comparison of multiple actors.
Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam M.A. Meulenberg, 12874671 Begeleiding: Dr. B. Schreurs Tweede beoordelaar: Dr. J. Jansen in de Wal Amsterdam, juli 2020
3 Abstract
There is a lot of innovating in education. However, the innovation is rarely implemented in the way it was supposed to, which is why the intended results are often not obtained. Because of this, many studies have been done on implementation fidelity. The current study has attempted to map the facilitating factors and barriers for the implementation of an innovation for several involved actors. This has been done with a collective case study. Five schools served as cases and all of them have implemented the innovation Bouw!. Bouw! is a digital program to help young children with reading difficulties practice and improve their reading. The results show that all the schools implement Bouw! in a different way, and the implementation fidelity differs over the schools. The actors that were involved in the investigation are directors of school partnerships (samenwerkingsverbanden), school principals, teachers, Bouw!-coordinators, parents and volunteers. The visible effects of Bouw! formed the most common facilitating factor, and the technical issues with the program were appointed as barrier the most often. No factor or barrier has been found to be influential for all actors. By assessing the data, it became apparent that there is a clear difference between micro and meso level factors and barriers. The results of this research contribute to a broader understanding of the implementation of innovations in schools. Furthermore, the case schools could benefit from the results by using them to optimize the use of Bouw! in practice.
4 Faciliterende en Belemmerende Factoren bij de Implementatie van Innovaties in Basisscholen
Binnen het onderwijs wordt veel geïnnoveerd met als doel de kwaliteit van onderwijs te verbeteren en met de tijd mee te kunnen gaan (Serdyukov, 2017). Denk hierbij aan bijvoorbeeld gepersonaliseerd leren, passend onderwijs en 21st century skills (de Jong, 2019). Deze innovaties worden door de overheid ook gestimuleerd middels een financiering (Slob, 2019). Veel scholen lukt het echter niet om de beoogde resultaten van een innovatie te realiseren (Klein & Knight, 2005). De implementatie van een innovatie heeft een grote impact op de uitkomsten van een innovatie
(Hagermoser Sanetti & Luh, 2019). Een innovatie wordt bijvoorbeeld zelden geïmplementeerd op de manier zoals dit bedoeld was door de ontwikkelaars van de innovatie (Freeman, Wertheim, & Trinder, 2014; Lendrum & Humphrey, 2012). De mate waarin dit wel wordt gedaan, wordt vaak omschreven als implementatietrouw (Durlak & DuPre, 2008). Om bovenstaande reden is er veel onderzoek gedaan naar de effectiviteit van de implementatie van innovaties (o.a. Durlak & DuPre, 2008; Geijsel,
Sleegers, van den Berg, & Kelchtermans, 2001).
Veel onderwijsinnovaties zijn het resultaat van wetenschappelijk onderzoek. Deze innovaties worden veelal onderzocht in een kleine en gecontroleerde experimentele setting. Wanneer de
innovaties in dit onderzoek effectief blijken te zijn worden ze grootschalig ingezet, waarbij er veel minder controle is over de implementatietrouw van de innovatie. Dit wordt versterkt door de kloof tussen wetenschap en praktijk omdat onderwijsinstellingen het moeilijk vinden om resultaten uit wetenschappelijk onderzoek te vertalen naar en toe te passen in de praktijk (CSO, 2014; Hagermoser Sanetti & Luh, 2019). Daarom is het belangrijk dat de wetenschap meer inzicht verkrijgt in de manier van denken van betrokkenen bij een innovatie implementatie. Op die manier kunnen de resultaten vanuit een meer gecontroleerde setting grootschalig geïmplementeerd worden in de praktijk, zodat alle betrokken actoren van elkaar weten hoe zij optimaal kunnen innoveren met behulp van de
wetenschappelijke resultaten. Het benoemen en toegankelijk weergeven van faciliterende en
belemmerende factoren bij de implementatie van een innovatie kan hierin een eerste stap zijn (Durlak & DuPre, 2008), zodat onderwijsprofessionals op een wetenschappelijk onderbouwde manier kunnen innoveren.
Het is dus belangrijk om factoren te identificeren die de implementatie van een innovatie faciliteren en belemmeren binnen basisscholen. Mogelijke invloedrijke factoren bij de implementatie van een innovatie zijn al in verschillende onderzoeken geïdentificeerd (o.a. Durlak & DuPre, 2008; Forman, Olin, Hoagwood, Crowe, & Saka, 2009; Geijsel et al., 2001). Voorbeelden van zulke factoren zijn: ondersteuning vanuit de schoolleiding, een gedeelde visie en voldoende tijd.
Om succesvol te kunnen innoveren in scholen is het belangrijk dat alle betrokken actoren meegenomen worden in de implementatie van de innovatie (Serdyukov, 2017). Daarbij is het van belang dat niet alleen de betrokken actoren binnen school worden meegenomen, maar ook de ouders (Durlak & DuPre, 2008). Het is echter nog niet duidelijk of factoren die de implementatie van een innovatie beïnvloeden verschillen voor verschillende actoren. Onderzoeken richten zich meestal op de
5 implementatie van een innovatie vanuit één perspectief. Geijsel et al. (2001) hebben bijvoorbeeld factoren onderzocht die implementatie bevorderen vanuit het perspectief van de leerkracht. Het perspectief van innovatieontwikkelaars op invloedrijke factoren bij de implementatie van innovaties is ook onderzocht (Forman et al., 2009). In het huidige onderzoek wordt echter getracht om de
perspectieven van de verschillende betrokken actoren te vergelijken. Zo kan onderzocht worden of de factoren die een implementatie van een innovatie beïnvloeden verschillen per betrokken actor.
Het huidige onderzoek zal zich richten op het vergelijken van faciliterende en belemmerende factoren tussen de actoren betrokken bij het implementeren van een innovatie op een basisschool. Daarnaast zal dit op een toegankelijke manier weergegeven worden voor leerkrachten en schoolleiders zodat zij deze resultaten kunnen gebruiken in de praktijk. Daarmee wordt getracht een helder beeld te schetsen voor elke betrokkene bij een innovatie zodat de implementatiefase geoptimaliseerd kan worden. De hoofdvraag van dit onderzoek luidt dan ook: Wat ervaren verschillende betrokken actoren als faciliterende en belemmerende factoren bij het betrouwbaar implementeren van een innovatie in een basisschool en verschillen die factoren ook per betrokken actor? Dit zal onderzocht worden aan de hand van een collective case study met kwalitatieve data. In de volgende sectie is het theoretisch kader geschetst en zijn enkele belangrijke concepten beschreven en gedefinieerd.
Implementatie van een Innovatie in School
Allereerst zullen innovatie en implementatie worden uitgelegd om duidelijk te maken wat wordt bedoeld met de implementatie van een innovatie. Daarna zullen enkele in de literatuur bekende faciliterende en belemmerende factoren besproken worden.
In het huidige onderzoek wordt een innovatie gedefinieerd als een nieuw product of nieuwe toepassing voor de ontwikkelaars en/of potentiële gebruiker ervan (Klein & Knight, 2005), ook moet het de huidige situatie van gebruikers verbeteren (Serdyukov, 2017). Innovaties in het onderwijs hebben als hoofddoel om de productiviteit en efficiëntie van het leren te verbeteren en/of de kwaliteit van leren te verhogen (Serdyukov, 2017). Om een dergelijke innovatie in te zetten zijn er verschillende fasen die de nieuwe gebruiker moet doorlopen voordat een innovatie tot de gewenste resultaten kan leiden (Durlak & DuPre, 2008; Klein & Knight, 2005; Robertson, 1967). Allereerst moet er een behoefte zijn om te veranderen omdat er bijvoorbeeld een probleem is (Robertson, 1967). Ter illustratie: een school heeft leerlingen die moeite hebben met lezen. Daarom wil de school een programma aanschaffen om leerlingen te helpen met oefenen. De leesproblemen vormen de behoefte om te innoveren met het leesprogramma. Daarna komt de adaptatiefase waarin wordt beslist of een innovatie gebruikt gaat worden (Klein & Knight, 2005; Rogers, 2010). In het voorbeeld van leesproblemen kan er in de adaptatiefase bijvoorbeeld eerst georiënteerd worden op potentiële leesprogramma’s en vervolgens besloten worden welk programma gebruikt gaat worden. Hoe er door de gebruikers wordt gekeken naar de eigenschappen van de innovatie, bepaalt in hoeverre ze de innovatie adopteren (Rogers, 2010). Zo kunnen sommige leerkrachten positief zijn over het
6 het leesprogramma daarom minder vaak gebruiken. Na de adaptatie komt de implementatiefase
waarna het gebruik van de innovatie en het proces van implementeren worden geëvalueerd in de evaluatiefase (Klein & Knight, 2005).
Het succes van een innovatie hangt af van de manier waarop deze geïmplementeerd is (Hagermoser Sanetti & Luh, 2019). Implementeren is het proces van het in de praktijk brengen en het in gebruik houden van een innovatie of interventie (Lendrum & Humphrey, 2012). Voor het voorbeeld met het leesprogramma geldt in de implementatiefase dat betrokkenen in de school leren hoe ze het moeten gebruiken en een manier vinden om het programma consistent te blijven gebruiken gedurende het schooljaar en daarna. Het is van belang dat een innovatie niet alleen tijdens de implementatiefase, maar ook daarna gebruikt blijft worden omdat deze anders na verloop van tijd weer verdwijnt (Durlak & DuPre, 2008; Forman et al., 2009). Er is pas succesvol geïnnoveerd op het moment dat de innovatie na de implementatiefase gebruikt blijft worden door alle betrokken actoren binnen de organisatie (Forman et al., 2009; Rogers, 2010; Serdyukov, 2017).
Een belangrijk aspect van de implementatie is implementatietrouw (Durlak & DuPre, 2008; Guo et al., 2016). Implementatietrouw is de mate waarin een implementatie uitgevoerd wordt door de gebruikers zoals dat in eerste instantie bedoeld is door de ontwikkelaars van een innovatie (Austin et al., 2018; Guo et al., 2016). Er zijn verschillende dimensies van implementatietrouw te onderscheiden (Guo et al., 2016; Moore et al., 2015). Guo et al. (2016) geeft een veel gebruikte indeling met vijf dimensies van implementatietrouw. De eerste dimensie, adherence, staat voor in hoeverre gebruikers hebben gedaan wat verwacht werd bij de implementatie. De tweede dimensie is dosering en geeft aan in hoeverre de innovatie geïmplementeerd is door de gebruikers en of zij de hoeveelheid
ondersteuning hebben gekregen die voorgeschreven staat. Als derde stellen zij de kwaliteit van de overdracht als dimensie, hiermee wordt de manier bedoeld waarop de activiteiten ten behoeve het implementeren uitgevoerd worden. Ten vierde is er de dimensie van deelnemers betrokkenheid. Deze dimensie vertegenwoordigt de mate waarin gebruikers betrokken zijn bij en participeren in
implementatie activiteiten en hoe zij reageren op implementatie activiteiten wat betreft deelname en enthousiasme. Ten slotte is er de dimensie van programma differentiatie, dit is de mate waarin
essentiële onderdelen van een interventie onderscheid maken in de experimentele en de controle groep gedurende de implementatie van een innovatie. Als toevoeging op de voorgaande vijf dimensies onderscheiden Moore et al. (2015) nog twee andere dimensies: bereik en adaptatie. Bereik staat voor in hoeverre de doelgroep van de innovatie ermee in aanraking komt en hoe. Met adaptatie wordt bedoeld in hoeverre de gebruikers de voorgeschreven implementatieprocedure hebben veranderd om het beter aan hun eigen context aan te passen.
Door rekening te houden met implementatietrouw in onderzoek, kan er een uitspraak gedaan worden over de effectiviteit van de innovatie (Topping, 2017). Als dit niet wordt gedaan, zouden de uitkomsten een mogelijk effect kunnen zijn van toevallige factoren (Harn, Parisi, & Stoolmiller, 2013; Moore et al., 2015). Ter illustratie: als de uitkomsten negatief zijn en er wordt geen rekening gehouden
7 met implementatietrouw, is niet duidelijk waarom de uitkomsten negatief zijn. De negatieve resultaten zouden kunnen wijzen op het feit dat de innovatie niet effectief is. Een andere mogelijkheid is dat de innovatie technisch functioneert maar niet correct geïmplementeerd is en daarom niet de gewenste uitkomsten geeft. Ook kunnen de resultaten positief zijn terwijl de implementatietrouw laag is (Moore et al., 2015). Om daar uitsluitsel over te kunnen geven moet implementatietrouw meegenomen worden in een onderzoek.
In de praktijk is de implementatietrouw vaak laag (Austin et al., 2018; Hagermoser Sanetti & Luh, 2019), waardoor positieve resultaten meestal uitblijven (Forman et al., 2013). De algemene regel luidt: hoe hoger de implementatietrouw, hoe groter de kans op positieve uitkomsten van de interventie (Bond, Drake, McHugo, Rapp, & Whitley, 2009; Guo et al., 2016; Topping, 2017). Een hoge mate van implementatietrouw kan ervoor zorgen dat de effectgrootte van de innovatie twee tot drie keer groter is ten opzichte van een lage implementatietrouw (Guo et al., 2016). Bij innovaties om het leesniveau van leerlingen te verbeteren geldt, hoe hoger de implementatietrouw, hoe beter de leesresultaten van leerlingen (Wolgemuth et al., 2014). Daarom is het belangrijk dat scholen een innovatie zorgvuldig implementeren en streven naar een hoge implementatietrouw om optimale effecten te kunnen behalen.
Faciliterende en Belemmerende Factoren bij Innovatie Implementatie in een School
Er zijn veel factoren te benoemen die de implementatie van een innovatie beïnvloeden (Durlak & DuPre, 2008; Geijsel et al., 2001). Deze factoren kunnen worden ingedeeld in categorieën. Er zijn echter verschillende indelingen van die categorieën te vinden in de literatuur (o.a. Durlak & DuPre, 2008; Freeman et al., 2014; März, Gaikhorst, Mioch, Weijers, & Geijsel, 2017). In het huidige onderzoek is gekozen voor een praktisch bruikbare indeling die in grote lijnen overeenkomt met andere indelingen (o.a. Topping, 2017). Hierin zijn vier categorieën van factoren te onderscheiden: innovatie-specifieke factoren, individuele factoren, structurele factoren en relationele factoren (März et al., 2017). De gevonden factoren uit de literatuur zijn elk in één van deze vier categorieën ingedeeld. Een belangrijke kanttekening bij de factoren is dat ze gezien moeten worden als een continuüm
(Durlak, 2016). Een factor is dus niet alleen aanwezig of afwezig, maar deze kan in zekere mate aanwezig zijn. Bovendien moet er voor een succesvolle implementatie van een innovatie aan alle categorieën van factoren aandacht worden besteed (Dufour, Lessard, & Chamberland, 2014; Durlak & DuPre, 2008). De faciliterende en belemmerende factoren bij de implementatie van een innovatie in scholen zullen aan de hand van deze categorieën besproken worden.
Faciliterende Factoren
Om een indicatie te geven van hoe een succesvolle implementatie van een innovatie op een school eruit kan zien, zullen binnen elke categorie een aantal factoren besproken worden. Dit is echter geen uitputtende selectie van factoren omdat in dit onderzoek niet getracht wordt een systematische analyse te maken van de bekende factoren. Factoren die in de basisschoolcontext als invloedrijk zijn bevonden bij innovatie implementatie, zullen hier aan bod komen.
8
Innovatie-specifieke factoren. Factoren die te maken hebben met de te implementeren
innovatie zijn innovatie-specifieke factoren. In deze categorie is het van belang dat de innovatie flexibel is, leerlinggericht is, dat essentiële onderdelen van de innovatie geïdentificeerd worden en dat de innovatie past bij de school. März et al. (2017) geven aan dat het belangrijk is dat de innovatie flexibel is zodat deze kan worden aangepast aan de behoeften en context van de school voor optimale implementatietrouw (zie ook Dufour et al., 2014; Harn et al., 2013). Daarnaast concluderen zij dat het bevorderlijk is voor de implementatie als de innovatie leerlinggericht is, zodat leerkrachten de
relevantie ervan zien. Als aanvulling op deze factoren vonden Dufour et al. (2014) dat het belangrijk is om de essentiële onderdelen van een innovatie te identificeren zodat de implementatietrouw zo hoog mogelijk gehouden kan worden bij het maken van aanpassingen. Het identificeren van essentiële onderdelen moet gedaan worden door bijvoorbeeld de gebruikers omdat dat niet altijd door de ontwikkelaars gedaan is (Harn et al., 2013). Tot slot hebben Forman et al. (2009) gevonden dat het bevorderlijk is voor de implementatie wanneer de gekozen innovatie past bij de visie, de doelen en het beleid van de school.
Individuele factoren. Individuele factoren hebben betrekking op de doelgroep van de
innovatie: de gebruikers binnen en buiten de school. Hierbij is kennis van de innovatie en zelfvertrouwen belangrijk. März et al. (2017) hebben gevonden dat uitgebreide kennis over de
innovatie gestimuleerd moet worden bij de gebruikers zodat zij de innovatie kunnen blijven gebruiken in een veranderende context. Om dit te kunnen realiseren moeten actieve betrokkenheid en
eigenaarschap gestimuleerd worden. Durlak en DuPre (2008) tonen aan dat gebruikers vertrouwen moeten hebben in dat zij voldoende kennis en vaardigheden bezitten om tijdens de implementatie te kunnen doen wat van hen verwacht wordt.
Structurele factoren. Structurele factoren gaan over alle organisatorische randvoorwaarden
die noodzakelijk zijn voor het succesvol kunnen implementeren van een innovatie. Kort gezegd staan ondersteuning, geld, inspraak, tijd en monitoren centraal in deze categorie. Guo et al. (2016)
concluderen dat ondersteuning voor de gebruikers, leerkrachten in het bijzonder, bij het implementeren van een innovatie cruciaal is. Vooral het bieden van ondersteuning bij het implementeren van de essentiële onderdelen voor een optimaal resultaat en invloed op leerling resultaten, is belangrijk. Forman et al. (2009) zeggen dat er ook voldoende geld beschikbaar moet zijn voor de implementatie en het langdurige behoud van de innovatie. Daarnaast geven zij aan dat het belangrijk is dat meerdere betrokken actoren inspraak hebben op de besluitvorming. März et al. (2017) voegen hieraan toe dat er voldoende tijd moet zijn om de innovatie volledig in gebruik te nemen. Tot slot moet het implementatieproces en de uitkomsten daarvan gemonitord en zo nodig bijgestuurd worden om vroegtijdig eventuele fouten te kunnen opsporen en corrigeren (Harn et al., 2013; März et al., 2017).
Relationele factoren. De relationele factoren omvatten alle professionele interacties tussen
9 buiten de school vormen het sociale kapitaal van de school (Leana & Pil, 2006). Sociaal kapitaal heeft drie dimensies: de structurele, relationele en cognitieve dimensie (Tsai & Ghoshal, 1998). Met de eerste dimensie structuur wordt het aantal interacties tussen actoren bedoeld en met wie zij
interacteren. Ter illustratie: structuur in de school gaat bijvoorbeeld over hoe vaak een leerkracht praat met iemand anders en of hij/zij praat met andere leerkrachten, directeuren of ouders. Een factor die hierbij aansluit is het communiceren van de effecten van de innovatie naar belangrijke externe actoren, zoals ouders, zodat een innovatie succesvol geïmplementeerd kan worden (Forman et al., 2009). De relationele dimensie gaat in op de persoonlijke relatie tussen actoren en het vertrouwen tussen hen. De derde dimensie van sociaal kapitaal gaat in op het cognitieve aspect. Dus hoe de interactie met elkaar actoren beter in staat stelt om een gedeelde visie en doelen te ontwikkelen (Leana & Pil, 2006). Het hebben van een gedeelde visie en het stellen van doelen binnen de school is een faciliterende factor in het implementatieproces (Freeman et al., 2014).
Buitenom het sociaal kapitaal van de school, is leiderschap een faciliterende relationele factor. Sterk, ondersteunend leiderschap is een belangrijke factor in de implementatiefase omdat het de implementatietrouw kan verhogen (Freeman et al., 2014). Leiderschap ten behoeve van een succesvolle implementatie is een combinatie van algemene managementvaardigheden en ondersteuning van de innovatie (Forman et al., 2009). Voor leerkrachten is een inspirerende en motiverende leider met een visie een faciliterende relationele factor bij het implementeren van een innovatie (Geijsel et al., 2001). Door in te zetten op de relationele factoren, kunnen tekortkomingen in de categorieën van individuele en structurele factoren gecompenseerd worden (März et al., 2017).
Belemmerende Factoren
Al met al kan gesteld worden dat veel verschillende factoren een positieve invloed kunnen hebben op de implementatie van een innovatie in een school. Er zijn echter ook factoren bekend die de implementatie van een innovatie kunnen vertragen en/of belemmeren (Durlak & DuPre, 2008;
Langley, Nadeem, Kataoka, Stein, & Jaycox, 2010).
Innovatie-specifieke factoren. De kosten van een innovatie vormen een belangrijke
innovatie-specifieke belemmerende factor. März et al. (2017) vonden dat een innovatie die weinig geld, tijd en energie kost, gemakkelijker gebruikt blijft worden dan een innovatie die veel kost. Daarom kunnen de kosten van een innovatie een belemmerende factor zijn bij de implementatie.
Individuele factoren. Wat de individuele factoren betreft gelden conflicterende
verantwoordelijkheden in het algemeen als belemmerende factor. Voor leerkrachten werkt een gebrek aan kennis als belemmerende factor in deze categorie. Langley et al. (2010) laten zien dat
conflicterende verantwoordelijkheden van iemand betrokken bij de implementatie een belemmering zijn voor een succesvolle implementatie (zie ook Forman et al., 2009). Hierbij heeft iemand, buitenom het implementeren van de innovatie, nog andere taken die diegene van de implementatie afhouden (Langley et al., 2010). Daarnaast is te weinig kennis over de innovatie een belemmerende factor voor leerkrachten bij het implementeren daarvan (Pelgrum, 2001).
10
Structurele factoren. Structurele belemmerende factoren zijn leerkrachtverloop, een gebrek
aan ondersteuning en logistieke belemmeringen. Wolgemuth et al. (2014) laten zien dat verloop van leerkrachten een belangrijke belemmerende factor is bij het implementeren van een innovatie op school. Hoe meer leerkrachten vervangen moeten worden, hoe langer het duurt voordat een innovatie geïmplementeerd is. Daarnaast vonden Langley et al. (2010) dat een gebrek aan ondersteuning vanuit de schoolleiding en leerkrachten een structurele belemmerende factor is. Bovendien zijn logistieke belemmeringen zoals het inroosteren van tijd met de innovatie en zorgen dat alle leerlingen die erbij moeten zijn er zijn, een reden voor vertraagde implementatie.
Relationele factoren. De relationele belemmerende factoren gaan vooral in op de structurele
component van sociaal kapitaal. Langley et al. (2010) geven aan dat een gebrek aan ouder betrokkenheid een belangrijke belemmerende factor is bij een implementatie. Wanneer ouders
bijvoorbeeld toestemming moeten geven om hun kind te laten deelnemen aan een project of innovatie, werkt het vertragend als het contact met ouders moeizaam verloopt. Serdyukov (2017) voegt hieraan toe dat het belemmerend werkt dat leerlingen vaak niet worden meegenomen in het
implementatieproces terwijl zij een centrale rol in het onderwijs hebben.
In bovenstaande alinea’s wordt duidelijk dat de implementatie van een innovatie een complex proces is met veel factoren. Wat het proces nog complexer maakt, is dat er op een school veel actoren zoals leerlingen, leerkrachten, schoolleiders, ouders, etc. betrokken zijn bij het implementatieproces. Om een implementatie te laten slagen zullen alle actoren daarbij betrokken moeten zijn (Durlak & DuPre, 2008; Serdyukov, 2017). Daarom is het belangrijk om te weten wat deze actoren helpt en belemmert bij het implementeren.
Methode Design
De onderzoeksvraag is beantwoord met behulp van een collective case study (Creswell, 2013) met kwalitatieve data. Een collective case study is een onderzoek waarin meer dan één casus
betrokken is om zo een beter begrip te creëren van de realiteit (Creswell, 2013). In het huidige
onderzoek werd gebruik gemaakt van bestaande data waarin vijf scholen onderzocht zijn en elk van de vijf scholen fungeerde hier als casus. De scholen waren allemaal bezig met het implementeren van een innovatie in hun onderwijs. Bij het implementeren en het gebruik van de innovatie zijn verschillende actoren betrokken. Per school en per betrokken actor is gekeken wat voor hen faciliterende en belemmerende factoren zijn bij het implementeren van de innovatie. Ten slotte zijn de resultaten van de verschillende casusscholen met elkaar vergeleken. Het onderzoek heeft een exploratief karakter omdat onderzocht is welke factoren een rol spelen en of er verbanden in de data te vinden zijn.
Context
De innovatie die de scholen, waar in dit onderzoek naar gekeken is, implementeerden is Bouw!. Bouw! is een preventief digitaal leesprogramma voor leerlingen die moeite hebben met lezen. Het advies is om het te gebruiken van groep 2 tot en met groep 4. Leerlingen worden gescreend om te
11 kijken of ze in aanmerking komen voor het gebruik van Bouw!. Tijdens de screening is gelet op de beginnende geletterdheid, bestaande uit letterkennis en fonologisch bewustzijn (Zijlstra, 2015). Als een leerling dichtbij of in de 25% laagst scorende groep leerlingen in groep 2 zit, zal gestart worden met oefenen in Bouw! (Zijlstra, 2015). Bij het oefenen moeten de leerlingen vanuit Bouw! begeleid worden door een tutor. Het oefenen buiten de klas vindt plaats op een door de school gekozen tijdstip. Afhankelijk van de keuze van de school is de tutor bijvoorbeeld een ouder, vrijwilliger, oudere
leerling, leerkracht of andere begeleider. Het oefenen gebeurt idealiter vier keer per week een kwartier. Het is aan de school zelf om te bepalen waar de leerlingen de leessessies voltooien. Dat kan deels op school en deels thuis zijn, of volledig op één van de twee locaties.
Deelnemers
De respondenten zijn geselecteerd aan de hand van vijf scholen die gebruik maken van Bouw!. Binnen de scholen zijn de schoolleiders, Bouw!-coördinatoren, leerkrachten, ouders en vrijwilligers die betrokken zijn bij het gebruik van Bouw! bevraagd. De drie of vier focusgroepen en/of interviews per school varieerden van drie tot negen participanten per focusgroep. In totaal zijn 58 mensen bevraagd. Het precieze aantal respondenten per school en focusgroep is te vinden in Tabel 1. Iedere school heeft mensen geselecteerd die meegewerkt hebben aan de interviews, hier waren geen criteria aan verbonden behalve betrokkenheid bij Bouw!. Bouw!-leerlingen hebben echter niet deelgenomen aan het onderzoek wegens de zeer jonge leeftijd. Afhankelijk van waar en met wie leerlingen oefenen met Bouw!, zijn ouders en/of vrijwilligers geïnterviewd. De gesprekken die zijn gevoerd met leerling tutoren zijn niet meegenomen in het onderzoek omwille van hun jonge leeftijd. Buitenom de
respondenten op de scholen, zijn er twee directeuren van samenwerkingsverbanden die Bouw! implementeren op hun scholen geïnterviewd.
Tabel 1
Aantal respondenten per school, per focusgroep en per interview Functie
School F/I Directeur Bouw!Co Leerkrachten Ouders Vrijwilligers Totaal
A I 1 1 2 F1 4 4 F2 3 3 Totaal A 9 B I1 1 1 2 I2 2 2 F 1 8 9 Totaal B 12 C I 1 1 2 F1 1 4 5
12 F2 3 3 Totaal C 9 D I1 1 1 I2 1 1 F1 1 7 8 F2 6 6 Totaal D 16 E I 1 1 2 F1 1 6 7 F2 4 4 Totaal E 12 SWV1 I 1 1 SWV2 I 1 1
Note: F = focusgroep, I = interview. Bouw!Co = Bouw!-coördinator. SWV = samenwerkingsverband.
Procedure
Per school zijn de betrokken actoren bevraagd. Dit is gedaan door middel van focusgroepen en interviews. Hierbij zijn alle respondenten voor- en achteraf om toestemming gevraagd voor het
opnemen van het gesprek en het gebruik van de opname voor verdere verwerking van de data. Tijdens de focusgroepen is ervoor gezorgd dat iedere aanwezige zijn/haar mening heeft gedeeld. Daarnaast zijn er interviews afgenomen bij de respondentgroepen waar een focusgroep niet mogelijk was, zoals de directeuren. Om praktische redenen is de Bouw!-coördinator vaak samen met de leerkrachten of de directeur geïnterviewd. Vaak is de Bouw!-coördinator of directeur bij meer dan één gesprek aanwezig geweest. De directeuren van de samenwerkingsverbanden zijn afzonderlijk van elkaar telefonisch geïnterviewd.
Instrumenten
De interviews en focusgroepen zijn gehouden aan de hand van bestaande semigestructureerde interviewleidraden. Deze zijn gebaseerd op appreciative inquiry, dat is een positieve manier om te vragen naar de ervaringen van betrokkenen over de gang van zaken (Cooperrider & Whitney, 2006). Hierbij wordt gefocust op wat al goed gaat binnen de organisatie, op het creëren van een visie, het denken over idealen en over hoe iedereen meegenomen kan worden in de stappen naar het ideaal toe (Cooperrider & Whitney, 2006). Voorbeelden van vragen zijn: “Terugkijkende op eerdere ervaringen, kan u vertellen over de meest belonende ervaring (een piekmoment) met het gebruik van Bouw!?”, “We zijn 2 jaar verder. Het ideale scenario is uitgekomen: hoe zou het gebruik van Bouw! in de scholen er voor jullie uitzien?” en “Wat moet er concreet nog komen aan producten, activiteiten, plekken, kennis, soorten innovaties om te komen tot dit ideaal scenario voor het gebruik van Bouw!? Wat en wie is er nodig om concrete activiteiten handen en voeten te geven?”. Deze vragen laten de algemene opbouw van de interviews zien. In deze vragen is de appreciative inquiry aanpak duidelijk
13 terug te zien. Door naar het ideale scenario te vragen, kwamen naast enkele faciliterende ook de belemmerende factoren van de huidige situatie naar voren. Bovendien zijn de faciliterende factoren van de implementatie bevraagd in de vorm van opvolgvragen: “Welke hefbomen/factoren hebben deze belonende ervaring mogelijk gemaakt?”. Implementatietrouw is besproken door vragen te stellen als “Hoe hebben jullie Bouw! georganiseerd op school?” en daarop door te gaan met vragen zoals “Want wat is jullie rol? Wat weten jullie eigenlijk van Bouw!? Hoe het gaat met de kinderen en wat doen jullie daarmee?”. De vragen zijn in niet alle interviews hetzelfde, deze zijn afgestemd op de
desbetreffende actor. De voorbeeldvragen hierboven geven echter wel een goede indicatie van de grote lijn die overal besproken is.
Analyse
Voordat de data geanalyseerd zijn, is aan de hand van de literatuur een codeboek opgesteld (zie Bijlage 1). Daarbij zijn codes opgesteld voor de dimensies van implementatietrouw zoals
“Adherence”. Ook binnen elke categorie van factoren zijn codes gemaakt voor zowel faciliterende als belemmerende factoren, bijvoorbeeld “Structuur” als relationele factor. Vervolgens is één
getranscribeerde focusgroep gecodeerd als pilot. In deze pilot is gekeken of de codes vanuit de literatuur pasten op de data, of ze specifiek genoeg waren en of er nog codes op inductieve wijze konden worden opgesteld. Dit heet ook wel constant comparison analysis (Leech & Onwuegbuzie, 2007). Op basis van de bevindingen van de eerste focusgroep is het codeboek aangepast en definitief gemaakt. Een voorbeeld van een code die op basis van de data is toegevoegd is “Leerling kenmerken”. Hiermee werd aangegeven in hoeverre kenmerken van de leerling zoals bijvoorbeeld autisme, invloed hadden op het oefenen met Bouw!. Met het definitieve codeboek hebben twee onderzoekers tweemaal een focusgroep gecodeerd om zo de interbeoordelaarsbetrouwbaarheid te kunnen meten en
waarborgen. Alle overige focusgroepen en interviews zijn door één onderzoeker gecodeerd.
De interbeoordelaarsbetrouwbaarheid is gemeten met Krippendorff's Cu-Alpha omdat deze de betrouwbaarheid aangeeft van alle onderdelen te samen (Friese, 2020). Een tweede reden om voor deze alfa te kiezen is omdat deze wordt aangeraden voor wetenschappelijke rapportage. Uit de eerste intercoder agreement (ICA) test kwam Cuα = .363. De tweede ICA-test laat een verbetering ten
opzichte van de eerst test zien met Cuα = .59. De alfa moet echter minstens .667 zijn (Friese, 2020). De scores zijn geanalyseerd en de codes van de verschillende onderzoekers kwamen grotendeels overeen. Het verschil zat vooral in de lengte van de gecodeerde tekst. Daarnaast was te zien dat het verschil tussen de codes “deelnemers betrokkenheid” en “structuur” niet altijd duidelijk was. Hierbij is besloten om alle communicatie, inclusief de communicatie over betrokkenheid, te coderen als “structuur”. Enkel uitspraken die direct de betrokkenheid van een actor of leerling aangaven zijn als “deelnemers betrokkenheid” gecodeerd. Daarna zijn beide onderzoekers overeengekomen om verder te gaan met de analyses.
De data heeft tijdens het coderen voornamelijk beschrijvende codes toegekend gekregen (Miles, Huberman, & Saldaña, 2014). Dit is een passende methode omdat hiermee gemakkelijk
14 categorieën gemaakt kunnen worden, en faciliterende en belemmerende factoren onderscheiden kunnen worden. De data zijn gecodeerd in en geanalyseerd met ATLAS.ti (Dowling, 2008). De codes afkomstig van dezelfde functies en scholen zijn met elkaar vergeleken door gebruik te maken van een collective case study (Creswell, 2013). Zo kon worden bepaald of er gemeenschappelijke en/of
contrasterende invloedrijke factoren waren tussen de scholen en voor elke functie bij de implementatie van Bouw!. Ter illustratie: de codes afkomstig van leerkrachten zijn met codes van andere
leerkrachten vergeleken. Alleen de Bouw!-coördinator kon niet als aparte actor meegenomen worden in de analyse van de data omdat deze samen met de directeur of leerkrachten is geïnterviewd. Daarom was in de transcripten vaak niet te onderscheiden welke uitspraken afkomstig waren van een Bouw!-coördinator en welke van een directeur of leerkracht.
Resultaten
De resultaten worden beschreven op basis van de dimensies van implementatietrouw in de scholen en de faciliterende en belemmerende factoren per functie van de betrokken actoren. Deze resultaten worden ondersteund met citaten uit de interviews en focusgroepen. Aan het begin van beide secties wordt een algemeen overzicht gegeven van de resultaten op dat gebied.
Implementatietrouw
In dit onderzoek staat het betrouwbaar implementeren van innovaties centraal. Daarom is gekeken naar Bouw! als innovatie. Om te bepalen of de factoren daadwerkelijk toe te schrijven zijn aan de implementatie van Bouw!, is eerst gekeken naar de implementatietrouw in de casusscholen. De implementatietrouw is een voorwaarde om de onderzoeksvraag te kunnen beantwoorden. In deze sectie wordt daarom eerst een overzicht gegeven van de dimensies van implementatietrouw. Daarna wordt voor iedere school de mate van implementatietrouw besproken aan de hand van de dimensies: adherence, adaptatie, kwaliteit, dosering en deelnemers betrokkenheid.
Het totaal aantal codes in de data is 1369, dat maakt dat bijna de helft daarvan, 645 codes, gecodeerd is als een dimensie van implementatietrouw. In Figuur 1 is te zien wat de frequentie is van elke dimensie van implementatietrouw in de data. De code die veruit het meest voorkomt binnen implementatietrouw is deelnemers betrokkenheid. Met deelnemers betrokkenheid geeft de respondent aan in hoeverre hijzelf of een ander betrokken is bij Bouw!. Motivatie en enthousiasme vallen ook binnen deze code. Daarna volgen dosering en adherence. Dosering geeft de hoeveelheid ondersteuning aan die leerlingen hebben gekregen bij het oefenen met Bouw! en adherence staat voor in hoeverre de voorgeschreven implementatieprocedure gevolgd is. De twee overige codes, adaptatie en kwaliteit, staan respectievelijk voor de aangebrachte veranderingen in de implementatieprocedure en de manier waarop de implementatie-activiteiten zijn uitgevoerd. In de volgende alinea’s zullen de vijf
verschillende dimensies van implementatietrouw voor elke school besproken worden. Eventuele adaptaties zijn in de beschrijving bij de dimensie adherence ondergebracht.
Figuur 1
15
Adherence. Voor elke school wordt vanuit de ontwikkelaar van Bouw! aangeraden om
leerlingen vier keer per week een kwartier onder begeleiding in Bouw! te laten oefenen. Het is aan de school om te bepalen waar en wanneer de leerlingen dit doen. Daarnaast wordt geadviseerd om leerlingen in groep 2 te selecteren en te zorgen dat ze in groep 4 klaar zijn met het programma. Het is handig om de gekozen manier van werken met Bouw! vast te leggen in beleid zodat er consistent mee gewerkt kan blijven worden.
School A heeft een protocol opgesteld voor het gebruik van Bouw!. Leerlingen beginnen normaal gesproken in groep 2 met Bouw! en oefenen enkel op school met leerling tutoren uit groep 7-8. Er worden ook uitzonderingen gemaakt op het protocol wanneer ze op school denken dat dat nodig is. De directeur onderstreept dit met: “Veel ook eigen overwegingen […] Dat niet alleen het protocol, maar ook van wij denken dat die leerlingen ook in aanmerking moeten komen.”.
Leerlingen worden op school B in groep 2 tweemaal gescreend en beginnen zo mogelijk dan ook met het oefenen in Bouw!. Er wordt binnen de school gewerkt met twee vrijwilligers als tutor die alle leerlingen in Bouw! begeleiden. Het Bouw!-traject wordt afgestemd op de leerling. Daarnaast wordt het traject gepland zodat het grootste deel van de leerlingen Bouw! heeft afgerond rond de herfstvakantie in groep 4.
Op school C is er beleid geschreven voor het gebruik van Bouw! waardoor het proces van de leerlingen gevolgd kan worden. De leerlingen beginnen over het algemeen in groep 2 met Bouw!. Toch kan het zijn dat leerlingen op een later moment nog instromen. Zo vertelt de Bouw!-coördinator over de screening voor Bouw!: “Wij pakken dan niet alleen de groep 2 leerlingen mee, maar ook de midden toetsen van groep 3 nog. En soms ook zelfs de eindtoetsen van groep 3 nog.”. Op school lezen de leerlingen afhankelijk van de dag met een leerling tutor uit groep 8, een ouder-tutor of een
82
57
333 110
63
16 vrijwilliger. De leerlingen hebben geen vaste tutor. Er wordt door de tutoren op school voor iedere leerling een boekje bijgehouden met daarin de voortgang in Bouw!.
In groep 2 worden de leerlingen van school D die met Bouw! gaan werken geselecteerd. De directeur geeft aan dat dat soms niet alleen op basis van de toetsen gebeurt: “Dit kind is meer dan die toetsen. Als leerkracht zie je veel meer.”. De leerlingen worden bij het oefenen begeleid door leerling tutoren uit groep 8, een stagiair of onderwijsassistent. Voor het lezen met Bouw! op school wordt een rooster gemaakt waarin rekening gehouden wordt met de instructie in de klas. De toetsen die de Bouw!-leerlingen moeten doen worden afgenomen door de IB’er, Bouw!-coördinator of door een tutor. Gemiddeld zijn de leerlingen eind groep 4, midden groep 5 klaar met Bouw!.
In eerste instantie begonnen leerlingen op school E pas in groep 3 met Bouw!. De Bouw!-coördinator zegt:
Toen zijn we begonnen met leerlingen die in groep 3 toch niet tot lezen kwamen. Bij midden 3 start haalden. […] En pas toen de Bouw! toetsen ingezet werden bij groep 2, toen ben ik ook meegegaan met het inzetten van Bouw! in de tweede helft van groep 2.
De school werkt met tutoren uit groep 8. Dit worden idealiter vooral tutoren uit groep 6-7 in verband met de vele uitval van groep 8 in de tweede helft van het schooljaar.
Kwaliteit. Binnen school A vinden de actoren dat het goed loopt met Bouw!, zo stelt een
leerkracht: “Ik vind ook dat het hier goed gaat met de tutoren erbij.”.
De directeur van school B geeft aan dat Bouw! goed loopt, mede door de inzet van een
vrijwilliger en de samenwerking met de IB’er: “Wij hebben een vrijwilliger die dat allemaal analyseert en uitpluist en door gewoon een goed overleg te hebben met de interne begeleider, maakt wel dat het nu goed werkt.”. Een vrijwilliger vertelt dat zij zich inzetten voor een goede doorstroom in Bouw! door direct de toetsen af te nemen wanneer dat kan: “Voor het tempo is dat wel heel goed denk ik. Je hebt nooit wachttijden.”.
Op school C loopt het goed wat betreft het screenen van leerlingen voor Bouw!. De directeur zegt: “Ik denk dat we heel goed op weg zijn als we het hebben over de screening […] Denk dat dat zeer zorgvuldig gebeurt.”. De leerkrachten zijn tevreden over de ouders en vrijwilligster die op school met de leerlingen oefenen: “ […] ze zijn er wel echt goed mee bezig. […] De vrijwilligster ook inderdaad.”. Opvallend is dat verschillende actoren het niet eens zijn over hoe goed het werkt met groep 8 leerlingen. Volgens een ouder zijn de leerling tutoren uit groep 8 minder goed dan de volwassen tutoren: “Groep 8 vind ik niet werkzaam.”. De directeur spreekt het tegendeel uit: “De Bouw!-coördinator zit erbij, dus die begeleidt die leerlingen (de tutoren) daar in. Dat vind ik echt heel fijn.”.
Binnen school D is geen overeenstemming tussen de verschillende actoren als het gaat over de kwaliteit van de implementatie. De directeur stelt: “Volgens mij loopt dat wel aardig, als ik dat zo zie.”, terwijl sommige leerkrachten hun twijfels hebben: “Ja ik vraag me af hoe goed het is dat we
17 leerlingen van groep 8 inzetten. […] Dat ik de ene keer denk van nou het gaat goed en de andere keer […] dat ik denk, werkt dit nu echt?”.
Één van de leerkrachten van school E geeft aan dat het oefenen met Bouw! goed verloopt: “Dus dat loopt eigenlijk heel soepel.”. Het werken met leerling tutoren wordt door de
Bouw!-coördinator ook als een voordeel gezien: “Als je die twee kinderen (tutor en Bouw!-leerling) zo lekker samen bezig ziet. Dat is een genot om naar te kijken. Dus dat moeten we vooral zo houden. […] Ik vind het echt een voordeel.”.
Dosering. De leerlingen van school A oefenen vier keer per week een kwartier op school. In
de vakanties wordt niet gelezen met Bouw!.
Op school B leest het grootste deel van de leerlingen twee keer per week op school en twee keer thuis. Op school oefenen de leerlingen 15-20 minuten per sessie in Bouw! met een tutor en dit wordt het hele jaar door volgehouden. Een vrijwilliger geeft aan: “dat (het oefenen met Bouw! op school) houden we zo consequent mogelijk heel het jaar door vol. In die zin dat we zelfs als er bijvoorbeeld feestdagen zijn dat we toch wel gaan schuiven met dat rooster.”. Als een leerling thuis niet kan oefenen, dan wordt dat op school opgevangen door drie keer per week op school te lezen. Een leerkracht geeft aan dat er thuis nog niet altijd genoeg geoefend wordt: “[…] hoeveel er thuis geoefend wordt. […] Ik ben daar niet altijd heel blij mee.”. De vrijwilliger geeft aan dat één derde van de ouders niet oefent met Bouw! thuis.
Op school C wordt een totaal van vier keer per week een kwartier Bouw! nagestreefd, met twee keer thuis en twee keer op school oefenen. Het komt echter vaak voor dat ouders thuis te weinig met de leerlingen oefenen. Een leerkracht stelt: “En zeker ook thuis merken we ook wel dat veel ouders toch zoiets hebben van […] we hebben geen tijd om nog extra te oefenen.”. Ouders vinden het zelf ook een uitdaging om genoeg met Bouw! te lezen: “En op zich ja inderdaad het (Bouw!) vier keer aankaarten is best heel pittig.”. Sommige ouders hebben een oplossing gevonden voor het feit dat het thuis lastig was om te oefenen in Bouw!: “[…] we gaan twee keer in de week hier op school achter de computer zitten.”.
De directeur van school D vertelt over de dosering: “In principe is er vier keer Bouw!. […] Vier keer een kwartier.”. Dit wordt verdeeld over school en thuis. Afhankelijk van hoe vaak er op school geoefend wordt, worden de ouders gevraagd dat aantal thuis aan te vullen tot een totaal van vier à vijf sessies per week. Leerlingen zijn niet altijd even lang bezig ten opzichte van elkaar. Daar geeft een leerkracht een mogelijke verklaring voor: “En is er geen goede afspraak over één onderdeeltje doen per keer of twee? Er zijn geen afspraken over, dus dat is ook de reden waarom kinderen soms eerder terug zijn.”. Een leerkracht geeft aan dat het kwartier op school daarom niet altijd volgemaakt wordt: “Als ze dan negen minuten bezig zijn met één les, dan is het liever dat ze zeggen we hebben één les, goed gedaan.”. De leerkrachten geven aan dat de oefenfrequentie bij leerlingen thuis wisselend is en dat leerlingen maar tien minuten per sessie oefenen.
18 De leerlingen van school E oefenen twee keer per week op school en twee keer thuis in
Bouw!. Volgens ouders worden er vaak meerdere lessen Bouw! in één oefensessie gelezen:
“Gemiddeld twee keer (aantal oefensessies thuis) en dan vaak meerdere lesjes in één keer.”. Elke keer Bouw! duurt gemiddeld een kwartier. Ouders weten wat er verwacht wordt van het oefenen met Bouw! thuis: “Er wordt dan verwacht dat je […] twee keer in de week oefent.”. Toch voldoen niet alle ouders aan die verwachting, zo stelt een ouder: “Thuis wij doen heel weinig.”.
Deelnemers betrokkenheid. Op school A zijn niet alle bevraagde actoren even betrokken bij
het gebruik van Bouw!. Volgens een ouder vinden de leerlingen zelf het leuk: “Ja hij vindt het heel leuk, altijd heel leuk gevonden.”. Volgens een leerkracht zijn de leerling tutoren betrokken: “Kinderen zijn best wel betrokken. Dus ik ben er eigenlijk best wel positief over.”. De Bouw!-coördinator speelt een grote rol in de school. Zij begeleidt het proces, de leerling tutoren en ze monitort de voortgang van de leerlingen. Leerkrachten bevestigen dit: “De Bouw!-coördinator doet gewoon alles. Dat is gewoon een pak minder. We hebben niks te doen.”. Hieruit blijkt dat leerkrachten minder betrokken zijn bij Bouw! en dat geldt ook voor ouders. Dit komt vooral omdat Bouw! door de Bouw!-coördinator geregeld wordt en dat het alleen binnen de school gebruikt wordt. Leerkrachten worden via hun leerlingen op de hoogte gesteld “[…] dan komt ze even vertellen wat ze heeft gedaan of wat ze heeft geleerd […] Dus dan ben je ook toch een beetje op de hoogte.”. Ondanks de mindere betrokkenheid bij Bouw! van leerkrachten, is er wel een goede samenwerking binnen de school rondom het gebruik van het programma. Een leerkracht geeft aan: “[…] ik denk dat de Bouw!-coördinator me heel snel weet te vinden van dit is er aan de hand en we moeten hier extra alert op gaan zijn want ze boekt geen
vooruitgang.”.
De betrokkenheid bij Bouw! van de leerlingen op school B gaat op een gegeven moment achteruit. Een leerkracht stelt: “Je merkte juist wel in groep 2 als ze (de leerlingen) beginnen, dat ze dan juist wel heel erg enthousiast zijn.”. De directeur voegt hieraan toe: “In groep 3 gaat het nog goed met de motivatie, maar groep 4 zagen we het echt. Vinden ze het niet meer leuk.”. Een reden voor het achteruit gaan van de motivatie wordt door een leerkracht gegeven: “[…] kinderen […] hun motivatie verliezen en het saai vinden omdat het (Bouw!) iedere keer dan herhaald wordt.”. Één van de
vrijwilligers is sterk betrokken bij het gebruik van Bouw! in de school. De directeur zegt: “Hij (de vrijwilliger) houdt er van. […] En ik waardeer dat echt heel erg en ik spreek dat ook vaak uit naar de vrijwilliger. […] Dus dat maakt wel dat hij gemotiveerd blijft.”. Leerkrachten zien dit ook: “Ja het is de vrijwilliger die heel enthousiast is.”. Leerkrachten merken op dat de motivatie van de ouders om met Bouw! te oefenen gelinkt is aan de motivatie van de leerling: “Dan hebben ze (de leerlingen) geen zin meer. […] Maar ouders ook natuurlijk, dat is het gevolg van het kind dat niet wil.”. Volgens de vrijwilliger kan de motivatie bij ouders ook afnemen omdat Bouw! lang kan duren: “[…] je bent natuurlijk toch al gauw één tot anderhalve maand ben je al snel bezig. Zo niet, twee. […] En je ziet dat de ouders dan vaak thuis een beetje afhaken, er gewoon geen zin meer in hebben.”. De vrijwilliger zegt dat niet iedere leerling Bouw! leuk vindt, maar veel wel: “Die kinderen vinden het leuk, de ouders
19 vinden het leuk, wij (de vrijwilligers) vinden het leuk, de leerkrachten vinden het leuk.”. Volgens de vrijwilliger is er draagvlak voor Bouw! binnen de school en hij ziet in ieder geval enthousiaste leerkrachten in groep 3: “Best wel enthousiaste groep 3 leerkrachten […].”. De directeur onderstreept dit draagvlak: “Als dan Bouw klaar is, dan blijft de leerkracht de leerling echt wel intensief
begeleiden.”.
Over het algemeen zijn de ouders van school C weinig gemotiveerd om met Bouw! te werken. De directeur stelt: “We merken toch wel dat ouders het heel lastig vinden om het vol te houden. […] Omdat ouders zelf er tegen aan hikken dat het wel heel veel herhaling is.”. Een leerkracht geeft wel aan dat: “die ouders die het doen, die doen het echt […] serieus.”. De leerlingen zijn volgens de vrijwilligster niet allemaal even gemotiveerd om te oefenen met Bouw!: “Ja de één is gemotiveerder dan de andere natuurlijk […].”. Een leerkracht geeft aan dat de meeste leerlingen wel gemotiveerd zijn: “Je ziet toch echt wel bij kinderen die motivatie komen.”. De leerkrachten geven aan dat leerlingen in groep 3 Bouw! vaak leuker vinden dan in groep 4-5: “Groep 3, die vindt het nog wel leuk. […] In groep 4-5 […] ja daar zie je wel dat het niet altijd even gezellig is.”. De leerling tutoren zijn volgens leerkrachten gemotiveerd om te helpen bij Bouw!: “De leerkracht van groep 8 heeft sowieso gevraagd wie vindt dat leuk? Dus ze waren al gemotiveerd om mee te doen. En eigenlijk, ja ze zijn eigenlijk heel enthousiast, vinden het leuk.”. De leerkrachten zelf en de directeur zijn betrokken bij het gebruik van Bouw!. Beide partijen hebben daar hun eigen drijfveren voor. Één leerkracht zegt: “Dat (de motivatie bij leerlingen) vind ik echt wel leuk om te zien. Dus dan ga je als leerkracht ook meer verdiepen.”. De directeur geeft aan: “Dat (het inzicht in de resultaten van Bouw!) zorgt wel dat je je ook nog meer betrokken voelt (bij Bouw!).”.
De motivatie van leerlingen op school D lijkt met leeftijd minder te worden. Een leerkracht van groep 5 geeft aan: “Bij mij is het, vinden ze het niet zo leuk want het wordt een beetje gezien als een, ja dat je niet kan lezen in groep 5.”. In groep 3 denken de leerlingen er volgens de leerkracht anders over: “Ik merk bij mijn groep 3 leerlingen vooral die. Ze vinden het heel leuk. Ze gaan echt met plezier en als ze dan uit de klas gehaald worden van oh we mogen.”. De motivatie van groep 4 sluit aan bij die van groep 3: “Bij mij vinden ze het ook leuk, in groep 4.”. Wat betreft de betrokkenheid bij Bouw! van de leerkrachten zegt de directeur: “Ik denk wel wat minder. Want ja alles gebeurt eigenlijk buiten de klas.”. Een leerkracht geeft zelf aan dat dat niet altijd makkelijk is: “Omdat ze dus uit de klas gehaald worden vind ik wel dat je eigenlijk weinig mee krijgt van het proces en je hebt ook weinig zicht over […] wat ze thuis doen. Vind ik ook wel eens lastig.”. Leerkrachten zeggen dat de betrokkenheid van ouders thuis nog te wensen overlaat: “Ja je spreekt ze aan, je vraagt het nog een keer. […] Dan krijg je […] van een ouder te horen. Ja ik krijg hem niet zo ver en dan zegt het kind mijn moeder heeft nooit zin.”. Ouders zeggen weinig over hun eigen betrokkenheid bij en motivatie voor Bouw!. Over de motivatie van hun kinderen geven zij gemengde reacties: “Hij vindt het zelf hartstikke leuk dus ja geen probleem.” en “Nu snap jij waarom jouw dochter het niet leuk vindt.”.
20 De meeste actoren op school E zijn betrokken bij Bouw!. De Bouw!-coördinator geeft aan dat de betrokkenheid van sommige leerkrachten even geduurd heeft en dat dat op sommige punten nog verbeterd kan worden: “Het is nog niet echt een ding van, we doen het als school […] Het zit nog een beetje groepsgebonden.”. Ouders geven ook aan dat de leerkracht niet altijd betrokken is: “De lerares is totaal niet betrokken.”. De Bouw!-coördinator zegt ook: “De kinderen zijn best wel gemotiveerd. Zowel de tutoren als de kinderen die Bouw!-leerling zijn.”. Leerkrachten bevestigen dit: “Ze (de leerlingen) vinden het allemaal leuk om te doen.”. Een leerkracht geeft aan dat Bouw! soms niet goed werkt en dat de leerlingen daarvan balen: “Dat ze (de leerlingen) wel eens terug komen van ja we kunnen het (Bouw!) niet doen want hij (Bouw!) loopt helemaal vast. En dan zijn ze ook echt teleurgesteld hoor.”. Volgens de Bouw!-coördinator is er bij de ouders ook nog ruimte voor verbetering in de motivatie: “Over het algemeen, ouders reageren allemaal heel enthousiast als je uitlegt dat hun kind in aanmerking komt om met het programma Bouw! te gaan werken. […] Maar in de loop van de tijd merken we wel dat het afneemt.”. Ouders geven zelf gemengde reacties wat hun enthousiasme betreft: “Ik ben heel blij mee.”, maar ook: “Ja ik vind het saai.”. De Bouw!-coördinator geeft aan de leerling tutoren te blijven motiveren gedurende het schooljaar: “Ik doe die tutoren twee keer per jaar minstens even bij elkaar roepen […] En dan krijgen ze even dat extra bedankje zodat ze toch ook een beetje gemotiveerd blijven.”. Zowel leerkrachten als de Bouw!-coördinator stellen: “Voor de tutor is het ook heel leuk dat de kinderen zo vooruitgaan.”.
Kortom, uit het onderzoek komt naar voren dat elke focusschool Bouw! op een andere manier implementeert. School A houdt zich aan de voorgeschreven dosering Bouw! en zorgt dat de leerlingen begeleiding krijgen bij het programma van leerling tutoren. Daarnaast behoudt één persoon het
overzicht van de vooruitgang van de leerlingen. De leerling tutoren en de Bouw!-coördinator zijn sterk betrokken bij Bouw!, leerkrachten en ouders staan minder centraal in het proces. School B heeft voldoende draagvlak voor Bouw! binnen de school. De leerkrachten, directeur en de vrijwilligers zijn erg betrokken. Op de school wordt er consequent geoefend en de voortgang van de leerlingen wordt gemonitord. De motivatie van de leerlingen neemt af met de tijd. De betrokkenheid van de ouders is ook nog niet optimaal. School C heeft betrokken actoren binnen de school die hard werken voor het gebruik van Bouw!. Binnen de school verloopt Bouw! goed en zijn de leerlingen gemotiveerd. Omdat een groot deel van de ouders echter nog niet gemotiveerd genoeg is om thuis te oefenen, is het behalen van vier keer per week Bouw! nog niet altijd mogelijk. Op school D lezen de leerlingen met leerling tutoren buiten de klas. Niet alle actoren vinden het op die manier goed verlopen met de leerling tutoren. Er is geen overeenstemming binnen de school als het gaat om de lengte van de Bouw!-sessies. Daarnaast wordt er door de ouders thuis te weinig geoefend met Bouw!. De motivatie van de
leerlingen neemt af naar mate ze ouder worden. School E heeft een werkend systeem met leerling tutoren om op school te oefenen in Bouw!. De leerlingen en de tutoren zijn gemotiveerd om met Bouw! te werken. Leerkrachten zijn minder betrokken bij het proces en de motivatie van ouders neemt af over de tijd.
21 Gekeken naar de uitkomsten van de implementatietrouw op de verschillende scholen, hebben school A, B, C en E een hogere implementatietrouw dan school D. Dit komt vooral omdat de scholen A, B, C en E een systeem hebben waarmee zowel op school als grotendeels ook thuis consequent geoefend kan worden met Bouw!. Op school D wordt er vooral thuis, maar soms ook op school volgens de richtlijnen te weinig geoefend in Bouw!. Het gebrek aan duidelijke afspraken rondom Bouw! op school D zou hier een verklaring voor kunnen zijn. De motivatie van leerlingen neemt over tijd af op bijna alle scholen. De reden die hiervoor door meerdere actoren gegeven is, is dat het programma gemaakt is voor leerlingen in groep 2-3 en dat de aansluiting met groep 4-5 meestal minder is daardoor. Daarnaast krijgen de leerlingen in de eerste periode steeds nieuwe letters aangeleerd in het programma en dat werd gezien als motiverend terwijl er tegen het einde vooral herhaling in Bouw! wordt aangeboden.
Het grootste deel van de scholen heeft dus een voldoende hoge implementatietrouw en daarmee is er aan de voorwaarde van betrouwbare implementatie voldaan om de onderzoeksvraag te kunnen beantwoorden. Door de lagere implementatietrouw in school D is echter wel apart gekeken naar die data wat betreft de factoren voordat de onderzoeksvraag beantwoord kon worden. In de data is inhoudelijk weinig verschil tussen school D en de andere scholen te zien. Het enige opvallende
verschil is dat er in school D relatief weinig over de relevantie en effecten van Bouw! is gepraat tijdens de interviews. Inhoudelijk komen wat relevantie en effecten betreft in school D vergelijkbare opmerkingen naar boven als in de andere scholen. Door de weinig afwijkende resultaten in school D ten opzichte van de andere scholen, zijn deze zonder verdere aanpassingen meegenomen bij het bespreken van de factoren en het beantwoorden van de onderzoeksvraag.
Faciliterende en Belemmerende Factoren Vanuit Verschillende Perspectieven
Om de onderzoeksvraag te kunnen beantwoorden zijn de faciliterende en belemmerende factoren uit de data per betrokken actor in kaart gebracht. In de data is onderscheid gemaakt tussen de verschillende categorieën van factoren: innovatie-specifieke, individuele, structurele en relationele. Deze categorieën worden als eerst besproken. Daarna zullen per actor verschillende faciliterende en belemmerende factoren aan bod komen. Wat betreft de categorieën was het opvallend dat individuele factoren bijna niet genoemd werden door respondenten. De belangrijkste categorie in de data bestond uit de innovatie-specifieke factoren. In Figuur 3 is een overzicht te zien van de frequenties van de verschillende factor categorieën. In Figuur 4 zijn die categorieën uitgesplitst naar de verschillende actoren. Daarin is te zien dat de innovatie-specifieke en relationele factoren vooral door directeuren en leerkrachten aangestipt worden. Daarnaast zijn directeuren meer met structurele factoren begaan dan de andere actoren.
22 Frequenties van verschillende categorieën factoren over alle interviews en focusgroepen
Figuur 4
Frequenties van de verschillende categorieën factoren uitgesplitst naar actoren
Note: SWV = samenwerkingsverband.
In totaal zijn er 535 codes toegekend aan de data die duiden op factoren. In Figuur 5 zijn de vijf meest voorkomende factoren weergegeven per actor. Structuur, een relationele factor, is de meest voorkomende factor. Hiermee werd hoofdzakelijk de communicatie rondom Bouw! bedoeld. Van de meest voorkomende categorie aan factoren, innovatie-specifieke factoren, zijn relevant, monitoren en kosten terug te zien in de grafiek. Met relevant werd aangestipt in hoeverre de respondenten de relevantie en effecten van Bouw! zagen. Monitoren slaat op in hoeverre de voortgang en effecten van
15
241
178 101
Individueel Innovatie-specifiek Relationeel Structureel
0 10 20 30 40 50 60 70 80 90 100
Individueel Innovatie-specifiek Relationeel Structureel
23 Bouw! gemonitord en eventueel bijgestuurd werden. Bij zowel structuur, relevant als monitoren is te zien dat directeuren en leerkrachten daar meer mee bezig zijn dan de andere actoren. Opvallend is dat de kosten van alle actoren het meest door ouders worden aangestipt. Met kosten werden de kosten van Bouw! bedoeld in tijd, geld en/of energie. Ouders benoemen hoofdzakelijk de tijd en/of moeite die het kost om met Bouw! te oefenen thuis. De logistieke belemmeringen vallen onder structurele factoren en worden door alle actoren aangekaart behalve door de samenwerkingsverbanden. De meest genoemde logistieke belemmeringen zijn: technische problemen met Bouw!, het moment van toetsen in Bouw! en een gebrek aan oefenruimte op school.
Figuur 5
De vijf meest voorkomende factoren in de data met de frequentie weergegeven per actor
Note: SWV = samenwerkingsverband.
Naast de vijf factoren in Figuur 4 is er nog één factor die over het geheel meer dan 20 keer voorkomt: leerling kenmerken (23 keer). Leerling kenmerken is als code toegevoegd op basis van de data om aan te duiden in hoeverre kenmerken van de leerling de oefenfrequentie van Bouw!
beïnvloedden. Kenmerken zoals bijvoorbeeld autisme kwamen daarbij naar voren. Deze code zou kunnen worden ingedeeld in de categorie van individuele factoren. Met die indeling zou de frequentie van codes die individuele factoren uitlichten nog steeds laag zijn in vergelijking met de andere drie categorieën. Hieronder komen de faciliterende en belemmerende factoren per actor aan bod. Daarna worden de gegeven suggesties voor de verbetering van het gebruik van Bouw! beschreven.
Directeuren. De directeuren geven als faciliterende factor aan dat Bouw! past bij de
pedagogische visie die zij op school hebben: “Wat het mooie is van Bouw is dat je werkt vanuit wat je kan en daar dan vanuit verder gaat. En dat past wel bij, hoe wij ook naar kinderen kijken.”. De kosten van Bouw! kunnen directeuren als belemmerende factor zien, met name tijd is een belangrijk
0 10 20 30 40 50 60
Structuur Relevant Monitoren Logistieke
belemmering
Kosten
24 onderdeel. Één van de directeuren geeft aan: “[…] het kost echt heel veel tijd.”. Bijna alle directeuren geven als belemmerende factor aan dat er in het begin veel logistieke en technische problemen waren bij het gebruik van Bouw!: “In het begin natuurlijk heel veel opstartproblemen waren vanuit Bouw!.”. De meeste van die problemen zijn na verloop van tijd opgelost. Al stelt een directeur dat nog niet alles altijd werkt: “Een enkele keer ligt Bouw! er ook nog wel eens uit. Het is wel minder dan in het begin, want dat was soms dramatisch.”.
Leerkrachten. Het overgrote deel van de leerkrachten ziet de effecten van Bouw! als
faciliterende factor. Meerdere leerkrachten geven aan dat ze de effecten van het programma terugzien bij de leerlingen: “Dat is dus wel duidelijk merkbaar dat ze toch de les gemakkelijker oppakken.”. Wat leerkrachten als belemmerende factor zien is dat sommige ouders de relevantie van Bouw! nog niet zien: “Het zou wel ideaal zijn als ouders ook echt het belang er van inzien.”. Andere belemmeringen die leerkrachten ervaren bestaan vooral uit logistieke belemmeringen. De voornaamste belemmeringen zijn technische problemen met Bouw!: “Er is ook zo vaak storing.”, een gebrek aan vrijwilligers: “Vrijwilligers, dat is eigenlijk het probleem.” en een gebrek aan ruimte om te oefenen: “Omdat we anders geen ruimte hebben.”.
Ouders. Het blijkt dat ouders de mogelijkheid tot het krijgen van terugkoppeling over de
voortgang in Bouw! als faciliterende factor zien. “Ik beleef het feit dat ik daar naartoe (de leerkracht) kan altijd wel als iets positiefs.” De belemmerende factoren van ouders vallen vooral onder logistieke belemmeringen. Het moment van toetsen wordt als logistieke belemmering genoemd want leerlingen kunnen soms niet verder werken in Bouw! omdat ze moeten wachten op het maken van een toets. “Ik kon niet verder want de toets moest worden gedaan.” Dit wordt door verschillende ouders bevestigd. Daarnaast worden technische problemen in Bouw! genoemd als logistieke belemmering door een aantal ouders: “[…] dan hebben we één les afgesloten en dan willen we naar de volgende en dan doet hij het technisch niet.”.
Samenwerkingsverband. De samenwerkingsverbanden zien de positieve uitkomsten van
Bouw! voor de scholen als faciliterende factor: “[…] Bouw! blijkbaar ook op elke school een soort winst creëert. Een afname van kinderen met zeer ernstige leesproblematiek.”. De
samenwerkingsverbanden zetten zich daarom in om scholen te blijven motiveren voor het gebruik van Bouw!: “Je moet […] zorgen dat ze (de scholen) goed gemotiveerd zijn.”. De directeuren geven aan dat zij dit onder andere doen door de resultaten van Bouw! met de scholen en schoolbesturen te delen: “[…] daar krijgen we weer een prachtig adviesrapport uit die we ook kunnen delen met schoolbesturen en scholen om ze weer extra te stimuleren.”, “Kijk dat (de positieve resultaten) is natuurlijk de
grootste stimulans. […] Weet je ze hebben zelf al het vermoeden maar het is natuurlijk nog leuker, en zo hou je mensen eigenlijk in die flow.”.
Vrijwilligers. De vrijwilligers zien de effectiviteit van Bouw! als faciliterende factor. Ze zien
dat de leerlingen vooruit gaan, vooral wanneer zij regelmatig oefenen. “Als de regelmaat goed is […] dat is gewoon de toverformule.” Wat vrijwilligers zien als belemmerende factor bij het behalen van
25 resultaten in Bouw!, is dat de groei kan stagneren. Soms wordt er weinig vooruitgang meer geboekt als een leerling veel moeite heeft met een bepaald onderdeel. “Kinderen die moeite nog steeds hebben met spelling en zo. […] Dat tempo kun je op een gegeven moment niet meer verhogen.” Verder is het moment van toetsen een belemmerende logistieke factor volgens vrijwilligers. Het kan voorkomen dat een leerling moet wachten op een toetsmoment en daardoor niet verder kan met oefenen in Bouw!.
Suggesties. Tot slot hebben bijna alle actoren suggesties gegeven om het gebruik van Bouw!
te verbeteren. Leerkrachten en directeuren geven dezelfde twee suggesties: een overzicht in Bouw! en meer ouderbetrokkenheid. De laatste wordt ook onderschreven door de samenwerkingsverbanden. Een directeur zegt: “Het zou mooi zijn als dat (overzichtsgrafieken) in Bouw! zou zijn […] als dat in het programma zit.”. Leerkrachten zien ook graag een overzicht, niet alleen voor de school maar ook voor de leerlingen: “Wat ik nog wel zou willen zien, […] een beetje […] meer overzicht misschien. Ja zo veel lessen heb ik die moet doen.”. Wat betreft de ouderbetrokkenheid stelt een leerkracht: “Dat ideale scenario, het is nog steeds de ouder die oefent.”. Een directeur wil daarom weten hoe ze dat zouden kunnen bereiken: “hoe we dat weer op zouden kunnen pakken, om toch ouders weer te
enthousiasmeren en betrokken te krijgen, daar zou ik wel graag aanknopingspunten voor horen.”. Ouders zijn vrijwel unaniem over hun suggesties voor verbetering van het gebruik van Bouw!: meer feedback en een beloningssysteem. Wanneer ouders niet automatisch terugkoppeling krijgen vanuit de school over de voortgang in Bouw!, wordt dit door meerdere ouders als suggestie
aangedragen: “het zou wel handig zijn om af en toe een gesprekje te hebben […] om dan een beetje te evalueren hoe het met het kind gaat en of zij progressie zien […].”. Dat ouders graag willen weten hoe het met hun kind in Bouw! gaat en daarom meer feedback zouden willen, is één van de meest
genoemde suggesties. Een tweede suggestie die door een aantal ouders genoemd wordt, is het implementeren van een beloningssysteem al dan niet in Bouw!: “[…] dat er een soort beloning in zit […]”, “Al is het maar een stickerkaart heel gek gezegd. Het hoeft niet eens iets groots te zijn maar gewoon een stickerkaart.”.
Op basis van de resultaten kan gesteld worden dat er een aantal faciliterende en belemmerende factoren zijn die voor meerdere actoren een rol spelen. Er is echter geen factor gevonden die door alle actoren als invloedrijk wordt gezien. Zie Tabel 2 voor een overzicht van de faciliterende en
belemmerende factoren en de suggesties voor elke actor. De meest voorkomende faciliterende factor is de zichtbaarheid van de effecten van Bouw!. Dit is een innovatie-specifieke factor. Deze wordt door leerkrachten, vrijwilligers en de samenwerkingsverbanden onderstreept. Een veelvoorkomende belemmerende factor die door directeuren, leerkrachten en ouders wordt genoemd, wordt gevormd door de technische problemen van Bouw! waardoor er niet geoefend kan worden. Dit is een logistieke belemmering en valt daarmee in de categorie structurele factoren. Een andere belemmerende factor is dat het moment van toetsen in Bouw! ervoor kan zorgen dat leerlingen tijdelijk niet verder kunnen met oefenen, zowel ouders als vrijwilligers ervaren dit. Een belangrijke suggestie die gedaan wordt door het samenwerkingsverband, de directeuren en leerkrachten is dat ouders meer betrokken moeten
26 worden bij Bouw!. Zij zouden graag handvatten krijgen om die betrokkenheid te verhogen. Ouders geven juist aan dat zij graag (meer) terugkoppeling zouden krijgen vanuit de school zodat zij weten hoe hun kind ervoor staat wat betreft Bouw!. De suggestie van directeuren en leerkrachten om een overzicht in Bouw! te creëren zou een rol kunnen spelen in het betrekken van ouders. Het biedt de mogelijkheid om sneller en makkelijker de resultaten van Bouw! weer te kunnen geven, te verspreiden en terug te koppelen aan ouders. Bovendien werken de zichtbare effecten van Bouw! voor meerdere actoren als faciliterende factor waardoor het overzicht ook voor hen een positieve ontwikkeling kan zijn. Tot slot hebben bijna alle ouders aangegeven dat zij graag een beloningssysteem in of om Bouw! zouden hebben om de leerlingen te blijven motiveren.
Tabel 2
Overzicht van Faciliterende en Belemmerende Factoren en Suggesties van de Betrokken Actoren Actor Faciliterende factoren Belemmerende factoren Suggesties
SWV Zichtbare effecten Gemotiveerde scholen
Meer ouderbetrokkenheid
Directeur Bouw! past bij de visie Kosten van Bouw! Technische problemen
Een voortgangsoverzicht Meer ouderbetrokkenheid Leerkracht Zichtbare effecten Ouders zien het belang
niet
Technische problemen Gebrek aan vrijwilligers Geen oefen ruimte
Een voortgangsoverzicht Meer ouderbetrokkenheid
Ouder Feedback vanuit school Het moment van toetsen Technische problemen
Meer feedback Een beloningssysteem Vrijwilliger Zichtbare effecten Soms weinig voortgang
Het moment van toetsen Note: SWV = samenwerkingsverband.
Discussie
In dit onderzoek zijn de faciliterende en belemmerende factoren bij het implementeren van de innovatie Bouw! onderzocht bij verschillende betrokken actoren. Bouw! is een digitaal programma wat leerlingen met leesproblemen helpt om beter te leren lezen. De onderzoeksvraag die hierbij gesteld is luidt: Wat ervaren verschillende betrokken actoren als faciliterende en belemmerende factoren bij het betrouwbaar implementeren van een innovatie in een basisschool en verschillen die factoren ook per betrokken actor? Om deze vraag te beantwoorden is met behulp van een collective case study gekeken wat de invloedrijke factoren zijn voor de betrokken actoren. De innovatie-specifieke factoren komen het vaakst naar voren en dan met name de relevantie en effecten van Bouw!. Over het
algemeen ervaren de samenwerkingsverbanden, leerkrachten en vrijwilligers zichtbare effecten van Bouw! als faciliterende innovatie-specifieke factor. Technische problemen met Bouw! worden door
