Duurzaamheid van onderwijsvernieuwingen De rol van de schoolleiding

(1)

Duurzaamheid van onderwijsvernieuwingen De rol van de schoolleiding

Definitief Inhoudelijk onderzoeksverslag Projectteam

Universiteit Twente en Stichting Carmelcollege Dit project is (mede) gefinancierd door het NRO

Duurzaamheid van onderwijsvernieuwingen

(2)

2 Samenvatting

De duurzaamheid van onderwijsinterventies krijgt veel aandacht in de literatuur, maar in de praktijk zien we dat onderwijsvernieuwingen vaak niet beklijven binnen de schoolorganisatie. Voor docenten is het een grote uitdaging om interventies zelfstandig voort te zetten. Een duurzame interventie moet verankerd zijn in de organisatieroutines van de school. De schoolleiding speelt hierin een cruciale rol. Dit betreft zowel het beleid als het daadwerkelijk handelen in de praktijk. Het doel van dit onderzoek, gesubsidieerd door NRO, was daarom: het genereren van praktische, concrete aanbevelingen gericht op de rol van de schoolleiding om de duurzaamheid van een interventie voor datagebruik te bevorderen. In deze interventie wordt gewerkt met datateams. Een datateam is een kleinschalig onderzoeksteam van 4-6 docenten en 1-2 leden van de schoolleiding dat met behulp van data leert om onderwijskundige problemen op te lossen. Er wordt gebruik gemaakt van een

gestructureerd, praktisch achtstappenplan en een handleiding waarin de stappen concreet worden gemaakt. Het doel van deze methode is het verbeteren van leerlingprestaties, schoolontwikkeling en professionele ontwikkeling van docenten.

Bij het doel van het onderzoek zijn de volgende hoofd- en subvragen geformuleerd:

Wat is de rol van de schoolleiding in het verduurzamen van een interventie voor datagebruik?

a. Welk beleid van de schoolleiding bevordert duurzaamheid?

b. Welke specifieke handelingen van de schoolleiding bevorderen duurzaamheid?

Door middel van telefonische interviews, vragenlijsten en presentatie- en workshopsessies is er inzicht verkregen in beleid en specifieke handelingen om duurzaamheid van onderwijsvernieuwingen te bevorderen.

Studie 1 over duurzaamheid van de interventie voor datagebruik

Om de rol van schoolleiding en bestuur (beleid en specifieke handelingen) goed in kaart te kunnen brengen, hebben we eerst de huidige duurzaamheid van de interventie voor datagebruik op de verschillende scholen inzichtelijk gemaakt. Op basis van de definitie volgend uit een systematische review, hebben we een vragenlijst ontwikkeld over mate van duurzaamheid van de interventie in de scholen. Deze hebben we met behulp van telefonische interviews afgenomen bij scholen die begeleid zijn in het werken met de interventie tussen 2012-2017 (N=29). Bijna de helft van de bevraagde scholen (14; 48%) gaf aan nog te werken met datateams zoals opgericht in het kader van de interventie. Er zijn ook enkele ‘spin-off’ teams gestart.

De resultaten laten zien dat duurzaamheid niet hetzelfde is als alleen het voortzetten van de

oorspronkelijke methode. Eén van de scholen werkt nog steeds met de methode zoals oorspronkelijk ingevoerd wat betreft de acht stappen, handleiding en regelmatige bijeenkomsten. In zes van de scholen die het werken met de methode hebben voortgezet, vindt dit flexibeler plaats, vooral als het gaat om de frequentie van de bijeenkomsten. Deze zeven scholen samen beschouwen we als

duurzaam wat betreft de methode. In 16 van de scholen was er te weinig terug te zien van de kernaspecten van het werken met de interventie om het gebruik van de methode duurzaam te noemen. Echter, negen van deze scholen werken wel systematisch aan schoolverbetering met behulp van data (kernaspecten onderliggende doelen), waarbij de manier van werken met de datateam methode daar in positieve zin invloed op heeft gehad. Zes van de scholen die nog wel werken met een datateam kunnen tevens worden beschouwd als duurzaam op de onderliggende doelen van de interventie (zie Tabel 1).

(3)

3 Tabel 1: Mate van duurzaamheid datateamscholen

Niet duurzaam Duurzaamheid

methode Duurzaamheid onderliggende

doelen

Duurzaamheid op zowel methode als

doelen zegt nog te

werken met datateams (14)

1 7 6 6

zegt niet meer te werken met datateams (15)

6 9

De bevindingen bieden tevens meer inzicht in de vraag hoe duurzaamheid concreet kan worden bevorderd. Alleen scholen die ‘duurzaam op zowel methode als onderliggende doelen’- zijn, bleken datagebruik te hebben opgenomen in beleidsplannen. Slechts 5 van de scholen heeft datagebruik vastgelegd in de taakomschrijving van de docent en nog minder (3), in het persoonlijk

ontwikkelingsplan. Op schoolniveau (team-, afdelings-, school- of locatieplan) zijn de aantallen hoger, maar nog steeds slechts 13 scholen wat betreft het team- of afdelingsplan en 17 scholen in het school- of locatieplan. Een voorlopig antwoord op de onderzoeksvraag over beleid lijkt dus dat de interventie expliciet aandacht zou moeten krijgen in beleidsplannen van de school. Studie 2 is gericht op meer specifieke handelingen van de schoolleiding om duurzaamheid te bevorderen.

Studie 2 over beleid en specifieke handelingen voor de rol van de schoolleiding Op basis van de beïnvloedende factoren uit een systematische literatuurstudie is een

factorenvragenlijst ontwikkeld voor afname aan de scholen voor voortgezet onderwijs die met de interventie gewerkt hebben. De vragenlijst is afgenomen bij scholen die in de periode 2012-2017 een datateam hebben gehad en daarbij begeleid zijn (N=165).

De resultaten van het onderzoek laten zien dat vooral factoren op het gebied van de

schoolorganisatie belangrijk zijn voor verduurzaming, waarvan leiderschap een aspect is. Leiderschap voor duurzame onderwijsvernieuwing betreft echter niet alleen facilitering in tijd en middelen, wat vaak wordt genoemd als belangrijkste factor. Leiderschap betreft ook (interne en externe)

ondersteuning, een goed geïnformeerde schoolleiding (over de interventie), en visie. Beleid kunnen we definiëren als het stellen van doelen, middelen en een tijdpad in onderlinge samenhang. Een consistente uitvoering van de interventie wat dit betreft, vanuit de visie van de school en de bijbehorende rol van de schoolleider, is daarom essentieel als het gaat om beleid en specifieke handelingen. Uit het vragenlijstonderzoek blijkt dat het van belang is dat de schoolleiding de visie op de interventie voor datagebruik expliciet maakt, dat dit goed gefaciliteerd moet worden en dat communicatie hierover van belang is. Samenwerking en kennisdeling zijn, naast leiderschap op zich, ook kenmerken van de schoolorganisatie die een rol spelen. Het blijkt dat docenten de

samenwerking en kennisdeling rondom de interventie voor datagebruik niet als ideaal hebben ervaren. Uit de bevindingen blijkt dat gedeeld leiderschap en de samenhang van de verschillende leiderschapsactiviteiten juist cruciaal zijn. Daarnaast lijken kenmerken van individu, zoals

docentbetrokkenheid, duurzaamheid te beïnvloeden. Een onderwijsvernieuwing moet kortom passen bij de visie en doelen (die ook interactief gecommuniceerd moeten worden), waarbij betrokkenheid van docenten en effectiviteit van de interventie eveneens een belangrijke rol spelen (zie Figuur 1).

(4)

4 Figuur 1: Bevorderen van duurzaamheid van onderwijsvernieuwingen

Tegelijkertijd maakt een lange lijst beïnvloedende factoren het werk van de schoolleiding niet concreter, laat staan eenvoudiger. Daarom hebben we op basis van de bevindingen van dit onderzoek verschillende tools ontwikkeld en voorgelegd aan deelnemers uit de praktijk in

presentatiesessies en/of workshops. In de verschillende sessies bleek dat de tools schoolleiders stof tot nadenken geven als het gaat om de vraag of en hoe een nieuwe ontwikkeling moet worden ingezet en bovendien over dat dit (ruim) vooraf aan de daadwerkelijke invoering overdacht en besproken moet worden, evenals dat facilitering in tijd en middelen vaak nog niet voldoende

concreet richting geeft aan de invoering van vernieuwing. Er moet bijvoorbeeld ruim vooraf ook goed worden nagedacht over wie welke taken gaat uitvoeren en hoe kennis met de andere collega’s gedeeld gaat worden.

Het valt op dat schoolleiders soms te kort vooraf of pas tijdens de invoering van een vernieuwing bij belangrijke onderdelen van het bevorderen van duurzaamheid stil staan (zoals het ontwikkelen en interactief delen van een visie op de vernieuwing). Ook valt op dat soms wordt overschat wat op dit gebied al op school heeft plaatsgevonden. Uit het werken met de tools blijkt dat er nog aandacht nodig is voor het helder omschrijven van succescriteria op de korte en lange termijn, de

communicatie binnen de school en het gebruiken van de uitkomsten van de vernieuwing. Dit onderzoek maakt de specifieke handelingen die schoolleiders hiervoor kunnen uitvoeren niet alleen concreter, maar laat ook zien hoe belangrijk het is om deze tijdig en regelmatig uit te voeren.

Implicaties voor de praktijk

Doorgaande onderwijsontwikkeling in plaats van het steeds opstarten van nieuwe projecten, scheelt geld, tijd en (docent)energie. Dit onderzoek biedt inzichten in hoe dat beter vormgegeven kan worden binnen scholen. Op basis van de inzichten hebben we tools ontwikkeld die scholen kunnen helpen het gesprek op school met de verschillende belanghebbenden ruim op tijd vóór de geplande invoering van een vernieuwing op te starten. Dit moet niet worden opgevat als een eenmalige activiteit. De vragen in de tools en de bevindingen nodigen uit tot het maken van een verder plan van aanpak om het proces van het bevorderen van duurzaamheid van onderwijsvernieuwing vorm te geven en hier regelmatig bij stil te staan. Docenten moeten bovendien gelegenheid krijgen deze visie concreet te maken in hun onderwijs, niet alleen door training en middelen, maar ook door het daadwerkelijk kunnen toepassen in hun school mét collega’s.

Implicaties voor wetenschap en verder onderzoek

Duurzaamheid is een begrip dat in de literatuur niet eenduidig gedefinieerd wordt. Op basis van een systematische reviewstudie in de eerste fase van dit onderzoek is duurzaamheid van een

onderwijsvernieuwing gedefinieerd als het integreren en opschalen van de kernaspecten van de Duurzaamheid van onderwijsvernieuwingen

(5)

5 vernieuwing in organisatieroutines, die adaptief zijn aan lopende werkzaamheden. Dit onderzoek heeft met behulp van deze reviewstudie inzicht opgeleverd over hoe duurzaamheid van een specifieke interventie voor datagebruik in de praktijk vorm krijgt en hoe dit kan worden gemeten (Studie 1). Hierdoor kon in studie 2 in kaart worden gebracht welke factoren, ook specifiek op het gebied van leiderschap, hierop van invloed zijn. Door het vragenlijstonderzoek, de interviews uit studie 1 en de praktijkverdieping, werd concreter duidelijk welk beleid en handelingen van belang zijn voor het bevorderen van duurzaamheid.

Vervolgonderzoek kan ingaan op het effect van het gebruik van de inzichten uit dit onderzoek en mogelijke follow-up activiteiten passend bij de bevindingen. Dit onderzoek levert niet alleen een belangrijke bijdrage aan theorieontwikkeling en praktische aanbevelingen met betrekking tot de rol van de schoolleiding en het duurzaam vormgeven van de onderzochte interventie voor datagebruik, maar ook voor onderwijsvernieuwingen (in professionele leergemeenschappen, zoals datateams) in het algemeen.

(6)

6 Inhoudsopgave

Samenvatting 2

Inleiding 7

Methode 10

Resultaten 13

Conclusie en discussie 17

Literatuur 21

Appendix A 22

Appendix B 59

Appendix C 61

(7)

7 Inleiding

Aanleiding van het onderzoek

Binnen de Stichting Carmelcollege wordt sinds een decennium gewerkt met een interventie voor datagebruik. Met behulp van deze interventie hebben docenten en schoolleiders naar tevredenheid geleerd om systematisch met data te werken (Ebbeler, 2016, Kippers et al., 2018), dit toe te passen in de praktijk, en op een aantal scholen ook het leren van leerlingen kunnen verbeteren (Poortman &

Schildkamp, 2016). Tegelijkertijd is het duurzaam vormgeven van datagebruik binnen de gehele organisatie nog een uitdaging. Ook heeft de schoolleiding van verschillende scholen aan de

Universiteit Twente advies gevraagd met betrekking tot deze uitdaging. Hoewel de meeste scholen na afloop van de externe ondersteuning willen doorgaan met systematisch datagebruik, blijkt uit onderzoek dat duurzame effecten op de schoolorganisatie vooralsnog uitblijven (Hubers, Schildkamp, Poortman, & Pieters, 2017).

Een interventie is duurzaam als het een organisatieroutine is geworden (Spillane, 2012). Dit betekent dat duurzaamheid moet worden vormgegeven en uitgevoerd in alle lagen van een organisatie:

docenten, teamleiders, schoolleiders en bestuur. Uit verkennende interviews bleek dat er een verschil is in opvattingen over leiderschap en duurzaamheid op deze verschillende

organisatieniveaus. Datateamleden zijn doorgaans positief en vinden de methode effectief, terwijl collega’s buiten de datateams vaak nauwelijks kennis hebben van zowel het proces als de uitkomsten (‘Sommige dingen sla ik gewoon niet op. Het gaat gewoon niet, ons werk is al zo complex’). Volgens docenten is de rol van de schoolleiding hierbij cruciaal. Schoolleiders geven bijvoorbeeld zelf aan dat zij actiever aandacht hadden kunnen hebben voor de borging van de interventie (‘ik wilde het wel graag (...) maar de tijd ontbrak gewoon’/ ‘ik denk dat ik voor het bevorderen daarvoor, mezelf een onvoldoende zou geven’). Het is echter onduidelijk hoe ze dit concreet kunnen aanpakken. Hieruit blijkt dat inzicht in hoe duurzaamheid bevorderd kan worden van groot belang is. Dit inzicht is essentieel voor concrete aanbevelingen voor de praktijk, zowel voor de interventie voor datagebruik als voor onderwijsvernieuwingen in het algemeen.

Er is maar weinig onderzoek wat ingaat op duurzame onderwijsverbetering als gevolg van interventies (King, 2016). Bovendien wordt er een variatie aan definities van duurzaamheid

gehanteerd en worden er veel verschillende beïnvloedende factoren gerapporteerd, waardoor een vertaling naar aanbevelingen voor de praktijk nog een grote uitdaging is (Prenger et al., ingediend).

Bovendien is er in de literatuur te weinig bekend over de rol van de schoolleiding.

Het doel van dit onderzoek, mede gesubsidieerd door NRO, was daarom: het genereren van

praktische, concrete aanbevelingen gericht op de rol van de schoolleiding om de duurzaamheid van een interventie voor datagebruik te bevorderen. Dit onderzoek levert bovendien een belangrijke bijdrage aan theorieontwikkeling met betrekking tot de rol van de schoolleiding en het duurzaam vormgeven van een interventie voor datagebruik, maar ook voor onderwijsvernieuwingen in het algemeen.

Bij het doel van het onderzoek zijn de volgende hoofd- en subvragen geformuleerd:

Wat is de rol van de schoolleiding in het verduurzamen van een interventie voor datagebruik?

a. Welk beleid van de schoolleiding bevordert duurzaamheid?

b. Welke specifieke handelingen van de schoolleiding bevorderen duurzaamheid?

Conceptueel kader

Duurzaamheid en beïnvloedende factoren

Duurzaamheid is een begrip dat in de literatuur niet eenduidig wordt gedefinieerd (Prenger et al., ingediend). Op basis van een systematische reviewstudie in de eerste fase van dit onderzoek is

(8)

8 duurzaamheid van een onderwijsvernieuwing gedefinieerd als het integreren en opschalen van de kernaspecten van de vernieuwing in organisatieroutines, die adaptief zijn aan lopende

werkzaamheden’ (Prenger et al., ingediend, p. 35). De interventie is dan onderdeel van de routine in de school.

De systematische literatuurstudie (Prenger et al., ingediend) heeft een theoretisch kader opgeleverd over de rol van team-, schoolleiders en besturen in het verduurzamen van onderwijsvernieuwingen.

We onderscheiden 4 typen beïnvloedende karakteristieken (zie Figuur 2):

• Schoolorganisatie (o.a. leiderschap)

• De onderwijsvernieuwing (o.a. effectiviteit)

• Individu (o.a. docentbetrokkenheid)

• Context (o.a. erkenning van formele instanties)

Figuur 2: De factoren die volgens de reviewstudie van invloed zijn op duurzaamheid van onderwijsvernieuwingen

Leiderschap, binnen de factor schoolorganisatie, betreft de subaspecten goed geïnformeerd (over de interventie), interne (zoals coaching en feedback aan medewerkers) en externe ondersteuning (zoals training), een rolmodel zijn, gedeeld leiderschap (ook eigenaarschap en verantwoordelijkheid bij docenten), visie, prioritering en facilitering (tijd, materiaal en middelen), en communicatie (zowel verbaal als in beleidsplannen) (Tappel et al., in voorbereiding).

Duurzaamheid van de datateam methode

Binnen deze studie wordt de rol van de schoolleiding onderzocht in het kader van de duurzaamheid van een onderwijsvernieuwing voor datagebruik: de datateam methode. Een datateam is een kleinschalig onderzoeksteam van 4-6 docenten en 1-2 leden van de schoolleiding dat met behulp van data leert om onderwijsproblemen in de eigen praktijk op te lossen. Voorbeelden van onderwerpen waaraan datateams werken zijn tegenvallende resultaten voor bepaalde vakken in bepaalde

leerjaren of tegenvallende doorstroom in een afdeling of bouw. Men kan ook aan problemen op het gebied van tevredenheid en welzijn werken. In de datateam methode wordt gebruik gemaakt van een gestructureerd, praktisch achtstappenplan waarbij in elke stap activiteiten worden ondernomen

(9)

9 (Schildkamp & Poortman, 2016) : Stap 1) Probleem definiëren, Stap 2) Hypothese over de oorzaak van het probleem opstellen, Stap 3) Data verzamelen, Stap 4) Controle kwaliteit verzamelde data, Stap 5) Data-analyse, Stap 6) Interpretatie en conclusie, Stap 7) Maatregelen nemen, Stap 8) Evalueren. De datateams maken gebruik van een handleiding waarin de stappen concreet worden gemaakt. Bovendien zijn zij in de implementatieperiode gedurende minstens 12 maanden begeleid door een externe coach. Het doel van deze methode is het verbeteren van leerlingprestaties, schoolontwikkeling en professionele ontwikkeling van docenten.

De kernaspecten van de datateam methode betreffen enerzijds de methode, namelijk het

achtstappenplan waaruit de methode bestaat, de handleiding met daarin de uitwerking van de acht stappen en de regelmatige bijeenkomsten. Tegelijkertijd gaat het ook om het onderliggende doel van de methode: het systematisch werken met data in de school. Hier gaat het om de kernaspecten 1) het stellen van doelen, 2) dataverzameling om te bepalen of de doelen bereikt zijn, 3) indien nodig, bepalen waarom doelen niet bereikt zijn, 4) maatregelen nemen om het doel te bereiken en 5) het onderwijs evalueren. Als het om opschaling gaat, is de vraag of de resultaten van het datateam met anderen in de school, die niet deelnamen aan het datateam, gedeeld worden. Ook gaat het om de vraag of datagebruik en datateams in het schoolbeleid worden opgenomen, bijvoorbeeld in team- of schoolplannen.

(10)

10 Methode

Studie 1 over duurzaamheid datateam methode Aanpak

Om de rol van schoolleiding en bestuur (beleid en specifieke handelingen) goed in kaart te kunnen brengen, hebben we eerst de huidige duurzaamheid van de datateams op de verschillende scholen inzichtelijk gemaakt. Op basis van de definitie volgend uit de systematische review uitgevoerd in de eerste fase (Prenger et al., ingediend), hebben we een vragenlijst ontwikkeld over mate van

duurzaamheid van datateams in de scholen. Deze hebben we met behulp van telefonische interviews afgenomen bij de scholen die begeleid zijn in het werken met de methode tussen 2012-2017.

Respondenten

Respondenten voor de telefonische vragenlijst waren respondenten van alle 40 scholen die in de periode 2012-2017 een datateam hebben gehad en daarbij begeleid zijn. We hebben gebruik gemaakt van purposeful sampling (Patton, 2002), dat wil zeggen dat docenten of schoolleiders benaderd zijn die ervaring hadden met het datateam op hun school (Cresswell; Plano Clark, 2011).

Dit was in eerste instantie de voorzitter van het datateam indien beschikbaar, of een van de datateamleden. Vanwege omstandigheden zoals het hoge personeelsverloop op scholen en pensionering, had de helft van de oorspronkelijke datateamleden de benaderde school inmiddels verlaten. Uiteindelijk hebben 29 scholen deelgenomen aan het onderzoek, waarbij een docent, schoolleider of kwaliteitszorgmedewerker die bij het datateam betrokken was, bevraagd zijn.

Instrument en analyse telefonische vragenlijst

De onderwerpen van de vragenlijst staan in Tabel 2. We onderscheiden ten eerste duurzaamheid van de methode: wordt deze voortgezet; vindt opschaling plaats; wordt deze nog gebruikt volgens de 8 stappen, met behulp van de handleiding en komt het team gemiddeld elke 6 weken bij elkaar.

Adaptiviteit speelt hier echter ook een rol: is het werken met de methode aangepast aan de eigen context om duurzaamheid te bevorderen? Ten tweede onderscheiden we duurzaamheid van de onderliggende doelen van de methgode: 1) het stellen van doelen, 2) dataverzameling om te bepalen of de doelen bereikt zijn, 3) indien nodig, bepalen waarom doelen niet bereikt zijn, 4) maatregelen nemen om het doel te bereiken en 5) het onderwijs evalueren. Tot slot zijn we ingegaan op het beleidsaspect, zoals de vraag of het werken met de methode onderdeel uitmaakt van het team- en schoolplan. Op elke vraag konden punten toegekend worden van 0-1 of 0-4 met een maximumscore van 33 voor de gehele lijst. Deze uitkomstscore wordt gebruikt om aan te geven hoe duurzaam de onderwijsvernieuwing in de scholen is, en om in studie 2 de factoren aan duurzaamheid te relateren.

De aspecten zijn gebaseerd op reviews over duurzaamheid (März et al., 2018, Prenger et al.,

ingediend) en het concept-instrument is besproken met negen docenten en drie schoolleiders. Voor elk aspect werd de score berekend en aan de hand hiervan bepaald in hoeverre de school op dit aspect duurzaam was¹.

1 Voor meer informatie over instrument en analyse, zie Tappel et al., ingediend.

(11)

11 Tabel 2: Vragenlijst telefonische interviews over de mate van duurzaamheid van datateams op de betreffende school

Duurzaamheid van de methode

Vraag Points

Voortzetting 0 – 1

Opschaling 1 - 2 – 3 - 4

Kernaspecten Acht stappen 0 - 1 – 2 - 3

Handleiding 0 – 1 – 2 - 3

Bijeenkomsten 0 – 1 – 2 – 3 Methode onderliggende doelen

Kernaspecten Doelen stellen 0 - 1 - 2 - 3 - 4 Dataverzameling 0 - 1 - 2 - 3 - 4 Waarom doelen niet bereikt 0 – 1 – 2 – 3 - 4 Maatregelen nemen 0 – 1 – 2 – 3 – 4

Evalueren 0 – 1 – 2 – 3 – 4

Beleid Functiebeschrijving

medewerkers 0 – 1

Persoonlijk

ontwikkelingsplan 0 – 1

Teamplan 0 - 1

Schoolplan 0 - 1

Studie 2 over beleid en specifieke handelingen voor de rol van de schoolleiding Aanpak

Op basis van de beïnvloedende factoren uit de systematische literatuurstudie (zie conceptueel kader in dit verslag; Prenger et al., ingediend) is een factorenvragenlijst ontwikkeld voor afname aan de scholen voor voortgezet onderwijs die met de interventie gewerkt hebben (Tappel et al., in voorbereiding). Schoolleiderschap is een van de subaspecten die hierin opgenomen is.

Respondenten

De (digitale) vragenlijst is via email met een link afgenomen bij 39 scholen die in de periode 2012- 2017 een datateam hebben gehad en daarbij begeleid zijn (N=165). Er werd onderscheid gemaakt tussen bekendheid met de datateam methode en het aantal jaren werkzaam op de school, om de score op kennisdeling, visie en communicatie binnen de school te kunnen meten.

Instrument en analyse vragenlijst samenhang factoren en duurzaamheid

(12)

12 De (digitale) vragenlijst (Appendix A)² is gebaseerd op het conceptueel kader (gebaseerd op de reviewstudie) met de vier categorieën beïnvloedende factoren, waaronder leiderschap (binnen schoolorganisatie).

Alle niveaus van de schoolorganisatie werden bevraagd, van bestuur tot schoolleiders (inclusief vragen m.b.t. rol van het bestuur). Na een confirmatieve factor,- en betrouwbaarheidsanalyse en aanpassing van de vragenlijst op basis hiervan, zijn beschrijvende en mulitlevel analyses uitgevoerd om de beïnvloedende factoren op duurzaamheid van de datateam methode te kunnen duiden. In dit verslag rapporteren we over de rol van de schoolleiding als factor voor duurzaamheid.

Praktijkverdieping

Omdat het belangrijk was om eerst de huidige duurzaamheid van datateams vast te stellen om dit te kunnen relateren aan de factoren, hebben we telefonische interviews gehouden in studie 1. In plaats van nogmaals meer verdiepende interviews na afname van de vragenlijst in studie 2, hebben we vervolgens een aantal presentaties en workshops gehouden over duurzaamheid en beïnvloedende factoren. Dit sloot aan bij de behoefte in de praktijk vanuit zowel scholen in het consortium als daarbuiten met wie we verschillende onderzoeks- en trainingstrajecten uitvoeren, die aangaven dat er behoefte was aan concrete inzichten over het bevorderen van onderwijsvernieuwing, ook in algemene zin (d.w.z. niet alleen voor datateams). In deze sessies werd steeds een interactieve presentatie en/of workshop gehouden, waarna met behulp van discussievragen, invultools en/of checklists werd gepeild in hoeverre dit de deelnemers meer inzicht kon geven in de stand van zaken wat betreft duurzame onderwijsvernieuwing in hun eigen praktijk.

2 Voor meer informatie over deze vragenlijst en de analyse, zie Tappel et al., in voorbereiding.

(13)

13 Resultaten

Studie 1 over duurzaamheid datateam methode Voortzetting en opschaling³

In 14 (48%) van de bevraagde scholen werd volgens respondenten nog gewerkt met de datateam methode, vooral door het originele datateam. Daarbij wordt gebruik gemaakt van de acht stappen, de handleiding en komt het team met enige regelmaat bij elkaar: gemiddeld elke negen weken (in vergelijking met gemiddeld zes weken in de begeleidingsperiode). In vijf scholen waren inmiddels twee datateams actief, in negen scholen was nog één team actief (Tabel 3).

Negen originele teams, die waren gestart in de begeleidingsperiode, waren nog actief. In vijf scholen waren ‘spin-off’ teams actief, waarin één of meer oorspronkelijke datateamleden met nieuwe leden verder werkten in een datateam.

Tabel 3: Aantal scholen nog actief met datateams Aantal scholen dat nog

werkt met datateams Aantal scholen dat niet meer

werkt met datateams Totaal

14 (48%) 15 (52%) 29

Met 2 teams: 5 Met 1 team: 9

Adaptiviteit

Eén van de scholen werkt nog steeds met de methode zoals oorspronkelijk ingevoerd wat betreft de acht stappen, handleiding en regelmatige bijeenkomsten. In zes van de scholen die het werken met de methode hebben voortgezet, vindt dit flexibeler plaats (adaptief, met name als het gaat om frequentie bijeenkomsten). Deze zeven scholen beschouwen we als duurzaam wat betreft de methode. In 16 van de scholen was er te weinig terug te zien van de methode om het gebruik van de methode duurzaam te noemen.

Duurzaamheid van de onderliggende doelen

Hoewel 52% van de scholen aangeeft geen actief datateam meer te hebben, blijken negen van deze scholen (31% van het totaal) duurzaam op onderliggende doelen van de methode: zij gebruiken namelijk systematisch data voor schoolverbetering, door doelen te stellen, hierbij data te

verzamelen, etc. (zie Tabel 1, Methode onderliggende doelen – kernaspecten). Deze scholen kunnen samen met zes van de scholen die nog wel werken met een datateam voor wie dit ook geldt, worden beschouwd als duurzaam op de onderliggende doelen van de interventie.

Tabel 4: Mate van duurzaamheid datateamscholen Niet duurzaam Duurzaamheid

doelen

doelen zegt nog te

werken met 1 7 6 6

3 Voor meer informatie over instrument en analyse, zie Tappel et al., ingediend.

(14)

14 datateams

(14) zegt niet meer te werken met datateams (15)

6 9

Het stellen van doelen en verzamelen van data zijn de meest duurzame sub-aspecten, deze zijn het meest verspreid in de scholen. Analyseren, actie ondernemen en evalueren blijken de moeilijkste aspecten om te verduurzamen.

Beleid

Uit de vraag naar de mate waarin het beleid met betrekking tot datateams was vastgelegd, bleek dat 5 van de scholen datagebruik heeft vastgelegd in de taakomschrijving van de docent. In het

persoonlijk ontwikkelingsplan hebben 3 scholen datagebruik als onderdeel. Van de scholen hebben er 13 datagebruik in het team- of afdelingsplan opgenomen, en 17 in het school- of locatieplan.

Studie 2 over beleid en specifieke handelingen voor de rol van de schoolleiding Vragenlijst

Uit de resultaten blijkt uit de beschrijvende analyse dat respondenten doorgaans achter de methode staan en deze efficiënt vinden⁴. Ook rapporteren zij doorgaans dat de schoolleiding goed

geïnformeerd is over de interventie. De respondenten ervaren echter dat de samenwerking met en ondersteuning van collega’s nog te wensen overlaat en dat kennis over de datateams niet goed gedeeld wordt. Bovendien wordt de visie op datateams niet expliciet gemaakt door de schoolleiding, ontbreekt het aan goede facilitering en communicatie hierover.

Volgens de vragenlijst zijn vooral factoren op het gebied van de schoolorganisatie belangrijk voor verduurzaming. Daarbij is een consistente uitvoering vanuit de visie van de school en de

bijbehorende rol van de schoolleider van belang. Daarnaast lijken kenmerken van individu, zoals docentbetrokkenheid, duurzaamheid te beïnvloeden.

Als het gaat om de subfactor schoolleiding voor duurzaamheid, dan zien we dat verschillende subfactoren van leiderschap samenhangen met duurzaamheid (zie Figuur 3, uit Tappel et al., in voorbereiding). Gedeeld leiderschap hangt samen met ondersteuning (r(105)=.46,p</>.05), facilitering (r(105)=.49,p</>.05) en visie (r(105)=.21,p</>.05). Facilitering hangt tevens samen met een goed geïnformeerde schoolleiding (r73)=.31,p</>.05).

4 Voor meer informatie en de uitgebreide resultaten zie Tappel et al. (ingediend). Factors influencing the sustainability of a data use intervention.

(15)

15 Figuur 3: samenhang schoolleiderschap en duurzaamheid

Praktijkverdieping Interviews

Uit studie 1 bleek uit de telefonische interviews over de mate van duurzaamheid het volgende als het gaat om leiderschap. Ten eerste gaven geïnterviewden aan dat facilitering en vrij roosteren van datateamleden een probleem is. Ook werd in verschillende scholen benoemd dat er niet veel kennis is gedeeld vanuit het datateam naar de rest van de school. Volgens de schoolleiders geldt dat een aantal docenten de gesprekken over data van de resultaten van hun eigen vakgroep als ‘afrekening’

voelen. Verder is interessant dat de helft van de docenten en schoolleiders die betrokken waren geweest bij de implementatie van de datateam methode in de betreffende scholen inmiddels vertrokken zijn bij die scholen. Op sommige scholen was bijvoorbeeld niemand meer werkzaam uit het oorspronkelijke datateam. Ook geeft een school aan dat het lang kan duren voordat er resultaat is geboekt. Op vijf van de scholen werd gerapporteerd dat het oorspronkelijke probleem, ondanks minimaal 2 jaren werken met de datateams, niet was opgelost.

Pilots in de praktijk

Tijdens een Inspiratiemiddag op 14 november 2019 is een tool (Appendix B) gebaseerd op dit onderzoek gepresenteerd om schoolleiders, bestuurders en docenten te helpen een

onderwijsontwikkeling te verduurzamen. Deze tool is ook uitgeprobeerd in groepjes deelnemers tijdens deze middag. De tool geeft inzicht in de vraag welke van de 4 karakteristieken aandacht nodig hebben in de context van degene die de tool invult, om de ontwikkeling te verduurzamen. Feedback naar aanleiding van de tool was dat deze vooral inzicht geeft in waarom een ontwikkeling nog niet duurzaam geïmplementeerd is, maar ook stof tot nadenken geeft over de vraag of een nieuwe ontwikkeling wel ingezet moet worden. Het valt op dat schoolleiders soms te kort vooraf of pas tijdens de invoering van een vernieuwing bij belangrijke onderdelen van het bevorderen van

duurzaamheid (zoals het ontwikkelen en interactief delen van een visie op de vernieuwing) stil staan.

(16)

16 Ook valt op dat soms wordt overschat wat op dit gebied in de school heeft plaatsgevonden. Ook als de visie een keer is besproken op bijvoorbeeld een studiemiddag, betekent dat niet dat alle docenten de concrete betekenis hiervan herkennen en waarderen.

De deelnemers gaven enkele aanbevelingen tot verbetering van de tool, bijvoorbeeld omdat het relatief veel tijd kost om het geheel in te vullen en omdat werken met 2 bladen nog niet optimaal is.

Tijdens het Platform Onderwijs en Innovatie van de Stichting Carmelcollege, waarbij van verschillende scholen schoolleiders en kartrekkers aanwezig zijn, worden de inzichten vanuit de studies toegepast in de praktijk in verschillende bijeenkomsten. De verschillende deelnemers per school werken aan de vorming van een professionele leergemeenschap (PLG) op hun school om een bepaalde onderwijsinnovatie duurzaam te kunnen ontwikkelen en implementeren. In een vorige bijeenkomst is gebruik gemaakt van een ‘checklist PLG’ (Appendix C) gebaseerd op dit onderzoek, om zo structuur aan te brengen voor de start van een PLG en de groep vooraf na te laten denken over factoren die van invloed zijn op duurzaamheid (bijvoorbeeld facilitering, visie en samenwerking).

Uit een inventarisatie van de ingevulde checklists blijkt dat de meeste groepen deelnemers de focus redelijk goed kunnen bepalen, hoewel enkele groepen aangeven daar nog extra aandacht aan te willen besteden. Op het gebied van samenwerking is nog veel te winnen. Voorwaarden als een evenwichtige samenstelling van een PLG, waarbij bijeenkomsten frequent gepland worden, er een voorzitter, notulist, agenda en actiepunten omschreven zijn, zijn aandachtspunten.

Juist op gebied van leiderschap blijkt uit de checklists dat er nog aandacht nodig is voor het helder omschrijven van succescriteria op de korte en lange termijn, de communicatie binnen de school (boundary crossing (Akkerman & Bakker, 2011)) en het gebruiken van de uitkomsten van de PLG. De stap van anekdotes naar reflecteren en het gebruiken van literatuur is nog groot, daar is ook externe ondersteuning voor nodig volgens de deelnemers.

In een bijeenkomst met schoolleiders voor een project over het (duurzaam) inzetten van formatief toetsen als onderwijsvernieuwing op scholen, zijn de resultaten van dit onderzoek gecombineerd met die van een ander NRO project over schoolleiderschap en duurzaamheid bij PLG’s

(Lerarenagenda) en vond hierover discussie plaats. Ook hier bleek dat schoolleiders concrete richtlijnen en discussievragen over beïnvloedende factoren zoals visie, doelen, facilitering en communicatie zeer waarderen. Zij zouden tools op dit gebied graag (digitaal) met andere collega’s (andere schoolleiders en/of docenten) invullen en op basis hiervan een soort profiel willen krijgen over de stand van zaken en aandachtspunten. In een nagesprek met docenten uit hetzelfde project bleek bovendien, dat docenten behoefte hebben aan heldere en meer frequente communicatie over visie en doelen voor onderwijsvernieuwing én dat dit concreet wordt gemaakt in de school. Visie en doelen kunnen niet alleen eenmalig (en eenzijdig) op bijv. een studiedag gecommuniceerd worden.

Docenten moeten ook gelegenheid krijgen deze visie concreet te maken in hun onderwijs, niet alleen door training, materiaal, en dergelijke, maar ook door het daadwerkelijk kunnen toepassen in hun school mét collega’s.

(17)

17 Conclusie en discussie

Studie 1 over duurzaamheid datateam methode

Om de rol van schoolleiding en bestuur (beleid en specifieke handelingen) goed in kaart te kunnen brengen, wilden we eerst de huidige duurzaamheid van de interventie voor datagebruik op de verschillende scholen inzichtelijk maken. Bijna de helft van de bevraagde scholen (14; 48%) gaf aan nog te werken met datateams zoals opgericht in het kader van de interventie. Er zijn ook enkele

‘spin-off’ teams gestart.

De resultaten laten zien dat duurzaamheid niet hetzelfde is als alleen het voortzetten van de

oorspronkelijke methode. Eén van de scholen werkt nog steeds met de methode zoals oorspronkelijk ingevoerd wat betreft de acht stappen, handleiding en regelmatige bijeenkomsten. In zes van de scholen die het werken met de methode hebben voortgezet, vindt dit flexibeler plaats (adaptief).

Deze zeven scholen samen beschouwen we als duurzaam wat betreft de methode.

In 16 van de scholen was er te weinig terug te zien van de kernaspecten van het werken met de interventie om het gebruik van de methode duurzaam te noemen. Echter, negen van deze scholen werken wel systematisch aan schoolverbetering met behulp van data (kernaspecten onderliggende doelen), waarbij de manier van werken met de datateam methode daar in positieve zin invloed op heeft gehad. Zes van de scholen die nog wel werken met een datateam kunnen tevens worden beschouwd als duurzaam op de onderliggende doelen van de interventie (zie Tabel 5).

Tabel 5: Mate van duurzaamheid datateamscholen Niet duurzaam Duurzaamheid

doelen

doelen zegt nog te

werken met datateams (14)

1 7 6 6

zegt niet meer te werken met datateams (15)

6 9

De bevindingen bieden meer inzicht in de vraag hoe duurzaamheid concreet kan worden bevorderd.

Alleen scholen die ‘duurzaam op zowel methode als onderliggende doelen’- zijn, bleken datagebruik te hebben opgenomen in beleidsplannen; echter ook slechts gedeeltelijk. Slechts enkele van de scholen heeft datagebruik vastgelegd in de taakomschrijving van de docent of in het persoonlijk ontwikkelingsplan. Op schoolniveau (team-, afdelings-, school- of locatieplan) zijn de aantallen hoger, echter nog steeds slechts 13 scholen wat betreft het team- of afdelingsplan en 17 scholen in het school- of locatieplan. Een voorlopig antwoord op de onderzoeksvraag over beleid lijkt dus dat de interventie expliciet aandacht zou moeten krijgen in beleidsplannen van de school. Studie 2 is gericht op meer specifieke handelingen van de schoolleiding om duurzaamheid te bevorderen.

(18)

18 Studie 2 over beleid en specifieke handelingen voor de rol van de schoolleiding

De resultaten van het vragenlijstonderzoek laten zien dat vooral factoren op het gebied van de schoolorganisatie belangrijk zijn voor verduurzaming, waarvan leiderschap een aspect is (Tappel et al., ingediend). Leiderschap voor duurzame onderwijsvernieuwing gaat echter niet alleen om facilitering in tijd en middelen, wat vaak wordt genoemd als belemmering voor het duurzaam implementeren van onderwijsvernieuwing (Poortman, Prenger & Handelzalts, 2018), ook in dit onderzoek. Leiderschap betreft ook (interne en externe) ondersteuning, een goed geïnformeerde schoolleiding (over de interventie), en visie. Beleid kunnen we definiëren als het stellen van doelen, middelen en een tijdpad in onderlinge samenhang (Klein & Rorink, 2005). Een consistente uitvoering vanuit de visie van de school en de bijbehorende rol van de schoolleider is daarom essentieel als het gaat om beleid en specifieke handelingen. Uit het vragenlijstonderzoek blijkt dat het van belang is dat de schoolleiding de visie op de interventie voor datagebruik expliciet maakt, dat dit goed gefaciliteerd moet worden en dat communicatie hierover van belang is. Samenwerking en

kennisdeling zijn, naast leiderschap, ook kenmerken van de schoolorganisatie die een rol spelen. Het blijkt dat docenten de samenwerking en kennisdeling rondom de interventie voor datagebruik niet als ideaal hebben ervaren. Bovendien kunnen docenten gesprekken over datagebruik als bedreigend (‘afrekening’) zien. Uit de bevindingen blijkt dat gedeeld leiderschap en de samenhang van de verschillende leiderschapsactiviteiten juist cruciaal zijn. In studie 1 bleek al dat het

personeelsverloop, in ieder geval wat betreft de datateamdeelnemers, relatief hoog was. Dit is tevens een factor die duurzaamheid beïnvloedt volgens de literatuur (zie Figuur 2 in dit rapport). Dit is een aspect van strategisch personeelsbeleid waarmee de schoolleiding eveneens rekening dient te houden.

Daarnaast lijken kenmerken van individu, zoals docentbetrokkenheid, duurzaamheid te beïnvloeden.

Een onderwijsvernieuwing moet kortom passen bij de visie en doelen (die ook interactief gecommuniceerd moeten worden), waarbij betrokkenheid van docenten en effectiviteit van de interventie eveneens een belangrijke rol spelen (zie Figuur 4).

Figuur 4: bevorderen van duurzaamheid van onderwijsvernieuwingen

Tegelijkertijd maakt een lange lijst beïnvloedende factoren het werk van de schoolleiding niet concreter, laat staan eenvoudiger. Daarom hebben we op basis van de bevindingen van dit onderzoek verschillende tools ontwikkeld en voorgelegd aan deelnemers uit de praktijk in presentatiesessies en/of workshops (Zie Appendix B: ‘Opdracht…’ en Appendix C ‘Checklist…’).

Appendix B is gebaseerd op de reviewstudie (Prenger et al., ingediend) en de uitkomsten van dit onderzoek, Studie 2. Alle aspecten van leiderschap die volgens de literatuur en rol spelen zijn

Duurzaamheid van onderwijsvernieuwingen

(19)

19 vertaald naar concrete indicatoren en stellingen aan de hand waarvan de invoering van een

interventie in de school kan worden besproken. De beoogde opbrengst is een antwoord op de vraag:

“Wat kun je binnen je organisatie delen over voortgang verduurzaming en waar kun je aandacht aan besteden om verduurzaming te bevorderen”.

De checklist in Appendix C is gebaseerd op een combinatie van de resultaten uit dit onderzoek en voorgaand onderzoek naar effectiviteit van PLGs (Poortman & Brown, 2018) om binnen het Platform Onderwijs en Innovatie van Stichting Carmelcollege een aantal scholen (schoolleiders) te begeleiden in het werken met PLGs voor gewenste interventies in hun school.

In de verschillende sessies bleek dat de tools schoolleiders stof tot nadenken geven als het gaat om de vraag of en hoe een nieuwe ontwikkeling moet worden ingezet en ook over dat dit (ruim) vooraf aan de daadwerkelijke invoering overdacht en besproken moet worden, evenals dat facilitering in tijd en middelen vaak nog niet voldoende concreet richting geeft aan de invoering van vernieuwing. Er moet bijvoorbeeld ruim vooraf ook goed worden nagedacht over wie welke taken gaat uitvoeren en hoe kennis met de andere collega’s gedeeld gaat worden.

Het valt op dat schoolleiders soms te kort vooraf of pas tijdens de invoering van een vernieuwing bij belangrijke onderdelen van het bevorderen van duurzaamheid stil staan (zoals het ontwikkelen en interactief delen van een visie op de vernieuwing). Ook valt op dat soms wordt overschat wat op dit gebied al op school heeft plaatsgevonden. Ook als de visie een keer is besproken op bijvoorbeeld een studiemiddag, betekent dat niet dat alle docenten de concrete betekenis hiervan herkennen en waarderen. Juist op gebied van leiderschap blijkt uit de tools dat er nog aandacht nodig is voor het helder omschrijven van succescriteria op de korte en lange termijn, de communicatie binnen de school (boundary crossing (Akkerman & Bakker, 2011)) en het gebruiken van de uitkomsten van de vernieuwing. De stap van anekdotes naar reflecteren en het gebruiken van literatuur is nog groot, daar is ook externe ondersteuning voor nodig volgens de deelnemers. Dit onderzoek maakt de specifieke handelingen die schoolleiders hiervoor kunnen uitvoeren niet alleen concreter, maar laat ook zien hoe belangrijk het is om deze tijdig en regelmatig uit te voeren.

Implicaties voor de praktijk

Doorgaande onderwijsontwikkeling in plaats van het steeds opstarten van nieuwe projecten, scheelt geld, tijd en (docent)energie. Het onderwijskundig belang van dit onderzoek is dat het helpt in het verkrijgen van inzichten in hoe dat vormgegeven kan worden binnen scholen. Op basis van de inzichten hebben we tools ontwikkeld die scholen kunnen helpen het gesprek op school met de verschillende belanghebbenden ruim op tijd vóór de geplande invoering van een vernieuwing op te starten. Het blijkt dat schoolleiders concrete richtlijnen en discussievragen over beïnvloedende factoren zoals visie, doelen, facilitering en communicatie zeer waarderen. Zij zouden tools op dit gebied graag (digitaal) met andere collega’s (andere schoolleiders en/of docenten) invullen en op basis hiervan een soort profiel willen krijgen over de stand van zaken en aandachtspunten. Dit moet niet worden opgevat als een eenmalige activiteit: de vragen in de tools en de bevindingen hierbij nodigen uit tot het maken van verdere plannen van aanpak om het proces van het bevorderen van duurzaamheid van onderwijsvernieuwing (ruim op tijd) vorm te geven en daar gedurende dit proces regelmatig bij stil te staan. Docenten hebben bovendien behoefte aan heldere en meer frequente communicatie over visie en doelen voor onderwijsvernieuwing én dat dit concreet wordt gemaakt in de school. Visie en doelen kunnen niet alleen eenmalig (en eenzijdig) op bijvoorbeeld een studiedag gecommuniceerd worden. Docenten moeten ook gelegenheid krijgen deze visie concreet te maken in hun onderwijs, niet alleen door training en middelen, maar ook door het daadwerkelijk kunnen toepassen in hun school mét collega’s.

(20)

20 Implicaties voor wetenschap en verder onderzoek

Duurzaamheid is een begrip dat nauwelijks eenduidig gedefinieerd wordt in de literatuur (Prenger et al., ingediend). Op basis van een systematische reviewstudie in de eerste fase van dit onderzoek wordt duurzaamheid van een onderwijsvernieuwing gedefinieerd als het integreren en opschalen van de kernaspecten van de vernieuwing in organisatieroutines, die adaptief zijn aan lopende

werkzaamheden’, (Prenger et al., ingediend, p. 35). Dit onderzoek heeft met behulp van de

reviewstudie inzicht opgeleverd over hoe duurzaamheid van een specifieke onderwijsinterventie, de datateam methode, in de praktijk vorm krijgt en hoe dit kan worden gemeten (Studie 1). Hierdoor kon in studie 2 in kaart worden gebracht welke factoren, ook specifiek op het gebied van leiderschap, hierop van invloed zijn. Door het vragenlijstonderzoek, de interviews uit studie 1 en de

praktijkverdieping, werd concreter duidelijk welk beleid en handelingen van belang zijn voor het bevorderen van duurzaamheid.

Hoewel de deelnemers uit de praktijk in de workshops de (pilot)tools een eye-opener lijken te vinden, is het mogelijk dat er méér nodig is dan ruim op tijd en regelmatig het gesprek voeren met behulp van dit type tools. Als bijvoorbeeld blijkt dat visie en doelen nog onvoldoende helder gecommuniceerd zijn, is nog niet automatisch duidelijk op welke manier dit vervolgens aangepakt moet worden. Ook is nog niet duidelijk welk effect het gebruik van de tools heeft. Vervolgonderzoek kan ingaan op het effect van het gebruik van de inzichten uit dit onderzoek en mogelijke follow-up activiteiten passend bij de bevindingen.

(21)

21 Literatuur

Akkerman, S. F., & Bakker, A. (2011). Boundary crossing and boundary objects. Review of educational research, 81(2), 132-169.

Cresswell, JW.; Plano Clark, V. (2011). Designing and conducting mixed method research.

Ebbeler, J. (2016). Implementing data use in schools: effects on the professional development of educators and the role of school leaders in data teams. Enschede: Universiteit Twente. doi:

10.3990/1.9789036541022.

Hubers, M. D., Schildkamp, K., Poortman, C. L., & Pieters, J. M. (2017). The quest for sustained data use: Developing organizational routines. Teaching and teacher education, 67, 509-521.

Kippers, W. B., Poortman, C. L., Schildkamp, K., & Visscher, A. J. (2018). Data literacy: What do educators learn and struggle with during a data use intervention?. Studies in educational evaluation, 56, 21-31.

Klein, H. & Rorink, F. (2005) Verandermanagement: een plan van aanpak voor integrale

organisatieverandering en innovatie. Amsterdam: Pearson Education Uitgeverij. ISBN 978-90- 430-1007-8

März, V., Gaikhorst, L., Mioch, R., Weijers, D., & Geijsel, F. (2018). Van acties naar interacties: Een overzichtsstudie naar de rol van schoolinterne en schoolexterne netwerken in het verloop van vernieuwingen in scholen (No. UCL-Université Catholique de Louvain).

Patton, M. Q. (2002). Two decades of developments in qualitative inquiry: A personal, experiential perspective. Qualitative social work, 1(3), 261-283.

Poortman, C. L., & Schildkamp, K. (2016). Solving student achievement problems with a data use intervention for teachers. Teaching and teacher education, 60, 425-433.

Poortman, C.L., Prenger, H.C., & Handelzalts, A. (2018). Pilots voor de ontwikkeling van professionele leergemeenschappen. Eindrapportage onderzoek. Enschede: Universiteit Twente.

Prenger, Tappel, Poortman & Schildkamp (ingediend). The sustainability of educational innovations:

a review of empirical literature.

Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena.

American Journal of Education, 118(2), 113–141.

A.P.M. Tappel., C.L. Poortman, K. Schildkamp, A.J. Visscher (in voorbereiding). Factors influencing the sustainability of a data use intervention

A.P.M. Tappel., C.L. Poortman, K. Schildkamp, A.J. Visscher (ingediend). Sustainability of a data use intervention.

Van den Boom-Muilenburg, S. N., Tappel, A. T., Schildkamp, K., & Poortman, C. L. (2020). Duurzame onderwijsontwikkeling door professionele leergemeenschappen: leiderschap als

smaakmaker. Schoolmanagement, 22(2), 32-35.

(22)

22 Appendix A: Vragenlijst studie 2: factoren van invloed op duurzaamheid pilot

Enquêteflow

Standard: Inleiding (6 Vragen)

Standard: Vragen over schoolbeleid (10 Vragen) Standard: Blok 2 (11 Vragen)

Standard: Blok 6 (6 Vragen) Standard: Blok 7 (8 Vragen) Standard: Blok 3 (38 Vragen) Standard: Blok 6 (1 Vraag)

Pagina-einde

(23)

23 Start van blok: Inleiding

Q2 Openingsverklaring voor de online vragenlijst

U bent uitgenodigd voor deelname aan het onderzoek Duurzaamheid van de datateam methode. Dit onderzoek wordt uitgevoerd door Anne Tappel van de Faculteit Behavioural,

Management and Social Sciences aan de Universiteit Twente. Het doel van dit onderzoek is inzicht te krijgen in factoren die van invloed zijn op duurzaamheid van de data team methode, het invullen duurt ongeveer 10 minuten. Uw deelname aan deze studie is volledig vrijwillig en u kunt te allen tijde stoppen. We zijn van mening dat er geen bekende risico's zijn verbonden aan dit onderzoek; maar zoals met alle online gerelateerde activiteiten is het risico van een schending echter altijd mogelijk.

Voor zover mogelijk zullen uw antwoorden in deze studie vertrouwelijk blijven. We minimaliseren eventuele risico’s door niet uw naam te vragen en de schoolnaam te anonimiseren. De data kan alleen bereikt worden door de onderzoeker of met haar toestemming.

Alvast hartelijk dank voor de genomen moeite!

o

Docent (meer dan 50% van mijn taak) (1)

o

Teamleider (conrector, adjunct) (2)

o

Schoolleider (rector, locatieleider, directeur onderwijs) (3)

o

Anders (bijv. OOP) (4)

Ga naar: Einde enquête Als Wat is uw functie? = Anders (bijv. OOP)

(25)

25 Q38 Op onze school wordt momenteel gewerkt met een datateam

o

^{ja (1)}

o

^{nee (2)}

o

niet meer (3)

o

weet ik niet (4) Einde blok: Inleiding

Start van blok: Vragen over schoolbeleid

Q58 Onderstaande vragen gaan over de visie en doelen van de school

o

weet niet (5)

o

weet ik niet (4)

Q78 Datagebruik is opgenomen in het bestuursbeleid (visie, bestuursdocumenten)

o

^{ja (1)}

o

deels (2)

o

^{nee (3)}

o

weet ik niet (4) Pagina-einde

(28)

28 Deze vraag weergeven:

If Wat is uw functie? = Schoolleider (rector, locatieleider, directeur onderwijs) Or Wat is uw functie? = Teamleider (conrector, adjunct)

Q11 Mijn schoolbestuur…

Ja (1) Deels (2) Nee (3)

.. beschrijft datagebruik als

prioriteit (1)

o o o

.. geeft duidelijke richting in het gebruik

van data voor

schoolverbetering (2)

o o o

.. ondersteunt datagebruik op actieve

wijze (3)

o o o

Pagina-einde

(29)

If Wat is uw functie? = Docent (meer dan 50% van mijn taak) Q12 Klik om de vraagtekst te schrijven

zeer mee

oneens (1) mee oneens (2) mee eens (3) zeer mee eens (4) Datagebruik is een

duidelijke prioriteit

in mijn school (1)

o o o o

Mijn leidinggevende zorgt ervoor dat ik de mogelijkheid heb

om data te gebruiken voor onderwijsverbetering

(2)

o o o o

Er is specifiek tijd ingeruimd (voor mij)

om data te

gebruiken (3)

o o o o

Pagina-einde

(30)

If Wat is uw functie? = Teamleider (conrector, adjunct)

And Wat is uw functie? = Schoolleider (rector, locatieleider, directeur onderwijs) Q31 Klik om de vraagtekst te schrijven

zeer mee

oneens (1) mee oneens (2) mee eens (3) zeer mee eens (4) Datagebruik is een

duidelijke prioriteit

in mijn school (1)

o o o o

Als leidinggevende zorg ik ervoor dat

docenten de mogelijkheid hebben

om data te gebruiken voor onderwijsverbetering

(2)

o o o o

Er is specifiek tijd ingeruimd (voor docenten) om data

te gebruiken (3)

o o o o

Einde blok: Vragen over schoolbeleid Start van blok: Blok 2

Q64 De volgende vragen gaan over het gebruik van data om het onderwijs te verbeteren. Onder data verstaan we: proefwerken, examens, doorstroomgegevens, enquêtes, diagnostische toetsen, enz.

o

zeer mee oneens (1)

o

mee oneens (2)

o

mee eens (3)

o

zeer mee eens (4)

Q67 Ik vind datagebruik voor onderwijsverbetering belangrijk

o

zeer mee oneens (1)

o

mee oneens (2)

o

mee eens (3)

o

zeer mee eens (4)

o

zeer mee eens (5)

o

zeer oneens (1)

o

oneens (2)

o

eens (4)

o

zeer mee eens (5)

If Wat is uw functie? = Docent (meer dan 50% van mijn taak)

Q20 Mijn directie (rector, locatieleider en/of directeur onderwijs) moedigt het gebruik van data aan als effectieve ondersteuning van (mijn) onderwijs

o

zeer mee oneens (1)

o

mee oneens (2)

o

mee eens (3)

o

zeer mee eens (4) Deze vraag weergeven:

zeer mee eens (4) Einde blok: Blok 7

Start van blok: Blok 3 Deze vraag weergeven:

Or Wat is uw functie? = Schoolleider (rector, locatieleider, directeur onderwijs)

o

(43)

mee eens (3)