basis van het INK-managementmodel”

“Kwaliteit is reflecteren op je eigen werk”

- Uitspraak leerkracht basisonderwijs -

“De ontwikkeling van een kwaliteitsinstrument voor leerkrachten van het basisonderwijs op

basis van het INK-managementmodel”

TNO MANAGEMENT CONSULTANTS

“De ontwikkeling van een kwaliteitsinstrument voor leerkrachten van het basisonderwijs”

Afstudeerscriptie Daniël Niezink Faculteit Economie

Rijksuniversiteit Groningen Datum: augustus 2005

Voorwoord

Deze scriptie is het eindproduct van een afstudeeronderzoek, dat ik vanuit de Faculteit der Economische Wetenschappen van de RijksUniversiteit Groningen heb uitgevoerd bij TNO Management Consultants. Het onderzoek heeft zich afgespeeld in de periode februari 2004- november 2004 en betreft het ontwikkelen van een kwaliteitsinstrument voor het

basisonderwijs op basis van het INK-managementmodel.

Bij TNO Management Consultants heb ik een ontzettende leuke en leerzame tijd gehad.

Tijdens mijn onderzoek heb ik ervaren hoe het reilen en zeilen binnen een middelgroot Consultancy bureau gaat. Vooral de trainingen die Jan Noord gegeven heeft aan PCBO Apeldoorn hebben in het begin van mijn onderzoek een belangrijke bijdrage geleverd aan het verkrijgen van de juiste inzichten.

Wat ik gewaardeerd heb binnen TNO Management Consultants is het vertrouwen wat ik kreeg om zelfstandig mijn onderzoek uit te voeren. Deze zelfstandigheid betekende dat ik mijn eigen plan kon trekken en dat op de momenten wanneer er een overleg nodig was, hier altijd tijd voor was. Ik hoop daarom ook dat het ontwikkelde instrument een waardevolle aanvulling is op zowel de andere methoden en instrumenten die TNO Management Consultants in de loop der jaren heeft ontwikkeld als de reeds bestaande

kwaliteitsinstrumenten in het basisonderwijs.

Bij de totstandkoming van deze scriptie zijn een aantal mensen betrokken geweest die hier zeker bedankt moeten worden. Zonder hun bijdrage had ik dit onderzoek niet goed kunnen uitvoeren. Als eerste wil ik mijn begeleider bij TNO Management Consultants Jan Noord bedanken voor zijn hulp. Zijn relaxte manier van omgang, zijn kennis van het INK-

managementmodel en zijn ervaringen in het onderwijs zijn zeer waardevol geweest voor de ontwikkeling van het instrument. Verder wil ik ook Cees Ahaus, Karin Verkerk en Rik Brom bedanken voor hun kritische commentaren en aanvullingen op de verschillende versies van mijn vragenlijst. Daarnaast verdiend ook Arjen Geerlof hier een groot “dank-je-wel” voor zijn grote inzet en het nachtwerk wat hij heeft gehad bij het web-based maken van de vragenlijst.

Vanuit de universiteit wil ik Manda Broekhuis en Erik Lanting bedanken, die dit onderzoek mijn begeleiders zijn geweest. Met name Manda heeft een grote bijdrage geleverd aan het

theoretische en inhoudelijk deel van het onderzoek. De verschillende discussies die we over bepaalde zaken hebben gevoerd heb ik als zeer opbouwend ervaren.

Vanuit PCBO Apeldoorn wil ik daarnaast dhr. Gert Nijmeijer bedanken die zijn medewerking heeft verleend aan dit onderzoek, evenals alle directeuren en leerkrachten van PCBO

Apeldoorn die hun schaarse tijd besteed hebben aan het invullen van mijn vragenlijst. In het bijzonder wil ik hier dhr. Maarten Kleiman bedanken, die met alle leerkrachten van de Koningin Emma school heeft meegeholpen aan het onderzoek.

Ook een vermelding verdienen David de Vos en Robert Koobs die met hun kennis van de Nederlandse taal mijn scriptie hebben bekritiseerd. Daarnaast bedank ik ook mijn vriendin Leonie Wiekamp voor het lezen van mijn scriptie en het luistert oor voor de problemen die ik tijdens mijn onderzoek ben tegengekomen.

Tot slot verdiend mijn vader, Fred Niezink, een groot “merci”, aangezien ik via hem ertoe gekomen ben dit onderzoek uit te voeren. Hij heeft als directeur van basisschool De Wegwijzer het eerste contact gehad met TNO Management Consultants en uiteindelijk het balletje aan het rollen gebracht. Pa, bedankt!

Daniel Niezink 04 september 2005

Samenvatting

Per hoofdstuk is hier een korte samenvatting gegeven.

Hoofdstuk 1: Kwaliteitszorg in het basisonderwijs

Door de Wet op het Onderwijs Toezicht (WOT) die op 1 september 2002 van kracht is

geworden, gaat de Inspectie van het Onderwijs in de toekomst haar inspectie mede baseren op zelfevaluaties van basisscholen. Deze ontwikkeling heeft er voor gezorgd dat er de laatste jaren tal van instrumenten ontwikkeld zijn die scholen kunnen gebruiken bij het doen van een zelfevaluatie. In dit onderzoek is een instrument ontwikkeld, dat vanuit de leerkracht een kwaliteitsmeting doet. De leerkracht reflecteert hierbij op zijn eigen functioneren. Het

instrument is gebaseerd op het INK-managementmodel, een integraal kwaliteitsmodel dat ook binnen het basisonderwijs steeds meer wordt gebruikt.

Hoofdstuk 2: Probleemstelling en doelstelling onderzoek

De probleemstelling van het onderzoek is gesplitst in een doel- en een vraagstelling.

De doelstelling van dit onderzoek is: Het ontwikkelen en toetsen van een kwaliteitsinstrument op basis van het INK-managementmodel, waarmee leerkrachten in het reguliere

basisonderwijs zelfstandig hun functioneren evalueren.

De bijbehorende vraagstelling is: “Hoe kan op basis van het INK-managementmodel het door leerkrachten gegeven basisonderwijs zodanig worden geëvalueerd, dat deze reflecteren op hun eigen functioneren?” De vraagstelling is onderverdeeld in een zestal deelvragen die ingaan op de inhoud, de vorm en de toetsing van het instrument.

Hoofdstuk 3: Methodologie

In dit hoofdstuk wordt besproken hoe het instrument ontwikkeld is. De daadwerkelijke ontwikkeling komt in hoofdstuk 4 en 5 aan bod. Na de totstandkoming van het instrument is de bijhorende vragenlijst voorgelegd aan 182 leerkrachten van het Protestants Christelijk Basisonderwijs (PCBO) in Apeldoorn. In totaal hebben 57 leerkrachten de vragenlijst volledig ingevuld. Op basis hiervan is er een beoordeling geweest van de criteria deugdelijkheid en

praktische relevantie. Het bepalen van de deugdelijkheid is gedaan door een analyse van de criteria validiteit, betrouwbaarheid, generaliseerbaarheid en toetsbaarheid van het instrument.

De praktische relevantie is bepaald door de criteria inhoudsvaliditeit, informatiebehoefte, presentatie van gegevens, bruikbaarheid en begrijpbaarheid.

Hoofdstuk 4: Achtergrond van het instrument

De ontwikkeling van het instrument is gestart met een beschrijving van de identiteit van het instrument. Hierbij worden de algemene gebruikscondities van het instrument besproken. De algemene gebruikscondities die aan bod komen zijn het doel, de doelgroep, de functie, de omstandigheden, de kenmerken en de werkwijze van het instrument. Vervolgens wordt er een inhoudelijke bespreking gehouden van de twee hoofdcriteria deugdelijkheid en praktische relevantie en de negen onderliggende criteria.

Hoofdstuk 5: De ontwikkeling van het instrument

Het instrument is inhoudelijk ontwikkeld door te kijken naar kwaliteitsindicatoren die de overheid heeft geformuleerd. Daarnaast is er een analyse geweest van drie kwaliteitsmethodes die binnen het basisonderwijs veel gebruikt worden. Dit zijn Werken Met Kwaliteitskaarten primair Onderwijs (WMK PO), Diagnose Instrument Schoolverbetering (DIS) en

Kwaliteitsmeter Primair Onderwijs (KMPO). Daarnaast is gebruik gemaakt van het Europese instrument van het International Network of Innovative School Systems (INIS II) en zijn er aanvullingen geweest vanuit de zelfevaluatiegids van het INK.

De 300 indicatoren die door deze procedure zijn geformuleerd, zijn vervolgens ingedeeld in de negen aandachtsgebieden van het INK-managementmodel. Daarnaast is er voor elk gebied een indeling gemaakt in vijf ontwikkelingsfasen. De 300 indicatoren zijn geformuleerd als stellingen en zijn vervolgens in een vragenlijst - via het internet - voorgelegd aan de leerkrachten van het Protestants Christelijk Basisonderwijs in Apeldoorn.

Hoofdstuk 6: Beschrijving van het instrument

Dit hoofdstuk geeft een beschrijving van het instrument en sluit hierbij aan op de

hoofdstukken 4 en 5. Bij de beschrijving is ingegaan op de opbouw van het instrument, de

manier waarop de stellingen beantwoord zijn en hoe de resultaten van de vragenlijst worden gepresenteerd.

Hoofdstuk 7: Beoordeling van het instrument

De beoordeling van het instrument is gedaan op basis van de twee hoofdcriteria

deugdelijkheid en praktische relevantie en de negen onderliggende criteria. Er is begonnen met het beoordelen van de validiteit van het instrument. Door te kijken naar stellingen die regelmatig “niet van toepassing” scoorden en/of een lage score op belangrijkheid hadden, zijn 38 stellingen uit de vragenlijst gehaald.

Vervolgens is gekeken naar de betrouwbaarheid van het instrument. Door middel van het berekenen van Cronbach’s Alpha voor 45 deelonderwerpen ( negen aandachtsgebieden x vijf ontwikkelingsfasen) is vervolgens de betrouwbaarheid van de vragenlijst verhoogd. Het verhogen van de betrouwbaarheid van de vragenlijst betekent dat na de validiteitanalyse nog eens 91 stellingen uit de vragenlijst zijn verwijderd.

Aan de hand van 23 evaluatievragen zijn de criteria generaliseerbaarheid, inhoudsvaliditeit, informatiebehoefte, presentatie van gegevens, bruikbaarheid en begrijpbaarheid beoordeeld.

De beoordeling van het instrument heeft ertoe geleid dat het instrument valider en

betrouwbaarder is dan voor de analyse. Daarnaast heeft het inzicht gegeven in de zwakke en sterke punten van het instrument en in zaken die nog verbeterd kunnen worden. Het

daadwerkelijk bepalen van de validiteit en betrouwbaarheid is bij dit instrument niet mogelijk.

Een belangrijke oorzaak hiervan is dat door het gebruik van het INK-managementmodel de deelonderwerpen een bepaalde mate van afhankelijkheid met elkaar vertonen en daardoor het berekenen van Cronbach’s Alpha alleen uitgevoerd kon worden met het maken van een aantal kanttekeningen. Het trekken van een conclusie is daardoor met enige terughoudendheid gedaan.

Hoofdstuk 8: Resultaat

In dit hoofdstuk wordt het resultaat besproken aan de hand van de eerste drie deelvragen: de identiteit, de vereisten en de onderwerpen van het instrument. Hierbij wordt aangesloten bij wat er in hoofdstukken 4-7 besproken.

Hoofdstuk 9: Conclusie

In dit afsluitende hoofdstuk is een algemene conclusie getrokken over het ontwikkelde instrument. Tevens zijn hier de sterke en zwakke punten van het onderzoek besproken en zijn er aanbevelingen gegeven, zowel voor het onderwijsveld als voor TNO Management

Consultants.

Inhoudsopgave

Voorwoord……… 2

Samenvatting……….…….. 4

Inhoudsopgave………. 8

Hoofdstuk 1: Kwaliteitszorg in het basisonderwijs………. 13

1.1 Inleiding……….….…. 13

1.2 Ministerie van OC&W……… 14

1.3 De Inspectie voor het onderwijs……….……… 15

1.4 Recente ontwikkelingen………. 16

Hoofdstuk 2: Probleemstelling en doelstelling onderzoek………. 19

2.1 Inleiding………... 19

2.2 Probleemstelling………..……… 19

2.3 Doelstelling en vraagstelling………... 19

2.4 Deelvragen……….. 20

2.4.1 Deelvragen over de inhoud van het instrument……… 20

2.4.2 Deelvragen over de vorm van het instrument………... 21

2.4.3 Deelvragen over de toetsing van het instrument……… 22

Hoofdstuk 3: Methodologie……… 23

3.1 Inleiding……… 23

3.2 Ontwikkeling van het instrument………. 23

3.3 Samenstelling populatie………... 25

3.4 Beschrijving van de populatie………. 26

3.5 Respons……… 27

3.6 Toetsing van het instrument……… 28

3.6.1 Deugdelijkheid van het instrument………... 28

3.6.2 Praktische relevantie van het instrument……….. 30

Hoofdstuk 4: Achtergrond van het instrument……… 33

4.1 Inleiding……….. 33

4.2 Algemene gebruikscondities……….……….. 33

4.2.1.Doel, doelgroep en functie……… 33

4.2.2.Omstandigheden……… 35

4.2.3. Kenmerken van het instrument………. 36

4.2.4. Werkwijze………... 36

4.3 Criteria voor het instrument………...………. 38

4.3.1.Deugdelijkheid van het instrument……….….. 38

4.3.2. Praktische relevantie van het instrument………. 39

Hoofdstuk 5: De ontwikkeling van het instrument……….. 41

5.1 Inleiding……… 41

5.2 Ontwikkelmethode………... 41

5.3 Inhoud van het instrument………..………. 42

5.4 Toetsingskader Inspectie………. 43

5.5 Werken Met Kwaliteitskaarten……… 47

5.6 Diagnose Instrument Schoolverbetering……… 48

5.7 Kwaliteitsmeter Primair Onderwijs……… 49

5.8 International Network of Innovative School Systems………. 50

5.9 Het gebruik van het INK-managementmodel………. 51

5.9.1. De negen aandachtsgebieden……… 52

5.9.2 De vijf ontwikkelingsfasen……….…... 56

5.10 Conclusie………..………. 60

Hoofdstuk 6: Beschrijving van het instrument………... 63

6.1 Opbouw van het instrument ……….….. 63

6.2 Manier van score……….….……... 64

6.3 Presentatie van de resultaten………... 66

Hoofdstuk 7: Beoordeling van het instrument……… 69

7.1. Inleiding………. 69

7.2 Validiteit van het instrument……….. 69

7.3 Betrouwbaarheid van het instrument……….. 70

7.4 Generaliseerbaarheid en praktische relevantie……… 72

7.4.1 Gesloten vragen……… 73

7.4.2 Open vragen………. 75

7.5 Conclusie………. 80

7.5.1.Validiteit……….. …. 80

7.5.2. Betrouwbaarheid……….. 81

7.5.3. Generaliseerbaarheid……… 84

7.5.4. Toetsbaarheid………... 85

7.5.5. Praktische relevantie……… 85

Hoofdstuk 8: Resultaten………. 87

8.1 Inleiding……… 87

8.2 De identiteit van het instrument……….. 87

8.3 De vereisten aan het instrument……… 88

8.4 Opbouw van het instrument……….. 89

Hoofdstuk 9: Conclusie……… ……….. 91

9.1 Inleiding……… 91

9.2 Conclusie……….…..…... 91

9.3 Sterke en zwakke punten van het onderzoek……… 92

9.3.1 Sterke punten van het onderzoek……… 92

9.3.2 Zwakke punten van het onderzoek………. 93

9.4 Aanbevelingen……….. 93

9.4.1 Aanbevelingen voor het basisonderwijs………. 94

9.4.2 Aanbevelingen voor TNO Management Consultants………. 95

Literatuurlijst………... 97

Bijlagen………. 105

Bijlage 1: Bespreking van drie kwaliteitsmethoden: Werken Met Kwaliteitskaarten, Diagnose Instrument Schoolverbetering en Kwaliteitsmeter Primair Onderwijs…... 107

Bijlage 2: Triangulaire vragenlijst van het International Network of Innovative School Systems (INIS II)……… 115

Bijlage 3: Eerste versie van de vragenlijst……….. 125

Bijlage 4: Scoringsmethode……… 137 Bijlage 5: Spinnenweb……… 139 Bijlage 6: Verwijderde stellingen door middel van de validiteitanalyse ………….. 141 Bijlage 7: Waarde van Cronbach’s Alpha voor de 45 deelgebieden ……….… 143 Bijlage 8: Verwijderde stellingen en totaal aantal stellingen per deelonderwerp…...145 Bijlage 9: Score op de evaluatie vragen ……….…………147 Bijlage 10: Twee / definitieve versie van vragenlijst……… 149 Bijlage 11: Internet handleiding………..157

Hoofdstuk 1: Kwaliteitszorg in het basisonderwijs

1.1 Inleiding

In de hedendaagse economische realiteit leven we in een tijd van verandering. Om hieraan het hoofd te bieden, moeten organisaties een passend antwoord vinden op uitdagingen die door deze veranderingen veroorzaakt worden. Globalisering, technologische veranderingen, de opkomst van e-commerce, het managen van kennis en informatie en de aandacht voor ethiek en maatschappelijke verantwoordelijkheid zijn enkele uitdagingen die ook aan het begin van dit millennium nog de volle aandacht hebben¹. Binnen deze turbulentie zijn bedrijven sinds de jaren tachtig steeds meer aandacht gaan besteden aan het concept van Total Quality

Management (TQM), aangewakkerd door successen in voornamelijk Japan, waar Dr. Joseph Juran en Dr. W.Edwards Deming door statistische kwaliteitscontroles de Japanse economie na WO II binnen 20 jaar voorbij die van de Westerse landen bracht.²

De aandacht voor kwaliteit heeft zijn invloed ook gehad op de non-profit/dienstverlenende sector in Nederland, die gesteund door de landelijke politiek, meer verantwoordelijkheid moest afleggen over het gevoerde beleid. De vraag naar meer inzichtelijkheid heeft er toe geleid dat kwaliteitszorg een beleidspunt werd binnen organisaties als de politie, de brandweer, de zorg en het onderwijs.

Binnen het basisonderwijs is het traject van kwaliteitszorg begin jaren negentig ingezet, toen er steeds meer zelfevaluatie instrumenten kwamen en scholen zowel intern als extern gingen communiceren over hun kwaliteit.³ Het geheel kreeg een beleidskader door de nota “de school als lerende organisatie” uit 1995 van staatssecretaris Netelenbos. De Wet op het Primair Onderwijs (WPO) die hieruit voortvloeide, verplicht basisscholen tot het maken van een schoolplan, een schoolgids en een klachtenregeling. Als vierde werd in deze wetswijziging ook aan elk schoolbestuur gevraagd een kwaliteitsbeleid te voeren, maar omdat deze niet

1 R.L.Daft (2001): “Organization theory and design”.

2 J.R. Evans and W.M. Lindsay (2002): “The management and control of quality”.

3 G. Kamphof (2001): “Kwaliteitszorg in fasen”.

gedocumenteerd hoefde te worden, kwam hiervan weinig terecht.⁴ De op 18 juni 2002 aangenomen Wet op het onderwijstoezicht (WOT)⁵ heeft hier verandering in gebracht.

De belangrijkste wijziging hierin is dat de Inspectie haar rapportage in de toekomst voor een deel baseert op de zelfevaluatie van de school. Hierdoor worden schoolbesturen gedwongen tot het voeren van kwaliteitsbeleid, in die zin, dat ze naar buiten toe moet rapporteren richting Inspectie, ouders van leerlingen, vervolg onderwijs en maatschappij over de kwaliteit van het onderwijs dat zij geven.

De veranderingen binnen het onderwijs zijn voor een groot deel beïnvloed door het beleid van het Ministerie van OC&W en de veranderende rol van de Inspectie. In de volgende twee paragrafen is kort aangegeven wat hun invloed is.

1.2 Het Ministerie van OC&W

Dertig jaar geleden hoorde Nederland bij de top van de wereld als het ging om de

kenniseconomie (de economische groei door innovatie van producten en diensten).⁶ Door verminderde aandacht en het drijven op succes van vroeger is deze positie voor een gedeelte verdwenen. Met de komst van kabinet Balkenende II is de aandacht voor de kenniseconomie weer op de agenda gezet.⁷ Dat politici ook willen investeren in deze kennis is duidelijk;

ondanks de economische recessie en alle politieke bezuinigingen bij de departementen heeft het Ministerie van OC&W in 2004 942 miljoen euro extra te besteden gehad ten opzichte van 2003⁸. De achterstand die Nederland heeft qua onderwijsinvestering op andere Europese landen is hierdoor aan het teruglopen. Ondanks deze achterstand meldde de OESO op 7 december 2004 dat het Nederlandse onderwijs wereldwijd op de vierde plaats staat. Dat ook het onderwijs zich steeds blijft vernieuwen blijkt wel uit de “Koers Primair Onderwijs: ruimte voor de school”, een meerjarenplan voor het primair onderwijs tot 2010. In dit plan beschrijft minister Van der Hoeven dat er een omslag plaats zal moeten vinden van sterke centrale sturing naar meer beleidsruimte voor professionele instellingen. Autonomievergroting zal er

4 J.J.M. Kok (2003): “Sturen op kwaliteit, over de rol van management bij kwaliteitsbeleid”.

5 www.minocw.nl 6www.kennisland.nl

7F. Nauta en J. van den Steenhoven ( 2003): “Kenniseconomie monitor 2003”.

8 Tweede Kamer (2004): “Miljoenennota 2004”.

naar verwachting toe leiden dat scholen marktpartij worden, waardoor de kwaliteit van het onderwijs in zijn geheel toe zal nemen⁹.

Om tot een succesvol beleid te komen is de minister vanaf oktober 2003 met leerkrachten, leerlingen, ouders en de Inspectie in gesprek gegaan om van de betrokken partijen te horen hoe zij het basisonderwijs zouden willen zien en wat voor veranderingen er moeten komen.

Belangrijk in deze nieuwe aanpak is het traject lumpsum, dat per 1 augustus 2006 ingevoerd wordt en scholen meer bestedingsvrijheid biedt. Door decentralisatie en grotere beleidsruimte moeten scholen meer verantwoording afleggen over het gevoerde (financiële) beleid. De instantie die deze zaken controleert is de Inspectie voor het Onderwijs.

1.3 De Inspectie van het Onderwijs

De Inspectie van het Onderwijs valt direct onder de verantwoordelijkheid van het Ministerie van OC&W en doet onafhankelijk onderzoek naar de kwaliteit op scholen. Door de

veranderende verhoudingen binnen het onderwijs, is ook de rol van de Inspectie veranderd.

Door de WOT die op 1 september 2002 van kracht is geworden, sluit de Inspectie in de toekomst aan bij de zelfevaluatie van een school. Proportionaliteit is hierbij een van de grondbeginselen. In aanvulling op de zelfevaluatie van de school zal de Inspectie informatie geven via o.a. het elektronische schooldossier (ESD) en de kwaliteitskaarten over de sterke en zwakke kanten in het functioneren en presteren van een school op kwaliteitszorg.¹⁰ De

kwaliteitsaspecten waarop beoordeeld wordt zijn zorg voor kwaliteit, onderwijs en leren en opbrengsten. Bij inspectie van een school wordt bij de zelfevaluatie vooral gekeken naar bovengenoemde aspecten, de betrouwbaarheid van de gegevens en het niveau van de kwaliteitsdoelen die de school zich gesteld heeft.¹¹

De beoogde veranderende verhouding tussen Inspectie en school kan getypeerd worden als:

• Inspectie is leidend naar school is leidend.

• Standaard aanpak naar aanpak op maat.

9 J. Hagens (2000): “De kwaliteit van de onderwijsmarkt”.

10 Ministerie OC&W (2002): “Toezichtkader primair onderwijs.”

11 Tweede Kamer (2001): “Wet op het onderwijstoezicht”

• Gezond wantrouwen naar vertrouwen als basis.

• Controleren en toetsen naar stimuleren en inspireren.¹²

Of deze nieuwe verhouding ook daadwerkelijk tot stand komt is nog maar de vraag. Door decentralisatie wordt er meer onafhankelijkheid gevraagd van de Inspectie, terwijl het bovengenoemde sterk neigt richting een ondersteunende en stimulerende taak.

1.4 Recente ontwikkelingen

Door de nieuwe manier van toezicht door de Inspectie is er bij scholen een groeiende behoefte aan integrale kwaliteitszorg¹³. Sinds enkele jaren zijn besturen, bovenschoolse managers, directeuren en schoolleiders van basisscholen actief bezig met het voeren van

kwaliteitsbeleid. Een onderzoek in 2002 uitgevoerd door onderzoeks- en adviesbureau Oberon laat zien dat bijna 50% van de scholen regelmatig de onderwijskwaliteit vaststelt.

Hiervan doet 20-30 procent systematisch aan kwaliteitszorg. Onder kwaliteitszorg wordt verstaan het geheel van samenhangend beleid, concrete doelstellingen en goed management om de benodigde acties en controles uit te voeren waarmee de school de gewenste kwaliteit systematisch levert en waarmee de school die kwaliteit ook continu kan verbeteren.

De laatste jaren zijn er een groot aantal instrumenten ontwikkeld voor het uitvoeren van een zelfevaluatie met als uiteindelijke doel het evalueren van de kwaliteit van de school. Markant Educatieve Diensten heeft in 2002 een inventarisatie en beschrijving van deze instrumenten gemaakt¹⁴. Q*Primair, een project van tien onderwijsorganisaties met als doel de

ontwikkeling en toepassing van kwaliteitszorg een krachtige impuls te geven¹⁵, heeft als vervolg hierop in 2004 een rapport uitgebracht waarin er een nulmeting is gedaan naar de kwaliteitszorg in het primair onderwijs. Tevens zijn hierbij alle kwaliteitszorginstrumenten in kaart gebracht. De 10 meest gebruikte instrumenten zijn beoordeeld op geschiktheid van aspecten van kwaliteitszorg. Dit is gedaan om scholen een handreiking te geven welk instrument in hun situatie ze het best kunnen gebruiken.

12 J.J.M. Kok. “Sturen op kwaliteit, over de rol van management bij kwaliteitsbeleid.”

13 www.kwaliteitsring.nl

14 M. duurkoop, D.Majoor en M. de Pinth ( 2002): “Kwaliteitszorg, inventarisatie en beschrijving van instrumenten”.

15 www.qprimair.nl

Bestaande zelfevaluatie instrumenten verschillen in de aandachtspunten die zij onderscheiden.

De een is meer gericht op het voldoen aan de kwaliteitseisen van de inspectie, de ander is meer gericht op de schoolontwikkeling en het daaraan gekoppelde verbetertraject. Sommige richten zich op beide. De gebruiker en het doel waarvoor de instrumenten zijn ontwikkeld zijn eigenlijk altijd hetzelfde: de gebruiker is in eerste instantie de directeur, die als doel heeft een kwaliteitsmeting van zijn school te krijgen. De informatie die dit oplevert wordt vooral gebruikt voor beleidsvorming en externe rapportages. Om deze “foto” van kwaliteitszorg op de school te nemen, worden meestal ouders, leerkrachten en leerlingen gevraagd naar hun mening over uiteenlopende zaken op de school ( door bijvoorbeeld een ouderenquête of medewerkers tevredenheidonderzoek).

Het primaire proces van het onderwijs speelt zich echter af in de klas. De ontwikkeling van een kind hangt sterk af van de professionaliteit van de leerkracht. Een minder goede

leerkracht betekent een geheel jaar kwalitatief minder goed onderwijs, met als mogelijk gevolg een achterstand in de ontwikkeling van het kind. Niet alleen het functioneren van een leerkracht in een klas speelt een rol, ook de functie die een leerkracht heeft binnen een school is hierbij belangrijk.

Doordat leerkrachten vaak een eigen manier van lesgeven hebben ontwikkeld en binnen een school een specifieke functie hebben, ontstaat de vraag naar een instrument, waarbij de leerkracht vanuit zijn eigen positie de kwaliteit van het gehele onderwijsproces inzichtelijk kan maken. Hierbij wordt zijn functioneren zowel binnen de klas als binnen de school geëvalueerd. Met de informatie die bij het gebruik van een dergelijk instrument verkregen wordt, moet een leerkracht een goed beeld krijgen van zijn functioneren voor de klas en binnen de school. De inzichten die door dit proces verkregen worden, dienen als basis voor het werken aan het verbeteren van de kwaliteit van het onderwijs. De zelfevaluatie die de leerkracht bij dit instrument maakt richt zich dus in eerste instantie op de reflectie en de beïnvloeding van het gedrag van de leerkracht, waarbij deze zelfsturend bezig is. Daarnaast kan de vrijgekomen informatie door de schoolleiding gebruikt worden om inzicht te krijgen in het onderwijsproces van alle leerkrachten, waardoor het gebruikt kan worden voor het

verbeteren van de gehele onderwijskwaliteit op school en voor externe rapportages als schoolplannen.

Waar het onderzoek in deze scriptie zich op richt is de ontwikkeling van een instrument, waarmee de leerkracht op zichzelf kan reflecteren. Deze reflectie richt zich op het gehele

werkgebied van een leerkracht. Om de kwaliteit van het onderwijs te verbeteren is niet alleen van belang dat een leerkracht in de klas op een goede manier het onderwijs inricht, maar dat hij ook bewust is van zijn eigen functioneren, zowel binnen de klas als schoolbreed.

Onderwerpen die belangrijk zijn voor dit “schoolbrede bewustzijn” zijn bijvoorbeeld het contact met mede leerkrachten en de schoolleiding, de betrokkenheid van de leerkracht bij de vorming en de uitvoering van het schoolbeleid en de veiligheid op school. Het ontwikkelen van een breed en compleet instrument impliceert dat het veel onderwerpen behandeld. In dit licht kan het instrument gezien worden als een instrument dat veel signaleert. Op basis van deze signalen kan eventueel verder onderzoek gedaan worden met specifiekere

meetinstrumenten of methoden.

Bij de ontwikkeling van het instrument is gekozen om gebruik te maken van het INK-

managementmodel. Dit model wordt in Nederland door veel bedrijven en instanties gebruikt om een integraal beeld te krijgen van het functioneren van een organisatie. Ook binnen het primair en voortgezet onderwijs wordt dit model steeds meer gebruikt. Uit koersgesprekken die de minister heeft gehad met een aantal scholen blijkt dat scholen die werken vanuit een integrale visie minder moeite hebben om te werken aan vernieuwingen¹⁶. Ook wordt het INK- managementmodel door Q*Primair, een toonaangevende instantie op het gebied van

kwaliteitszorg in het primair en voortgezet onderwijs, gebruikt als ordeningskader.

Door de integrale functie van het INK-managementmodel en de keuze voor het gebruik van dit model door steeds meer schoolbesturen is bij de ontwikkeling van het instrument gebruik gemaakt van het INK-managementmodel. Het gebruik van het INK-managementmodel voor de ontwikkeling van een instrument heeft echter ook zijn nadelen. Een van de grootste nadelen is dat een dergelijk instrument moeilijk toetsbaar is. In dit onderzoek is een methode ontwikkeld waarmee zo’n instrument, weliswaar in beperkte mate, toch kan toetsen.

16M.J.A. van der Hoeven ( 2003): “Koers Primair Onderwijs”.

Hoofdstuk 2: Probleemstelling en doelstelling onderzoek

2.1 Inleiding

In hoofdstuk 1 is er een beeld geschetst van de ontwikkelingen in het basisonderwijs en de rol die de kwaliteitszorg daarin heeft. In dit hoofdstuk wordt de probleemstelling van het

onderzoek besproken. De probleemstelling is gesplitst in een doelstelling en een vraagstelling, waarbij de laatste opgesplitst is in aantal deelvragen. Per deelvraag is kort beschreven wat er onderzocht is. Hoe op de deelvragen een antwoord is gegeven, wordt besproken in hoofdstuk 3.

2.2 Probleemstelling

Door de Wet op het onderwijstoezicht (WOT) die sinds enkele jaren van kracht is, het vernieuwde meerjarenbeleid voor het primair onderwijs en de veranderende houding van de Inspectie van het Onderwijs, is het voor basisscholen noodzakelijk om kwaliteitsbeleid te voeren. Een belangrijk onderdeel is de zelfevaluatie van scholen, aangezien de Inspectie voor een deel haar rapportage hierop baseert. Op schoolniveau zijn hier al een groot aantal

methoden voor ontwikkeld, die de school als hulpmiddel kan gebruiken. Methodes om vanuit het perspectief van een leerkracht te komen tot onderwijsverbetering zijn er nauwelijks.

Dit onderzoek richt zich op het ontwikkelen van een instrument waarbij de leerkracht het gehele onderwijsproces zelf evalueert en daarbij reflecteert op zijn eigen functioneren. Het instrument is opgebouwd volgens INK-managementmodel, een integraal kwaliteitsmodel waarvan binnen het onderwijs steeds meer gebruik wordt gemaakt.

2.3 Doelstelling en vraagstelling

De probleemstelling van dit onderzoek is opgesplitst in een doelstelling en een vraagstelling.

De doelstelling geeft het kennisbelang aan van het onderzoek en de vraagstelling het kennisdoel.

De doelstelling die uit de probleemstelling volgt is:

“Het ontwikkelen en toetsen van een kwaliteitsinstrument op basis van het INK-

managementmodel, waarmee leerkrachten in het reguliere basisonderwijs zelfstandig hun functioneren evalueren. ”

De vraagstelling die uit deze doelstelling voortvloeit is:

“ Hoe kan op basis van het INK-managementmodel het door leerkrachten gegeven onderwijs zodanig worden geëvalueerd, dat deze reflecteren op hun eigen functioneren?”

2.4 Deelvragen

De deelvragen die de vraagstelling ondersteunen hebben betrekking op de inhoud van het instrument, op de vorm van het instrument en op de toetsing van het instrument.

2.4.1 Deelvragen over de inhoud van het instrument

Er zijn drie deelvragen die de inhoud van het instrument behandelen. De eerste vraag heeft te maken met de identiteit van het instrument. De tweede vraag die hiermee samenhangt, is aan welke vereisten het instrument moet voldoen. De vereisten dienen als richtlijn en raamwerk voor het te vormen instrument. De derde vraag gaat over het vinden van de juiste

onderwerpen en kwaliteitsaspecten die gebruikt zijn om tot een inhoudelijk verantwoord instrument te komen.

Deelvraag 1: Wat is de identiteit van het te ontwikkelen instrument?

Met de identiteit van een instrument worden de algemene gebruikscondities bedoeld, waaraan een instrument herkenbaar is. Algemene gebruikscondities die aan bod komen zijn het doel van het instrument, de doelgroep waarvoor het ontwikkeld is, de functie van het instrument, de omstandigheden waarin het instrument wordt gebruikt, de kenmerken van het instrument en de wijze waarop het instrument wordt gebruikt. In hoofdstuk 4 zijn de algemene

gebruikscondities beschreven.

Deelvraag 2: Wat zijn de vereisten aan het instrument?

Een instrument dient aan een aantal eisen te voldoen, wil het een goed meetinstrument zijn.

De twee hoofdcriteria die in dit onderzoek centraal staan zijn de deugdelijkheid en de praktische relevantie van het instrument. Elk van deze hoofdcriteria kent een aantal onderliggende criteria. De criteria die onder deugdelijkheid vallen zijn validiteit,

generaliseerbaarheid, betrouwbaarheid en toetsbaarheid van het instrument. Onder praktische relevantie vallen de criteria inhoudsvaliditeit, behoefte aan informatie, presentatie van

gegevens, bruikbaarheid en begrijpbaarheid.¹⁷ In het paragraaf 4.3 wordt een uitleg gegeven over de verschillende criteria.

Deelvraag 3: Welke onderwerpen zijn belangrijk bij het evalueren van het functioneren van leerkrachten van het basisonderwijs?

Deze deelvraag gaat specifiek in op de inhoud van het instrument. Om de belangrijke onderwerpen binnen het onderwijs te identificeren is er gekeken naar onderwerpen die de Inspectie van het Onderwijs onderscheidt bij het inspecteren van scholen. Daarnaast is er gekeken naar drie veel gebruikte Nederlandse kwaliteitsmethoden binnen het basisonderwijs en één Europese methode. De inhoudelijke totstandkoming van het instrument wordt

beschreven in hoofdstuk 5.

2.4.2. Deelvraag over de vorm van het instrument

Aangezien de ontwikkeling van het instrument op basis van het INK-managementmodel is gedaan, wordt naast de inhoud ook de vorm van het instrument door dit model bepaald. Een bespreking van het INK-managementmodel en de invloed van dit model op de vorm van het instrument staat centraal in deelvraag 4, die in paragraaf 5.9 wordt besproken.

Deelvraag 4: Welk bruikbare vorm heeft het ontwikkelde instrument, dat gebruik maakt van het INK-managementmodel?

17 J.H.M van Kesteren e.a. ( 1996): “Analyse van instrumenten voor kwaliteitstoetsing; de ontwikkeling van een bruikbaarheidsmeter”.

2.4.3 Deelvragen over de toetsing van het instrument

De toetsing van het instrument gebeurt aan de hand van criteria zoals die bij de tweede deelvraag aan bod zijn gekomen. De bijbehorende deelvragen zijn:

Deelvraag 5: Wat is de deugdelijkheid van het instrument?

Deelvraag 6: Wat is de praktische relevantie van het instrument?

In hoofdstuk 3 wordt de methodologie van dit onderzoek besproken, waarbij is aangegeven hoe de deugdelijkheid en praktische relevantie getoetst zijn.

Hoofdstuk drie: Methodologie

3.1 Inleiding

In dit hoofdstuk wordt besproken hoe op de doelstelling, vraagstelling en deelvragen zoals die in hoofdstuk 2 zijn beschreven een antwoord is gegeven. Als eerste staat de ontwikkeling van het instrument centraal. Vervolgens wordt beschreven wat de samenstelling van de populatie is waarbij het instrument is getoetst. Van de populatie is tevens een beschrijving gegeven en wordt de respons besproken. Tot slot komt de manier van toetsing aan bod.

3.2 Ontwikkeling van het instrument

Bij de ontwikkeling van het instrument is begonnen met het beantwoorden van de eerste deelvraag: wat is identiteit van het instrument? Om een beeld te krijgen van de identiteit van het instrument zijn de algemene gebruikscondities besproken, zoals die door Van Kesteren e.a. beschreven zijn in “Analyse van instrumenten; de ontwikkeling van een

bruikbaarheidsmeter”. Onder de gebruikscondities vallen doel, doelgroep, functie, omstandigheden, kenmerken en werkwijze van het instrument.

Vervolgens is gekeken naar de vereisten voor een instrument. In de analyse, welke ook gebaseerd is op Van Kesteren e.a., zijn een aantal criteria besproken waaraan een meetinstrument moet voldoen. De criteria zijn onder te verdelen in twee groepen: de deugdelijkheid van het instrument en de praktische relevantie van het instrument. Onder deugdelijkheid vallen de criteria validiteit, generaliseerbaarheid, betrouwbaarheid en toetsbaarheid. Onder praktische relevantie vallen de criteria inhoudsvaliditeit,

informatiebehoefte, presentatie van gegevens, bruikbaarheid en begrijpbaarheid.

Daarna is verder gegaan met de inhoudelijke ontwikkeling van het instrument. Om tot een inhoudelijk valide instrument te komen, is vanuit verschillende invalshoeken gekeken naar onderwerpen die belangrijk zijn bij het meten en evalueren van het functioneren van leerkrachten in het basisonderwijs. Als eerste is er een literatuurstudie geweest naar de ontwikkelingen die er de laatste jaren binnen het onderwijs geweest zijn. Hierbij is tevens gekeken naar onderwerpen die momenteel veel aandacht krijgen in het onderwijs.

Ten tweede is onderzoek gedaan naar de wettelijke normen die de overheid heeft ontwikkeld voor het geven van goed onderwijs. Deze criteria zijn terug te vinden in het Toetsingskader van het Primair Onderwijs van de Inspectie, waarin duidelijk is beschreven aan welke kwaliteitsaspecten scholen in Nederland moeten voldoen. Deze aspecten worden besproken, aangezien het te ontwikkelen instrument in ieder geval informatie moet opleveren over wettelijke kwaliteitsaspecten.

Daarnaast is gekeken naar de drie meest gebruikte kwaliteitsmethoden in het basisonderwijs, die allemaal vanuit verschillende perspectieven de kwaliteit van een school meten. Deze drie methoden zijn Werken met Kwaliteitskaarten Primair Onderwijs (WMK PO), Diagnose Instrument Schoolverbetering (DIS) en de Kwaliteitsmeter Primair Onderwijs (KMPO). Ook is er gekeken naar een internationaal instrument dat de kwaliteit van het onderwijs breed meet. Dit is het International Network of Innovative School Systems (INIS II) instrument.

Voor zowel de drie Nederlandse instrumenten als voor het INIS II instrument zijn alle onderwerpen en kwaliteitsaspecten beoordeeld op relevantie voor een leerkracht.

Vervolgens zijn de kwaliteitsaspecten bewerkt voor leerkrachten van het basisonderwijs, om het instrument voor hen bruikbaar en begrijpelijk te houden. Uiteindelijk is op basis van literatuuronderzoek, het Toetsingskader van de Inspectie en de vier kwaliteitsmethoden een verzameling onderwerpen en kwaliteitsaspecten ontstaan, die de kwaliteit van het

onderwijsproces meet vanuit de positie van een leerkracht. Deze verzameling kwaliteitsaspecten zijn daarna geordend in de negen aandachtsgebieden en vijf

ontwikkelingsfasen van het INK-managementmodel. De lijst met kwaliteitsindicatoren is gecomplementeerd met een aantal indicatoren die kenmerkend zijn voor het INK-

managementmodel. In totaal heeft deze procedure een lijst van 300 kwaliteitsindicatoren opgeleverd.

Bij het evalueren van een organisatie maakt het INK gebruik van een door hen ontwikkelde evaluatie vragenlijst die per aandachtsgebied en per fase een aantal stellingen hanteert. In dit onderzoek is tevens een vragenlijst ontworpen, die opgebouwd is volgens de eigenschappen van de vragenlijst van het INK-managementmodel.

3.3 Samenstelling populatie

De vragenlijst - bestaande uit 300 stellingen/kwaliteitsindicatoren - is voorgelegd aan een groep leerkrachten van het Protestants Christelijk Basisonderwijs (PCBO) in Apeldoorn. De belangrijkste reden om het onder deze groep te testen was dat dit het verzoek van TNO

Management Consultant was. Zij gaven op het moment van instrumentontwikkeling ( februari 2004 –juni 2004) een tweedaagse cursus over het INK-managementmodel aan directeuren en leerkrachten van PCBO Apeldoorn en wilde het instrument graag bij hen testen. Daarnaast was er het verzoek vanuit TNO MC om het bij één schoolbestuur te toetsen.

De directie van PCBO Apeldoorn heeft vervolgens toestemming gegeven om alle 56

leerkrachten die de tweedaagse INK cursus gevolgd hadden te benaderen voor het onderzoek.

Deze leerkrachten hebben vaak een extra functie binnen de school, zoals algemeen adjunct, intern begeleider, ICT’er, bouwcoördinator, unit leider etc. Deze leerkrachten zijn daardoor nauwer betrokken bij het beleid van de school dan de gemiddelde leerkracht. Daarnaast mochten vier basisscholen, waarvan de directeur ook deel uit maakt van de stuurgroep kwaliteitszorg van PCBO Apeldoorn, benaderd worden voor het onderzoek. De vier scholen zijn De Regenboog, De Bouwhof, De Touwladder en De Wegwijzer. Later is hier de

Koningin Emma school aan toegevoegd, die met alle leerkrachten heeft meegedaan aan het onderzoek.

De 56 INK cursisten, afkomstig van 24 verschillende basisscholen, zijn benaderd door middel van een brief. De vijf basisscholen zijn telefonisch benaderd, aangezien eerst de directeur toestemming moest geven voor medewerking. De directeur heeft vervolgens binnen zijn school het onderzoek onder de aandacht gebracht, instructiebrieven uitgedeeld en gevraagd aan leerkrachten of ze (vrijwillig) wilden meewerken aan het onderzoek. Zowel naar de INK cursisten ( door middel van een brief) als de vier basisscholen ( door middel van een e-mail) is na twee weken een herinnering gestuurd, om nogmaals het onderzoek onder de aandacht te brengen. De vragenlijst is in totaal aan 182 leerkrachten van PCBO Apeldoorn voorgelegd.

3.4 Beschrijving van de populatie

Om meer achtergrond te geven over de scholen die meegewerkt hebben aan het onderzoek, is er in deze paragraaf een korte beschrijving gegeven van PCBO Apeldoorn en van de vijf scholen die meegeholpen hebben aan het onderzoek.

Het Protestants Christelijke Basisonderwijs (PCBO) Apeldoorn bestaat in totaal uit 28 scholen in regio Apeldoorn. Gemeenschappelijk kenmerk van deze scholengroep is dat zij onderwijs aanbieden vanuit een protestants-christelijke identiteit. Naast dit

gemeenschappelijke kenmerk kan elke school zijn eigen accenten leggen in het onderwijs dat zij aanbieden, zodat er binnen deze scholengroep een verscheidenheid aan scholen bestaat.

Van de vijf scholen die medewerking verleend hebben, worden hieronder enkele karakteristieken gegeven.

1. PCBS de Touwladder. Deze basisschool ligt in het dorp Ugchelen en heeft 240 leerlingen en 18 leerkrachten. Deze aantallen zijn de laatste jaren stabiel. Voor de school zijn openheid, betrokkenheid en inzet (ook buiten de lesuren om) belangrijke waarden.

2. PCBS de Bouwhof. De Bouwhof ligt net als de Touwladder in het dorp Ugchelen. De school telt 250 leerlingen en heeft 19 leerkrachten. De school legt in haar onderwijs nadruk op veiligheid, gezelligheid, zorg en een open onderlinge communicatie. Bij de ontwikkeling van de school zijn de pedagogische aanpak, onderwijsinhoud en de vorm van de schoolorganisatie permanente aandachtspunten.

3. PCBS de Wegwijzer. De school ligt in de wijk Orden in Apeldoorn en heeft 300 leerlingen en 27 leerkrachten. De school besteedt specifiek aandacht aan

klassenverkleining, aandacht voor het individuele kind en het ( als lerende organisatie) bieden van ontwikkelingsmogelijkheden voor leerkrachten.

4. PCBS de Regenboog. Deze school bestaat in Apeldoorn uit twee vestigingen: één in de wijk Osseveld, één in de wijk Woudhuis. In totaal zitten er 650 leerlingen op school en zijn er 50 leerkrachten werkzaam. Er wordt extra aandacht besteed aan de individuele leerling (door deze zelfstandig te laten werk), veiligheid, gezelligheid en gemoedelijkheid.

5. PCBS Koningin Emmaschool. Deze school ligt in de wijk Apeldoorn Zuid en heeft ruim 300 leerlingen en 25 leerkrachten. Binnen de school is er veel aandacht voor veiligheid, gezelligheid en gemoedelijkheid. Zelfstandig werken is een van de speerpunten van het schoolbeleid, waarbij kleuters met planborden werken, de middenbouw met dagtaken en de bovenbouw met weektaken. Daarnaast is de school betrokken bij het project Brede school.

3.5 Respons

Het aantal leerkrachten dat de vragenlijst heeft ingevuld en de spreiding hiervan over de verschillende scholen, is te zien in tabel 1. Van de vijf scholen zijn in totaal 139 leerkrachten benaderd, waarvan 34 de vragenlijst hebben ingevuld. Van de 56 benaderde leerkrachten van de INK cursus hebben 23 de vragenlijst ingevuld. In totaal hebben van de 182 leerkrachten 57 de vragenlijst compleet ingevuld. Dit is 31,3 % van het totaal aantal benaderde leerkrachten.

School Aantal leerkrachten Aantal

Leerkrachten

van Aantal van de school Ingevuld de INK training Ingevuld

De Regenboog 50 7 3 3

De Wegwijzer 27 4 3 3

Koningin Emma 25 20 3 1

De Bouwhof 19 0 2 2

De Touwladder 18 3 2 2

Het Anker NVT NVT 2 2

Het Kompas NVT NVT 3 2

De Korenaar NVT NVT 4 1

De Kring NVT NVT 3 1

De Rank NVT NVT 3 1

Montessorischool NVT NVT 2 1

De Sjofar NVT NVT 2 1

Het Klaverblad NVT NVT 1 1

Prinses Juliana NVT NVT 1 1

De Beemte NVT NVT 1 1

De Fakkel NVT NVT 3 0

Koningin

Wilhelmina NVT NVT 3 0

De Terebint NVT NVT 3 0

De Gong NVT NVT 3 0

Willem van Oranje NVT NVT 2 0

Koningin Juliana NVT NVT 2 0

Prinses Margriet NVT NVT 2 0

De Shalom NVT NVT 2 0

Prinses Beatrix NVT NVT 1 0

Totaal 139 34 56 23

Totaal aantal benaderde leerkrachten 182

Totaal aantal ingevulde vragenlijsten 57

Tabel 1: Responsoverzicht

3. 6 Toetsing van het instrument

Op basis van de 57 ingevulde vragenlijsten is het instrument getoetst op deugdelijkheid en praktische relevantie. De toetsing heeft als doel om inzicht te krijgen in de punten waar het instrument nog verbetering nodig heeft. De toetsing heeft geleid tot een tweede versie van het instrument, die beter voldoet aan de criteria van deugdelijkheid en praktische relevantie. In deze paragraaf volgt een uitleg hoe de onderliggende criteria van deugdelijkheid en praktische relevantie in dit onderzoek gemeten zijn.

3.6.1 Deugdelijkheid van het instrument

De deugdelijkheid van het instrument is door vier criteria bepaald: validiteit,

generaliseerbaarheid, betrouwbaarheid en toetsbaarheid van het instrument. Er wordt

begonnen met het bespreken van de toetsbaarheid van het instrument, aangezien dit ook van invloed is bij het beoordelen van de validiteit en de betrouwbaarheid van het instrument.

Toetsbaarheid

Bij de ontwikkeling van een instrument is het belangrijk dat hetgeen ontwikkeld is ook toetsbaar is. Hierbij wordt vaak gebruik gemaakt van verscheidene statistische methoden, die heldere conclusies kunnen opleveren over zaken als betrouwbaarheid en validiteit. Aangezien het instrument gebaseerd is op het INK-managementmodel, levert dit een probleem op bij de toetsing van het instrument. Dit probleem wordt veroorzaakt door de opbouw en de functie die het INK-managementmodel heeft.

Het INK-managementmodel is een denkmodel. Het biedt organisaties een ordeningskader voor activiteiten die ze uitvoeren en geeft tegelijkertijd inzicht in hun organisatie en hoe ze deze kunnen verbeteren. Zowel de negen aandachtsgebieden die het model onderscheidt als de vijf ontwikkelingsfasen zijn met elkaar verweven, in die zin dat er verschillende relaties tussen de gebieden en fasen bestaan. Dit zien we o.a. terug in de PDCA cyclus, waarbij de aandachtsgebieden Leiderschap en Strategie en Beleid tot het “ Plan” gedeelte horen. Zie hierover ook paragraaf 5.9 en figuur 3.

Bij de ontwikkelingsfasen bestaat de relatie uit een poortjesmechanisme. Om een hogere fase te bereiken, moeten de voorgaande fases geheel doorlopen zijn. Zowel bij de

aandachtsgebieden als de ontwikkelingsfasen zien we dus een bepaalde mate van

afhankelijkheid met elkaar. Om gebruik te maken van statistische analyse methoden die voor handen zijn, is één van de voorwaarde echter dat de items onafhankelijk van elkaar zijn. Dit is bij het gebruik van het INK-managementmodel niet het geval. Bij de bespreking van de verscheidene criteria is aangegeven wat de invloed van deze afhankelijkheid is op de mate waarin het criterium getoetst is.

Validiteit

Bij validiteit wordt nagegaan of een instrument daadwerkelijk datgene meet dat beweert dat het meet. Om erachter te komen wat belangrijke onderwerpen zijn binnen het basisonderwijs zijn er verschillende onderwijskundige methoden gebruikt. Aangezien het instrument

ontwikkeld is voor leerkrachten, is het belangrijk om te weten of een stelling daadwerkelijk de kwaliteit van het basisonderwijs meet vanuit de positie van de leerkracht. Omdat het statistisch meten van validiteit in dit onderzoek niet mogelijk is vanwege de afhankelijkheid die er is tussen de items, zijn er enkele stappen gezet waardoor het mogelijk is om toch iets te zeggen over de validiteit. Het daadwerkelijk bepalen van de validiteit is hier niet aan de orde.

Allereerst is gekeken naar stellingen waarop bij de beantwoording een aantal keer “ niet van toepassing” is gescoord. Aangezien het instrument ontwikkeld is voor leerkrachten, moeten de stellingen ook voor alle leerkrachten even relevant zijn. Stellingen waar veel “niet van toepassing” op is gescoord dragen niet bij tot een valide instrument en zijn bij de tweede versie van het instrument uit de vragenlijst gehaald.

Ten tweede is gekeken naar de gemiddelde scores op de belangrijkheid van een stelling.

Een lage gemiddelde score op belangrijkheid betekent dat de stelling niet relevant is voor het meten van de kwaliteit van het onderwijs. Deze stelling is in de tweede versie van het

instrument uit de vragenlijst gelaten.

Generaliseerbaarheid

Generaliseerbaarheid geeft aan in welke mate een instrument hetzelfde meet als het gebruikt wordt in een andere situatie, door andere personen, in andere omstandigheden. Over

generaliseerbaarheid zijn in dit onderzoek geen harde conclusies te trekken, aangezien het onderzoek in één plaats, bij één school bestuur, in een korte periode en bij een kleine populatie is uitgevoerd. Om een indicatie te krijgen of het instrument daadwerkelijk te generaliseren is, zijn er enkele evaluatievragen gesteld. Op basis hiervan is een beoordeling gegeven of het instrument generaal gebruikt kan worden.

Betrouwbaarheid

Betrouwbaarheid geeft aan of wat gemeten is ook op de juiste manier is gemeten. De

betrouwbaarheid van het instrument is bepaald door het bereken van Cronbach’s Alpha. Dit is een coëfficiënt van interne consistentie van een test, waarbij Cronbach’s Alpha ligt tussen de –1 en 1. Hoe dichter Cronbach’s Alpha bij de 1 ligt, des ter beter meten de onderliggende variabelen het onderwerp dat is gemeten. Een negatieve waarde betekent een negatieve correlatie tussen de onderliggende variabelen en het te meten onderwerp. Aangezien ook bij het berekenen van Cronbach’s Alpha onafhankelijkheid tussen de items een voorwaarde is, zijn geen harde conclusie getrokken over de betrouwbaarheid van het instrument. Er is uiteindelijk een conclusie getrokken, deze moet echter met de nodige kanttekeningen worden geïnterpreteerd. Het gebruik van de Cronbach’s Alpha is wel waardevol, aangezien het inzicht geeft om de betrouwbaarheid van het instrument te verbeteren. Net als bij het criterium

validiteit is de methode dus niet gebruikt om de betrouwbaarheid te bepalen, maar om deze te verbeteren.

3.6.2 Praktische relevantie van het instrument

De praktische relevantie van het instrument is gemeten met vijf criteria. Dit zijn

inhoudsvaliditeit, de behoefte aan informatie, de presentatie van gegevens, de bruikbaarheid en de begrijpbaarheid. Voor elk van deze onderwerpen zal er in hoofdstuk 7 een bespreking volgen aan de hand van evaluatievragen die gesteld zijn aan het eind van de vragenlijst. De interpretatie van deze gegevens is, net als het criterium generaliseerbaarheid, met name kwantitatief van aard. Op basis van de gemiddelde scores op de evaluatievragen en de

interpretatie van de antwoorden op de open vragen is uiteindelijk de praktische relevantie van het instrument beoordeeld.

.

Hoofdstuk vier: Achtergrond van het instrument

4.1 Inleiding

Om tot een deugdelijk en praktisch relevant kwaliteitsinstrument voor leerkrachten te komen, is in de ontwikkeling van het instrument voor een deel gebruik gemaakt van de analyse zoals die door Van Kesteren e.a. is beschreven in “Analyse van instrumenten; de ontwikkeling van een bruikbaarheidsmeter”. In dit hoofdstuk wordt allereerst ingegaan op de algemene

gebruikscondities. Hierbij volgt een bespreking van het doel, de doelgroep en de functie van het instrument, gevolgd door een uitleg over de omstandigheden, de kenmerken en de werkwijze van het instrument. Vervolgens zijn de criteria deugdelijkheid en praktische relevantie waaraan een instrument moet voldoen nader toegelicht.

4.2. Algemene gebruikscondities

4.2.1. Doel, doelgroep en functie

Het doel van het instrument is om leerkrachten van het reguliere basisonderwijs een reflectie te geven van hun eigen gedrag door ze zelfstandig hun werkproces te laten evalueren. Het instrument is ontwikkeld voor de leerkracht. Schoolleiding, interne begeleiders, remedial teachers etc. vallen buiten de doelgroep. De leerkracht is degene die het instrument gebruikt en de daarbij horende vragenlijst invult. Door het invullen van de vragenlijst en de informatie die hierbij is verkregen, krijgt een leerkracht een reflectie van zijn eigen functioneren. Het geven van reflectie is wel het doel van het instrument, maar uiteindelijk niet een doel op zich.

Het instrument is ontworpen als een hulpmiddel om bezig te gaan met het verbeteren van de kwaliteit van het onderwijs. Door de reflectie krijgen leerkrachten inzicht in mogelijke verbeteracties. Vanuit deze reflectie is het mogelijk om een traject op te stellen van verbeteracties.

Reflectie is een begrip dat een aantal aspecten kent. De Grote van Dale geeft voor het begrip reflectie een aantal definities:

1. Terugkaatsing, weerspiegeling

2. Beschouwing, overdenking, overweging

3. Het denken (in filosofische zin)

Het doel waarvoor het instrument ontwikkeld is heeft betrekking op al deze betekenissen. Met reflectie wordt geprobeerd zaken als kennis, ervaring, routinematig gedrag en intuïtie onder controle te krijgen, waardoor leereffecten gecreëerd worden. Hierbij weerspiegelt een professional zichzelf en overdenkt zijn eigen handelen. Deze beschouwing leidt tot

aanpassing van zijn toekomstig gedrag. Michael Eraut (1994) zegt in zijn boek over reflectie:

“Thus there is need for professionals to retain control over the more intuitive parts of their expertise by regular reflection, self evaluation and a disposition to learn from colleagues.”

Reflectie, zelfevaluatie en leren van collega’s zijn drie aspecten die met elkaar samenhangen en die belangrijk zijn om optimaal gebruik te maken van de mogelijkheden van het in dit onderzoek ontwikkelde instrument. Om dit inzichtelijk te maken en daarbij duidelijk te maken welke rol het instrument heeft, wordt hieronder in vier stappen dit proces besproken.

Allereerst moet er binnen een school een bepaald bewustzijn zijn, om het onderwijs wat de school biedt te willen verbeteren. Een reden hiervoor kan zijn dat de school aan de slag wil met kwaliteitszorg en/of dat de school bezig is met beleidsvorming. Belangrijk is dat dit niet alleen vanuit de schoolleiding gebeurt, maar dat leerkrachten van de school hier nauw bij betrokken zijn. De schoolleiding moet zich daarbij realiseren dat de kwaliteit van een school nauw samenhangt met de manier waarop leerkrachten onderwijs geven. Pas als leerkrachten direct betrokken zijn bij het proces van kwaliteitsverbetering, kan dit instrument op een effectieve manier gebruikt worden. Het creëren van een breed draagvlak onder leerkrachten om te werken aan de onderwijskwaliteit is hierbij belangrijk.

De volgende stap is dat alle leerkrachten van de school de vragenlijst invullen. De resultaten die bij het invullen van de vragenlijst gegenereerd worden, zijn van die kwaliteit, dat voor elke leerkracht inzichtelijk is waar in het werkproces nog mogelijkheid tot verbetering zit.

Aangezien het instrument een compleet en breed beeld geeft van dit werkproces, kunnen deze verbeteringen gericht zijn op het functioneren van de individuele leerkracht, maar ook op zaken die spelen op schoolniveau. Dit onderscheidt is van wezenlijk belang. Aan de aanbevelingen die gelden voor een individuele leerkracht kan een leerkracht namelijk zelf