De kwaliteitseisen die aan het organisatiemodel worden gesteld (het werkt in verschil- lende contexten, onafhankelijk van de onderzoeker en het is inzichtelijk en toepasbaar voor schoolleiders), heeft geleid tot de keuze voor het ontwerpgericht onderzoek. In de literatuur over wetenschappelijk ontwerpgericht onderzoek wordt de term prag- matische validiteit (Van Burg, 2011) gebruikt om deze kwaliteitseis aan te duiden: de mate waarin het onderzoek leidt tot richtlijnen die, indien daadwerkelijk toegepast, de beoogde uitkomsten geeft. Maar aan de wijze waarop het onderzoek naar de pragma- tische validiteit plaatsvindt worden ook kwaliteitseisen gesteld: wordt betrouwbaar en valide aangetoond dat de TOS werkt volgens de claim, neergelegd in de ontwerpstel- ling (Van Aken, 2004).
Betrouwbaarheid De betrouwbaarheid van het onderzoek in de praktijk (de stabili- teit van de bevindingen, de herhaalbaarheid) vraagt extra zorg omdat de onderzoeken plaatsvinden in de complexe werkelijkheid van schoolorganisaties in plaats van een manipuleerbare experimentele setting. In de eerste plaats wordt betrouwbaarheid nagestreefd door de keuze van verschillende praktijksituaties en daarbinnen weer meerdere gevalsstudies. De analyse van de organisatiestructuur vindt bij 150 scholen uit alle vier sectoren plaats. Daarbij wordt eenzelfde protocol toegepast (tekenvoor- schriften voor het organogram en analysevragen). Door de interactieve manier van analyseren kunnen de bevindingen meteen met de deelnemers gedeeld en geverifi- eerd worden.
Het interventie-onderzoek (invoeren van de TOS) is in negen verschillende scholen gedaan, nadat de methode eerst beproefd is in een verkennend onderzoek in één school. Bij deze interventie-onderzoeken (bèta-testen) worden de effecten ge- registreerd via zelfrapportage van panels van leraren en schoolleiders en aparte in- terviews met de schoolleiders. In de panels wordt zowel door de afzonderlijke leden de effecten gescoord en besproken aan de hand van een korte omschrijving van de concepten (bijlage B) als ook daarna via een gemeenschappelijke reflectie daarop. Het panel functioneert daarbij als een focusgroep, waarbij extra informatie verkregen wordt uit het gesprek om vanuit de afzonderlijke scores tot een gemeenschappelijk oordeel over de effecten te komen. Van iedere school is tenminste een panelgesprek opgenomen en uitgeschreven voor nadere analyse. De bevindingen zijn gedeeld met de scholen. De uiteindelijke verslaglegging, inclusief de conclusies zijn voor commentaar voorgelegd aan de schoolleiders (deelnemers check). Ervaringen uit de parallel aan de onderzoeken doorgaande adviespraktijk zijn benut als extra check van de bevindingen.
5 Me thode Teamgerich t or ganis er en
De resultaten van het interventie-onderzoek worden beïnvloed door het on- derzoek zelf. Dat is het gevolg van de participatieve benadering (zie 5.3) in dit onder- zoek. Alle deelonderzoeken zijn er ook op gericht om tot verbeteringen voor de school te komen. Dat betekent dat op grond van de interviews bijvoorbeeld verbeteringen in de organisatiestructuur worden aangebracht, die bij een volgende meting tot andere resultaten leidt dan zonder die verbeteringen. Omdat de TOS nauwkeurig omschreven is en de verbeteringen mutaties betreffen die de feitelijke situatie op de scholen dich- ter bij deze ‘ideale’ TOS brengen, hebben de verbeteringen ‘onderweg’ geen negatieve invloed op de betrouwbaarheid. De eenduidige omschrijving van de TOS en het samen trainen van de schoolleiders, die de TOS in hun school invoeren, dragen bij aan de betrouwbaarheid van de resultaten.
De combinatie van ontwikkelaar van het model, adviseur en onderzoeker is een krachtige combinatie voor het onderzoek, maar vormt ook een bron voor moge- lijke self serving bias: de adviseur wil graag dat zijn model werkt. Het delen van de resultaten met de scholen ondervangt voor een gedeelte dit gevaar. Scholen hebben niet zozeer een belang bij het slagen van de TOS als wel bij het verbeteren van hun organisatie. Ook een ronde interviews met schoolleiders in aanwezigheid van een ob- servator gaat de bias tegen.
Validiteit Het is van belang dat de gevolgde procedures het mogelijk maken om gel- dige uitspraken te doen over de proposities en dus over de werking van de TOS. Daar- voor is borging van de interne validiteit, externe validiteit en constructvaliditeit nodig. Interne validiteit De interne validiteit wordt geborgd doordat de elementen van de ontwerpstelling eenduidig omschreven zijn en de ontwerpstelling in verschillende praktijksituaties gevalideerd wordt. Dat voorkomt rivaliserende verklaringen voor de effecten van de TOS, die mogelijk in een enkel geval een rol spelen (bijvoorbeeld het aantreden van een nieuwe directeur). Ten behoeve van de interne validiteit worden ook de proposities 1 t/m 3 gevalideerd: klopt het dat de organisatiestructuur van scho- len zonder TOS gekenmerkt wordt door zwakke verbindingen en zwak gedefinieerde teams en worden deze scholen gekenmerkt door geringe wendbaarheid?
Externe validiteit De externe validiteit wordt ondersteund door onderzoek in meer- dere sectoren en meerdere gevalsstudies in ieder onderzoek. De context in de ont- werpstelling (scholen met zwak gekoppelde actoren) blijkt in alle sectoren hetzelfde. Het generatieve mechanisme van de TOS is versterking van deze verbindingen, het- geen in alle sectoren op eenzelfde wijze gebeurt. Dat hangt uiteraard samen met de
122
Constructvaliditeit De constructvaliditeit wordt geborgd door de verschillende in- strumenten (omschrijving van professioneel handelen type 2, de TOS- itemlijst, de omschrijvingen voor wendbaarheid, toevallige professionele ontmoetingen en werk- plezier) en de tekenregels voor het organogram te testen in verkennende vooronder- zoeken en telkens weer ter beoordeling voor te leggen aan de deelnemers van de onderzoeken en in de adviespraktijk. Bij de omschrijving van kenmerken van professi- oneel handelen (inclusief de indeling type 1 en 2), is bovendien gebruik gemaakt van twee focusgroepen.
6 Empirie Teamgerich t or ganis er en
6
Toetsing van
de proposities
in de praktijk
6 Empirie Teamgerich t or ganis er en
Dit hoofdstuk beantwoordt de volgende vragen: