Pilot: opzet, evaluatie en consequenties

Om ervaringen op te doen met deze methode is een pilot uitgevoerd met twee leraren. In deze paragraaf wordt per onderdeel besproken hoe het pilotonderzoek is opgezet, welke ervarin- gen daarmee zijn opgedaan en welke conclusies daaruit zijn getrokken voor aanpassing van het instrumentarium.

Werving van leraren en scholen

Voor de werving van leraren zijn twee werkwijzen uitgeprobeerd: Een sneeuwbalbenadering: het via collega-opleiders vragen naar geschikte scholen en leraren die ze als experts beschou- wen. Het betrof hier collega’s van de Masteropleidingen speciale onderwijszorg van Hogeschool Windesheim en Fontys Hogescholen: instituten die vertrouwd zijn met het werkveld en jaarlijks ruim 4.000 studenten opleiden De andere benadering betrof het via inspectiebeoordelingen se- lecteren van de lijst met bestscorende scholen (SBO en cluster 4) en vervolgens de directeuren van deze scholen (schriftelijk én mondeling) vragen te helpen bij het werven van experts. Ter ondersteuning werd gebruik gemaakt van een brief waarin achtergrond, doel en opzet van het onderzoek zijn beschreven en waarin de geselecteerde leraren wordt gevraagd om hun interesse voor deelname aan te geven. Deze brief bevat ook het aanbod om in een gesprek de opzet toe te lichten en een mogelijke deelname samen te verkennen. Pogingen om via inspec- tiebeoordelingen tot een selectie van goede scholen te komen zijn niet gelukt omdat relevante gegevens destijds niet toegankelijk waren. Voor de verdere werving is gekozen voor intensi- vering van de sneeuwbalmethode: werving via collega-opleiders en zelf actief benaderen van bekende goede scholen. Als een collega-opleider een potentiële kandidaat voorstelde belde de onderzoeker de betreffende leraar op en stuurde hem een uitnodigende brief.

Tijdstip van het onderzoek

In de pilotfase waren geen criteria geformuleerd voor de periode in het jaar waarin het on- derzoek wordt verricht. In de situatie van de twee leraren die aan deze pilot meededen bleken de oorspronkelijke problemen die de leraren beschreven hadden deels of geheel opgelost of

verdwenen te zijn. Bij een leraar omdat besloten was om een leerling uit de groep te plaatsen en omdat tijdens de opnamedag een andere leerling ziek was. Bij de andere leraar omdat het probleem door een gerichte aanpak grotendeels was opgelost. In voorgesprekken met nieuwe kandidaten werd duidelijk dat er in de loop van het jaar duidelijk sprake is van een ontwikke- ling. Goede leraren lossen voorkomende problemen in hoge mate op.

Voor zover dit mogelijk was is er voor gekozen om het vervolgonderzoek vroeg in het school- jaar uit te voeren. Dan leggen leraren de basis voor een goede ontwikkeling. Overwogen is om later in het jaar nog een keer opnames te maken om de dynamiek van ontwikkeling in beeld te brengen en beter zicht te krijgen op de kwaliteiten van de leraren. Omdat het onderzoek voor de betrokkenen al tijdsintensief was is daarvan afgezien.

De kwaliteit van de zelfbeschrijvingen

In een gesprek met de leraar licht de onderzoeker de aanpak van het onderzoek toe en overhan- digt hij een ‘Stappenplan voor deelnemers’. Dan worden samen met de leraar enkele relevante pedagogische situaties gekozen. De onderzoeker vraagt de leraar een zelfbeschrijving te maken waarin hij motiveert waarom hij voor deze situatie behoefte heeft aan nadere verkenning; be- schrijft wat hij in de situatie wil realiseren; beschrijft welke opvattingen zij/hij heeft over hoe te handelen; beschrijft waarop bij de opnames/gesprekken de aandacht gericht moet worden. Voor deze beschrijving wordt de leraar gevraagd gebruik te maken van de ‘Aanwijzingen voor voorbereiding: motivatie van de keuze en aandragen van informatie voor onderzoek’. De leraar levert deze zelfbeschrijving (met eventueel bijbehorende documentatie) bij de onderzoeker in. In een daaropvolgend gesprek bespreekt de onderzoeker met de leraar de zelfbeschrijving. Indien gewenst komen ze in het gesprek tot een nadere uitwerking.

Beide leraren formuleerden duidelijke doelen en taakopvattingen. Beide leraren plaatsten het probleem in de context en beschreven hoe ze gericht aan dit probleem hebben gewerkt. Wel zat er een groot verschil in de concrete uitwerking van de probleemanalyse en de planmatige opzet. Zo voegde de leraar die de analyse breder onderbouwde een bijlage toe waarin een uitgewerkt groepshandelingsplan was opgenomen. De vraag is aan de orde in hoeverre deze verschillen relevant zijn voor het onderzoek:

– In hoeverre is het zinvol eisen te stellen aan de zelfbeschrijving als selectiecriterium voor verdere voortgang? Anders geformuleerd: In hoeverre is de zelfbeschrijving een uitdruk- king van de kwaliteit van de leraren?

– In hoeverre moeten er nadere eisen gesteld worden aan de zelfbeschrijving als onder- zoeksmateriaal? Dat komt ook neer op de vraag in hoeverre verwacht mag worden dat goede leraren in staat zijn relevante aspecten te articuleren.

Het verschil in specificatie tussen beide uitwerkingen kan verklaard worden door verschillen in het onderwijs, in de mate waarin de leraren in hun analyse ondersteund werden en door de instructie voor de zelfbeschrijvingen.

Verschillen in de primaire taak, de aard van het probleem

– Programmatisch: de leerlingen in de groep van Q volgen allen een individueel leerplan. Omdat ze ook stage lopen zijn ze slechts een deel van de week in de school. Bij M is er in principe sprake van één programma waarbij in niveau en werkwijze op de diverse leerlingen wordt afgestemd. Problemen in samenwerking en afwegingen m.b.t. de re- latie tussen didactische en pedagogische doelen en werkwijzen komen daarmee in een heel andere perspectief te staan. Het ontbreken van duidelijke programmatische kaders maakt het voor Q complexer, moeilijker de situatie te analyseren.

– Groepssamenstelling: het werken met pubers stelt eigen eisen aan de omgang met leer- lingen, Q kan daardoor in doelstelling en werkwijze minder strikt sturen, moet meer improviseren. Dat wordt nog versterkt door wisselingen in de groepssamenstelling. – Bijzondere problematiek: in beide groepen is er sprake van leerlingen die om een speci-

fieke aanpak vragen. In de groep van Q blijkt dit extra gecompliceerd te zijn omdat bij 1 leerling er sprake is van heel complexe, niet te diagnosticeren, problematiek. Ook de deskundigen komen er niet uit.

Verschillen in begeleiding

M heeft, in het kader van de opleiding die ze volgde, haar probleem duidelijk moeten articu- leren. Door de geboden begeleiding is ze bewuster bezig geweest met de probleemanalyse en is ze op het spoor gebracht van het groepshandelingsplan. Ik veronderstel dat ze zonder deze opleiding minder specifiek in haar uitwerking was geweest. Dat is niet (alleen) een kwestie van kwaliteit; door de opleiding heeft M veel tijd aan dit probleem besteed.

Mogelijke problemen door het taalgebruik in de instructie

Tijdens de videobesprekingen en het biografisch interview bleken de leraren meer in hun overwegingen te betrekken dan ze uitschreven. Daarin waren ook kenmerken te herkennen van reflection in action en van verwoordingen van tacit knowledge. Leraren betrekken veel meer aspecten in hun functioneren dan wat verwoord is in de zelfbeschrijvingen. Een deel van die aspecten is moeilijk te verwoorden, een belangrijk deel is gebaseerd op de specifieke context en de ervaringen die leraren met leerlingen hebben opgedaan. De verstrekte instruc- tie vertoonde in hoge mate de kenmerken van argumentatief taalgebruik, de opzet van een betoog. Daarin kan een verklaring gevonden worden voor het probleem dat een van de le- raren aangaf: zij bleek moeite te hebben met het kort beschrijven van de situatie. In de mate waarin het denken van leraren in hoge mate narratief-biografisch gestructureerd is kan dit interfereren met een werkwijze waarbij uitgegaan wordt van een argumentatieve benadering. Al in de pilotfase heeft de onderzoeker de betreffende leraar geadviseerd om voor een impres- sionistische, narratieve, beschrijving te kiezen: omdat die goed bij haar wijze van functione- ren aansluit en omdat de onderzoeker verwacht dat dit voor het onderzoek rijker materiaal oplevert. In het vervolgonderzoek is de instructie voor de zelfbeschrijving aangepast zodat er sprake is van een betere mix tussen een verhalende en een betogende benadering. In de voorbereidende gesprekken met de leraren is dit punt expliciet besproken. De leraren werd aangeraden de manier van verwoorden te gebruiken die het beste bij hen past.

Van analyse van, naar reflectie op de videobeelden: introductie van een deugdeninterview

In de oorspronkelijke opzet was het de bedoeling de video-opnames te analyseren aan de hand van de deugden om op basis daarvan de gesprekken voor te bereiden. Bij het bekijken van de video-opnames lukte het niet om op basis van de observatie van de video-opnames een (voldoende) beeld van de deugden te vormen. Dit hing samen met een belangrijk kenmerk van de deugden, zoals gedefinieerd in hoofdstuk 2: kenmerkend voor een deugd is nu juist dat het handelen een kwestie is van een goede afstemming op de persoon, het te realiseren doel en de gegeven context. Voor een goede inschatting welke deugd aan de orde is zijn de eigen beweegredenen van de leraar medebepalend. Deugden zijn niet prescriptief, schrijven niet voor wat goed handelen is. Ze kunnen eerder gekenmerkt worden als een patroon van handelen (dat kenmerkend is voor de betreffende leraar). Daarom is er al tijdens de pilotfase voor gekozen om in (de voorbereiding van) de videobespreking de leraar expliciet te vragen naar reflecties op het eigen handelen om op deze wijze het handelen zelf en de beweegredenen ervoor zichtbaar te kunnen maken.

Ontwikkeling van deugdenvragenlijst en deugdeninterview

Hoewel de onderzoeker de deugden aan de beide leraren had toegelicht bleek het voor hen niet vanzelfsprekend om in relatie tot de video-opnames op de deugden te reflecteren. Daar- om heeft de onderzoeker in de pilotfase een deugdenvragenlijst ontwikkeld en gebruikt om hen vertrouwd te maken met de deugden als referentiekader voor hun reflecties. De deugden- vragenlijst heeft de volgende opzet:

– Van elke deugd wordt eerst de definitie gegeven

– Op de vraag: “Herken je deze deugd?” kan de leraar met “ja” of “nee” antwoorden.

– Vervolgens worden een of meer uitspraken geformuleerd waarin de maatvoeringsken- merken van de betreffende deugd zijn getypeerd (Voorbeeld: Ik zoek naar een goede verhouding tussen “negeren” (niet zien) en “bevestigen” (de blik vasthouden)). In relatie tot elke uitspraak wordt de leraar eerst gevraagd om in een 5-puntsschaal (van ‘nooit’ tot ‘altijd’) aan te geven in hoeverre deze kenmerkend is voor zijn functioneren. Vervolgens wordt hem gevraagd om in een 3-puntsschaal aan te geven welke van beide uitersten zijn gedrag het meest kenmerken (voorbeeld: Op de vraag ‘Wat overheerst’ kiest de leraar tussen ‘niet kijken’, ‘beide evenveel’ of ‘kijken’)

Aan de hand van deze deugdenvragenlijst kunnen de leraren dus zelf aan geven welke deug- den voor hen van toepassing zijn en wat daarin kenmerkend is voor hun handelen. De le- raren krijgen de keuze deze lijst vooraf in te vullen (als ze liever rustig de tijd namen om te reflecteren) of tijdens een interview de vragen te beantwoorden (als ze de voorkeur gaven aan verheldering van de vragen). Ongeacht deze keuze wordt bij alle leraren een deugdeninter- view afgenomen. Dat biedt de leraren de mogelijkheid om vragen te stellen over mogelijke onduidelijkheden in doel en/of omschrijving van de deugden. De onderzoeker kan bij twijfels of onduidelijkheden in de antwoorden van de leraren doorvragen. Daardoor ontstaat ook inzicht in het begrip van de deugden als kader voor de reflecties en analyses. In de pilotfase is bij beide leraren in één interviewgesprek de afname van de vragenlijst gecombineerd met

het biografisch interview. De deugdenvragenlijst bleek verhelderend te werken. Wel bleek het nodig op enkele punten de formulering in de deugdenvragenlijst te verbeteren.

In het vervolgonderzoek is er bewust voor gekozen om de leraren vanaf het begin actief te betrek- ken bij de articulatie van de deugden. De leraren maken vroeg in het onderzoek, voorafgaande aan hun zelfbeschrijvingen, kennis met de deugden. Daarbij wordt gebruik gemaakt van de deug- denvragenlijst die in de vorm van een interview wordt bevraagd. De leraren kunnen kiezen om de vragenlijst vooraf zelf in te vullen. Op basis hiervan wordt de leraren gevraagd om actief te reflecteren op de betekenis van deze deugden voor hun functioneren: In de zelfbeschrijving wordt hen gevraagd welke deugden mogelijk kenmerkend zijn voor hun kwaliteiten. In de voorbereiding op de videobespreking wordt hen gevraagd aan te geven waar in de video-opname(s) de deugden zichtbaar worden. Tijdens de videobespreking wordt op de reflecties en articulaties van de leraren doorgevraagd, met nadruk op het handelen dat kenmerkend is voor de afzonderlijke deugden. Het protocol van het biografisch interview wordt hierdoor ook meer gerelateerd aan de eigen articu- latie van de deugden. In dit interview is vooral doorgevraagd op de visies van leraren en relevante ervaringen die een rol hebben gespeeld bij de ontwikkeling van de deugden.

Beeldvorming/membercheck

In de pilotfase was alleen geformuleerd dat per leraar deugden zouden worden gearticuleerd op basis van de aanwezige bronnen: zelfbeschrijving, eigen analyse van de video-opnames, re- flecties van de leraar op de video-opnames, transscripties van het video-interview, het biogra- fisch interview en het deugdeninterview en de ingevulde deugdenvragenlijst. Op basis van een globaal uitgewerkte structuur (zie 3.5) is de beeldvorming van beide leraren uitgewerkt. Deze teksten zijn in de vorm van een membercheck aan beide leraren voorgelegd. Op basis van de diverse bronnen lukte het goed om de afzonderlijke deugden te articuleren; de verschillende bronnen vulden elkaar goed aan. De eigen articulaties van de leraar voegden betekenis toe, werkten ook nuancerend en soms corrigerend op de beeldvorming. Beide leraren konden zich, behoudens enkele aanvullingen en correcties, goed vinden in de uitgeschreven beeldvorming. Daarom is besloten om de structuur die in het pilotonderzoek ontwikkeld was ook in het hoofd- onderzoek te volgen. Alleen bij de beschrijving van de afzonderlijke deugden is de volgorde van de diverse bronnen enigszins aangepast: het deugdeninterview wordt als tweede bron vermeld.