Deelonderzoek 2: evaluatie van de leereffecten

Onderzoeksvragen en operationalisering

Het tweede deelonderzoek is gericht op het bepalen van leereffecten van VILMS en de rol die de praktijkkennis van de mentor daarbij speelt. Deze evaluatie is uitgevoerd bij de eerste try-out en heeft een formatief karakter. Een summatieve evaluatie van de leereffecten, waarvoor data van de tweede try- out worden gebruikt, komt aan de orde in hoofdstuk 5.

De onderzoeksvraag voor dit deelonderzoek is:

Welke rol speelt de praktijkkennis van de mentor bij de lesuitvoering door de student?

Deze vraag is uitgewerkt in twee deelvragen:

1. In hoeverre verwerken studenten de vernieuwende vakdidactiek uit de cases in hun les?

2. Naar welke aspecten van de praktijkkennis van de mentor verwijzen studenten in de verantwoording van hun les?

Voor beantwoording van de onderzoeksvraag is gebruikgemaakt van het leerproduct van de studenten: een videoportfolio, waarin zij videofragmenten van hun eigen lespraktijk tonen en schriftelijk verantwoorden (zie §4.2). Met het videoportfolio kan worden nagegaan of de gewenste leereffecten zijn bereikt, namelijk de uitvoering van de vernieuwende vakdidactiek uit de cases en de verbinding tussen de eigen lespraktijk en de praktijkkennis van de mentor.

In de eerste plaats is met een analyse van de videofragmenten in het videoportfolio nagegaan welke kenmerken van de vernieuwende vakdidactiek uit de cases zijn verwerkt in de lesuitvoering van de student. De verwachting (op basis van de conclusies uit hoofdstuk 3) is dat de praktijkkennis van de mentor bepalend is geweest bij de overweging om kenmerken van de vernieuwende vakdidactiek uit de cases in een les te verwerken. In de tweede plaats is daarom met een analyse van de schriftelijke verantwoording in het videoportfolio nagegaan naar welke categorieën praktijkkennis van de mentor door de student wordt verwezen. De resultaten van de analyse van de schriftelijke verantwoording waren aanleiding voor een tweede analyseronde, waarin nader werd gekeken naar het sturende karakter van de praktijkkennis van de mentor waarnaar studenten verwijzen.

Voor een indicatie van de leereffecten werden videoportfolio’s gebruikt van de studenten die de dialoog met hun mentor hadden gevoerd volgens de richtlijnen van de interventie. De dataverzameling omvatte echter ook videoportfolio’s van studenten die de interventie niet volgens de richtlijnen hadden uitgevoerd: zij voerden een lesvoorbereidingsgesprek met hun mentor, zonder gebruikmaking van rich media-cases. Hierdoor deed de mogelijkheid zich voor om een vergelijking te maken tussen de leereffecten van een dialoog met en zonder gebruikmaking van cases. Die vergelijking kan wellicht verduidelijken welke rol de rich media-cases hebben in de dialoog.

Procedure en deelnemers

De beschrijving van de procedure en de deelnemers van het eerste deelonderzoek is ook van toepassing op het tweede deelonderzoek.

Dataverzameling

Voor de evaluatie van de leereffecten van VILMS is gebruikgemaakt van de videoportfolio’s van studenten die deelnamen aan de eerste try-out (zie Tabel 4.5). Van de 18 videoportfolio’s van de eerste try-out werden er zes geselecteerd voor analyse op grond van twee criteria: 1) de interventie is uitgevoerd volgens de richtlijnen; 2) de dataset is volledig. Ook werd in tweede instantie gebruikgemaakt van zes videoportfolio’s van studenten die in de dialoog met de mentor geen rich media-cases gebruikten. Van de overige zes videoportfolio’s ontbraken gegevens over de uitvoering van de interventie. Dat betekent niet automatisch dat de gebruikers de interventie niet volgens de richtlijnen hebben uitgevoerd. Echter, omdat alleen de data van de studenten bekend zijn, is dit niet met zekerheid te zeggen. Met het oog op de gewenste effectindicatie zijn deze zes videoportfolio’s daarom niet betrokken bij de evaluatie.

Instrumenten

Voor de analyse van de videoportfolio’s werden twee instrumenten gebruikt. Een checklist ‘vernieuwende vakdidactiek’ werd gebruikt om te bepalen of de studenten kenmerken van de vernieuwende vakdidactiek, zoals weergegeven in de cases, uitvoerden in hun les. De checklist bestaat uit een omschrijving van het vakdidactisch handelen dat waarneembaar is in de cases. De checklist is gebruikt bij de analyse van de videofragmenten in het videoportfolio.

In hoofdstuk 3 is een checklist ontwikkeld bij ontwerp 1.0 (over ‘boekoriëntatie’). Aangezien voor ontwerp 2.0 naast deze cases een tweede set cases werd geselecteerd, is een aanvullende checklist ontwikkeld. Omdat alle data uit de eerste try-out echter betrekking hadden op de eerste set cases (over ‘boekoriëntatie’), is bij de analyse van de videoportfolio’s alleen de reeds bestaande checklist gebruikt (zie Tabel 3.9).

Een instrument voor praktijkkennis van mentoren werd gebruikt om te bepalen welke rol de praktijkkennis van de mentor speelt bij de uitvoering van vernieuwende vakdidactiek uit de rich media-cases door de student. Het instrument (Tabel 4.6; zie bijlage J voor het volledige instrument) is gebaseerd op Van Driel, Verloop en De Vos (1998) en bestaat uit zeven categorieën praktijkkennis, gespecificeerd voor de context kleuteronderwijs en het specifieke vakdomein (beginnende geletterdheid). Het instrument wordt gebruikt bij de analyse van de schriftelijke verantwoording in het videoportfolio, om de verwijzingen naar opmerkingen van de mentor te verbinden aan een categorie praktijkkennis. Als een verwijzing in een videoportfolio bestaat uit meerdere uitingen, dan kunnen die aan verschillende categorieën worden verbonden. In Tabel 4.6 is per categorie, waar mogelijk, een voorbeeld gegeven van een verwijzing naar praktijkkennis van de mentor.

Tabel 4.6 Analyse van verwijzing naar praktijkkennis mentoren in videoportfolio

(evaluatie VILMS 2.0)

Dimensie Categorieën Code

De inhoud van de verwijzingen naar opmerkingen van de mentor

- Vakinhoud (verwijzingen (deel)vaardigheden van lezen en

schrijven, waarbij een vakterm wordt gebruikt) PK-V - Onderwijs aan kleuters in het algemeen (verwijzingen naar

klassenmanagement, pedagogisch klimaat en instructie bij kleuters, niet direct gerelateerd aan geletterdheid)

Voorbeeld: “Mijn mentor gaf aan: na het lezen van het

verhaal zijn de kinderen snel afgeleid; ze hebben dan al lang moeten stilzitten. Om dan ook nog vragen te moeten beantwoorden is te veel”

PK-A

- Leren van leerlingen (verwijzingen naar wat specifieke leerlingen op een bepaald moment kunnen (of juist niet) op het gebied van geletterdheid)

Voorbeeld: “Mijn mentor vond de kinderen op het niveau

dat ze in staat zijn om vooraf voorspellingen [over een prentenboek] te doen”

PK-Ls

- Doelen (verwijzingen naar vaardigheden op het gebied van geletterdheid die leerlingen op een bepaald moment moeten beheersen en die met een gerichte activiteit worden nagestreefd)

Voorbeeld: ”Mijn mentor vond het een goed idee om ook

meer aandacht te besteden aan een boek en niet alleen maar voor te lezen. Het is ook belangrijk dat kinderen leren aan de hand van de voorkant van het boek te voorspellen waar het verhaal over zou kunnen gaan”

PK-D

- Instructie (verwijzingen naar specifieke instructie op het gebied van geletterdheid)

Voorbeeld: “Mijn mentor gaf aan dat de leerlingen al

vaker hebben gewerkt met voorspellingen doen over een verhaal. Ze moesten vertellen waar ze dachten dat het verhaal over zou gaan. Dit deden ze dan naar aanleiding van de illustratie op de voorkant van het boek”

PK-Is

- Leerlijnen (verwijzing naar de volgorde waarin leerlingen over het algemeen bepaalde vaardigheden op het gebied van geletterdheid ontwikkelen)

PK-La - Materialen (verwijzingen naar (methode)materialen op het

gebied van geletterdheid)

Voorbeeld: “Mijn mentor vond het belangrijk dat alle

leerlingen in aanraking zouden komen met het werken met pictogrammen”

PK-M

Noot: PK = praktijkkennis; de overige letters zijn een afkorting van de betreffende categorie.

In de aanvullende tweede analyseronde werden de expliciete verwijzingen naar opmerkingen van de mentor gescoord als remmend of stimulerend voor de uitvoering van de vakdidactische ideeën uit de rich media-cases. De volgende criteria werden hierbij gehanteerd:

• Een verwijzing naar een opmerking van de mentor die betrekking heeft op het niet uitvoeren van een bepaald idee wordt gescoord als ‘remmend’. Bijvoorbeeld: ”Het gebruik van pictogrammen kon volgens mijn mentor nog niet. Daar moesten ze eerst meer over gehad hebben” (bij het idee ‘Werken met picto’s bij het voorlezen’).

• Een verwijzing naar het wel uitvoeren van een bepaald idee wordt gescoord als ‘stimulerend’. Bijvoorbeeld: “[Mijn mentor] vond het overigens belangrijk om de voorspellingen op te schrijven, zodat de kinderen de juiste schrijfrichting aanleren” (bij het idee ‘Noteren van voorspellingen’).

Analyse

De data zijn in twee rondes geanalyseerd. Uit de analyse van de schriftelijke verantwoording in de eerste ronde ontstond het beeld dat de praktijkkennis van mentoren een sturend karakter kon hebben. In de tweede ronde is daarom de schriftelijke verantwoording opnieuw geanalyseerd, waarbij de verwijzingen van de student naar opmerkingen van de mentor werden gescoord als ‘remmend’ of ‘stimulerend’ voor de uitvoering van de vakdidactische ideeën uit de rich media-cases.

De analyse bestond in totaal uit drie stappen:

1. De videofragmenten zijn gescoord met een checklist ‘vernieuwende vakdidactiek’ (zie Tabel 3.9);

2. In de schriftelijke verantwoording zijn de tekstdelen geselecteerd waarin de student de uitvoering van een idee uit de rich media-cases toelicht vanuit de praktijkkennis die de mentor heeft inbracht in de dialoog (de toelichting is onderdeel van de opdracht, zie bijlage D). De verwijzingen naar opmerkingen van de mentor werden verbonden aan een categorie praktijkkennis met behulp van het instrument praktijkkennis mentoren (zie Tabel 4.6);

3. In de schriftelijke verantwoording zijn expliciete verwijzingen naar opmerkingen van de mentor gemarkeerd (bijvoorbeeld: “Mijn mentor vertelde/ gaf aan/ zei/ vond”). De verwijzingen werden gescoord als remmend of stimulerend voor de uitvoering van de ideeën uit de cases. De drie analysestappen werden door de onderzoeker en een tweede beoordelaar onafhankelijk van elkaar uitgevoerd, waarna Cohen’s kappa werd berekend per analysestap.

Tabel 4.7 Interbeoordelaarsbetrouwbaarheid per analysestap voor leereffecten

(evaluatie VILMS 2.0)

Analysestap 1 Analysestap 2 Analysestap 3

Uitvoering vakdidactiek Categorieën praktijkkennis

mentor Sturende opmerkingen mentor

K = 0.94 K=0.88 K= 0.90

Noot: K= Cohen’s Kappa.

Uit Tabel 4.7 blijkt dat de interbeoordelaarsbetrouwbaarheid voor de drie analysestappen acceptabel was. Voor analysestap 2 was kappa in eerste instantie bijzonder laag (K= - 0.22). In onderling overleg werden onduidelijk- heden over de te scoren tekstdelen opgelost en interpretatieverschillen over de categorie ‘kennis over leren van leerlingen’ verhelderd. Dit resulteerde in een sterk verbeterde interbeoordelaarsbetrouwbaarheid (K = 0.88).

Bij de resultaten voor de leereffecten (§4.5) worden de eerste en de tweede ronde van de analyse gepresenteerd.