de computer te werken en enkele van hen wilden de computer zelf bedienen (wat in verband met de uniformiteit van de te volgen procedure niet mocht). Na de VLESK‐K is de Watje Wimpie‐taak afgenomen: 'We gaan het boek Watje Wimpie lezen (waarbij het boek aan het kind wordt overhandigd) en er daarna ook nog even samen over praten'. Alle kinderen namen de uitnodiging het boek door te bladeren direct aan. Voorgelezen worden door de computer, zorgde aanvankelijk bij enkele kinderen voor verrassing ("Hé, da's gek!") maar leek, eenmaal begonnen, al snel gewoon gevonden te worden. Geen van de kinderen had Watje Wimpie eerder gezien of gelezen en alle kinderen leken het verhaal zowel grappig (lachen) als spannend ("Oei!", "Pas op!") te vinden. Het navertel‐ len van het verhaal vonden enkele kinderen lastig ("Dat kan ik niet", "Ik weet niets meer") maar na enkele aanmoedigingen kon de opdracht toch door alle kleuters worden uitgevoerd. Bij onderdeel 3, de gerichte vragen over het verhaal, kwamen de reacties soms wat aarzelend op gang. De eerste vraag Wie doen er allemaal in het verhaal mee? leek bij enkele kinderen enige verwondering op te wekken (verbaal of non‐verbaal ge‐ communiceerd) en moest dan ook regelmatig geparafraseerd worden tot Wie heb je
allemaal gezien in het verhaal? Ook bij de gerichte vragen geldt dat eenmaal op gang,
alle kinderen dit onderdeel van de taak konden maken. De meeste kinderen legden de VLES‐K en de Watje Wimpie‐taak af in ruim twintig minuten. Maar er was ook een kind dat meer dan een half uur bezig was en een kind dat na een kwartier al klaar was. Het eerste kind praatte bij de VLES‐K honderduit over de boeken die het kent en vertelde uitgebreid bij het doorbladeren van Watje Wimpie (onderdeel 1). Het kind dat nog geen kwartier bezig was, beantwoordde de vragen juist heel kort of zei dat hij het niet wist. In beide situaties is er een rol weggelegd voor de taakassistent: bij kinderen die veel praten de respons beperken tot relevante zaken en kinderen die weinig zeggen aanmoedigen wat uitvoeriger te antwoorden.
Het testen van de Watje Wimpie‐taak heeft geleid tot enkele herformuleringen van vragen en prompts, en tot verbeteringen in de opstelling en bediening van de appa‐ ratuur. Het belangrijkste inzicht uit de proef‐afnamen is echter dat de Watje Wimpie‐ taak beter kan worden afgenomen vóór de VLES‐K. De aanvankelijke gedachte was dat de VLES‐K een goede 'aanloop' naar de literaire competentie‐taak zou zijn en kinderen de gelegenheid biedt aan de taaksituatie wennen. Maar in de praktijk bleek dat na het spel‐ (of quiz‐) karakter van de VLES‐K, het de kinderen enige moeite koste over te scha‐ kelen naar de meer bedachtzame lees‐ en luisterhouding die nodig is voor het beant‐ woorden van de open vragen van de Watje Wimpie‐taak.
BETROUWBAARHEID EN VALIDITEIT VAN DE WATJE WIMPIE‐TAAK
Bij de ontwikkeling van de Watje Wimpie‐taak voor literaire competentie zijn verschil‐ lende maatregelen genomen die bijdragen aan de betrouwbaarheid en de validiteit van het meetinstrument. Om te beginnen is het concept literaire competentie uitgewerkt via systematisch ontwikkelde en gedefinieerde begrippen en categorieën. Deze begrippen en categorieën zijn ontleend aan het theoretisch discours van Culler (2002) (hoofdstuk 1) en vervolgens gefundeerd in het veld via de Delphi‐procedure (hoofdstuk 3) en het ont‐
Hoofdstuk 6. Meetinstrumenten: De Watje Wimpie‐taak en VLES‐K 143
wikkelingsonderzoek (hoofdstuk 5). De langs deze weg verkregen inzichten vormen de inhoudelijke basis (het theoretisch construct) van de Watje Wimpie‐taak.
BETROUWBAARHEID De uniforme afnameprocedure en het gestandaardiseerde beoorde‐ lingsprotocol (beide ontleend aan Paris & Paris 2001) dragen bij aan de navolgbaarheid en herhaalbaarheid van de taak. Dit houdt in dat de stappen bij het afnemen van de taak inzichtelijk zijn en dat iedere nieuwe afname op dezelfde manier verloopt. Toevallige fouten of storende invloeden tijdens het afnemen zijn niet volledig uit te sluiten, maar in principe gebeurt iedere taakafname op dezelfde wijze (Garson 2010a; 't Hart et al. 2001). Het maken van video‐opnamen tijdens de taakafname draagt bij aan de controleerbaar‐ heid van de gevolgde procedures. Bovendien maken deze opnamen het mogelijk de antwoorden van de kinderen te laten scoren door twee of meer onafhankelijk van elkaar opererende personen, waardoor de mate van overeenkomst tussen deze beoordelaars kan worden uitgerekend (via een interbeoordelaarsbetrouwbaarheidsanalyse, zie onder andere: 't Hart et al. 2001; Van Wijk 2000). Deze maatregelen dragen bij aan de be‐ trouwbaarheid van het instrument, en vormen een belangrijke voorwaarde voor validi‐ teit.
INHOUDSVALIDITEIT Om valide te zijn moet het instrument zo goed mogelijk zijn toegesne‐ den op wat het moet meten (onder andere Borsboom et al. 2004; Garson 2009a; 't Hart et al. 2001). Daarom is het belangrijk dat de vragen van de Watje Wimpie‐taak en de vragen uit de leesaanwijzingen dicht tegen elkaar aan liggen. Ook is het van belang dat het boek dat gebruikt wordt bij het afnemen van de taak, een zo adequaat mogelijke afspiegeling is van het in de interventie gebruikte prentenboekencorpus. De eerder in dit hoofdstuk uitgevoerde analyse van Watje Wimpie laat zien dat dit boek het corpus in hoge mate representeert. COMPLEXITEIT EN EERLIJKHEID Verder is het voor de validiteit van belang dat de taak leerlin‐ gen daadwerkelijk gelegenheid biedt hun literaire competentie te tonen. De taak moet daarom eerlijk zijn in de zin dat hij qua cognitieve complexiteit aansluit bij wat van kleu‐ ters verwacht kan worden (de noties 'fairness' en 'cognitive complexity', onder andere: Hanauer 1996; Linn et al. 1991; Moss 1992, 1994; Paris & Paris 2001)). Aan deze voor‐ waarde lijkt te zijn voldaan doordat de taak wat betreft inhoud en werkwijze sterk lijkt op de manier waarop kinderen tijdens het ontwikkelingsonderzoek succesvol omgingen met prentenboeken. Hierbij moet wel opgemerkt worden dat het succesvol uitvoeren van een individuele taak toch nog iets anders is dan succesvolle deelname aan het klassi‐ kale voorlezen.
ECOLOGISCHE VALIDITEIT De testafnamen hebben laten zien dat het maken van een individu‐ ele taak voor kleuters behoorlijk spannend kan zijn. Het uit de klas halen van kinderen voor het onder gecontroleerde omstandigheden voorlezen van een boek en maken van een individuele taak, staat op gespannen voet met de notie van ecologische validiteit (onder andere Garson 2009a; 't Hart et al. 2001). In het kleuteronderwijs worden kinde‐ ren immers niet op deze manier voorgelezen maar klassikaal, door hun eigen vertrouwde leerkracht. Spanning en onzekerheid bij het maken van de taak kunnen verhinderen dat een kind de opdrachten naar beste kunnen uitvoert (onder andere Huberty 2008, 2009). De taakcontext kan er dus toe leiden dat de performance van de respondent mogelijk
144 P r e n t e n b o e k e n lezen als literatuur geen goede afspiegeling vormt van zijn competence (hoofdstuk 1). Daarom is het belang‐ rijk dat in de testruimte enkele ecologische factoren van de klas zo goed mogelijk wor‐ den nagebootst, waardoor kinderen zich beter op hun gemak voelen. Het aanbieden van een authentieke leessituatie (Hanauer 1996) door middel van een echt prentenboek dat wordt voorgelezen door een 'echte juf',66 gevolgd door een voor het kind bekende vorm van interactie (samen praten over het boek) is daarbij van groot belang. Ook is het nood‐ zakelijk dat de persoon die de taak afneemt pedagogisch inzicht heeft, gewend is met jonge kinderen om te gaan, hen op hun gemak kan stellen en kan motiveren voor het maken van de taak. Hieraan is tegemoetgekomen door een taakassistent aan te stellen die de pabo (Pedagogische Academie voor het Basisonderwijs) heeft gevolgd.
Bij de ontwikkeling van de Watje Wimpie‐taak is gestreefd naar een zo hoog mo‐ gelijke mate van betrouwbaarheid en validiteit. Door de genomen maatregelen mag verwacht worden dat de taak meet wat hij moet meten en dus valide is. Het gebruik van het instrument in het experiment (hoofdstuk 7) zal uitwijzen of dit inderdaad zo is. 66 De elektronische versie van Watje Wimpie begint als volgt: "Hallo! Ik ben juf A. en ik ga jullie een boek voorlezen. Het boek heet Watje Wimpie en het gaat over een kleine muis".
Hoofdstuk 7
Experimenteel onderzoek naar het voorlezen van prentenboeken als literatuur
INTRODUCTIE Tijdens het onderwijsontwikkelingsonderzoek (hoofdstuk 5) is het voorlezen van vieren‐ twintig prentenboeken met de bijbehorende literaire leesaanwijzingen op één basis‐ school 'uitgeprobeerd'. Het doel daarvan was inzicht te verwerven in hoe kinderen, daartoe aangezet door de leesaanwijzingen, reageren op literaire verschijnselen en effecten in prentenboeken. Het ontwikkelingsonderzoek heeft geleid tot een groot aan‐ tal paradigmatische fragmenten: passages uit voorleessessies, die inzicht bieden in het literaire lezen door kleuters. Bij deze fragmenten is steeds geprobeerd te expliciteren hoe kinderen, met de hulp van hun leerkracht, redeneren en welke leesstrategieën zij aanwenden bij het lezen van prentenboeken als literatuur. De opbrengsten van het ontwikkelingsonderzoek zijn een belangrijke empirische fundering voor een theorie van literaire competentie bij kleuters. Maar deze theorie is slechts plaatselijk ontwikkeld en heeft dus een geringe mate van externe validiteit. Bovendien laat het onderwijsontwik‐ kelingsonderzoek alleen maar zien dat er 'iets' ontwikkeld is maar niet hoe groot het effect van de literaire leeswijze is. Daarom wordt het ontwikkelingsonderzoek gevolgd door een experiment waaraan achttien scholen deelnemen. Het experiment wil nage‐ gaan of het voorlezen van de speciaal hiervoor geselecteerde prentenboeken met de bijbehorende leesaanwijzingen een aantoonbaar effect heeft op de literaire competentie van een grotere en bovendien meer divers samengestelde onderzoekspopulatie. Voor het experiment lezen negen kleutergroepen de vierentwintig prentenboeken met de leesaanwijzingen. Samen vormen deze groepen de experimentele groep Deze ingreep in het lesprogramma van de school wordt 'interventie' genoemd. De andere negen groe‐ pen, samen de controle groep, ondergaan deze ingreep niet. De controle groep verte‐ genwoordigt in het experiment het reguliere voorlezen. Op alle deelnemende scholen worden voorafgaand en na afloop van de interventie metingen verricht. Hiervoor maken kleuters de Watje Wimpie‐taak, een meetinstrument dat speciaal voor dit experiment is ontwikkeld (hoofdstuk 6). Dit instrument levert kwantificeerbare informatie op over de literaire competentie van de deelnemende kinderen. Schematisch weergegeven ziet het experiment er uit als volgt (figuur 1): Figuur 1. Schematische weergave van het experiment.
Conditie Voormeting Interventie Nameting
Experimentele groep (corpus met leesaanwijzingen) Controle groep (geen corpus, geen leesaanwijzingen)
146 P r e n t e n b o e k e n lezen als literatuur
Dit hoofdstuk beschrijft hoe het experiment is opgezet, hoe de metingen zijn uitgevoerd, op welke manier de data zijn geanalyseerd en wat de resultaten van deze analyses zijn.67,68