The story retold: similarities and differences between story generation tasks and story retelling tasks and their importance in the assessment of pragmatic language skills in children.
Van den Bremer, F.A.
Universiteit Leiden, Faculteit Sociale Wetenschappen – Orthopedagogiek
Story generation tasks and story retelling tasks are two examples of narrative tasks for children that can potentially provide information about pragmatic language skills. In the current study a comparison was made between a story generation task and a story retelling task. The main goal of this study was to determine differences in performance on the two narrative tasks. In addition, this study examines the validity and reliability of these tasks. The topic examined herein is important as pragmatic language skills play a major role in the development of children and have received little attention in the literature so far.
The sample used in this study consisted of 51 children between 8 and 11 years old, of which 26 are boys and 25 are girls. Half of the children were given a generation task and the other half a retelling task of the Busstory from the Renfrew Taalschalen Nederlandse Aanpassing (RTNA). Parents were asked to complete the Children’s Communcation Checklist-2 (CCC-2) in order to investigate their children’s communicative skills and the interraterreliability was assessed for 18 narratives.
A group comparison showed that for the story retelling task scores were higher for the narrative measures content, structure and mental state. During a retelling task, more relevant information was given by the children, they used more complex sentences and gave more insight into their mental state. The convergent validity with the CCC-2 was low. Furthermore, the intraclass correlation was acceptable, with the exception of the scores for embedding. In conclusion, this study showed that children perform better on the story retelling task. In clinical practise, the higher scores on the story retelling task can lead to a more complete assessment of narrative skills, which, in turn, can possibly lead to a more comprehensive view of pragmatic language skills. As differences do not exist between the reliability of the two narrative tasks, a choice between the two cannot simply be made and should take into account child characteristics. Finally, this study compares two different versions of the same narrative task (Busstory) and, in doing so, makes a novel contribution to the literature.
Het verhaal herverteld: verschillen en overeenkomsten tussen vertellingen en hervertellingen en de bijdrage hiervan aan de beoordeling van pragmatische taalvaardigheden bij kinderen.
Introductie
Communicatieve vaardigheden zijn van groot belang voor kinderen. Communicatieproblemen kunnen een grote invloed hebben op de verdere ontwikkeling van een kind; dergelijke problemen hebben bijvoorbeeld invloed op de dagelijkse sociale interacties en academische prestaties (Hadley & Schuele, 1998). Communicatieproblemen kunnen onder andere worden veroorzaakt door specifieke en pragmatische taalproblemen (Silvén, 2002). In de recente literatuur is reeds veel aandacht besteed aan specifieke taalproblemen (Specific Language Impairment; SLI), die bestaan uit gebrekkige woordenschat of grammaticale problemen (Norbury, Nash, Baird & Bishop, 2004). Over pragmatische taalproblemen is echter nog relatief weinig bekend, terwijl er veel kinderen zijn met deze taalproblemen (Ketelaars, Cuperus, Jansonius & Verhoeven, 2011).
Pragmatische taalvaardigheid kan worden gedefinieerd als “het adequaat gebruik van taal aangepast aan de context” (Bishop, 2000). Kinderen met pragmatische taalproblemen hebben moeite met het gebruik van taal in de sociale context en kunnen zich niet aanpassen aan hun gesprekspartner. Ze hebben daarnaast onvoldoende vermogen adequaat beurt te nemen en begrijpen intenties van de gesprekspartner minder goed (Landa, 2005). Een stoornis in de pragmatische taalontwikkeling staat bekend als Pragmatic Language Impairment (PLI) (Bishop, 2000) en meer recent als Social Communication Disorder (APA, 2013). Het is bekend dat pragmatische competentie gerelateerd is aan hyperactiviteit, emotionele en gedragsproblemen, problemen met leeftijdsgenoten en aan een gebrek aan prosociaal gedrag (Ketelaars, Cuperus, Jansonius & Verhoeven, 2010). Dit geeft onder andere aan hoe invloedrijk pragmatische problemen kunnen zijn.
Hoewel de Social Communication Disorder (SCD) in de nieuwste DSM, de DSM-5 is opgenomen, is de stoornis nauwelijks onderzocht. De exacte symptomen, prevalentie en comorbiditeit zijn onbekend (Ketelaars et al., 2011). De stoornis is tevens lastig te diagnosticeren door zijn heterogeniteit (APA, 2013). Een bijkomend probleem is dat er nog geen geschikt instrument beschikbaar is dat de sociale communicatie goed in kaart brengt en wat kan leiden tot een diagnose. Eén van de weinige genormeerde instrumenten op het gebied van pragmatiek is de Children’s Communication Checklist (CCC-2). Uit het onderzoek van Geurts (2007) blijkt dat de CCC-2 geschikt is als screeningsinstrument. De CCC-2 is een
vragenlijst die bestaat uit 70 Likert-geschaalde items over verschillende aspecten van de taalontwikkeling van het kind, welke door ouders of leerkrachten wordt ingevuld. Door middel van een cut-off score kan pragmatische taalproblematiek worden vastgesteld (Geurts, 2007). Een nadeel van de CCC-2 is dat de testresultaten weinig betrouwbaar zijn, aangezien er weinig overeenstemming is tussen verschillende informanten. Mogelijk kan dit echter verklaard worden door verschillende verwachtingen wat betreft taalontwikkeling op school en thuis (Bishop & Norbury, 2002; Geurts & Embrechts, 2010). Een groter probleem is echter dat de CCC-2 enkel een screeningsmiddel is, terwijl diepte-analyse noodzakelijk is om meer informatie te verkrijgen over de communicatieve competentie van het kind (Ketelaars, Cuperus, van Daal, Jansonius & Verhoeven, 2009).
Een potentieel waardevol instrument op het gebied van diepte-diagnostiek is een narratieve taak (Ketelaars et al., 2011). Dit is een complexe taak waar cognitieve, sociale en taalvaardigheden geïntegreerd worden en welke veel informatie geeft over het sociaal taalgebruik van het kind (Botting, 2002). Narratieve vaardigheden vormen een belangrijk aspect van pragmatische taalvaardigheden. Tevens zijn narratieve vaardigheden relatief makkelijk te vangen door de natuurlijke setting van de narratieve taken waarin kinderen zich vertrouwd voelen (Botting, 2002). Voorbeelden van pragmatische vaardigheden tijdens een narratieve taak zijn: een tijd lang aan het woord blijven, logische volgorde hanteren, voldoende informatie geven en rekening houden met de luisteraar (Tonnaer, 1999). Tijdens een narratieve taak moet het kind gestructureerde uitspraken formuleren die semantisch en syntactisch correct zijn en dit op een coherente wijze overbrengen (Bishop & McDonald, 2009). Het grote voordeel van narratieve taken is dat ze gestructureerd zijn en een objectieve scoring kennen (Ketelaars et al., 2011).
Binnen de narratieve taak zijn er twee vormen mogelijk: vertellingen en hervertellingen (Botting, 2002). Een vertelling is een productieve verteltaak waarbij kinderen aan de hand van afbeeldingen het verloop van gebeurtenissen vertellen (Mayer, 1969). Een veelgebruike vertelling is het frog-verhaal (Mayer, 1969). Dit verhaal gaat over een kikker, die gezocht wordt door een jongen en een hond. Tijdens een hervertelling daarentegen, wordt het verhaal eerst aan het kind verteld door de onderzoeker, waarna het kind het verhaal zo goed mogelijk moet navertellen aan de hand van dezelfde afbeeldingen (Renfrew, 1991). In de literatuur is het Busverhaal een veel voorkomende hervertelling. Dit verhaal gaat over een ondeugende bus die op pad gaat (Renfrew, 1991). Inhoudelijk verschillen de twee verhalen doordat het frog-verhaal meerdere hoofdpersonen kent en doordat het diepgaander is, terwijl het busverhaal één personage kent en oppervlakkig blijft.
Tijdens een vertelling of hervertelling kunnen verschillende narratieve componenten worden onderscheiden die betrekking hebben op pragmatische vaardigheden. Voorbeelden daarvan zijn inhoud, structuur en mentale staat. De narratieve component inhoud geeft aan hoeveel relevante informatie het kind vertelt; de belangrijke elementen die het kind noemt worden gescoord. De component structuur verwijst naar de mate van productiviteit, hoeveel uitingen een kind verwoord en in hoeverre een kind in staat is om complexe zinnen te maken (Ketelaars et al., 2010). Dit wordt bepaald door de gemiddelde zinslengte, het aantal uitingen die het kind gebruikt en/of het aantal onderschikkingen (Ketelaars et al., 2011). De mentale staat wordt tenslotte bepaald door het aantal en type mentale referenties die het kind gebruikt. Deze geven informatie over het begrip van de sociale context. Er kunnen drie soorten van mentale referenties worden onderscheiden namelijk, motiverende, experiëntiële en belief-referenties (Hall & Nagy, 1987). Motiverende mentale staten drukken verlangen of noodzaak uit of beschrijven de intentie om te communiceren. Voorbeelden hiervan zijn willen, proberen, zeggen of vragen. Experiëntiële referenties verwijzen naar percepties zoals zien en horen, of situationele emoties zoals verbazen of boos zijn. Belief referenties zijn psychologische processen die beroep doen op de cognitie, zoals denken, weten en raden (Hall & Nagy, 1987)
Er is veel bewijs dat narratieve taken sensitief zijn voor het vaststellen van taalproblemen. Adams (2002) bijvoorbeeld, concludeert dat kinderen met pragmatische taalproblemen tijdens een verteltaak tekorten laten zien in complexiteit en samenhang, weinig relaties tussen zinnen leggen en veel irrelevante informatie vertellen. Tevens hebben kinderen met pragmatische taalproblemen tijdens de vertelling moeite met het maken van lange zinnen, gebruiken ze minder structuur en minder socio- of affectieve referenties vergeleken met kinderen met SLI (Norbury & Bishop, 2003). Ook wat betreft herverteltaken is er bewijs. Uit een studie van Ketelaars et al. (2010) bleek bijvoorbeeld dat kinderen met pragmatische taalproblemen bij de hervertelling problemen hadden bij de narratieve maat structuur en het niveau van cohesie.
Hoewel beide narratieve taken daarmee geschikt lijken om (pragmatische) taalproblemen aan te tonen is er bewijs dat de keuze tussen afname van de vertelling of de hervertelling bij kinderen met (pragmatische) taalproblemen een effect heeft op de uitkomst. Er zijn slechts enkele onderzoeken bekend waarin de overeenkomsten en verschillen tussen de vertellingen en de hervertellingen worden beschreven (Merrit & Liles, 1989; Duinmeijer, De Jong & Scheper, 2012).
Uit onderzoek van Merrit en Liles (1989) bij twintig kinderen tussen de 9 en 11 jaar met taalproblemen en twintig kinderen zonder taalproblemen bleek een correlatie tussen de
vertellingen en hervertellingen (α =.78). Bij beide vertellingen hanteerden kinderen met en zonder taalproblemen een georganiseerde aanpak en legden ze logische relaties tussen verhaalcomponenten. Bij de hervertelling produceerden kinderen echter wel meer verhaalcomponenten dan bij de vertelling. Bovendien was er bij de hervertelling sprake van meer complete en langere verhalen waardoor de grammatica en cohesie betrouwbaarder en gemakkelijker kon worden geanalyseerd. Hierdoor kon een meer complete beoordeling plaatsvinden. De onderzoekers concluderen dan ook dat een hervertelling enkele voordelen heeft vergeleken met een vertelling bij een klinische populatie.
Vergelijkbare resultaten komen naar voren uit onderzoek van Duinmeijer et al. (2012). Zij onderzochten de verschillen tussen de vertellingen en hervertellingen bij een klinische populatie, bestaande uit 24 kinderen tussen de 6 en 10 jaar oud met structurele taalproblemen en bij een controlegroep. Bij vertellingen scoorden kinderen met taalproblemen significant lager op de het aantal onderschikkingen en de op de component structuur. Opvallend was dat de gemiddelde zinslengte hoger was bij de vertelling. Volgens Duinmeijer et al. (2012) is de verklaring voor bovenstaande resultaten dat kinderen met structurele taalproblemen profiteren van de input van de onderzoeker, ondanks dat deze kinderen problemen hebben met aandacht en geheugen. De kortere zinnen bij de hervertelling kunnen verklaard worden door het verschillen in structuur tussen het type taken. Het probleem is dat de resultaten van bovenstaande onderzoeken twijfelachtig zijn door de relatief kleine steekproef en doordat de twee verschillende narratieve taken erg verschillen qua structuur. Het frog-verhaal is namelijk diepgaander en er komen meer personages voor dan bij het busverhaal waardoor ze lastig met elkaar te vergelijken zijn (Merrit & Liles, 1989; Duijnmeijer et al, 2012).
Naast dat het van belang is om te kijken naar mogelijke verschillen als gevolg van taakaanbod is het tevens belangrijk om te kijken naar de betrouwbaarheid en validiteit van de narratieve taken. Uit het onderzoek van Merrit en Liles (1989) wordt geconcludeerd dat de hervertelling betrouwbaarder geanalyseerd kan worden vanwege de langere en completere zinnen. Gezien de limitaties van dit onderzoek, namelijk de kleine steekproef en de verschillende structuur van de narratieve taken, moet dit nader onderzocht worden.
Concluderend kunnen beide narratieven waardevolle informatie geven over bepaalde taalproblemen in een specifieke setting en is het tot nu toe niet bekend wat de verschillen en overeenkomsten zijn tussen de vertelling en de hervertelling op gebied van pragmatische problemen. Gezien de limitaties in de eerdere onderzoeken en de verschillende structuur van de vertellingen en hervertellingen, zijn de taken lastig met elkaar te vergelijken (Merrit & Liles, 1989; Duijnmeijer et al, 2012). Vernieuwend aan dit onderzoek is dan ook dat het
Busverhaal zowel als vertelling en als hervertelling gebruikt wordt, wat zal leiden tot nieuwe inzichten en meer duidelijkheid zal geven over de betrouwbaarheid en validiteit van deze taken. Als eerste worden scores op de narratieve componenten per narratieve taak onderzocht en wordt er gekeken of hier verschillen in zijn. In de tweede deelvraag wordt de convergente validiteit van de vertellingen bepaald, door de relatie tussen beide vertellingen en een drietal componenten van de CCC-2 te onderzoeken. Tenslotte wordt de betrouwbaarheid onderzocht door het bepalen van de interbeoordelaarsbetrouwbaarheid. De deelvragen luiden als volgt:
Wordt er verschillend gescoord op de narratieve componenten inhoud, structuur en mentale staat op vertellingen versus hervertellingen van de Busverhaaltest?
Wat is de convergente validiteit van de twee narratieve taken met de CCC-2? Is er verschil in betrouwbaarheid tussen de twee narratieve taken?
Uit het onderzoek van Merrit en Liles (1989) blijkt dat beide taken effectief zijn in het meten van pragmatische taalproblemen. Bij de hervertelling worden echter complexere zinnen gevormd (Merrit & Liles, 1989), dus er kan verwacht worden dat er significant verschillen zijn tussen de elementen op de vertelling en de hervertelling. Er is tot op heden geen onderzoek gedaan naar de relatie tussen de verteltaken en de CCC-2. Logischerwijs kan er verwacht worden dat er correlaties zijn tussen de drie narratieve componenten en de componenten van de CCC-2, aangezien het beiden om aspecten van communicatieve taalvaardigheid gaat. Daarnaast verwachten we een goede inter-beoordelaarsbetrouwbaarheid bij zowel de vertelling en de hervertelling, waarbij de hervertelling wellicht meer betrouwbaar is aangezien uit eerder onderzoek is aangetoond dat de herverteltaken makkelijker te analyseren zijn (Merrit & Liles, 1989).
Methode Participanten
De steekproef bestaat uit 51 kinderen met hun ouders, waarvan 26 jongens en 25 meisjes. De steekproef is random geselecteerd door aselect reguliere basisscholen te benaderen door heel Nederland. De leeftijd van de kinderen lag tussen de 8.00 en 10.75 jaar (M (in maanden) = 117.22 SD = 6.80). Het overgrote deel, namelijk 83,30% van de ouders, is afkomstig uit Nederland. Tevens spraken 47 van de 51 kinderen Nederlands thuis. Meer dan de helft van de ouders zijn hoog opgeleid en hebben een HBO of universitaire opleiding
voltooid (vaders = 51%, moeders = 59%). Er is in dit onderzoek geen sprake van exlusiecriteria.
Procedure
Dit onderzoek is uitgevoerd in kader van een grootschalig onderzoek van de Universiteit Leiden naar vertelvaardigheden bij kinderen. Het doel van dit onderzoek is het verkrijgen van inzicht in vertelvaardigheden van kinderen en de effecten ervan op sociale competentie.
Reguliere basisscholen zijn telefonisch benaderd en geïnformeerd over het onderzoek. Deze basisscholen zijn random geselecteerd. Na toestemming van de basisscholen zijn er brieven aan de ouders van kinderen tussen de 8 en 11 jaar uitgedeeld. In totaal hebben er, na toestemming van de ouders, 51 ouders met hun kinderen deelgenomen aan dit onderzoek. De respons was 57,5 %.
Voor dit onderzoek is bij de helft van de kinderen (n = 26) een vertelling en bij de andere helft van de kinderen (n = 25) een hervertelling van het Busverhaal (BVT) afgenomen (Jansonius et al., 2010). De kinderen zijn at random toegewezen aan één van deze condities. Tevens hebben zij twee geheugentaken uitgevoerd, namelijk de 15-woordentest van de NEPSY-II-NL (Zijlsta, Kingma, Swaab & Brouwer, 2010) en de subtest Cijferreeksen van de WISC (Kort et al. 2005). Ook hebben zij de Competentie-Belevingsschaal voor Kinderen (CBSK) ingevuld over hun sociale competentie (Veerman, Straathof, Treffers, van den Bergh & ten Brink, 1997). Daarnaast hebben ouders de Social Skill Rating System (SSRS) (Gresham & Elliot, 1990) en de Children’s Communication Checklist (CCC-2)(Geurts, 2007) ingevuld. De taken zijn afgenomen in een rustige ruimte op de basisschool van het kind door één onderzoeker. Het afnemen van de taken nam in totaal twintig minuten per kind in beslag. Na afloop hebben de kinderen de vragenlijsten voor hun ouders meegenomen, en hebben ouders deze ingevulde vragenlijsten weer teruggestuurd. Het kind was ervan op de hoogte dat de taken werden opgenomen door middel van geluidsapparatuur voor de transcriptie.
Instrumenten CCC-2
De Children’s Communication Checklist-2 (CCC-2) is een screeningsinstrument om de communicatieve vaardigheden van het kind in kaart te brengen (Geurts, 2007). Ouders beoordelen 70 likert-geschaalde items over de communicatie van hun kind in circa 10
minuten. Het instrument is geschikt voor kinderen tussen de 4 en 15 jaar met spraak- en taalmoeilijkheden. Items worden beoordeeld met 0: minder dan één keer per week (of nooit) - 1: minstens één keer per week – 2: één of twee keer per dag – 3: verschillende keren per dag (of altijd).
De CCC-2 bestaat uit 10 subschalen, namelijk Spraak Productie (A), Syntaxis (B), Semantiek (C), Coherentie (D), Ongepaste initiatie (E), Stereotiepe taal (F), Gebruik van context (G), Non-verbale communicatie (H), Sociale relaties (I) en Interesses (J). De eerste vier subschalen vormen de taalstructuur. Door de score op de items uit deze schalen op te tellen kan de Algemene Communicatie Score worden berekend. De schalen Onaangepaste Initiatie, Stereotiepe taal, Gebruik van context en Non-verbale communicatie, betreffen de pragmatiek, en zijn in dit onderzoek het belangrijkst. Deze scores op deze schalen resulteren in een Pragmatiek Score. Deze score wordt berekend door de score op de items bijbehorend bij de schaal Ongaangepast Initatie (5, 21, 35, 37, 45, 59, 70), op te tellen bij de bijbehorende scores op Stereotiepe taal (11, 18, 23, 30, 42, 61, 62), bij de bijhorende scores op Gebruik van Context (15, 19, 28, 34, 41, 54, 60) en bij de bijbehorende scores op de Non-verbale Communicatie (8, 14, 20, 31, 39, 56, 65). Bij een score hoger dan 53 behoren kinderen tot het 90 percentiel en komen ze in het klinisch gebied. De subschalen Sociale relaties en Interesses vormen tezamen de Sociale Interactie Score. Hoe hoger een score, hoe meer er sprake is van problematiek.
De psychometrische gegevens van de CCC-2 zijn redelijk. Zo ligt de interne consistentie van alle subschalen van de CCC-2 in het onderzoek van Geurts (2007) tussen de .66 en de .80. Na een Nederlandse vertaling ligt dit binnen een range van .53 en .75 (Spraakproductie α = .75, Syntax α = .64, Semantiek α = .62, Coherentie α = .53, Onaangepaste Initiatie α = .75, Stereotype taal α = .60, Gebruik van Context α = .72, Non-verbale Communicatie α = .60, Sociale Relaties α = .63 en Interesses α = .64). De interne consistentie van de componenten blijkt uit dit onderzoek goed te zijn, aangezien de interne consistentie van de Algemene Communicatie Score tussen de .82 en .89 ligt en de interne consistentie van de Pragmatische Score tussen de .78 en .88 (Geurts, 2007).
BVT
De busverhaaltest (BVT) is een van drie onderdelen van de De Renfrew-Taalschalen Nederlandse Aanpassing en Uitbreiding (RTNA) (Jansonius, Ketelaars, Borgers, Van den Heuvel, Roeyers, Manders & Zink, 2010). Het is een hervertelling en de afname vindt op een gestructureerde manier plaats aan de hand van afbeeldingen. De test is geschikt voor kinderen
tussen de 4 en 10 jaar. Bij de helft van de kinderen is de hervertelling afgenomen. Hierbij werd het verhaal aan de hand van afbeeldingen eerst verteld aan de kinderen, waarna hen gevraagd werd het verhaal te vertellen alsof de onderzoeker het nog niet kende. Bij de andere helft van de kinderen is de hervertelling aangepast tot een vertelling, waarbij het kind de instructie kreeg om het verhaal van de bus te vertellen, na het bekijken van de afbeeldingen. Het kind kreeg hierbij geen modelverhaal te horen. Om de component inhoud te scoren wordt het aantal belangrijke elementen gescoord, ook de ‘renfrew-score’ genoemd. Om de structuur te bepalen worden het ‘aantal uitingen’, het ‘aantal onderschikkingen’ en de gemiddelde zinslengte van de vijf langste uitingen berekend (‘ML5LU’). De laatste component mentale staat wordt bepaald door het aantal motivationele, experiëntiële en belief-referenties. Het busverhaal is nog niet beoordeeld door de COTAN.
Data-analyse
Voor de data-inspectie en statistische analyses is gebruik gemaakt van SPSS 21. Er waren geen missende waarden. De variabelen totaal aantal uitingen, aantal onderschikkingen, gemiddelde zinslengte, renfrew-score en mentale staat waren niet normaal verdeeld volgens de gestandaardiseerde skewness en kurtosis, Q-Q plot en histogram. Er was geen sprake van uitbijters bij de variabelen.
Om de deelvragen te beantwoorden zijn de data in verschillende stappen geanalyseerd. Aangezien er geen sprake is van een normale verdeling is er gebruik gemaakt van een non-parametrische vorm van de ANOVA, namelijk de Kruskwall Wallis-toets. Een Levene’s test toonde aan dat er sprake is van gelijkheid van varianties (p > .05). Omdat het aantal uitingen van invloed kan zijn op het aantal belangrijke elementen dat wordt verteld, zijn de variabelen eveneens gecorrigeerd voor het aantal uitingen
Om de convergente validiteit van de verteltaken te beoordelen is de relatie tussen de elementen op de verteltaak en herverteltaak en de componenten van de CCC-2 onderzocht door middel van een Pearson correlatie-analyse gecorrigeerd door een Bonferroni-test.
Om de inter-beoordelaarsbetrouwbaarheid te bepalen zijn door middel van de IntraClassCoefficient, met behulp van de methode two way model mixed - absolute agreement, de scores van de drie beoordelaars met elkaar vergeleken.
Resultaten
In Tabel 1 zijn de demografische gegevens van de twee groepen weergegeven. Uit de tabel valt op te maken dat de kinderen uit beide groepen vergelijkbaar zijn wat betreft aantal jongens en meisjes, leeftijd, etniciteit en SES van de ouders. Hierdoor kunnen de taken goed met elkaar worden vergeleken.
Tabel 1
Demografische gegevens van de vertelling en hervertelling Vertelling (n=26) Hervertelling (n=25) Geslacht (j/m) 14/12 12/13 Leeftijd in jaren (SD) 9.27(.92) 9.41 (.73) Nederlandse etniciteit (%) 84.6 84.0 SES vader (%) 1. Basisonderwijs 2. MAVO/VBO 3. HAVO/VWO/MBO 4. HBO/WO 7.7 15.4 19.2 46.2 4 4 32 56 SES moeder (%) 1. Basisonderwijs 2. MAVO/VBO 3. HAVO/VWO/MBO 4. HBO/WO 3.8 26.9 15.4 46.2 4 8 16 72
Vergelijking vertelling en de hervertelling
Om de eerste deelvraag te beantwoorden is er gekeken of er groepsverschillen zijn op de narratieve componenten inhoud (renfrew-score), structuur (aantal uitingen, aantal onderschikkingen en ML5LU) en mentale staat (motivationele, experiëntiële en belief referenties) tussen de vertelling en de hervertelling. De beschrijvende statistieken zijn weergeven in Tabel 2. Hierin is te zien dat de groepsgemiddelden van de hervertelling op alle componenten hoger liggen. Een non-parametrische variant van de MANOVA, namelijk een Kruskall-Wallis toets laat significante verschillen zien op alle maten tussen de hervertelling en de vertelling. Er werden significant meer uitingen, meer onderschikkingen, langere zinnen, meer belangrijke uitingen en meer mentale referenties gebruikt in de hervertelling dan in de vertelling.
Correctie voor aantal uitingen
Omdat het ‘aantal uitingen’ mogelijk van invloed is op de overige maten, zijn de analyses herhaald met het aantal uitingen als covariaat. Dit leidde tot vergelijkbaar resultaat.
Correlaties narratieve componenten met de componenten van de CCC-2
De Pearson’s correlaties tussen de narratieve componenten en de drie componenten van de CCC-2 namelijk de Algemene Communicatie Score, Sociale Interactie Score en de Pragmatische Compositie Score zijn te zien in onderstaande tabellen. In Tabel 3 zijn de correlaties bij de hervertelling weergeven en in Tabel 4 de correlaties bij de vertelling. Bij de hervertelling zijn geen significante correlaties zichtbaar. Bij de vertelconditie zijn twee correlaties zichtbaar. Zo is er sprake van een positieve correlatie tussen de Sociale Interactie Score en het ‘aantal onderschikkingen’ (r = .42, p <.05). Daarnaast is er een positieve correlatie tussen de Algemene Communicatie Score en het ‘aantal motiverende referenties’ (r = .49, p <.05). Dit zijn lage correlaties (Field, 2005), wat betekent dat er een zwak verband is tussen de Sociale Interactie Score en het ‘aantal onderschikkingen’ en tussen de Algemene Communicatie score en het ‘aantal motiverende referenties’.
Tabel 2
Beschrijvende statistieken vertellingen en hervertellingen Vertellingen Hervertellingen M SD M SD df H p Aantal uitingen 13.00 3.58 19.03 5.94 1 18.19 < .001 .26 Aantal onderschikkingen 2.06 1.82 5.05 2.67 1 21.02 < .001 .30 ML5LU 10.67 2.09 12.50 2.85 1 8.75 .001 .13 Renfrew-score 7.56 1.96 18.06 9.34 1 19.64 < .001 .28 Mentale staat: motivationeel 1.11 1.33 2.86 2.14 1 14.07 .002 .20 Mentale staat: experiëntieel 1.42 1.40 3.91 2.47 1 20.80 < .001 .30
Interbeoordelaarsbetrouwbaarheid
Om de betrouwbaarheid te bereken zijn er negen hervertellingen en negen vertellingen door drie beoordelaars met elkaar vergeleken. In Tabel 5 is de intraclasscorrelatie weergeven. Hierin is te zien dat als beide narratieve taken samen genomen worden, er sprake is van acceptabele tot goede interbeoordelaarsbetrouwbaarheid, aangezien alle scores boven de .70 zijn (Field, 2005). Wanneer de hervertelling en de vertelling apart worden geanalyseerd is dit niet het geval. De interbeoordelaarsbetrouwbaarheid van de score ‘aantal onderschikkingen’ is bij zowel de vertelling (r = .64, p < .05) als bij de hervertelling (r = .60, p < .05) laag. Bij de hervertelling is tevens de score ‘aantal experiëntiële referenties’ laag (r = .48, p < .05). Omdat het gebruik van een mentale staat, met name de experiëntiële mentale staat, maar weinig voorkomt, zijn de drie categorieën van mentale staat samengenomen. De mentale staat heeft Tabel 3 Correlaties hervertelling ACS SIS PCS Aantal uitingen .12 .10 .07 Aantal onderschikkingen .10 .26 .22 ML5LU .04 .32 .24 Renfrew-score -.28 .00 -.02 Mentale staat: motivationeel -.05 .19 .11 Mentale staat: experiëntieel .31 .15 .12
Mentale staat: belief .10 -.12 .10
*= correlatie is significant p < .05 Tabel 4 Correlaties vertelling ACS SIS PCS Aantal uitingen .29 .22 .25 Aantal onderschikkingen .22 .42* -.00 ML5LU .35 .35 .13 Renfrew-score .20 .05 .04 Mentale staat: motiverend .49* .32 .36 Mentale staat: experiëntieel .22 .24 .04
Mentale staat: belief .36 .03 .21
dan zowel bij de vertelling als de hervertelling een acceptabele inter-beoordelaarsbetrouwbaarheid.
Discussie
Een narratieve taak kan onder andere belangrijke informatie geven over de pragmatische taalvaardigheden van een kind, welke een belangrijke rol in de ontwikkeling spelen en tot nu toe onderbelicht zijn (Ketelaars et al., 2011). Mogelijk kan informatie over pragmatische taalvaardigheden tevens leiden tot verbetering in de diagnostiek van de sociale communicatie stoornis, welke sinds kort in de DSM-5 is opgenomen (APA, 2013). Er is veel bewijs dat narratieve taken sensitief zijn voor het vaststellen van taalproblemen op zich (Adams, 2002; Duinmeijer et al., 2012; Ketelaars et al., 2011; Merrit & Liles, 1989; Duinmeijer et al., 2012). Het is echter onduidelijk of zowel de vertelling als de hervertelling, beide vormen van narratieve taken, de narratieve vaardigheden van een kind goed in kaart kunnen brengen. Tot nu toe is het onbekend of er verschillend gescoord wordt door kinderen op de narratieve componenten van de vertelling en de hervertelling. Gezien de limitaties in eerdere onderzoeken, namelijk een relatief kleine steekproef en duidelijke verschillen in structuur tussen de taken, zijn de taken lastig met elkaar te vergelijken (Merrit & Liles, 1989; Duijnmeijer et al, 2012). Het doel van dit onderzoek was dan ook het bepalen van de verschillen tussen de scores op de narratieve componenten van de twee narratieve taken en daarnaast het onderzoeken van de validiteit en betrouwbaarheid van deze narratieve taken. Tabel 5 Intraclass Correlaties ICC Totaal (N = 18) ICC Vertelling (N = 9) ICC Hervertelling (N = 9) Aantal uitingen .94* .90* .94* Aantal onderschikkingen .80* .64* .60* ML5LU .82* .86* .71* Renfrew-score .95* .77* .82* Mentale staat: motiverend .91* .72* .87* Mentale staat: experiëntieel .72* .91* .48*
Mentale staat: belief Totale mentale staat
.92* .89* 1.00* .92* .85* .77* *p < .05
Zoals verwacht, bleek dat er verschillen waren wat betreft de narratieve componenten tussen de vertelling en de hervertelling. Bij de hervertelling gaven kinderen meer relevante informatie, maakten de kinderen complexere zinnen en gaven ze meer inzicht in hun mentale staat dan bij de vertelling. Dit resultaat is eerder in de literatuur bevestigd. Uit onderzoek van Merrit en Liles (1989) bleek namelijk dat de hervertelling makkelijker en betrouwbaarder te analyseren is, doordat het meer complete en langere verhaalcomponenten bevat (Merrit & Liles, 1989). Doordat de narratieve componenten vaker aanwezig waren bij de hervertelling, levert dit uitgebreidere data op. Een verklaring voor de verschillen tussen de hervertelling en de vertelling, is dat de input van de onderzoeker wellicht een rol heeft gespeeld (Duinmeijer et al., 2012). Door het verhaal als model aan te bieden bij de hervertelling, hoeven kinderen minder zelf te bedenken en kunnen kinderen profiteren van de structuur en informatie die hij of zij aangeboden krijgt via de onderzoeker.
Om de tweede deelvraag over de convergente validiteit van de narratieve taken te beantwoorden, zijn de narratieve componenten vergeleken met drie componenten van de CCC-2. Opvallend is dat er weinig significante correlaties zijn tussen de narratieve componenten en de componenten van de CCC-2, terwijl dit wel verwacht werd. Hoewel er enkele significante correlaties werden gevonden bij de vertelling, waren deze niet te duiden in termen van inhoudelijke overeenkomst. De convergente validiteit van de narratieve componenten met de CCC-2 blijkt dus laag voor zowel de vertellingen als de hervertellingen. Hierdoor kan de narratieve taak niet worden gebruikt om de informatie over de pragmatische vaardigheden van een kind die verkregen wordt door de CCC-2, welke louter een screeningsinstrument is, te vergelijken. Een verklaring voor het gebrek aan convergente validiteit is het feit dat instrumenten in termen van inhoud, beoordelaar en type instrument van elkaar verschillen. De CCC-2 is een vragenlijst, welke veel verschillende facetten van taal meet (Geurts, 2007). Een narratief is daarentegen specifiek gericht op enkele taalvaardigheden en kent een sociaal karakter, waardoor de inhoud van beide instrumenten erg verschillend is. Daarnaast blijkt uit verscheidene onderzoeken dat er veel discrepantie is tussen de beoordeling van gedrag door verschillende informanten, bijvoorbeeld ouders en leerkrachten (Verhulst & Akkerhuis, 1989). Dit wijst er mogelijk op dat het sociale en emotionele gedrag wat een kind laat zien context-afhankelijk is. Ook wat communicatie betreft, kan dit per context erg verschillen of verschillend geïnterpreteerd worden, wat in dit onderzoek mogelijk resulteert tot verschillen in scores bij de CCC-2 en de narratieve taken. De CCC-2 oudervragenlijst is zover bekend, niet vergeleken met testsituaties zoals een narratieve taak. Wel is de CCC-2 vergeleken met de Test of Pragmatic Language (TOPL) (Volden & Philips,
2010). Hierbij werd als verklaring aangedragen voor het resultaat dat de CCC-2 de pragmatische taalproblematiek beter in kaart brengt, dat de CCC-2 een breder aspect van taal meet en doordat ouders beter zicht hebben op de pragmatische vaardigheden dan een onderzoeker of leerkracht (Volden & Philips, 2010). In dit onderzoek verschillen de instrumenten ook veel qua inhoud en beoordelaar.
Wat betreft de interbeoordelaarsbetrouwbaarheid zijn er overwegend positieve bevindingen. Er is sprake van een acceptabele tot goede interbeoordelaarsbetrouwbaarheid over de verschillende maten. Als de hervertellingen en vertellingen apart worden geanalyseerd, is dit niet het geval. Voor de vertelling geldt dat alle scores een acceptabele interbeoordelaarsbetrouwbaarheid hebben, behalve het ‘aantal onderschikkingen’. Voor de hervertelling geldt dat het ‘aantal onderschikkingen’ en het ‘aantal experiëntiële referenties’ minder betrouwbaar zijn. Dit komt niet overeen met de verwachting, aangezien uit eerder onderzoek bleek dat de hervertelling betrouwbaarder was dan de vertelling. De interbeoordelaarsbetrouwbaarheid is echter maar één vorm van betrouwbaarheid, andere vormen van betrouwbaarheid zullen eveneens informatie geven over de nauwkeurigheid van de narratieve taken. Een van de verklaringen voor het gebrek aan interbeoordelaarsbetrouwbaarheid op een aantal maten, is dat dit onderzoek gebaseerd is op een relatief kleine steekproef. Aan de andere kant wijzen de acceptabele betrouwbaarheidcoëfficiënten van de overige scores erop dat er wellicht een andere oorzaak is. Voor zowel de vertelling als de hervertelling geldt dus dat de score ‘aantal onderschikkingen’ een lage interbeoordelaarsbetrouwbaarheid heeft. Het is mogelijk dat de beperkte formele training van de beoordelaars hier een rol in heeft gespeeld, waardoor sommige beoordelaars mogelijk bijvoorbeeld nevenschikkingen bij de onderschikkingen hebben ondergebracht. Voor wat betreft de experiëntiële referenties zou wellicht een rol spelen dat er over het algemeen weinig experientiële referenties gescoord zijn per verhaal, waardoor er gemakkelijk fouten gemaakt werden.
Een beperking van dit onderzoek is dat de beoordelaars weinig formele training hebben gehad in het afnemen en interpreten van de narratieve taken. Daarnaast zijn er maar weinig scholen benaderd, waardoor de resultaten mogelijk niet generaliseerbaar zijn voor alle kinderen in de Nederlandse populatie. Als laatste is het zeer belangrijk dat de invloed van het geheugen bij de verschillen tussen de vertelling en de hervertelling wordt onderzocht. Bij de hervertelling speelt wellicht het geheugen een belangrijke rol bij het onthouden van de input van de onderzoeker. Uit eerder onderzoek blijkt dat er bij de narratieve taken verschillend beroep wordt gedaan op cognitieve functies zoals aandacht en geheugen (Botting, 2002;
Duinmeijer et al, 2012), dus dit kan van invloed zijn op de resultaten in dit onderzoek.
Concluderend komt uit dit onderzoek naar voren dat kinderen bij een hervertelling over het algemeen betere prestaties laten zien. In de praktijk kunnen deze uitgebreidere taalanalyses wellicht leiden tot completere beoordeling van de narratieve vaardigheden van het kind. Ondanks dit feit zijn er geen verschillen wat betreft betrouwbaarheid tussen deze vertellingen. Beide taken leiden tot eenzelfde betrouwbare sample. Uiteindelijk zal een keuze voor één van beide taken in een diagnostisch onderzoek dan ook afhangen van andere factoren. Toekomstig onderzoek zal moeten uitwijzen of de resultaten ook gelden voor klinische populaties. Daarbij lijkt het met name van belang om de vaardigheden van kinderen met een sociale communicatie stoornis in kaart te brengen.
Adams, C. (2002). Practioner review: the assessment of language pragmatics. Journal of child psychology and psychiatry, 43, 973-987.
American Psychological Association. (2013). Publication manual of the American Psychological Association (5th ed.). Washington, DC
Bishop, D.V.M. (2000). Pragmatic language impairment: A correlate of SLI, a distinct subgroup, or part of the autistic continuum? In Leonard, L.B., & Bishop, D.V.M., Speech language impairments in children: Causes, characteristics, intervention and outcome, 99-113.
Bishop, D.V.M., (2003). The Children’s Communication Checklist-2. London
Bishop, D.V.M., & McDonald, D. (2009). Identifying language impairment in children: combining language test scores with parental report. International journal of language and communication disorders, 22, 600-615.
Bishop, D.V.M., & Norbury, C.F. (2002). Exploring the borderlands of autistic disorder and specific language impairment: a study using standardised diagnostic instruments. Journal of Child psychology and psychiatry. 43, 917-929.
Botting, N. (2002) Narrative as a tool for the assessment of linguistic and pragmatic impairments. Child and language teaching therapy, 18, 1-21.
Dodwell, K., & Bavin, E.L. (2008). Children with specific language impairment: an investigation of their narratives and memory. International journal of language and communication disorders, 43, 201-218.
Duinmeijer, I., Jong, de, J., & Scheper, A. (2012). Narrative abilities, memory and attention in children with specific language impairment. International journal of language and communication disorders, 47, 542-555.
Embrechts, M. (2004). Pragmatiek bij kinderen: inventarisatie van kenmerken en diagnostische mogelijkheden. Logopedie en Foniatrie, 76, 162-168.
Field, A. (2005). Discovering Statistics using SPSS. London: Sage Publications Ltd
Geurts, H.M. (2007). CCC-2-NL. The Children s Communication Checklist Second Edition. Nederlandse versie. Handleiding. Amsterdam: Harcourt Assessment B.V.
Geurts, H. & Embrechts, M. (2010). Pragmatics in pre-schoolers with language
impairments. International Journal of Language & Communication Disorders. 45, 436-47.
Gresham, F. M., & Elliott, S. N. (1990). Social Skills Rating System. Circle Pines, MN: American Guidance Service.
Hadley, P. A., & Schuele, C. M. (1998). Facilitating peer interaction: Socially relevant objectives for preschool language intervention. American Journal of Speech-Language Pathology, 7, 25-36.
Hall, W. S., & Nagy, W. E. (1987). The semantic-pragmatic distinction in the investigation of mental state words: The role of the situation. Discourse Processes, 10, 169–180.
Jansonius, K., Ketelaars, M., Borgers, M., van den Heuvel, E., Roeyers, H., Manders, E., Zink, I. (2010). Renfrew Taalschalen Nederlands Aanpassing.
Ketelaars, M.P., Cuperus, J.M., Van Daal, J., Jansonius, K., & Verhoeven, L. (2009). Screening for pragmatic language impairment: The potential of the Children’s Communication Checklist. Research in Developmental Disabilities, 30, 952-960. Ketelaars, M.P., Cuperus, J., Jansonius, K., & Verhoeven, L. (2010) Pragmatic language
impairment and associated behavioural problems. International Journal Of Language & Communication Disorders, 45, 204-214.
Ketelaars, M.P., Cuperus, J., Jansonius, K. & Verhoeven, L. (2011). Als communiceren niet vanzelfsprekend is. Een blik op pragmatische taalproblemen. Tijdschrift voor
orthopedagogiek, 50, 321-331
Kort, W., Schittekatte, M., Dekker, P. H., Verhaeghe, P., Compaan, E. L., Bosmans, M., & Vermeir, G. (2005). WISC-III NL Wechsler Intelligence Scale for Children. Derde Editie NL. Handleiding en Verantwoording. Amsterdam: Harcourt Test
Publishers/Nederlands Instituut voor Psychologen.
Landa, R., (2005). Early communication development and intervention for children with autism. Mental retardation and developmental disabilities research reviews, 13,16-25. Mayer, M. (1969). Frog, where are you? New York: Dial Press
Merritt, D.D., & Liles, B.Z., (1989). Narrative analysis: clinical applications of story
generations and story retelling. Journal of speech and hearing disorders, 54, 438-447. Norbury, C. F. & Bishop, D. (2003). Narrative skills of children with communication
impairment. International Journal of Language and Communication Disorders, 38, 287-313.
Norbury, C.F., Nash, M., Baird, G., & Bishop, D.V.M. (2004). Using a parental checklist to identify diagnostic groups in children with communication impairment: A validation of the Children’s Communication Checklist-2. International Journal of language and communication disorders. 39, 345-364.
Renfrew, C. (1991). The Bus Story: a test of continuous speech. Oxford Press.
Silvén, M. (2002). Origins of knowledge: learning and communication in infancy. Learning and Instruction, 12, 345-374.
Tonnaer, L.T.A., (1999). Narratieve vaardigheden bij kinderen. Logopedie en Foniatrie, 7, 162-168.
Veerman, J. W., Straathof, M. A. E., Treffers, Ph. D. A., Bergh, B. R. H. van den, & Brink, L. T. ten (1997, 2004). Competentiebelevingsschaal voor Kinderen: handleiding. Lisse, Harcourt Assessment BV.
Verhulst, F. C. & Akkerhuis, G.W. (1989). Agreement between parents’and teachers’ratings of behavioral/emotional problems of children aged 4-12. Journal of Child Psychology and Psychiatry, 30, 123, 123-136.
Volden, J. & Philips, L. (2010). Measuring pragmatic language in speakers with autism spectrum disorders: Comparing the children's communication checklist--2 and the test of pragmatic language. American Journal Speech and Language pathology, 19, 204-212.
Zijlsta, H.P., Kingma, A., Swaab, H., & Brouwer, W.H., (2010). NEPSY- II-NL. Enschede, Iskamp,.
