“Het is erg leuk om te zien hoe een authentiek publiek
reageert op je artikel”
Een onderzoek naar de ontvangst en implementatie van peerfeedback en
feedback van een jong en authentiek publiek
Masterscriptie door: Tineke Jorinde Jansen Begeleiders: Dr. J.F. van Kruiningen Nederlandse Taal & Cultuur Prof. Dr. C.M. de Glopper
Datum: 20 december 2011
Samenvatting
In dit onderzoek is bekeken wat het verschil is tussen leerlingen van 12/13 jaar (authentieke publiek) en peers van 18/19 jaar in de manieren waarop zij feedback geven op een kinderpagina-artikel, geschreven door eerstejaarsstudenten in het kader van een schrijfcursus. Daarbij is onderzoek gedaan naar verschillende feedbackkenmerken (complimenten (praise), geven van een probleem, een oplossing of beide, affectieve taal (affective language), lokalisatie, bereik (scope), uitleg van het probleem of de oplossing en tekstniveau) en de invloed die zij uitoefenen op de implementatie van de feedback. Daarbij wordt ook gekeken naar de bemiddelende factoren het eens zijn met de feedback (agreement) en begrip van de feedback (understanding). De keuze voor deze feedbackkenmerken is deels gebaseerd op een feedbackmodel dat is ontwikkeld door Nelson en Schunn (2009). Hun model is in dit onderzoek doorontwikkeld en daardoor uitgebreider en gedetailleerder, zodat het model in het onderhavige onderzoek nog meer informatie geeft over de feedbackrapporten.
Door het authentieke publiek en de peers zijn in totaal 80 reviews geschreven voor kinderpagina-artikelen die eerstejaars studenten schreven. Uit deze 40 peerreviews en 40 feedbackrapporten van leerlingen zijn 928 feedbacksegmenten geanalyseerd. Elk segment werd gecodeerd voor de bovenstaande feedbackkenmerken, en daarnaast ook nog voor implementatie, agreement en understanding. Door middel van T-tests is onderzocht of de verschillen in de manier waarop peers en leerlingen feedback geven significant was.
Uit de analyses bleek dat de studenten en de leerlingen op een heel andere manier feedback geven. Vaker dan het authentieke publiek geven de peers een oplossing, of zowel een probleem als een oplossing; ze lokaliseren hun feedback vaker; en ze geven vaker uitleg bij praise en bij een oplossing. Daarnaast zwakken de peers vaak hun opmerkingen af door middel van bijvoorbeeld hedges, terwijl de leerlingen juist direct taalgebruik hanteren in hun feedbackrapporten. De scope van de feedback varieert ook sterk tussen de verschillende reviewers: de peers richten zich vooral op lagere orde problemen, terwijl de leerlingen vooral feedback leveren op de hele tekst. Daarmee samenvallend verschillen de brugklassers en de studenten ook in tekstniveau. De studenten geven vooral feedback op formuleringen, woordkeus, spelling- en interpunctie, stijl en lay-out. De leerlingen richten zich juist significant vaker dan de peers op de structuur van de tekst.
Daarnaast is onderzocht welke feedbackkenmerken de meeste invloed hebben op de agreement, understanding en de implementatie van de feedback. De volgende twee feedbackkenmerken hadden invloed op de agreement met de feedback: het lokaliseren van de feedback zorgt ervoor dat de studenten het significant vaker eens zijn met de feedback. En wanneer feedbackgevers zich richten op zinsniveau (scope) zorgt dit voor meer agreement, terwijl de schrijvers zich nauwelijks kunnen vinden in feedback op alineaniveau. De understanding wordt ook sterk beïnvloed door scope en lokalisatie. De schrijvers begrijpen de feedback minder goed wanneer de feedback globaler is. Lokalisatie heeft een positieve invloed op het begrip van de feedback (understanding). De implementatie van de feedback wordt negatief beïnvloed wanneer er feedback wordt gegeven op de gehele tekst. Lokaliseren van de feedback zorgt voor een grotere implementatie van de feedback.
Inhoudsopgave
1. INLEIDING ... 6
2 LITERATUURREVIEW ... 8
2.1 BENADERINGEN IN HET SCHRIJFONDERWIJS ... 8
2.1.1 Inleiding ... 8
2.1.2 Productbenadering ... 8
2.1.3 Procesbenadering ... 9
2.1.4 Genrebenadering ... 10
2.2 PUBLIEKSBEWUSTZIJN IN DE PROCESBENADERING EN DE GENREBENADERING ... 11
2.2.1 Inleiding ... 11 2.2.2 Procesbenadering ... 11 2.2.3 Genrebenadering ... 12 2.3 FEEDBACK EN PEERFEEDBACK ... 14 2.3.1 Inleiding ... 14 2.3.2 Perceived helpfulness ... 14 2.3.3 Effectieve feedback ... 15
2.3.4 Feedbackmodel van Nelson en Schunn ... 16
2.3.5 Implementatie van peerfeedback ... 18
3 METHODE ... 20 3.1 ONDERZOEKSVRAGEN ... 20 3.2 ONDERZOEKSDESIGN ... 21 3.3 VARIABELEN ... 21 3.4 MATERIAAL ... 21 3.4.1 Kinderpagina-artikel ... 21 3.4.2 Feedbackrapporten ... 22 3.4.3 Reflectieverslagen ... 22 3.5 OPERATIONALISATIES ... 23 3.6 ONDERZOEKSGROEP ... 24 3.6.1 Studenten CIW ... 24 3.6.2 Leerlingen gymnasium ... 25 3.7 WERKWIJZE ... 25 3.7.1 Analysemethode feedbackrapporten ... 25 3.7.2 Analysemethode reflectieverslagen ... 30 4 RESULTATEN ... 31 4.1 INLEIDING ... 31 4.2 FEEDBACKSEGMENTEN ... 32 4.3 TYPE FEEDBACK ... 32 4.4 AFFECTIVE LANGUAGE ... 33 4.5 SAMENVATTING ... 34 4.6 LOKALISATIE ... 35 4.7 SCOPE ... 36 4.8 UITLEG ... 37 4.9 TEKSTNIVEAU ... 38
4.10 BEMIDDELENDE VARIABELE AGREEMENT ... 40
4.11 BEMIDDELENDE VARIABELE UNDERSTANDING ... 41
4.12 IMPLEMENTATIE ... 42
4.13 SAMENVATTING VAN ALLE SIGNIFICANTE VERSCHILLEN TUSSEN PEERS EN LEERLINGEN PER FEEDBACKKENMERK ... 43
4.14 DE INVLOED VAN DE FEEDBACKKENMERKEN OP DE AGREEMENT, UNDERSTANDING EN IMPLEMENTATIE ... 45
4.14.1 Type feedback ... 45
4.14.2 Affective language... 46
4.14.4 Scope ... 47
4.14.5 Uitleg ... 49
4.15 SAMENVATTING VAN ALLE SIGNIFICANTE VERSCHILLEN VAN DE FEEDBACKKENMERKEN OP AGREEMENT, UNDERSTANDING EN IMPLEMENTATIE ... 50 5 DISCUSSIE ... 51 5.1 SAMENVATTING RESULTATEN ... 51 5.2 INHOUDELIJKE DISCUSSIE ... 53 5.3 METHODISCHE DISCUSSIE ... 54 5.4 MAATSCHAPPELIJKE RELEVANTIE ... 55
5.5 SUGGESTIES VOOR VERDER ONDERZOEK ... 56
BIBLIOGRAFIE ... 57
BIJLAGEN ... 60
BIJLAGE I DRIE KINDERPAGINA-ARTIKELEN VAN MENNO STEKETEE ... 60
BIJLAGE II OPDRACHTINSTRUCTIE VOOR HET SCHRIJVEN VAN HET KINDERPAGINA-ARTIKEL ... 63
BIJLAGE III OPDRACHTINSTRUCTIE VOOR HET SCHRIJVEN VAN EEN PEERREVIEW ... 64
BIJLAGE IV OPDRACHTINSTRUCTIE FEEDBACKRAPPORT VOOR VWO1-LEERLINGEN ... 65
BIJLAGE V REFLECTIE IN TWEE ENQUÊTEFORMULIEREN ... 67
BIJLAGE VI CODEERFORMULIER ... 69
1.
Inleiding
“Good writers know their audiences better than they know their spouses.” Volgens de website van het Effective Writing Center van de universiteit van Maryland University College heb je minder kennis nodig over je echtgenoot of echtgenote om een geslaagd huwelijk te hebben, dan over het publiek waarvoor je schrijft om een goede tekst te kunnen schrijven (“Audience analysis,” 17 november 2011). Rekening houden met het publiek vergroot de kwaliteit van geschreven teksten (Hays, Brandt & Chantry, 1988).
In het schrijfonderwijs had het publiek vroeger alleen aan het begin en het einde van het schrijfproces een significante rol: tijdens de publieksanalyse vóór het schrijven, en na het schrijven, wanneer de tekst gelezen werd (Reiff, 2002). Tegenwoordig is er in de schrijfdidactiek meer aandacht voor een dialogische benadering van het publiek, waarin tekst, schrijver en lezer tijdens het hele schrijfproces in wisselwerking staan. Om deze interactie te bewerkstelligen kan het authentieke publiek worden uitgenodigd om te participeren in het schrijfproces (Reiff, 2002).
Het is van groot belang dat schrijvers feedback krijgen op hun schrijfproducten. Het gebruik van feedback heeft namelijk positieve effecten op de kwaliteit van geschreven teksten (Van Zundert, Sluijsmans, Van Merriënboer, 2010). Zo bleken studenten na het ontvangen van peerfeedback meer informatie toe te voegen aan hun tekst en ook meer de betekenis van hun teksten te veranderen, dan studenten die geen feedback hadden gekregen (Paulus, 1999). Een onderzoek van Abbuhl (2011) liet zien dat wanneer studenten feedback kregen, de tekststructuur verbeterde.
Zich bewust van de positieve effecten van feedback, maken schrijfdocenten op de universiteit vaak gebruik van peerfeedback (Rijlaarsdam, e.a., 2009). Hoewel peers vaak als “stand-ins” worden gezien van een echt publiek, kunnen zij in een academische context wel het authentieke publiek vormen, omdat ook zij deel uitmaken van de academische gemeenschap (Cooper, 1986, p. 372).
Volgens Rijlaarsdam e.a. (2009) worden studenten echter bijna nooit gestimuleerd om feedback te verzamelen van een echt authentiek publiek, om te bekijken of hun tekst wel geschikt is voor de lezer, terwijl publieksbewustzijn juist een erg belangrijke eigenschap is voor een goede schrijver (Berkenkotter, 1981). Uit twee onderzoeken, één van Sato en Matsushima (2006) en een onderzoek van Rijlaarsdam e.a. (2009) blijkt inderdaad dat interactie met het authentieke publiek erg effectief is voor het verbeteren van de kwaliteit van een geschreven tekst.
Het kan ook heel leerzaam zijn voor universitaire studenten om voor een niet-academisch publiek te schrijven over een academisch onderwerp. Uit een onderzoek van Gunel, Hand en McDermott (2009) blijkt dat wanneer studenten ingewikkelde natuurwetenschappelijke onderwerpen uitleggen aan een jonger publiek ze gedwongen worden een tekst te produceren die dit publiek begrijpt en bovendien zorgt het uitleggen voor een beter begrip (van de schrijver) van het onderwerp (Gunel, Hand, & McDermott, 2009). Mogelijk zorgt het schrijven voor een jong publiek ook voor een beter publieksbewustzijn. Er is nog niet eerder onderzoek gedaan naar de effecten van het ontvangen van geschreven feedback van een jong, authentiek publiek. En daarnaast is het de vraag of studenten feedback van een authentiek publiek prefereren boven feedback van hun peers.
Dit leidde tot de volgende onderzoeksvraag en deelvragen: Onderzoeksvraag
Wat zijn de verschillen tussen peerfeedback (eerstejaars studenten) en feedback van een authentiek publiek (brugklassers) op een kinderpagina-artikel, welke feedback percipiëren studentschrijvers als meest begrijpelijk, in welke feedback kunnen ze zich het beste vinden en welke keuzes maken de schrijvers bij de implementatie van de feedback?
Deelvragen
1. Wat zijn de verschillen ten aanzien van de feedbackkenmerken specificiteit, uitleg, scope en affective language in de feedback van studiegenoten (peers/eerstejaars studenten) en het authentieke publiek (brugklassers op het gymnasium)?
2. Welke feedbackkenmerken percipiëren de studenten als meest begrijpelijk, in welke kunnen ze zich het beste vinden en welke worden het vaakst geïmplementeerd?
3. Welke keuzes voor implementatie maken de studenten op basis van de ontvangen feedbackrapporten?
De beantwoording van de bovenstaande vragen geeft inzicht in de karakteristieken van feedback geschreven door peers en leerlingen en geeft antwoord op de vraag welke feedbackkenmerken de meeste invloed uitoefenen op de implementatie, de agreement en de understanding van de feedback. Bovendien schept dit onderzoek duidelijkheid over wat studenten en leerlingen belangrijk vinden in teksten en op welke aspecten ze het meeste letten.
De antwoorden op deze vragen zijn van groot belang voor studenten van peerfeedback, die willen weten op welke manier ze hun feedback moeten vormgeven om ervoor te zorgen dat hun opmerkingen worden geïmplementeerd in de definitieve versies van de teksten van hun peers. Daarnaast geeft dit onderzoek weer of studenten de feedback van een jong, authentiek publiek begrijpen, of ze het ermee eens zijn en of ze het implementeren. En daarbij of het voor schrijfdocenten nuttig is om een authentiek publiek uit te nodigen in het schrijfproces van hun studenten.
2
Literatuurreview
2.1
Benaderingen in het schrijfonderwijs
2.1.1 Inleiding
In de laatste 25 jaar zijn er grote verschuivingen geweest in de schrijfdidactiek. Tot de jaren 70 lag in het schrijfonderwijs de nadruk op het aanleren van de kenmerken van effectieve teksten. Dat gebeurde aan de hand van tekstvoorbeelden, waarbij de aandacht voornamelijk uitging naar tekststructuren en spelling- en grammaticaconventies (Galbraith & Rijlaarsdam, 1999). Doordat het in deze benadering van belang was om de kenmerken van een goede tekst toe te passen in de eigen tekst, kwam de nadruk in de loop van de tijd meer te liggen op het belang van het vergroten van de kennis over de strategieën die aangewend worden om zo’n effectieve tekst te produceren (Murray & Hourigan, 2008).
Deze interesse in schrijfstrategieën luidde het begin in van de procesbenadering. In deze benadering wordt niet alleen gekeken naar de tekstuele kenmerken van een tekst, maar naar individuele cognitieve processen die een rol spelen bij het schrijven, en ook naar de doelen die schrijvers met teksten proberen te bereiken (Galbraith & Rijlaarsdam, 1999). Vanaf de jaren 90 spreken we van een social turn. In deze post-process-beweging, krijgen sociale processen, die een rol spelen bij het schrijven, meer aandacht in het schrijfonderwijs. Dit wordt ook wel de genrebenadering genoemd: in deze benadering wordt rekening gehouden met de rol die de sociale context speelt bij schrijven (Matsuda, 2003).
Het onderscheid tussen deze drie verschillende paradigma’s zou de indruk kunnen wekken dat deze benaderingen in de tijd naadloos in elkaar over zijn gegaan, maar dit is zeker niet het geval. Zo worden er nog steeds tekststructuren aangeleerd, zoals in de productbenadering, en wordt er bijvoorbeeld in de genrebenadering gebruik gemaakt van de inzichten uit de procesbenadering.
De productbenadering zal in paragraaf 2.2 kort worden toegelicht; de procesbenadering (paragraaf 2.3) en de genrebenadering (paragraaf 2.4) zullen uitgebreider worden geëxpliciteerd, omdat laatstgenoemde in het onderhavige onderzoek zijn wortels heeft en eerstgenoemde een grote invloed heeft uitgeoefend op de schrijfdidactiek.
2.1.2 Productbenadering
De productbenadering wordt vaak als traditioneel beschouwd; het is een docentgestuurde benadering, met de nadruk op het correct gebruik van spelling, grammatica en het imiteren van tekststructuren (Tuffs, 1993; Hyland, 2003b).
Vaak wordt in de productbenadering het volgende vier fasen-proces gebruikt om schrijven aan te leren: familiarization, controlled writing, guided writing en free writing. In de familiarization fase moet de schrijver zich bewust worden van de kenmerken van een tekst. De schrijvers oefenen dan met de gedistilleerde kenmerken uit de tekst in de controlled writing en guided writing fase. In de free writing fase mogen de schrijvers aan de hand van de geleerde vaardigheden nu zelf schrijven (Badger & White, 2000; Hyland, 2003b). De teksten die geproduceerd worden zijn volgens Badger & White (2000, p. 154) slechts “een imitatie van de input”. Ook Galbraith en Rijlaarsdam (1999, p. 94) zien het schrijfproces in deze benadering als slechts “een vertaling van vooropgezette ideeën in tekst”.
komt (Tuffs, 1993). De vele kritiek die op de productgerichte benadering geuit werd, leidde ertoe dat productgericht schrijfonderwijs minder werd toegepast.
2.1.3 Procesbenadering
Er zijn veel pogingen gedaan om het schrijfonderwijs procesgerichter te maken, dit gebeurde al in de eerste helft van de 20ste eeuw, maar de meest succesvolle poging was de process movement aan het einde van de jaren 60 en in het begin van de jaren 70. Dit betekent echter niet dat het productgerichte schrijfonderwijs geheel verdween en vervangen werd door een procesgerichte benadering. Sommige docenten passen in hun onderwijs nog steeds de traditionele productbenadering toe. In de jaren 80 is de procesgerichte schrijfbenadering echter wel de dominante benadering (Matsuda, 2003).
In de procesbenadering gaat de aandacht, in tegenstelling tot in de productbenadering, niet alleen uit naar wat schrijvers schrijven, maar ook hoe schrijvers schrijven (Tuffs, 1993). Onderzoekers die veel invloed hebben gehad op de procesbenadering zijn Flower & Hayes (1981) en Bereiter & Scardamalia (1987). Flower & Hayes stelden dat je het schrijfproces niet moet zien als een lineair proces van plannen-schrijven-revisie, maar als een recursief proces waarin plannen, schrijven en reviseren door elkaar lopen. Zij vatten het schrijfproces in een model waarin onder andere het langetermijngeheugen en het werkgeheugen een rol spelen (zie voor het model: Flower & Hayes, 1981). Flower & Hayes ontwikkelden één model waarin het schrijfproces wordt weergegeven. Bereiter & Scardamalia (1987) ontwierpen een model waarin ook de ontwikkeling van de schrijver is meegenomen. Zij onderscheidden de knowledge telling-strategie en de knowledge transforming-strategie. In de knowledge telling-strategie presenteert de schrijver zijn of haar gedachten als inhoud voor de tekst en houdt hij geen rekening met het publiek, het genre en het doel van de tekst. Uit hun onderzoek bleek dat vooral jonge kinderen deze strategie gebruiken, omdat bepaalde processen, bijvoorbeeld spelling en grammatica, nog niet geautomatiseerd zijn, waardoor ze te weinig werkgeheugen overhouden voor andere schrijfprocessen. Oudere schrijvers passen vaak de knowledge transforming-strategie toe, waarin wel retorisch geschreven wordt en waarin ook plannings- structurerings- en revisieprocessen worden toegepast. Dit soort onderzoeken heeft grote invloed gehad op de schrijfdidactiek. Zo leerden studenten/leerlingen in de procesbenadering bijvoorbeeld welke processen een rol spelen tijdens schrijven en hoe je deze processen kunt inzetten om het doel van je tekst te bereiken (Galbraith & Rijlaarsdam, 1999).
Binnen de procesbenadering kunnen, volgens Galbraith en Rijlaarsdam (1999), aan de hand van de activiteiten die docenten hun studenten laten uitvoeren, drie benaderingen worden onderscheiden in de schrijfdidactiek. Ten eerste is er de aanpak waarbij studenten leren om doelgericht te schrijven. In de tweede benadering ligt de nadruk meer op het aanleren van strategieën om schrijfprocessen te beheersen. In de laatste benadering gaat het erom dat studenten begrip ontwikkelen voor het feit dat het schrijfproces is ingebed in een sociale context en dat schrijven een sociaal proces is. In deze paragraaf werk ik de eerste twee benaderingen kort uit. De laatste benadering, die Galbraith en Rijlaarsdam (1999) onder de procesbenadering scharen, werk ik uit in de volgende paragraaf, waar ik nader in ga op de sociale context van schrijven, vanuit het perspectief van een genrebenadering.
In de eerste benadering wordt studenten dus aangeleerd worden om doelgericht te schrijven. Volgens Bereiter en Scardamalia (1987) is het van belang dat kinderen bewust worden gemaakt van de verschillende activiteiten die schrijven behelst: het stellen van doelen, formuleren van problemen, evalueren van beslissingen en het plannen aan de hand van de doelen en de beslissingen. Volgens hen kunnen kinderen gestimuleerd worden om doelgericht te schrijven, als ze taken aangeboden krijgen waarin ze ook mogelijke andere doelen in overweging leren nemen.
wordt geschaad. Daarom krijgen studenten schrijftaken opgelegd waarin de verschillende componenten van het schrijfproces worden onderscheiden, bijvoorbeeld: brainstorm, opzet maken, vrij schrijven en peerrevisie (Galbraith & Rijlaarsdam, 1999).
De procesbenadering heeft nogal wat kritiek te verduren gekregen. Allereerst is de procesbenadering volgens critici nogal vaag over hoe de praktijk in het klaslokaal eruitziet. Wat is een definitieve tekst? Hoe kan de persoonlijke schrijfontwikkeling worden beoordeeld? (Tuffs, 1993). Bovendien worden docenten volgens Hyland (2003a) gedrukt in een rol waarin ze slechts faciliterende, aanmoedigende toeschouwers zijn. Doordat de procesbenadering vooral gericht is op de schrijfprocessen van het individu, wordt er volgens Hyland (2003a) daarnaast voorbijgegaan aan de sociale natuur van schrijven. Dit luidde het begin in van een nieuwe benadering: de genrebenadering.
2.1.4 Genrebenadering
Door deze kritiek kwam er vanaf de jaren negentig meer aandacht voor de sociale context waarin schrijven is ingebed. Dit was het begin van de genrebenadering. Galbraith & Rijlaarsdam (1999) en Hyland (2003a) zien de genrebenadering niet als een nieuwe benadering, maar noemen het een sociale invulling van de procesbenadering. In de genrebenadering is schrijven geen innerlijk, individueel proces, maar wordt er in verschillende contexten geschreven om verschillende doelen te bereiken (Hyland, 2003a). Schrijven wordt in deze benadering gezien als dialogisch (Bakhtin, 1986 in Hyland 2003a). Bij een dialogische schrijfbenadering wordt ervan uitgegaan dat er een actief publiek is dat reageert op de geschreven teksten (Hyland, 2003a).
Ook de discourse community waartoe de schrijver behoort, speelt een grote rol in de genrebenadering, omdat deze schrijvers, lezers en teksten verbindt (Porter, 1992; Swales, 1990, 1998 in Hyland). Studenten moeten volgens Galbraith & Rijlaarsdam (1999) leren wat de doelen zijn van de discourse community waarin ze schrijven. Er worden door Galbraith en Rijlaarsdam (1999) twee strategieën genoemd om deze doelen te onderwijzen. De eerste strategie is om de studenten authentieke schrijftaken te geven waarin ze bijvoorbeeld de reacties van schrijvers ontvangen op hun teksten. Door zulke authentieke taken leren ze de doelen van de discourse community te begrijpen (Schriver, 1992). De andere strategie die Galbraith en Rijlaarsdam noemen omvat het bewust maken van de studenten van de doelen van de discouse community, door ze de genres en conventies aan te leren. Ook Hyland (2003a) geeft aan dat aan studenten de belangrijkste genres onderwezen moeten worden. Deze aanpak lijkt op een terugkeer van de productbenadering.
2.2
Publieksbewustzijn in de procesbenadering en de genrebenadering
2.2.1 Inleiding
Tussen de procesbenadering en de genrebenadering tekenen zich ook verschillen af wat betreft de visie op het publiek. In de procesbenadering, in de jaren ’70 en het begin van de jaren ’80, wordt studenten aangeleerd om het publiek te analyseren op bijvoorbeeld kennis en interesses (Reiff, 2002), omdat uit onderzoek bleek dat rekening houden met het publiek een uitermate belangrijke eigenschap is voor een goede schrijver (Berkenkotter, 1981). Bovendien bleek uit het onderzoek dat schrijvers die kwalitatief goede teksten schrijven ook een gedetailleerder beeld hebben van hun lezers dan de minder bekwame schrijvers. (Rafoth, 1985).
Aan het einde van de procesbenadering wordt het analyseren van je publiek als een lineair proces gezien, omdat het publiek alleen aan het begin en einde van het schrijfproces een significante rol speelt: eerst tijdens de analyse van het publiek en tot slot tijdens het lezen van de tekst. De genrebenadering pleit voor een dialogische benadering van het publiek, waarin tekst, schrijver en lezer tijdens het hele schrijfproces met elkaar in wisselwerking staan (Reiff, 2002).
In de paragrafen 2.2 en 2.3 worden de verschillen tussen de visies van onderzoekers op het publiek in de procesbenadering en de genrebenadering verder toegelicht.
2.2.2 Procesbenadering
Als je bedreven bent in het afstemmen van je tekst op je publiek geef je blijk van publieksbewustzijn (Kroll, 1978). In de procesbenadering is er veel onderzoek gedaan naar de verschillen tussen bekwame en onbekwame schrijvers in publieksbewustzijn. Flower (1979) onderscheidt in dit opzicht Writer-Based en Reader-Based prose. Writer-Based prose is volgens Flower een wijd verbreid probleem bij academische schrijvers. Bij deze vorm van schrijven zet de schrijver zijn eigen gedachten op papier, zonder deze verder te ontwikkelen. Hier tegenover staat Reader-Based prose waarbij inhoud wordt getransformeerd en waarin aangesloten wordt bij de behoeften van de lezer. De oorzaak van Writer-Based prose is volgens Flower (1979, p. 19) “his or her failure to transform private thought into a public, reader-based expression”.
Rubin en Piché (1979) ontdekten dat onbekwame schrijvers moeite hebben om hun tekst aan te passen aan het publiek. In hun onderzoek moesten leerlingen, variërend in leeftijd van 9 tot 18 jaar, en volwassen schrijvers, een persuasieve tekst over glasrecycling schrijven voor verschillende soorten lezers. Het publiek verschilde in hoe goed de schrijver de lezer kent. Het publiek was ingedeeld in drie groepen: high intimacy, intermediate intimacy en low intimacy, waarin de schrijver de eerste groep zeer goed kent, de intermediate intimacy groep enigszins kent en de low intimacy groep zijn onbekenden voor de schrijvers. Uit dit onderzoek bleek dat alleen de volwassenen wezenlijk verschilden in hun schrijfstrategieën voor deze verschillende lezers. Zo gaven de volwassenen vaker voor de lezers die ze niet kennen (low intimacy), een brede culturele en historische achtergrond over glas in hun tekst, dan dat ze dat deden voor de intermediate intimacy en de high intimacy groep. De leerlingen pasten hun tekst niet aan aan het publiek.
Uit een onderzoek van Smith en Swan (1978) bleek dat middelbare scholieren, vergeleken met studenten, minder goed zijn in het herkennen van hun publiek. Als de middelbare scholieren dan toch in staat zijn om hun lezer te herkennen, bleek dit plaatje niet erg gedetailleerd. Volgens verschillende onderzoekers hebben de minder bekwame schrijvers namelijk “strikte en beperkte ideeën” over wat de lezers van hen verwachten, terwijl de bekwame schrijvers “levendige beelden” hebben van hun publiek (Rafoth, 1985, p. 239).
schrijfproces. Het vergt veel werkgeheugen, waardoor automatisering van andere lagere orde taken noodzakelijk is (Bereiter & Scardamalia, 1987). Ten tweede ontbreekt bij schrijven de communicatieve partner, zoals dit wel het geval is bij gesproken taal: de schrijver schrijft autonoom een autonome tekst. Tijdens het schrijven kan immers geen gebruik worden gemaakt van de reacties van het publiek (Carvalho, 2002).
Volgens Berkenkotter (1981) is het uitermate belangrijk dat jonge schrijvers publieksbewustzijn ontwikkelen, zodat ze rekening kunnen houden met de behoeften van hun lezers. Bovendien vergroot het in overweging nemen van het publiek de kwaliteit van teksten (Sato & Matsushima, 2006).
Dit schrijfonderzoek heeft grote consequenties gehad voor de manier waarop het schrijfonderwijs in de jaren ’70 en ’80, in de procesbenadering, werd vormgegeven. Doordat publieksbewustzijn als een belangrijke kwaliteit voor goede schrijvers werd gezien, stelden bijvoorbeeld de docenten op de universiteit zich ten doel om het publieksbewustzijn van hun studenten te vergroten. Dit doel probeerden ze te bereiken door hun studenten feedback te laten ontvangen van hun peers, want uit het schrijfonderzoek bleek dat feedback van peers het publieksbewustzijn amplificeert (Ng, 1994).
Daarnaast probeerden de docenten het publieksbewustzijn van hun studenten uit te bouwen door ze de opdracht te geven om hun publiek te analyseren. De analyse van het publiek was een schrijversgeoriënteerde activiteit die er vooral uit bestond dat er strategieën werden aangeleerd die vertelden hoe je je publiek kon identificeren. De schrijvers werd bijvoorbeeld geleerd te kijken naar publiekskenmerken als economische en sociale status, voorkennis en opvattingen (Reiff, 2002).
2.2.3 Genrebenadering
Een aantal onderzoekers zet tegen het einde van de procesbenadering vraagtekens bij publiekanalyse (Reiff, 2002). Volgens Reiff (2002, p. 102) wordt er in deze benadering voorbijgegaan aan de sociale context van schrijven en dus de wisselwerking van het publiek met de tekst en de schrijver: de “co-constructie” van de tekst. In de procesbenadering is publiekanalyse een lineair proces, waarin het publiek eerst geanalyseerd wordt en pas deelneemt aan het proces wanneer de tekst geschreven is (Reiff, 2002). Het publiek is dan “een passieve ontvanger die los staat van de tekst” (Reiff, 2002, p. 102): een – door de schrijver in het leven geroepen – abstract, geïsoleerd beeld.
Naast het feit dat het publiek een passieve rol krijgt in schrijfopdrachten in de procesbenadering; bekritiseert een groot aantal wetenschappers ook de monolithische aard van het publiek: de voornaamste lezer is de docent van de schrijfcursus (Reiff). Dit is volgens Huettman (1996, in Reiff, 2002, p. 100) een “atypische context voor schrijven”. Het publiek bestaat niet uit één lezer, maar uit een groot aantal verschillende soorten lezers; de één met meer kennis dan de ander en daarnaast hebben ze verschillende eisen en interesses (Reiff).
In de genrebenadering wordt er bepleit dat studenten leren rekening te houden met de verschillende soorten lezers waarvoor ze schrijven. Daarbij kan volgens Reiff de docent als publiek niet ontkend worden; deze lezer is degene die de tekst uiteindelijk beoordeelt. Om al deze verschillende lezers te kunnen aanspreken moeten docenten benadrukken dat ook zij behoren tot het publiek en dat het lastig is om al deze lezers tevreden te stellen.
Om de studenten rekening te laten houden met al deze verschillende lezers, staan onderzoekers in de genrebenadering een dialogische benadering voor waarin tekst, schrijver en lezers in wisselwerking met elkaar zijn. Om deze interactie te bewerkstelligen moet het authentieke publiek worden uitgenodigd om te participeren in het schrijfproces, bijvoorbeeld in de vorm van feedback, zodat de schrijvers kennismaken met de echte lezers van hun teksten. De denkbeelden die de schrijvers hebben van hun lezers hoeven namelijk niet per definitie te kloppen met de werkelijke kennis en interesses die de verschillende lezers hebben (Reiff).
het authentieke publiek vormen, omdat ook zij deel uitmaken van de academische gemeenschap (Cooper, 1986, p. 372). Afgezien van studenten wordt er volgens Rijlaardam e.a. (2009) in onderzoeken nooit gebruik gemaakt van een écht authentiek publiek. Er is volgens deze onderzoekers één uitzondering. Uit een onderzoek van Sato en Matsushima (2006) bleek dat interactie met een authentiek publiek erg effectief is voor het verbeteren van de kwaliteit van de geschreven tekst. Om het gebrek aan onderzoek met het gebruik van een authentiek publiek op te vangen doen ook Rijlaarsdam e.a. (2009) onderzoek naar het effect van interactie met het authentieke publiek op het publieksbewustzijn van studenten. De schrijvers moesten het echte publiek observeren wanneer zij de tekst lazen. Volgens Rijlaarsdam e.a. (2009, p. 447) is deze ervaring “een belangrijke aanvulling op een cognitieve en procesgeoriënteerde visie op schrijfonderwijs”.
2.3
Feedback en peerfeedback
2.3.1 Inleiding
In de schrijfdidactiek wordt peerfeedback gezien als een belangrijke component in het schrijfproces, omdat studenten, door het ontvangen van feedback, gedwongen worden om te reviseren en omdat docenten denken dat studenten profijt hebben van het schrijven en ontvangen van feedback (Cho, Schunn & Charney, 2006).
Hoewel peerfeedback veel wordt toegepast in het schrijfonderwijs, is er nog weinig onderzoek gedaan naar peerfeedback (Haswell, 2005). Dit heeft mogelijk te maken met het feit dat het lastig is om peerfeedback te onderzoeken, omdat deze vorm van feedback dan eerst geïsoleerd moet worden van andere vormen van feedback waartoe studenten beschikking hebben: hun boek, docent of vrienden en familie (Cho, Schunn & Charney, 2006).
De onderzoekers naar peerfeedback stellen zich meestal ten doel om de perceptie, de implementatie (of performance), transfer, of kwaliteit van de teksten, geschreven aan de hand van de feedback, te onderzoeken (cf. Cho, Schunn & Charney, 2006; Nelson & Schunn, 2009; Bitchener, Young & Cameron, 2005). Bij het onderzoek naar bovenstaande aspecten speelt een groot aantal factoren een rol. Zo is de perceptie van de peerfeedback onder andere afhankelijk van de expertise van de reviewer; de implementatie van de feedback wordt mede bepaald door de specificiteit van de feedback en de performance na het ontvangen van feedback wordt bijvoorbeeld beïnvloed door het soort feedback dat de schrijver heeft gekregen.
In deze paragraaf wordt achtereenvolgens ingegaan op de perceptie (of perceived helpfulness) van de feedback, effectieve feedback, de categorieën van de verschillende soorten feedback aan de hand van het feedbackmodel van Nelson en Schunn (2009) en tot slot welke factoren een rol spelen bij de implementatie van feedback.
2.3.2 Perceived helpfulness
De – door de schrijver – waargenomen bruikbaarheid van de feedback, wordt ook wel de perceived helpfulness genoemd. Dit is van groot belang voor het effect van de feedback. Atwater, Waldman, Atwater & Cartier (2000) ontdekten namelijk dat als een schrijver negatief dacht over het feedbackproces, de feedback minder effectief was, dan voor een schrijver die er wel een positief beeld over had. Volgens Rucker & Thompson (2003) bemiddelt de perceived helpfulness dan ook tussen de feedback en de revisie. Het is dus van groot belang dat schrijvers feedback als positief percipiëren.
Het positieve of negatieve denkbeeld over feedback wordt bepaald door de boodschap die in de feedback wordt overgebracht en door de denkbeelden van de schrijver over de persoon die de boodschap overbrengt (Ilgen, Fisher & Taylor, 1979). Of de feedback geaccepteerd wordt door de schrijver, wordt volgens Ilgen, Fisher & Taylor (1979) vaak zelfs het meeste bepaald door degene die feedback geeft en minder door de boodschap die gecommuniceerd wordt. Giffin (1967) noemt vijf factoren die belangrijk zijn voor het vertrouwen van de schrijver in de feedbackgever: expertise, betrouwbaarheid, de bedoelingen van de feedbackgever ten opzichte van de schrijver, dynamiek (energie) en persoonlijke attractie. Ilgen, Fisher & Taylor (1979) zien expertise als de belangrijkste factor voor het al dan niet accepteren van de ontvangen feedback. Expertise bestaat uit: bekwaamheid, training en ervaring (Birnbaum & Stegner, 1979).
medestudenten niet nuttig, omdat zij niet de persoon zijn die hun tekst zal gaan beoordelen. De docent is voor hen dan ook het enige echte publiek. Bovendien hebben studenten ook weinig vertrouwen in hun eigen vaardigheden om de teksten van hun peers te beoordelen (Van Gennip, Segers, Tillema, 2010).
Uit onderzoek van Freedman (1987) blijkt dat studenten daarnaast liever geen negatieve kritiek uiten op hun peers uit solidariteit. Bovendien willen de studenten niet verantwoordelijk zijn voor het verlagen van het cijfer van hun peer (Nilson, 2003). Als oplossing voor dit probleem dragen Cho, Schunn en Charney (2006) het behouden van de anonimiteit van de feedbackgever aan.
Uit bovenstaande onderzoeken zou de conclusie getrokken kunnen worden dat het ontvangen van peerfeedback vruchteloos is. Uit het onderzoek van Cho, Schunn en Charney (2006) blijken echter geen significante verschillen tussen de bruikbaarheid van de feedback van peers en van docenten. Andere onderzoekers stellen dat studenten peerfeedback graag gebruiken om hun teksten te verbeteren (Jacobs, Curtis, Braine, & Huang, 1998).
2.3.3 Effectieve feedback
Om de effecten van feedback te kunnen meten is het volgens Nelson en Schunn (2009) van belang dat het onderscheid gemaakt wordt tussen performance en learning. Bij performance wordt er gekeken naar de kennisvergroting bij een taak die je herhaaldelijk doet, bijvoorbeeld bij het maken van verschillende concepten voor een schrijfopdracht. Met learning wordt bedoeld dat de kennis van de schrijver zichtbaar groter wordt bij transfertaken; dus bij een nieuwe schrijfopdracht.
Over het algemeen wordt aangenomen dat het ontvangen van feedback zorgt voor een vergroting van de performance. Uit onderzoeken naar de effecten van feedback blijken echter grote verschillen: soms verbetert feedback de performance, soms is er geen effect te zien en soms verzwakt feedback de performance (Kluger & DeNisi 1996).
Deze variabiliteit is ook te zien in de meta-analyses die Hattie en Timperley (2007) hebben bekeken. Deze meta-analyses bestonden in totaal uit 196 onderzoeken, met 6972 effectgroottes. De gemiddelde effectgrootte was: 0.79. Dit is een groot effect van feedback op performance. Er waren echter wel grote verschillen te zien in de effectgroottes bij de verschillende soorten feedback. Het meest effectief was de feedback die informatie gaf over de taak die studenten hadden verricht en hoe ze die taak beter konden verrichten. Feedback die minder doeltreffend was, was feedback die complimenten, beloningen of straffen bevatte.
Sato en Matsushima (2006) onderzochten het effect van het ontvangen van feedback van een authentiek publiek. In dit onderzoek gaven 14- en 15-jarige leerlingen een beschrijving van een geometrisch figuur die vervolgens getekend moest worden aan de hand van die beschrijving door een publiek van 12- en jarige leerlingen. De feedback bestond uit de tekening die de 12- en 13-jarige leerlingen aan de hand van de beschrijving hadden gemaakt. Schrijvers die deze feedback niet ontvingen van het authentieke publiek op hun beschrijvingen, maar slechts de opdracht kregen om rekening te houden met het publiek, verbeterden de kwaliteit van hun tekst niet. Leerlingen die wel feedback kregen, konden hun tekst verbeteren aan de hand van de feedback en vergrootten ook de kwaliteit van de tekst. Bovendien schreven deze leerlingen langere teksten met ingewikkeldere beschrijvingen dan de studenten die geen feedback kregen. Daarnaast zorgde deze ervaring voor transfer bij andere schrijfopdrachten, dus voor een verbetering in learning. Het ontvangen van feedback van authentieke lezers heeft nog een ander voordeel, het zorgt namelijk ook voor een toename van het publieksbewustzijn (Schriver, 1990).
2.3.4 Feedbackmodel van Nelson en Schunn
Feedback kan op veel niveaus worden gecategoriseerd, hierover is door onderzoekers een aantal typologieën ontwikkeld (cf. Artemeva & Logie, 2002 Beason, 1993; Nelson & Schunn, 2009; Tseng & Tsai, 2007). De volgende drie categorieën worden vaak genoemd in deze typologieën: de scope van de opmerking (lokaal of globaal), het onderwerp (taalgebruik, structuur, inhoud) en tot slot de functie (evaluatie, suggestie of lezersreactie) (Cho, Schunn & Charney, 2006).
De scope van de feedback geeft aan of de reviewer zich heeft gericht op globale (structuur, invalshoek) of lokale (spelling, zinsbouw) tekstkenmerken. In de categorie onderwerp kijkt de reviewer naar de inhoud en de structuur van de tekst; hierbij gaat het vooral om de vaardigheid van de reviewer om fouten op deze terreinen te detecteren in een tekst. De categorie functie geeft weer wat voor soort rol de docent of peer aanneemt terwijl hij feedback geeft, hij kan bijvoorbeeld een coach zijn of een beoordelaar (Cho, Schunn & Charney, 2006).
Figuur 1 Feedbackmodel van Nelson en Schunn. Ononderbroken lijnen geven positieve relaties aan, onderbroken lijnen duiden negatieve relaties aan (Nelson & Schunn, 2009, p. 377).
Bij (1) samenvatting wordt (een deel van) de inhoud samengevat. Van het ontvangen van dit soort feedback heeft de schrijver veel profijt. Studenten die zulke feedback ontvingen, reviseerden namelijk wezenlijk meer (Ferris, 1997).
(2) Specificiteit behelst de mate van details die worden gegeven in de feedback. Specifieke opmerkingen zijn voor studenten bruikbaarder dan algemene feedback (Ferris, 1997). Specificiteit wordt ingedeeld in drie categorieën: Identificatie van het probleem, geven van een oplossing en lokalisatie, waarbij aangegeven wordt waar in de tekst de schrijver het probleem kan vinden. Het geven van een oplossing zorgt ervoor dat de feedback eerder wordt geïmplementeerd (Nelson & Schunn, 2009).
(4) Scope houdt het bereik van de feedback in. Een reviewer kan letten op lokale kenmerken of globale kenmerken van de tekst. Zowel globale als lokale feedback kunnen de prestatie van de student verhogen (Miller, 2003; Vardi, 2009); globale feedback geeft over de gehele tekst een hogere kwaliteit, terwijl lokale feedback gemakkelijker wordt toegepast dan globale feedback vanwege de complexiteit van globale problemen (Nelson & Schunn, 2009). Het richten op hogere orde problemen is volgens Kluger en DeNisi (1996) echter belangrijker dan richten op de lokale problemen.
(5) Affectief taalgebruik geeft de emotie weer in een uiting. Het affectief taalgebruik heeft invloed op het al dan niet eens zijn met de feedback. Dit kan de implementatie van de feedback en dus de performance van de schrijver beïnvloeden. Nelson en Schunn (2009) onderscheiden drie vormen van affectief taalgebruik: praise, aanvallend taalgebruik en mitigating language (afzwakkend taalgebruik). Nelson en Schunn gebruiken zowel praise als mitigating language in hun model, maar aanvallend taalgebruik hebben ze niet toegevoegd, omdat deze vorm van affectief taalgebruik, waarin beledigende kritiek wordt gegeven, slechts in 0,5% van de feedback voorkomt.
De eerstgenoemde vorm van affectief taalgebruik, praise, wordt vaak gezien als een essentieel component van feedback (Nelson & Schunn, 2009). Complimenten leiden echter bijna nooit tot veranderingen in de tekst (Ferris, 1997), maar aan de reviewer wordt wel vaak aangeraden om complimenten te gebruiken in hun feedback (Nelson & Schunn, 2009). Nelson & Schunn (2009) denken dat het toepassen van praise de kans vergroot dat feedback geïmplementeerd wordt, omdat het zorgt voor een positieve perceptie van de reviewer.
Mitigating language kan worden ingedeeld in: mitigation-compliment en andere vormen van mitigating language. In mitigation-compliment (afzwakkend-compliment) wordt zowel kritiek als praise toegepast in de feedback. Dan wordt er bijvoorbeeld eerst een compliment gegeven over de structuur en daarna wordt aangegeven dat de schrijver wel wat meer signaalwoorden zou kunnen gebruiken in zijn tekst. Naast het toepassen van praise, vergroot ook het gebruik van mitigation-compliments volgens Nelson en Schunn de kans op implementatie van de feedback, omdat dit taalgebruik een positief effect heeft op het beeld van de feedbackgever (Nelson & Schunn, 2009). Gebruikers van mitigating language laten een sympathieke en integere indruk achter op de schrijvers (Neuwirth, Chandhok, Charney, Wojahn & Kim, 1994). Dit zou ervoor kunnen zorgen dat de schrijver het eerder eens is met de opmerkingen van de reviewer en daardoor ook de opmerkingen eerder implementeert.
Bij de andere vormen van mitigating language gebruikt de reviewer hedges, lezersreacties en stelt hij vragen. Volgens Nelson en Schunn (2009) verkleint het gebruik van deze vormen van mitigating language de kans dat de feedback geïmplementeerd wordt, omdat het problemen bagatelliseert.
In het onderhavige onderzoek zal gebruik worden gemaakt van een aangepaste versie van het model van Nelson en Schunn. Een nadere toelichting op het model dat toegepast wordt in dit onderzoek is te vinden in Hoofdstuk 2 Methode.
2.3.5 Implementatie van peerfeedback
De implementatie van feedback hangt dus volgens het model van Nelson en Schunn (2009) af van de bovenstaande vijf categorieën: samenvatting, specificiteit, uitleg, scope en affectief taalgebruik. Nelson en Schunn (2009) onderscheiden daarnaast vier factoren, of mediatoren, die het implementeren van de feedback beïnvloeden: het begrip van de feedback (understanding), het eens zijn met de feedback (agreement), de geheugencapaciteit en de motivatie.
Als feedback wordt begrepen, wordt het eerder geïmplementeerd. In het model van Nelson en Schunn (2009) staat het begrip van de feedback (understanding) dan ook als een bemiddelende factor tussen de cognitieve categorieën en de implementatie van de feedback. Het model dat Nelson en Schunn (2009) hebben ontwikkeld hebben ze ook getest in een onderzoek waarin zij keken naar het effect van de verschillende categorieën van peerfeedback op de performance van studenten.
(2) specificiteit), wanneer het probleem in de tekst gelokaliseerd wordt ((2) specificiteit) en het geven van een samenvatting (1). Als de feedback één van deze drie eigenschappen had, werd deze eerder geïmplementeerd. Er was echter ook een eigenschap van feedback die ervoor zorgde dat de feedback slechter werd begrepen, namelijk het geven van een uitleg (3). De andere categorie scope (4) had dus geen effect op de implementatie van de feedback.
Nelson en Schunn (2009) hebben in hun model ‘het eens zijn met de feedback’ (agreement) als bemiddelde factor tussen het affectieve taalgebruik en de implementatie geplaatst. Deze keuze hebben zij gemaakt, omdat ‘het eens zijn met de feedback’ volgens Ilgen, Fischer en Taylor (1979) als effect had dat de feedback eerder werd geïmplementeerd. Uit het bovenstaande onderzoek van Nelson en Schunn (2009) bleek echter dat het wel of niet eens zijn met de feedback geen invloed had op de implementatie van de feedback.
Geheugencapaciteit speelt volgens Nelson en Schunn ook een belangrijke rol in het implementeren van de feedback, omdat schrijven een zeer complexe taak is die veel geheugen vergt, maar het zal waarschijnlijk van meer belang zijn bij gesproken feedback dan bij schriftelijke feedback. Daarom hebben zij de mediator geheugencapaciteit niet toegevoegd in hun model.
Motivatie wordt volgens Nelson en Schunn ook vaak genoemd als belangrijke factor bij feedback. Bij de implementatie van feedback speelt motivatie volgens deze onderzoekers echter geen rol, daarom staat motivatie niet in hun model.
Er is dus een groot aantal factoren dat ervoor zorgt dat feedback geïmplementeerd wordt. Dat de feedback wordt geïmplementeerd in een volgende versie van een tekst wil echter nog niet zeggen dat de feedback correct wordt verwerkt. Volgens Sadler (1989) zijn er drie condities van belang om te kunnen profiteren van feedback. Sadler (1989, p. 121) bepleit dat studenten het volgende moeten weten:
1 Wat een goede prestatie is (ze moeten weten wat het doel of de norm is waarnaar gestreefd moet worden)
2 Hoe het huidige prestatieniveau gerelateerd is aan een goede prestatie (ze moeten dus in staat zijn om het huidige prestatieniveau te vergelijken met een goed prestatieniveau) 3 Hoe ze op moeten treden om het gat tussen het huidige prestatieniveau en het
referentieniveau niveau op te vullen.
Om de feedback succesvol te kunnen verwerken moet een student dus ten eerste in staat zijn om te zien wat een tekst is van goede kwaliteit (conditie 1), hij moet in het bezit zijn van een evaluatieve vaardigheid om zijn eigen tekst te kunnen vergelijken met een tekst van hogere kwaliteit (conditie 2) en bovendien moet hij maatregelen kennen om zijn tekst te kunnen verbeteren (conditie 3) (Sadler, 1989). Dit vergt nogal wat van een onervaren schrijver. Een aantal onderzoekers heeft dan ook de conclusie getrokken dat docenten de vaardigheid van studenten in het beoordelen van hun eigen tekst moeten versterken (Yorke, 2003).
3
Methode
3.1
Onderzoeksvragen
Uit de literatuurreview blijkt dat studenten kwalitatief betere teksten schrijven wanneer zij interactie hebben met een authentiek publiek (Sato en Matsushima 2006). Er is echter nog nauwelijks onderzoek gedaan naar de effecten van het ontvangen van feedback van een authentiek publiek (Rijlaarsdam e.a. 2009). Daarnaast is er niets bekend over wat het ontvangen van feedback van een jong authentiek publiek voor effect heeft op de definitieve versie van een tekst. Tevens is er niets bekend over wat studenten vinden van feedback van een authentiek publiek in vergelijking met feedback van hun peers. Dit leidt tot de volgende onderzoeksvraag:
Wat zijn de verschillen tussen peerfeedback (eerstejaars studenten) en feedback van een authentiek publiek (brugklassers) op een kinderpagina-artikel, welke feedback percipiëren studentschrijvers als meest begrijpelijk, in welke feedback kunnen ze zich het beste vinden en welke keuzes maken de schrijvers bij de implementatie van de feedback?
Deelvragen
1. Wat zijn de verschillen ten aanzien van de feedbackkenmerken specificiteit, uitleg, scope en affective language in de feedback van studiegenoten (peers/eerstejaars studenten) en het authentieke publiek (brugklassers op het gymnasium)?
2. Welke feedbackkenmerken percipiëren de studenten als meest begrijpelijk, in welke kunnen ze zich het beste vinden en welke worden het vaakst geïmplementeerd?
3. Welke keuzes voor implementatie maken de studenten op basis van de ontvangen feedbackrapporten?
manier te karakteriseren wordt tevens in deze paragraaf uitgelegd. Daarnaast wordt besproken hoe de implementatie en de bruikbaarheid zijn onderzocht aan de hand van de reflectieverslagen.
3.2
Onderzoeksdesign
Dit onderzoek is vergelijkend van aard. Er is gekozen voor deze onderzoeksmethode, omdat de verschillen worden bekeken tussen peerfeedback en feedback van het authentieke publiek. Daarnaast wordt de invloed bekeken van de feedbackkenmerken op de agreement, understanding en de implementatie van de feedback. In de paragraaf 3.7 Werkwijze staat beschreven op welke feedbackkenmerken de feedbackrapporten worden onderzocht en hoe deze analyse is uitgevoerd.
3.3
Variabelen
Een groot deel van de variabelen in dit onderzoek bestaat uit de feedbackkenmerken van een feedbackrapport:
1. Het geven van het probleem en/of de oplossing 2. Het geven van praise
3. Affective language
4. Het geven van een samenvatting
5. Het lokaliseren van het probleem, de oplossing of de praise 6. De scope van het probleem, de oplossing en de praise 7. De uitleg van het probleem, de oplossing en de praise
8. Het tekstniveau van het probleem, de oplossing en praise, bijvoorbeeld de inhoud, de formulering en de stijl.
Daarnaast wordt er gekeken naar de implementatie van de feedback. De variabelen die bemiddelen tussen de feedbackkenmerken en de implementatie zijn: begrip van de feedback (understanding) en het eens zijn met de feedback (agreement). Over de acht feedbackkenmerken is gedetailleerdere informatie te vinden in subparagraaf 3.7.1 Analysemethode feedbackrapporten in paragraaf 3.7 Werkwijze.
3.4
Materiaal
3.4.1 Kinderpagina-artikel
De schrijvers in dit onderzoek moesten, in het kader van het eerstejaars vak Academisch Schrijven en Presenteren I (vanaf nu ASPI) aan de Rijksuniversiteit Groningen, over een wetenschappelijk onderwerp op het gebied van de communicatiewetenschappen een kinderpagina-artikel schrijven. Daarbij maakten de studenten gebruik van hun themapakket waarin een aantal wetenschappelijke artikelen te vinden was over hun onderwerp. Een voorbeeld van zo’n thema is: “De optimale tekst ontwerpen- zowel tekstueel als visueel.” In bijlage II is de opdrachtinstructie opgenomen voor het schrijven van het kinderpagina-artikel.
even iets anders”. Typische zinnen voor Steketee zijn: “Nou dan” en “Dat dan weer wel”. Als er moeilijke woorden voorkomen in de tekst gebruikt hij deze woorden eerst associatief: “Klinkt als een soort bosvogel” en “Dat klinkt als een planeet uit de nieuwste Star Wars”. Hierop volgt dan de werkelijke betekenis van het woord. Ook legt hij lastige woorden uit in bijzinnen: “Een ecosysteem, zoals een stuk natuur heet waarin bepaalde dieren en bepaalde planten afhankelijk zijn van elkaar, is heel kwetsbaar.” Ook bevat het artikel vaak een kwinkslag: “De regering zegt dat de fokkers moeten beloven dat ze niet zullen doorfokken. Ja, da-hag, zegt de Dierenbescherming. Dat is net zoiets als aan een inbreker beleefd vragen of hij niet meer wil inbreken. Zonder strenge wet gaan ze daar natuurlijk gewoon mee door.” In bijlage I zijn drie artikelen te vinden van Menno Steketee.
3.4.2 Feedbackrapporten
De studenten schreven eerst een conceptversie van hun kinderpagina-artikel en zij kregen feedback op dit artikel van twee medestudenten die participeerden in hetzelfde college. Elke student gaf feedback op in totaal twee artikelen van twee peers. De studenten kregen een opdrachtinstructie voor het schrijven van het feedbackrapport. Hierin stond bijvoorbeeld dat ze de sterke punten en de verbeterpunten van de tekst moesten geven, en daarbij ook te benoemen op welk niveau de feedback gericht is, bijvoorbeeld de inhoud, structuur of formulering. Daarnaast was de instructie dat ze in eigen woorden dienden aan te geven wat de onderliggende gedachte van de tekst is. Deze opdrachtinstructie voor het schrijven van een feedbackrapport stond vast, omdat dit een onderdeel van het college ASP1 is. De gehele opdrachtinstructie voor de studenten voor het schrijven van een feedbackrapport staat in bijlage III.
Op de conceptversie van het kinderpagina-artikel werd ook feedback gegeven door vwo-leerlingen uit de eerste klas van een gymnasium. Elke leerling gaf in ieder geval feedback op twee artikelen, een aantal leerlingen heeft feedback gegeven op 3 of 4 artikelen. De leerlingen van het gymnasium werden minder vrij gelaten dan de studenten bij het schrijven van het feedbackrapport. Zo werden er aan hen heel gerichte vragen gesteld naar aanleiding van de tekst. Bijvoorbeeld: “Wat vind je van de titel?” Hierbij konden de leerlingen aan de hand van een Likertschaal van 1 tot en met 5 aangeven hoe goed ze bijvoorbeeld de titel vonden.
De keuze voor het aanbieden van een vragenlijst is voortgekomen uit een pre-test. In deze pre-test gaven leerlingen uit groep 8 feedback op kinderpagina-artikelen. Uit deze pre-test bleek dat leerlingen van deze leeftijd nog niet in staat zijn om uit zichzelf een uitgebreid feedbackrapport te schrijven. Zo gaven de leerlingen in de pre-test bijvoorbeeld vaak alleen een waardeoordeel.
De vragen die de leerlingen moesten beantwoorden, zijn tot stand gekomen door te kijken naar het CCC-model van Renkema (1999), waarin vijf beoordelingscriteria zijn opgenomen: teksttype, inhoud, opbouw, formulering en presentatie. Deze vijf criteria zijn ook verwerkt in de vragenlijst. Daarnaast heeft het kinderpagina-artikel van Steketee typische kenmerken die ook bevraagd moesten worden: een goede inleiding, een pakkend slot en een aansprekende titel. Bovendien is het publiek in deze opdracht van groot belang, dus daar is ook een groot aantal vragen over gesteld, bijvoorbeeld: “Hoe geschikt vind je de tekst voor jou en je klasgenoten?” Daarnaast zijn er twee open vragen gesteld, namelijk: “Wat vind je goed aan de tekst, leg kort uit waarom” en “Wat vind je minder goed aan de tekst, leg kort uit waarom”, deze vragen zijn minder sturend dan de andere vragen en bovendien vergelijkbaar met de opdracht die de studenten kregen, waardoor het vergelijken van beide feedbackrapporten wordt vergemakkelijkt. In bijlage IV staat de gehele opdrachtinstructie voor de vwo1-leerlingen.
3.4.3 Reflectieverslagen
onderwerpen worden bevraagd. Het eerste reflectieverslag bevat vragen over onder anderen hoe de studenten de opdracht hebben aangepakt en wat volgens hen de belangrijkste kenmerken zijn van een publieksgerichte tekst voor de doelgroep van 12/13 jaar. Het tweede reflectieverslag stelt vragen over wat de studenten hebben geleerd van het geven en ontvangen van feedback en of ze misschien nog feedback van andere mensen hebben gekregen dan van hun peers of van de vwo1-leerlingen. In het tweede reflectieverslag moesten de studenten ook per punt van feedback aangeven, 1) wat ze vonden van de feedback, 2) of ze de feedback hebben meegenomen en 3) waarom ze de feedback hebben meegenomen. Zo ontstond er een helder beeld van de implementatie van de feedback, het begrip (understanding) van de feedback en het eens zijn met de feedback (agreement). Het eens zijn met de feedback (agreement) is nogmaals bevraagd, maar nu niet per feedbackpunt, maar voor het gehele feedbackrapport. De studenten moesten namelijk op een Likertschaal aangeven of ze zich hadden kunnen vinden in de feedback van de peers en de vwo1-leerlingen. De gehele opdrachtinstructie voor deze twee reflectieverslagen staat in bijlage V.
3.5
Operationalisaties
In deze paragraaf zal ik per variabele uitleggen hoe deze geoperationaliseerd is, tevens wordt de interne en de externe validiteit van deze variabelen beargumenteerd.
In dit onderzoek werden de volgende acht feedbackkenmerken onderzocht: 1) het geven van het probleem en/of de oplossing, 2) het geven van praise, 3) affective language, 4) het geven van een samenvatting, 5) het lokaliseren van het probleem, de oplossing of de praise, 6) de scope van het probleem, de oplossing en de praise, 7) de uitleg van het probleem, de oplossing en de praise en 8) het tekstniveau van het probleem, de oplossing en praise, bijvoorbeeld de inhoud, de formulering en de stijl. Uit eerder onderzoek is gebleken dat de eerste zeven feedbackkenmerken effect hebben op het wel of niet implementeren van de feedback (Nelson en Schunn, 2009). Het laatste feedbackkenmerk, tekstniveau, is toegevoegd als feedbackkenmerk, omdat het inzicht biedt in welk niveau peers en het authentieke publiek vaak benoemen. De acht feedbackkenmerken zijn geoperationaliseerd door de feedbackrapporten te analyseren en aan te geven wat bijvoorbeeld de scope is van de feedback. Uitgebreide informatie over hoe de feedbackkenmerken precies zijn geanalyseerd is te vinden in paragraaf 3.7 Werkwijze. De externe validiteit is gewaarborgd bij deze variabelen, omdat er een groot aantal reviews is geanalyseerd in dit onderzoek, 40 van de studenten en 40 van het authentieke publiek, dus deze informatie is te generaliseren naar de populatie onder de aanname dat beide steekproeven de beide populaties (redelijk) weerspiegelen. Meer informatie over welke feedbackrapporten zijn onderzocht in dit onderzoek is te vinden in paragraaf 3.6 Onderzoeksgroep. Aan de interne validiteit van deze feedbackkenmerken schort het echter enigszins, omdat alle feedback werd geanalyseerd door één beoordelaar. Dit zou kunnen betekenen dat, wanneer dit onderzoek nogmaals wordt uitgevoerd, er andere resultaten uitkomen. Toch is er gekozen voor slechts één beoordelaar, omdat er te weinig middelen waren om een extra beoordelaar de feedbackrapporten ook te laten analyseren. Om dit probleem enigszins te ondervangen, heeft een tweede beoordelaar, bij de start van de analyse, ook enkele dezelfde feedbackrapporten beoordeeld en hebben deze twee beoordelaars besproken hoe ze tot deze typeringen zijn gekomen. Nadat consensus was bereikt over welke opmerkingen op welke manier getypeerd moeten worden, heeft de eerste beoordelaar alle andere feedbackrapporten geanalyseerd. Wanneer de eerste beoordelaar tijdens het analyseren van de feedbackrapporten twijfelde over bijvoorbeeld of een bepaalde opmerking in het feedbackrapport gericht was op de formulering of de stijl, hebben de twee beoordelaars net zo lang gediscussieerd totdat ze het eens waren. In de paragraaf 3.7 Werkwijze wordt uitgebreid uiteengezet hoe deze analyse tot stand is gekomen.
Deze informatie hebben ze beschreven in hun reflectieverslag. De externe validiteit van deze variabele is niet geheel gewaarborgd, omdat het de vraag is of de wijzigingen die deze studenten hebben aangebracht in hun tekst, te generaliseren zijn naar andere populaties die dezelfde opdracht zouden krijgen. Bij de interne validiteit is ook een kanttekening te plaatsen. Er wordt namelijk gebruik gemaakt van de informatie die de studenten verschaffen over de wijzigingen die zij in de tekst hebben aangebracht, maar de definitieve tekst wordt echter niet vergeleken met de conceptversie, dus het is niet zeker dat de studenten alle wijzigingen noemen. Deze vergelijking is niet getrokken, omdat de onderzoeksplanning geen ruimte bood om de conceptversies met de definitieve versies te vergelijken.
De controlevariabele begrip van de feedback (understanding) is geoperationaliseerd door in het ingevulde reflectieverslag te kijken wat het antwoord was op de vraag: “Geef aan of je de feedback hebt meegenomen.” De externe validiteit is in deze operationalisatie waarschijnlijk niet helemaal gewaarborgd, omdat er maar 20 studenten hebben aangegeven of ze de feedback begrijpen, dit is een vrij kleine steekproef. Er zijn maar 20 studenten onderzocht door subject mortality. Van elke student had ik namelijk de definitieve versie van het kinderpagina-artikel en twee reflectieverslagen nodig en bovendien moest er voor deze student 2 peerfeedbackrapporten geschreven zijn. Hierdoor viel bijna de helft van de proefpersonen af. Dit weinige aantal proefpersonen zou kunnen betekenen dat de uitkomsten van deze variabele alleen te generaliseren zijn naar deze steekproef en niet naar de gehele populatie. Ook de interne validiteit had in het geval van deze controlevariabele beter gekund. Er had een vraag opgenomen kunnen worden of de student de feedback heeft begrepen. Hoewel er meestal wel uit het antwoord op de vraag of de student de feedback heeft meegenomen, kan worden afgeleid of de student de feedback begrepen heeft, is het toch niet expliciet genoemd door de student. Deze vraag is niet gesteld, omdat het reflectieverslag dan te lang zou worden. Achteraf had dit wellicht beter wel expliciet gevraagd kunnen worden.
De andere controlevariabele het eens zijn met de feedback (agreement) is geoperationaliseerd door de vraag in het reflectieverslag: “Wat vond je van de feedback?” Dit gaven de studenten aan per feedbackpunt. Daarnaast is gevraagd voor de gehele feedbackrapporten in hoeverre de studenten zich hebben kunnen vinden in de feedback van hun peers en van het authentieke publiek. De externe validiteit zou mogelijk niet gewaarborgd kunnen zijn, omdat er maar 20 studenten zijn gevraagd naar hun agreement met de feedback. Als er andere studenten zouden worden gevraagd, zou de uitkomst anders kunnen zijn. De interne validiteit is gewaarborgd bij deze variabele, omdat de studenten expliciet gevraagd zijn naar hun mening over elk feedbackpunt en daarnaast ook nog naar hun mening over het gehele feedbackrapport, zodat deze variabele precies meet wat er onderzocht werd: de agreement met de feedback.
3.6
Onderzoeksgroep
3.6.1 Studenten CIW
3.6.2 Leerlingen gymnasium
Op 38 artikelen wordt feedback gegeven door de volgende onderzoekspopulatie: 50 leerlingen (variërend in leeftijd van 11-13) uit twee eerste klassen van een gymnasium. Ook dit is een gelegenheidssteekproef. Er is gekozen voor leerlingen uit de eerste klas van het voortgezet onderwijs, omdat uit eerder onderzoek was gebleken dat de teksten voor leerlingen uit groep 8 van de basisschool nog te lastig waren. Zo gaven zij vaak aan dat ze sommige woorden nog te moeilijk vonden. Daarnaast zijn deze leerlingen nog niet erg bedreven in het geven van feedback. Hun commentaar bleef, zoals eerder gezegd, vaak beperkt tot opmerkingen als: “Ik vond het leuk.” Kinderen van de eerste klas, die bovendien al een half jaar op de middelbare school zitten, zullen hoogstwaarschijnlijk betere feedback kunnen geven. De keuze voor vwo is gebaseerd op het niveau van het kinderpagina-artikel. Het niveau van dit artikel ligt hoog, omdat het een imitatie moet zijn van de artikelen van Menno Steketee, die gepubliceerd zijn op de kinderpagina van NRC Handelsblad. Deze krant heeft als doelgroep vooral hoogopgeleiden (NRC Handelsblad, 2006). Hoogopgeleide ouders zullen dan waarschijnlijk ook vaker NRC Handelsblad lezen. In dit onderzoek werden kinderen op het vwo onderzocht, omdat dit niveau het hoogste percentage hoogopgeleide ouders heeft (Lange & Dronkers, 2007).
Uiteindelijk zijn er door de leerlingen 120 feedbackrapporten geschreven, 112 hiervan bleken bruikbaar. Er moesten namelijk 8 rapporten worden verwijderd, omdat er door de leerlingen op sommige of alle vragen uit de enquête geen reactie was gegeven. De meeste leerlingen hebben op 2 artikelen feedback gegeven, anderen hebben 3 of 4 feedbackrapporten geschreven. Van de 38 studenten waren voor 34 studenten 3 feedbackrapporten geschreven, voor 3 studenten 2 feedbackrapporten en voor 1 student werden 4 feedbackrapporten vervaardigd. De studenten hebben allemaal 2 feedbackrapporten teruggekregen, zodat ze zowel 2 rapporten hadden van de vwo-leerlingen als van hun peers. Wanneer er voor een student 3 rapporten geschreven waren, moest er een keuze worden gemaakt tussen de 3 verschillende rapporten om tot een selectie van 2 rapporten te komen. Deze keuze is genomen op basis van kwantiteit; als er weinig uitleg werd gegeven door de leerling, werd voorrang gegeven aan de rapporten die een uitgebreide uitleg gaven. Deze voorkeur had een didactische achtergrond; een uitgebreide uitleg biedt de studenten meer kansen om te leren van de feedback van de leerlingen. Methodologische gezien was dit echter een onverstandige keus: door te selecteren in de feedbackrapporten wordt er een onjuist beeld gegeven van de feedbackrapporten van de leerlingen. Beter was het geweest om de rapporten willekeurig te selecteren. Uiteindelijk zijn er in totaal 40 feedbackrapporten van deze leerlingen onderzocht, de leerlingen hebben niet aangegeven of ze man of vrouw waren.
3.7
Werkwijze
3.7.1 Analysemethode feedbackrapporten
De feedbackrapporten van zowel de vwo1-leerlingen als de peers zijn ingedeeld in feedbacksegmenten. Elke opmerking in het feedbackrapport die feedback geeft op één aspect, bijvoorbeeld structuur, spelling of formuleringen, is één segment. In totaal zijn er 927 feedbacksegmenten geanalyseerd, waarvan 591 feedbacksegmenten gegeven zijn door het authentieke publiek en 336 door peers.
Tabel 1 Schema van de feedbacksegmenten, gebaseerd op het schema van Nelson en Schunn (2009), p. 386.
Categorie Definitie Voorbeeld
Type feedback
Praise Een compliment of het
identificeren van een positief kenmerk van de tekst
Hoe je “face work” fonetisch hebt verwoord als “fees wurk” vind ik erg leuk gedaan.
Probleem/Oplossing/Beide Aangeven van een probleem als iets wat verbeterd moet worden. Het geven van een oplossing is het aandragen van een verbetering.
Probleem:
Je titel spreekt niet aan en bestaat ook slechts uit een enkel woord. Oplossing:
De titel zou ik persoonlijk veranderen in een je-vorm. Beide:
In je eerste alinea gebruik je het woord “men” erg vaak. Probeer eens het woord “men” in bijvoorbeeld “je” te veranderen.
Soort affective language
Direct taalgebruik Directe uitingen die een probleem of een oplossing aangeven.
Het is heel erg kinderlijk geschreven en er staan te veel alinea’s waar ze niet horen. Mitigation-Compliment Een combinatie van een
probleem/oplossing aandragen en ook een compliment geven.
De zinnen vind ik goed te lezen, maar in het kader van deze opdracht zou het misschien beter passen om een aantal zinnen op te breken in kleinere zinnen.
Downplay Hedges, lezersreacties en vragen stellen.
Hedges:
Je zou eventueel kunnen
overwegen dat nog wat meer toe te voegen.
Lezersreacties:
Door zoveel voorbeelden, raak je een beetje verward.
Vragen stellen:
Niet-rokers die toch besluiten om roken niet te proberen is toch een goede uitkomst?
Summary
Summary Gebruik van een samenvatting om
een probleem, een oplossing of praise aan te dragen.
Het begint over een meisje, die geen ouders meer heeft. Daarna gaat het over folders over HIV/aids.
Lokalisatie van het probleem/de oplossing/praise
Gelokaliseerd Beschreven
probleem/oplossing/praise kan gemakkelijk worden gelokaliseerd.
Alinea 5 is wel grappig, omdat ze het dan humoristisch uitlegt.
Niet gelokaliseerd Beschreven
probleem/oplossing/praise kan niet gemakkelijk worden gevonden
Scope van het probleem/ de oplossing/praise
Oppervlakteniveau Problemen en/of oplossingen of praise die worden aangegeven in bijvoorbeeld de interpunctie, het lettertype, de lay-out of aangeven dat de auteur de bron moet noemen.
Ook de leestekens die je gebruikt, passen goed bij de doelgroep.
Woordniveau Problemen/oplossingen of praise op woordniveau, zoals
synoniemen.
Ik zou “toegepast psycholoog” beperken tot “psycholoog”.
Zinsniveau Problemen/oplossingen of praise op zinsniveau, zoals het
taalgebruik en de stijl.
De grapjes die in de tekst staan vind ik niet echt goed.
Alineaniveau Problemen/oplossingen of praise op het alineaniveau, bijvoorbeeld aangeven dat de auteur meer uitleg of voorbeelden moet geven.
Doordat je heel veel voorbeelden gebruikt, is de essentie van de tekst niet helemaal meer duidelijk.
Gehele tekst Problemen/oplossingen of praise die betrekking hebben op de gehele tekst: het onderwerp, de opbouw en de structuur.
Ik vind het sterk dat je vanaf het begin naar je doel toewerkt. Per alinea haal je iets anders aan en uiteindelijk kom je op het punt terecht dat met overtuigen te maken heeft.
Uitleg van het probleem
Uitgelegd Uitleg over waarom het probleem er is, of een beschrijving van waarom iets niet goed is in deze tekst.
Je artikel begint met een moeilijke titel. De titel is het visitekaartje voor je artikel en met name voor kinderen moet deze
leuk/grappig/aantrekkelijk zijn om ze daadwerkelijk te bewegen om je artikel te lezen.
Niet uitgelegd Geen uitleg van het probleem Veel te veel alinea’s.
Uitleg van de oplossing
Uitgelegd Uitleg van de oplossing: er wordt informatie gegeven over waarom de oplossing het probleem oplost of beschrijft op welke manier de tekst beter wordt.
Je zou de tekst wel wat gelijker over de alinea’s kunnen verdelen. Je zou sommige wel samen kunnen voegen. Daardoor wordt de tekst overzichtelijker en leest hij prettiger.
Niet uitgelegd Geen uitleg van de oplossing Je had misschien toch wat meer voorbeelden van metaforen kunnen gebruiken uit de dagelijkse praktijk.
Uitleg van de praise
Uitgelegd Uitleg van de praise: er wordt informatie gegeven over waarom dit aspect de tekst goed maakt.
Ik vind het goed dat je met “je” wordt aangesproken. Dat is voor kinderen van onze leeftijd veel leuker dan “u”.
