PLAK DE PLEISTER OVER DE WOND
Een onderzoek naar de codering van Multimodale Instructies (MI)
MASTERSCRIPTIE COMMUNICATIEKUNDE RIJKSUNIVERSITEIT GRONINGEN
Auteur: Joyce Angela van Dijk | Studentnummer: 1627848 Scriptiebegeleiders: I. F. van der Sluis (1e) | G. Redeker (2e)
DATUM: 25 JANUARI 2016
Pagina 2 van 137
Pagina 3 van 137
Inhoudsopgave
Hoofdstuk 1: Inleiding ... 5
1.1: Doel van het onderzoek ... 5
1.2: Onderzoeksvraag ... 5
Hoofdstuk 2: Theoretisch kader ... 6
2.1: Multimodale instructies ... 6
2.2: Tekst ... 7
2.3: Afbeeldingen ... 9
2.4: Tekst-beeld relatie ... 11
Hoofdstuk 3: Methode | Op weg naar een verbeterd codeersysteem ... 13
3.1: Het bestaande corpus ... 13
3.2: Het oorspronkelijke codeerysteem ... 13
3.3: Aanpak theoretische evaluatie ... 13
3.4: Aanpak empirische evaluatie ... 14
Hoofdstuk 4: Op weg naar een verbeterd codeersysteem ... 15
4.1: Theoretische evaluatie van het oorspronkelijke codeersysteem ... 15
4.1.1: Methode ... 15
4.1.2: Resultaten ... 17
4.1.3: Conclusie ... 19
4.2: Empirische evaluatie van de annotatie ... 20
Pagina 4 van 137 5.2: Afbeeldingen ... 45 5.3: Tekst-beeld relatie ... 46 Hoofdstuk 6: Discussie ... 47 6.1: Tekst ... 47 6.2: Afbeeldingen ... 47 6.3: Tekst-beeld relatie ... 48 Bibliografie ... 49 Bijlagen ... 51
A. Analysemodel theoretische evaluatie ... 51
B. Voorlopig verbeterd codeersysteem... 82
C. Codingsheet input & output van de empirische evaluatie... 82
D. Verbeterd codeersysteem versie 8 ... 102
E. Oorspronkelijk codeersysteem versie 7 ... 130
Pagina 5 van 137
Hoofdstuk 1: Inleiding
In het mastervak Multimodale instructieve teksten hebben dertien studenten CIW aan de RuG, in het tweede semester van 2015, Multimodale Instructies (hierna: MI’s) in kaart gebracht. Het doel hiervan is het verkrijgen van inzicht in de factoren die de effectiviteit van MI’s beïnvloeden. Een MI bestaat uit tekst en afbeeldingen. De studenten hebben een corpus samengesteld dat bestaat uit 227 MI’s voor de gezondheidszorg. Vervolgens is dit corpus geannoteerd met een codeersysteem dat daarvoor ontwikkeld is.
Codeersysteem
Een codeersysteem zorgt voor een systematische codering van teksten en afbeeldingen van MI’s. Het codeersysteem kent echter beperkingen. Waar die beperkingen precies zitten is niet bekend. Aan de inzet van de studenten wordt in dit onderzoek niet getwijfeld: zij hebben volgens de docent hun best gedaan gegeven het codeersysteem.
In dit onderzoek staat het codeersysteem centraal. Ik heb onderzocht hoe het codeersysteem kan worden verbeterd.
1.1: Doel van het onderzoek
Het doel van dit onderzoek is een aangepast codeersysteem met verbeterde en volledig beschreven categorieën om de corpusbeschrijving te verbeteren. Het eindresultaat van dit onderzoek is een opgeschoond en verbeterd codeersysteem. Het wetenschappelijke doel is het ontwikkelen van een codeersysteem dat consistent en systematisch door verschillende personen op dezelfde manier kan worden toegepast. Een laatste doel is het verbeteren van de beschrijving van tekst-beeld relaties: hoe hangen tekst en beeld samen en welke categorieën zijn daarin belangrijk?
1.2: Onderzoeksvraag
In dit onderzoek wordt onderzocht hoe het oorspronkelijke codeersysteem kan worden verbeterd. Dit resulteert in de volgende onderzoeksvraag:
In hoeverre dient het bestaande codeersysteem te worden aangepast om de huidige
corpusbeschrijving te verbeteren?
Het antwoord op deze vraag is gebaseerd op de uitkomsten van een theoretische- en empirische evaluatie. Zie het derde hoofdstuk methode.
Leeswijzer
Pagina 6 van 137
Hoofdstuk 2: Theoretisch kader
In 2.1 wordt ingegaan op het doel van instructies, de manier waarop instructies uit het
gezondheidsdomein verschillen van instructies uit een ander domein en de multimodaliteit van instructies. In 2.2 worden de tekstuele categorieën besproken die een belangrijke rol spelen bij de codering van multimodale instructies. De categorieën die van belang zijn voor het coderen van afbeeldingen in instructies worden gepresenteerd in 2.3. Vervolgens worden in 2.4 de categorieën besproken waarmee de samenhang tussen tekst en afbeeldingen in instructies wordt aangetoond.
2.1: Multimodale instructies
Lentz & Pander Maat (2004, p. 389) onderscheiden in de functionele analyse zes communicatieve doelen van documenten: informeren, overtuigen, opiniëren, instrueren, activeren en emotioneren. In dit onderzoek staan documenten met een instructief doel centraal. Instructies zijn gericht op het beïnvloeden van vaardigheden: “knowing what to do and how” en ondersteunen producten, handelingen, taken en procedures. Volgens Maes et al (1996, p. 12) is deze ondersteunende functie een van de meest kenmerkende eigenschappen van instructies omdat die ondersteuning bepaalt vanuit welk perspectief instructies worden gelezen en ontworpen. Een goede instructie is namelijk zo ontworpen dat de gebruiker de instructie goed begrijpt zodat de uit te voeren handelingen makkelijk en correct worden uitgevoerd. De manier waarop instructies worden ontworpen is afhankelijk van het doel dat de gebruiker wil bereiken (Maes et al, 1996, p. 38).
Instructies uit het gezondheidsdomein
In dit onderzoek staan instructies uit het gezondheidsdomein centraal. Van Hooijdonk en Spooren (2011, p. 236) stellen dat instructies uit het gezondheidsdomein verschillen van instructies uit het domein apparaten. Instructies uit het domein apparaten worden gelezen om een handeling uit te voeren. Normaal gesproken worden zulke instructies één keer en vrijwel meteen na de aanschaf van het betreffende product uitgevoerd; de instructie hoeft dan niet te worden onthouden (Van
Hooijdonk en Spooren, 2011, p. 239). Ondanks dat het eenmalig uitvoeren van een instructie een kenmerk is van het domein apparaten, kan dit kenmerk ook voorkomen in instructies uit het gezondheidsdomein.
Het verschil tussen deze twee domeinen is volgens Van Hooijdonk en Spooren (2011, p. 237) dat instructies uit het gezondheidsdomein om meer redenen worden gelezen dan alleen het eenmalig uitvoeren van een instructie. Ze onderscheiden drie gebruiksdoelen die relevant zijn bij instructies uit het gezondheidsdomein:
1. Reading-to-do: de instructie legt uit hoe een medicijn in te nemen;
2. Reading-to-learn: de instructie wordt gelezen om te leren over de symptomen van een aandoening;
3. Reading-to-decide: de instructie wordt gelezen om een beslissing te nemen het medicijn wel of niet in te nemen.
Pagina 7 van 137 toepassen, zonder eerst de instructie te hoeven raadplegen. Dit gebruiksdoel lijkt van belang voor instructies uit het gezondheidsdomein; denk bijvoorbeeld aan medici in opleiding die leren iemand te reanimeren om deze handeling later, wanneer iemand in nood verkeert, te kunnen toepassen. Het verschil tussen instructies uit het gezondheidsdomein en instructies uit het domein apparaten lijkt dus voornamelijk in de gebruiksdoelen van de reading-to-learn en reading-to-decide te zitten. Multimodaliteit
In dit onderzoek staan multimodale instructies centraal. Dit zijn instructies die zowel uit tekst als afbeeldingen bestaan om informatie over te dragen en de gebruiker te ondersteunen bij het
uitvoeren van een handeling. Volgens Maes et al (1996, p. 30) dragen multimodale instructies bij aan de mentale representatie van de uit te voeren handeling. Lamers en Van Hooijdonk (2011, p. 1) stellen dat multimodaliteit bijdraagt aan het effectiever leren van de instructie. Houts et al (2006, p. 175-187) zijn dezelfde mening toegedaan. Zij hebben onderzocht hoe afbeeldingen, gecombineerd met tekst, effect hebben op de begrijpelijkheid en het onthouden van de instructie en de kans verhogen dat de gebruiker de instructie correct uitvoert.
Lamers en Van Hooijdonk (2011, p. 2) bespreken in hun onderzoek (naar het uitvoeren van EHBO-instructies) de Cognitive Load Theory, een theorie die uitgaat van een beperkte capaciteit van het werkgeheugen. Volgens deze theorie leidt het toevoegen van afbeeldingen aan tekstuele instructies tot beter begrip. De uitkomsten van het onderzoek van Lamers en Van Hooijdonk (2011, p. 8) ondersteunen deze bewering: EHBO-instructies werden het best uitgevoerd wanneer de informatie in tekst en afbeeldingen elkaar ondersteunden.
2.2: Tekst
Steehouder en Jansen (1997) stellen een aantal inhoudelijke tekstuele eisen aan multimodale instructies: het document dient altijd een titel te bevatten en de instructie moet uit een aantal opeenvolgende stappen bestaan waarin stapsgewijs wordt uitgelegd welke handelingen de gebruiker moet verrichten om de instructie uit te voeren. Een andere tekstuele eis voor het ontwerp van een MI, is afkomstig van Lentz en Pander Maat (2004, p. 390-391). Zij stellen dat de doelgroep waarvoor de instructie is geschreven duidelijk moet zijn. Een goed ontworpen MI bevat dus in ieder geval een titel, maakt duidelijk voor wie de instructie is bedoeld en bestaat uit een aantal opeenvolgende stappen waarin de handelingen worden gepresenteerd die de gebruiker dient uit te voeren. De categorieën Titel, Doelgroep en Aantal stappen zijn van belang voor het coderen van multimodale instructies.
Categorieën die betrekking hebben op het hele document
Steehouder en Jansen (1997) onderscheiden het document van de uit te voeren instructie omdat het document verschillende categorieën bevat die geen deel uitmaken van de instructie, zoals de titel en de voorwaarde waaraan moet worden voldaan. Volgens Steehouder en Jansen (1997) is een
Pagina 8 van 137 Categorieën die betrekking hebben op het document en de instructie
Naast de categorieën titel en voorwaarde bespreken Steehouder en Jansen (1997) nog twee categorieën die tevens van belang zijn voor het coderen van multimodale instructies maar waarvan de positie niet altijd vaststaat. De categorieën waarschuwing en toelichting kunnen voorafgaand, tijdens en na de instructie aan bod komen.
Volgens Steehouder en Jansen (1997) attendeert een waarschuwing de gebruiker op risico’s bij bepaalde stappen van de instructie. Als er een grote kans bestaat dat er bij de uitvoering fouten worden gemaakt is een waarschuwing toepasselijk. Deze uitleg doet echter vermoeden dat de categorie waarschuwing vooral een rol speelt tijdens de uitvoering van de instructie. Steehouder en Jansen geven twee voorbeelden hoe een waarschuwing in een MI duidelijk gemaakt wordt: door “let op” en door het gebruik van uitroeptekens.
De categorie toelichting kan tevens in het document en in de instructie voorkomen. Steehouder en Jansen (1997) stellen dat er sprake is van toelichting die deel uitmaakt van de instructie, wanneer een deel van de instructie nader wordt uitgelegd. Denk bijvoorbeeld aan een toelichting op een moeilijk begrip. Daarnaast is er sprake van toelichting als de gebruiker achtergrondinformatie over de instructie krijgt. De toelichting staat dan buiten de instructie.
Categorieën die betrekking hebben op de instructie
Steehouder en Jansen (1997) bespreken drie categorieën die onderdeel van de instructie kunnen uitmaken, namelijk controle-informatie, motivatie en advies. Een instructie bevat controle-informatie wanneer de gebruiker kan nagaan of de handeling correct is uitgevoerd. Er is sprake van motivatie wanneer in de instructie wordt uitgelegd waarom de gebruiker een bepaalde handeling dient uit te voeren. Volgens Steehouder en Jansen is er sprake van een advies wanneer in de instructie wordt aangegeven hoe de gebruiker een handeling het beste kan aanpakken.
Het codeersysteem dient in elk geval de hier boven beschreven categorieën, die betrekking hebben op het document en de instructie, te bevatten.
De instructieve stijl
Tot slot bespreken Steehouder en Jansen (1997) nog twee categorieën van de instructieve stijl die van belang zijn voor het coderen van instructies. De eerste categorie van de instructieve stijl is de
gebiedende wijs. In een instructie staan aanwijzingen voor de werkwijze centraal en daarom is de
gebiedende wijs kenmerkend voor de instructieve stijl. De instructieve stijl zou het de gebruiker gemakkelijker maken om de aanwijzingen te begrijpen en op te volgen. Steehouder en Jansen (1997) stellen dat hoewel de gebiedende wijs wellicht onvriendelijk klinkt, gebruikers deze
formuleringswijze juist waarderen omdat het bondig en duidelijk is.
Pagina 9 van 137 De derde categorie van de instructieve stijl wordt gegeven door Arts et al (2000, p. 97). Zij stellen dat referentiële uitdrukkingen, zoals een anaforische verwijzing naar een referent die al eerder in de tekst is genoemd, vaak in multimodale instructies voorkomen. Voor een correcte uitvoering van de instructie is het van belang dat de verwijzing voldoende informatie voor de gebruiker bevat om de eerder genoemde referent te kunnen identificeren (Arts et al. 2000, p. 96). De categorie anaforische
verwijzing is dan ook relevant bij het coderen van instructies.
2.3: Afbeeldingen
Naast de besproken tekstuele eisen van Steehouder en Jansen (1997) in 2.2 dient een multimodale instructie in elk geval een afbeelding te bevatten. De MI’s die in het corpus zijn opgenomen bevatten minstens één afbeelding per instructie. Verschillende bronnen (Mayer, 2009, Hout et al 2006,
Hooijdonk en Spooren, 2011 en Katz et al, 2006) onderschrijven de bijdrage van afbeeldingen aan het beter begrijpen en onthouden van een instructie.
Functies van afbeeldingen
Carney & Levin (2012, p. 11) bespreken twee categorieën die relevant zijn voor het coderen van afbeeldingen in instructies. Allereerst bespreken ze de identificatiefunctie van afbeeldingen. De identificatiefunctie houdt in dat de afbeelding de handelingsituatie representeert. In de afbeelding is dan (een onderdeel van) de instructie weergegeven. Deze functie is relevant voor het coderen van instructies omdat volgens Dupont & Bestgen (2006, p. 257) een afbeelding waarin een representatie van de handeling is opgenomen voor een snellere uitvoer van de instructie zorgt, vergeleken met een tekstuele instructie.
De tweede categorie die relevant is voor het coderen is de lokalisatiefunctie van afbeeldingen. Volgens Carney & Levin (2012, p. 14) houdt de lokalisatiefunctie in dat in de afbeelding wordt ingezoomd op een plaats of een onderdeel van een bepaald product of lichaamsdeel dat wordt aangewezen.
Volgens Arts et al (2000, p. 97) spelen identificatie en lokalisatie een grote rol bij het bereiken van het doel van de MI: het kunnen uitvoeren van de handelingen. Hierdoor kan worden gesteld dat deze twee categorieën een belangrijk onderdeel van instructies zijn.
Steehouder en Jansen (1997) noemen nog twee categorieën die relevant zijn voor het coderen van de functie van afbeeldingen. Zij stellen dat een afbeelding tevens kan dienen om de gebruiker te helpen controleren of de handeling goed is uitgevoerd. De functie van de afbeelding is in zo’n geval
controle-informatie. Daarnaast kan een afbeelding ook een waarschuwing uitdragen, denk
bijvoorbeeld aan een symbool van een gevarendriehoek met een rode rand. Steehouder en Jansen (1997) geven ook een verklaring waarom een afbeelding die een waarschuwing uitdraagt functioneel is: gebruikers zouden eerst naar de afbeeldingen en dan pas naar de tekst kijken.
Kenmerken van afbeeldingen
Pagina 10 van 137 Kools et al (2006, p. 105) definiëren affordances als verwijzingen naar kenmerken van objecten die worden waargenomen door gebruikers. Affordances zorgen ervoor dat het aantal mogelijke
handelingen die gekoppeld zijn aan dat object wordt beperkt door de vorm, het gewicht of materiaal van het object.
Glenberg & Robertson (1999, p. 5) stellen dat de instructie begrijpelijker wordt doordat de gebruiker weet welke functie het object heeft. Ze leggen deze stelling uit aan de hand van het volgende
voorbeeld. De zin “iemand krabt zich met een floppy op de rug” is begrijpelijk (zelfs al heeft de lezer nooit zijn of haar rug met een floppy gekrabd) omdat het object ‘floppy’ succesvol kan worden gekoppeld aan de handeling, namelijk het op de rug krabben met een klein, glad en vierkant object. Volgens Glenberg & Robertson (1999, p. 5) begrijpt de gebruiker deze zin doordat we op basis van ons repertoire van lichamelijke vaardigheden weten ‘hoe’ we een handeling (zoals krabben) kunnen uitvoeren.
Hoogwegt, Maes en Van Wijk (2009, p. 291) stellen dat het aantal mogelijke handelingen, die aan een object gekoppeld zijn, wordt beperkt wanneer een afbeelding een weergave van een menselijk lichaamsdeel bevat dat aangeeft op welk lichaamsdeel de handeling betrekking heeft. Zij spreken dan ook van affordance wanneer de afbeelding inzoomt op een bepaald lichaamsdeel waar of waarmee de gebruiker de handeling dient uit te voeren. Uit het onderzoek van Hoogwegt, Maes en Van Wijk (2009, p. 280 – 291) is gebleken dat de begrijpelijkheid van de instructie moeilijker wordt wanneer menselijke lichaamsdelen in een afbeelding ontbreken.
Houts et al (2006, p. 182) stellen dat afbeeldingen met affordance vaak in MI’s uit het
gezondheidsdomein worden gebruikt om de stappen van de instructie te illustreren, zoals ‘hoe geef je een injectie’ of om te laten zien ‘waar de lever zich in het menselijk lichaam bevindt’. Een
afbeelding die delen van het menselijk lichaam toont, zorgt volgens hen voor een makkelijkere en efficiëntere uitvoering van de instructie dan woorden alleen. De categorie affordance lijkt dan ook relevant voor het coderen van instructies uit het gezondheidsdomein.
In dit onderzoek is, in overeenstemming met Hoogwegt, Maes en van Wijk, sprake van affordance wanneer de afbeelding een menselijk lichaamsdeel, waarop de instructie betrekking heeft, representeert.
Een andere categorie die interessant is voor het coderen van afbeeldingen in instructies is de pictogram. Katz et al (2006, p. 2394-2395) definiëren een pictogram als een specifiek soort afbeelding. Het is een getekend icoon dat vaak een universele betekenis heeft. Ze bespreken verschillende soorten pictogrammen die een rol spelen in multimodale gezondheidsinstructies: pictogrammen die laten zien wat de gebruiker juist niet moet doen (vaak in de vorm van een
verkeersbord met een streep erdoor) en klok (ronde klok met wijzers )- en tijdlijnpictogrammen (tijd in cijfers).
Dupont & Bestgen (2006, p. 257) omschrijven een vierde kenmerk van een pictogram als een icoon met een visuele representatie van een onderdeel van het object.
Pagina 11 van 137 Volgens Van Hooijdonk en Spooren (2011) worden pictogrammen vaak gebruikt in multimodale gezondheidsinstructies. Ze verwijzen hiervoor naar een onderzoek van Morrow et al (1998) waaruit is gebleken dat medische instructies die tekst en pictogrammen combineren, effectiever zijn dan instructies die alleen tekst bevatten. Het voordeel van een pictogram was groot bij informatie die niet expliciet in de tekst werd vermeld. Daarnaast zou een pictogram een gunstig effect hebben op het onthouden van de instructie (Van Hooijdonk en Spooren, 2011, p. 242). De categorie
pictogrammen lijkt dan ook belangrijk voor het ontwerpen van multimodale gezondheidsinstructies.
Een andere categorie die relevant is voor de codering van multimodale instructies is een pijl. Volgens Hoogwegt, Maes en van Wijk (2009, p. 280) komen pijlen veel in instructies voor vanwege het gunstige effect van een pijl in een afbeelding op de begrijpelijkheid van de MI. Hierdoor is de categorie pijlen van belang voor het coderen van afbeeldingen in instructies.
Hoogwegt, Maes en van Wijk (2009) onderscheiden twee functies van pijlen: pijlen geven een richting aan of worden ingezet als aandachttrekker. Heiser en Tversky (2006, p. 582-590) lichten de functies van pijlen toe door te stellen dat een pijl kan zorgen voor verbinding tussen verschillende onderdelen in de instructie, een volgorde kan aanduiden en een beweging in een doorgaans statische afbeelding kan suggereren.
2.4: Tekst-beeld relatie
Florax & Ploezner (2010, p. 216-217) en Katz et al (2006, p. 2392-2395) stellen dat de combinatie van tekst en afbeeldingen in multimodale instructies belangrijk is voor het uitvoeren en onthouden van de instructie. Zij stellen dat instructieve teksten zonder afbeeldingen, of afbeeldingen zonder ondersteuning vanuit de tekst, de uit te voeren handeling vaak onvoldoende uitleggen aan de gebruiker om dit goed te kunnen begrijpen.
Van Hooijdonk en Spooren (2011, p. 244) zijn dezelfde mening toegedaan. In hun onderzoek naar instructies in het gezondheidsdomein laten zij zien dat de betekenis van afbeeldingen vaak niet helder is, wat suggereert dat afbeeldingen tekst nodig hebben om de interpretatieruimte ervan in te perken.
Dupont & Bestgen (2006, p. 263) vullen aan dat het effectief leren van instructies afhangt van de samenhang tussen de tekstdelen en de afbeeldingen.
Samenhang tekst en afbeelding
De tekst-beeld relatie wordt aantoonbaar door de manier waarop tekst en afbeeldingen
samenhangen. Deze samenhang kan door diverse categorieën worden beschreven. Heiser & Tversky (2006, p. 581-582) beschrijven de eerste categorie van samenhang door te stellen dat de samenhang tussen tekst en afbeelding door structurering tot stand kan komen.
Steehouder en Jansen (1997) specificeren deze structurering. Zij zeggen dat door het scheiden en groeperen van onderdelen, relaties worden aangetoond. Net als Heiser & Tversky zijn Steehouder en Jansen van mening dat een structurering de gebruiker helpt om de samenhang van tekst en
afbeeldingen te doorzien.
Volgens Steehouder & Jansen(1997) is het toevoegen van een horizontale scheiding een
Pagina 12 van 137 volgens Steehouder en Jansen(1997) een witregel zijn of een horizontale lijn tussen verschillende onderdelen.
Volgens Steehouder en Jansen (1997) verwachten gebruikers door een witregel of scheidingslijn dat daarmee een onderdeel wordt afgesloten en onder de lijn ‘iets nieuws begint’. De categorie lijnen is dan ook relevant voor het coderen van de tekst-beeld relatie.
Steehouder en Jansen (1997) bespreken tevens een andere manier om informatie te structureren, namelijk het aanbrengen van een verticale scheiding. Deze blokken maken de gebruiker duidelijk waar een onderdeel eindigt en waar het volgende onderdeel begint. Volgens Steehouder en Jansen (1997) horen de tekst en de afbeeldingen die in hetzelfde kader staan bij elkaar. De samenhang tussen tekst en beeld kan dus ook door de categorie blokken worden aangetoond.
Tekstuele verwijzing naar afbeelding
Een andere manier waarop de tekst-beeld relatie kan worden aangetoond, wordt besproken door Glenberg & Robertson (1999). Zij stellen dat de meest simpele instructie moeilijk te begrijpen is zonder een verwijzing naar de handelingsituatie. Volgens Glenberg & Robertson (1999, p. 3) wordt de samenhang tussen de tekst en de afbeelding duidelijk door expliciet in de tekst te verwijzen naar de betreffende afbeelding die de handelingsituatie representeert.
Dupont & Bestgen (2006, p. 251) definiëren zo’n tekstuele verwijzing als een referentiële verwijzing in de tekst naar de bijbehorende afbeelding. Uit hun onderzoek kwam naar voren dat de combinatie van tekst en afbeeldingen alleen effectief is als de gebruiker de multimodale informatie weet te integreren.
Volgens Dupont & Bestgen (2006, p. 260- 261) helpt een tekstuele verwijzing, zoals “zie figuur 1”, de gebruiker om het verband te zien tussen de tekst en de afbeelding(en) van de MI. De categorie
tekstuele verwijzing is dan ook van belang voor het coderen van de tekst-beeld relatie van een
Pagina 13 van 137
Hoofdstuk 3: Methode
Op weg naar een verbeterd codeersysteem
3.1: Het bestaande corpus
Het afgelopen jaar hebben dertien studenten het vak Multimodale instructieve teksten gevolgd, waarin zij samen een corpus van 227 MI’s voor de gezondheidszorg hebben samengesteld en geannoteerd.
Verzameling corpus
Criteria voor het opnemen van de instructies in het corpus waren als volgt:
1. De instructie heeft een gezondheidsdoel. Daarmee wordt bedoeld dat de instructie dient om de gezondheid van de gebruiker of van iemand anders te bevorderen, zoals instructies om een medisch apparaat te gebruiken, instructies voor het innemen van een geneesmiddel, gezondheidsoefeningen of EHBO-instructies.
2. De instructies zijn multimodaal. Dat wil zeggen dat de instructie uit tekst en beeld bestaat.
3.2: Het oorspronkelijke codeersysteem
De dertien studenten (hierna: annotators) hebben het corpus geannoteerd met behulp van codeersysteem versie 7, dat uit de volgende vijf hoofdcategorieën bestaat: MI Presentatie, MI Functie, Tekst, Afbeeldingen en Tekst-beeld relatie. Codeersysteem versie 7 omvat naast de vijf hoofdcategorieën, 36 labels en 52 waarden. De meeste labels zijn voorzien van een beschrijving en in een enkel geval bevat codeersysteem versie 7 een voorbeeld van een label of waarde. Een voorbeeld hiervan is het label Reading-to-do, dat is voorzien van het voorbeeld medicatie doseren. Zie bijlage E voor het oorspronkelijke codeersysteem, versie 7.
Voor de beantwoording van de onderzoeksvraag – in hoeverre dient het bestaande codeersysteem te worden aangepast om de huidige corpusbeschrijving te verbeteren? - zijn twee verschillende onderzoeksmethoden nodig. Een theoretische evaluatie waarin wordt onderzocht of het
codeersysteem uit relevante categorieën bestaat en een empirische evaluatie om vast te stellen waar de moeilijkheden zitten in het codeersysteem. De resultaten uit de theoretische evaluatie worden getoetst met een empirische evaluatie waarin gekeken wordt hoe de dertien annotators het codeersysteem hebben gebruikt.
3.3: Theoretische evaluatie
MateriaalDe theoretische evaluatie gaat uit van versie 7 van het codeersysteem (zie bijlage E). Met dit systeem hebben de annotators in 2015 daadwerkelijk gewerkt. Het oorspronkelijke codeersysteem bestaat uit vijf hoofdcategorieën (MI Presentatie, MI Functie, Tekst, Afbeeldingen en Tekst-beeld relatie) en 36 categorieën waarmee de verschillende kenmerken van MI’s worden beschreven. Zie 3.2.
Aanpak
Pagina 14 van 137 zinvol is om die categorie te onderzoeken. Anders gezegd: Is deze categorie belangrijk voor het beschrijven van de MI? Een bevestigend antwoord gebaseerd op literatuur geldt als bewijs dat de categorie in het codeersysteem thuishoort. Daarnaast omvat de theoretische evaluatie een conceptualisatie waarmee de definities zijn getoetst en een exploratieve corpusanalyse waarin onderzocht is hoe de betreffende categorie in het corpus voorkomt. Hiermee zijn de definities van de categorieën getoetst en waar nodig verbeterd. Definities kunnen op twee manieren worden
verbeterd. Definities worden vervangen of aangevuld. Meer informatie over de werkwijze is opgenomen in sectie 4.1.1.
Voorlopig verbeterd codeersysteem
Op basis van de resultaten van de theoretische evaluatie is een voorlopig verbeterd codeersysteem ontworpen. Hierin zijn de verbeterde definities opgenomen. Zie bijlage B.
3.4: Empirische evaluatie
MateriaalIn de empirische evaluatie wordt met een steekproef een deel van de corpusbeschrijving (hierna: annotaties) van de studenten vergeleken met mijn annotatie van dezelfde MI. Centraal staat de vraag in hoeverre de annotaties overeenkomen.
In deze steekproef zijn de annotaties van 39 MI’s opgenomen. De annotaties van de studenten komen uit Codingsheet 7. Daarnaast wordt bij het coderen gebruikgemaakt van het oorspronkelijke codeersysteem (versie 7), aangevuld met de verbeterde definities. De werkwijze staat beschreven in sectie 4.2.1.
Aanpak
Met deze evaluatie wordt het oorspronkelijke codeersysteem op betrouwbaarheid getoetst en wordt tegelijkertijd het voorlopig verbeterd codeersysteem getoetst. De betrouwbaarheid van het
oorspronkelijke codeersysteem wordt getoetst door de oorspronkelijke annotaties van de categorieën te evalueren: is er sprake van systematiek in de annotaties van een betreffende categorie? Het voorlopig verbeterde codeersysteem wordt getoetst door de nieuwe definities te evalueren: zijn er geschikte definities voor de categorieën voorgesteld? Deze aanpak wordt gespecificeerd in 4.2. De empirische evaluatie laat zien waar de moeilijkheden zitten in het codeersysteem (hierna: knelpunten). Op basis van de uitkomsten worden de knelpunten van het codeersysteem in kaart gebracht en kan het op basis van de theoretische evaluatie voorgestelde systeem worden opgeschoond.
Definitief verbeterd codeersysteem
Pagina 15 van 137
Hoofdstuk 4: Op weg naar een verbeterd
codeersysteem
4.1: Theoretische evaluatie van het oorspronkelijke codeersysteem
In de theoretische evaluatie wordt met toetsing aan bestaande theorie en de exploratievecorpusanalyse aangetoond waarom een categorie in het codeersysteem thuishoort. Daarnaast zijn de definities van de categorieën geëvalueerd.
4.1.1: Methode
Het analysemodel is gebaseerd op het oorspronkelijke codeersysteem (versie 7) en bestaat uit de eerste vier kolommen van het codeersysteem: hoofdcategorie, categorie, waarden en definitie. Het oorspronkelijke codeersysteem spreekt van labels, waarden en beschrijvingen. Om de samenhang tussen deze categorieën te concretiseren zijn de titels aanpast in categorieën, waarden en definities. Daarnaast zijn ze voorzien van letters (A, B, C) dat het verband tussen de categorieën laat zien. De beschrijving is veranderd in definitie omdat de definitie in deze evaluatie mede centraal staat. Vervolgens zijn er drie werkkolommen aan het analysemodel toegevoegd: ‘bewijs (theoretische en exploratieve evaluatie), conceptualisatie, knelpunten en oplossing.’
Introductie analysemodel
De legenda wordt gepresenteerd in tabel 1. Deze kolommen zijn in het analysemodel opgenomen en de kleuren geven aan van welk type bewijs of oplossing sprake is. Tabel 2 laat een fragment van het analysemodel zien. Zie bijlage A voor de volledige analysetabel.
Tabel 1: Legenda analysetabel
Geel Huidige definitie
Blauw Theoretisch evaluatie
Groen Conceptualisatie (aanpassing van de definitie)
Paars Exploratieve corpusanalyse (hoe komt een categorie voor)
Grijs Verwijzing naar empirische evaluatie (hoe is een categorie geannoteerd ) Donkerblauw Aanpassing in een categorie
Pagina 16 van 137
Tabel 2: Fragment analysetabel theoretische evaluatie
Werkwijze
In dit model zijn de categorieën, waarden en beschrijvingen uit het oorspronkelijke codeersysteem overgenomen. Elke categorie is op drie manieren getoetst: eerst is stelselmatig “bewijs” in de theorie gezocht, vervolgens is gekeken hoe deze categorie voorkomt in het corpus (exploreren) en als laatste of er sprake lijkt te zijn van een knelpunt (aanwijzing voor empirische evaluatie).
Definitie
Wanneer een definitie ontbreekt wordt er op theoretische grondslag een voorstel voor een definitie geformuleerd. Als er wel een definitie in het codeersysteem is opgenomen wordt aan de hand van theorie en voorkomens in het corpus getoetst of deze definitie volstaat. Evidentie voor het antwoord op deze vraag is afkomstig uit de literatuur en het corpus. Ontbreekt een definitie niet maar volstaat deze ook niet? Dan wordt de definitie aangevuld. Zie tabel 2 en bijlage A. De huidige definities zijn geel gemarkeerd. De nieuwe definities staan in de kolom conceptualisatie en zijn in het groen weergegeven.
Bewijs
In deze kolom is het bewijs aangegeven waarom deze categorie belangrijk is voor het codeersysteem. De evidentie bestaat uit de conceptualisatie, waarin onderzocht wordt of de definitie goed is
geformuleerd, en een exploratieve corpusanalyse, waarin wordt gekeken hoe een bepaalde categorie in het corpus voorkomt. Als een vermoeden rijst dat er sprake is van een knelpunt in het
codeersysteem, dan wordt deze aanwijzing in de empirische evaluatie nader onderzocht. Zie sectie 4.2.
Hoofd categorie
Cate-gorie
Waarden Definitie Theoretische evaluatie en exploratieve corpusanalyse Concept-ualisatie Knelpunten Oplossing MI Presen-tatie
Pagina 17 van 137 Van welk evidentietype sprake is, is te zien aan een kleurencode in het analysemodel. Is het bewijs gestoeld op theoretische evidentie? Dan is dit aangetoond door een bronvermelding, bijvoorbeeld “Maes et al,1996. Als het bewijs berust op voorkomens in het corpus dan is er verwezen naar de betreffende MI. Wanneer er sprake is van een vermoeden dat moet worden getoetst in de empirische evaluatie, dan staat dat er expliciet bij vermeld.
Knelpunten
In deze kolom zijn de knelpunten beschreven ten aanzien van de huidige definitie van een categorie. Er is sprake van een knelpunt wanneer een definitie ontbreekt of niet volstaat en/of wanneer evidentie daartoe aanleiding heeft gegeven.
Oplossingen
In deze kolom is de te verwachten oplossing voor het aangemerkte knelpunt beschreven. Deze oplossing is afkomstig uit evidentie. Een oplossing kan uit meerdere varianten bestaan: er kan sprake zijn van een aanpassing of verwijdering van een categorie. Minder ingrijpend is het toevoegen van een handleiding aan de betreffende categorie. Hiervan is sprake wanneer een definitie wordt
toegevoegd, gespecificeerd en/of verruimd. In de handleiding wordt uitgelegd wat met een bepaalde categorie wordt bedoeld en hoe deze te herkennen is aan de hand van voorbeelden.
4.1.2: Resultaten
De resultaten van de theoretische evaluatie worden getoond in tabel 3.
Tabel 3: Resultatentabel theoretische evaluatie
Aantal keer voorgekomen
Definitie A. Huidige definitie volstaat 24
B. Conceptualisatie: Verbeterde definitie 32
Bewijs A. Theoretische evaluatie 45
B. Exploratievecorpusevaluatie 36 C. Verwijzing naar empirische evaluatie 30
Knelpunten 46
Oplossing A. Aanpassen van de categorie 35
Pagina 18 van 137 De huidige definitie is vaker verbeterd (32x) dan volledig bevonden (24x). Dit komt onder andere doordat een definitie in sommige categorieën ontbrak (bijvoorbeeld de definitie van de waarden van
Doelgroep: Volwassenen, Kinderen of Medisch geschoolden) of te beperkt werd bevonden. Een
passend voorbeeld is de categorie handeling van Tekst: Het aantal afzonderlijke handelingen (huidige definitie) dat een lezer moet uitvoeren voor het verkrijgen van het (in de MI) beoogde resultaat (conceptualisatie: aanvulling van de definitie). Deze aanvulling is gebaseerd op de eis van Steehouder en Jansen (1997) dat een instructie uit een aantal opeenvolgende stappen bestaan waarin wordt uitgelegd wat de gebruiker moet doen om de instructie uit te voeren. De nieuwe definitie geeft meer informatie en legt duidelijk uit aan de annotator hoe hij/zij met deze categorie dient om te gaan. Bewijs
Regelmatig is verwezen naar de drie evidentietypen: literatuur (45x), corpus (36x) en te verwachten empirische evaluatie (30x). Het hoge aantal verwijzingen naar de empirische evaluatie is
merkwaardig omdat het impliceert dat er nog veel vragen of onduidelijkheden zijn over het codeersysteem. Een goed voorbeeld hiervan is de waarde Anders (van categorie B: Soort
afbeeldingen). Voor deze waarde zijn geen indicaties in de literatuur en in het corpus gevonden. Het
is daarom afhankelijk van de uitkomsten van de empirische evaluatie of deze waarde van belang is. Knelpunten
Uit de evaluatie zijn 46 knelpunten naar voren zijn gekomen. Deze knelpunten verschillen van het ontbreken van een definitie (Functie van afbeeldingen: Meerdere waarden) of een beperkte definitie (Soort afbeelding: Tekening) tot het verzoek om een handleiding (Afbeeldingen: Pictogram) en twijfel over volledigheid van een categorie.
Een ander knelpunt was de definitie van Functie van MI: Reading-to-decide. Volgens Van Hooijdonk en Spooren (2011, p. 237) wordt met Reading-to-decide bedoeld dat de instructie wordt gelezen om een beslissing te nemen. De exploratieve corpusanalyse heeft uitgewezen dat de beslissing zowel tijdens als na de uitvoering van de instructie kan worden genomen. Een voorbeeld van een instructie waarin de beslissing tijdens het uitvoeren moet worden genomen is het behandelen van
brandwonden. De verdere uitvoer van de instructie is afhankelijk van welk type verbranding er sprake is. Een voorbeeld van een beslissing nemen na het uitvoeren van de instructie is een zwangerschapstest afnemen. De instructie is het uitvoeren van de test. De gebruiker neemt na het uitvoeren van de instructie een beslissing; afhankelijk van het resultaat (wel of niet zwanger) besluit de gebruiker wel of geen medische hulp te zoeken. Het aangeven of de beslissing tijdens of na de uitvoering van de instructie wordt genomen, levert de annotator meer informatie op waardoor deze categorie concreter wordt geannoteerd.
Oplossingen
Het oplossen van een knelpunt door een aanpassing van de categorie (35x) is vaker voorgekomen dan het oplossen van een knelpunt door het opstellen van een handleiding (17x). Maar het lijkt erop dat deze twee oplossingen grotendeels samengaan. Een voorbeeld hiervan is te zien in de oplossing van de categorie Pictogram. Het bleek ingewikkeld om de definitie van deze categorie concreet te maken, waardoor het vermoeden rijst dat annotators deze categorie niet eenduidig zullen
Pagina 19 van 137 Katz et al (2006, p. 2394-2395) onderscheiden verschillende soorten pictogrammen die een rol spelen in multimodale gezondheidsinstructies, zoals pictogrammen die laten zien wat de gebruiker juist niet moet doen (vaak in de vorm van een verkeersbord met een streep erdoor) en klok- en tijdlijnpictogrammen. Dupont & Bestgen (2006, p. 257) omschrijven een vierde variant van een pictogram als een icoon met een visuele representatie van een onderdeel van het object. Wanneer de handleiding concrete voorbeelden van pictogrammen bevat, zal de annotator een pictogram eerder herkennen, wat een eenduidige corpusbeschrijving ten goede kan komen. Uit de theoretische evaluatie bleek dat Affordance een lastig te vertalen begrip is. Kools et al (2006, p. 105) definiëren affordances als verwijzingen naar kenmerken van objecten die worden
waargenomen door gebruikers.
Hoogwegt, Maes en Van Wijk (2009, p. 280-291) hanteren een concretere definitie, namelijk er is sprake van affordance in afbeeldingen als het een representatie van een menselijk lichaamsdeel bevat. De oplossing ligt in het hernoemen van de categorie Affordance in Menselijke weergave. De nieuwe, concretere titel menselijke weergave is gebaseerd op de definitie van Hoogwegt et al (2009) en heeft tot gevolg dat annotators deze categorie makkelijker in instructies zullen herkennen. Een andere opvallende oplossing is het opsplitsen van de categorie Bron (van hoofdcategorie MI Presentatie) in twee aparte categorieën. Het knelpunt hierbij is dat bron zowel organisatiebron als vindplaats betekent. Daarom wordt de term Bron opgesplitst en hernoemd in Organisatie en
Vindplaats.
4.1.3: Conclusie
De resultaten van deze evaluatie tonen aan dat er verbetermogelijkheden zijn. Er is vooral winst te behalen in het aanscherpen van de definities omdat definities ontbreken of te beperkt zijn. Deze aangescherpte definities zullen, gecombineerd met de handleiding, zorgen voor een duidelijker codeersysteem. Maar uit deze evaluatie is ook gebleken dat het belang van een aantal categorieën en waarden twijfelachtig is. Hiervoor wordt bewijs gezocht in de empirische evaluatie. Aan de hand van die uitkomsten wordt het uiteindelijke verbeterpunt bepaald. In deze evaluatie stond het oorspronkelijke codeersysteem centraal.
Pagina 20 van 137
4.2: Empirische evaluatie van de annotatie
4.2.1: Methode
Om inzicht te krijgen in hoe er is geannoteerd en te controleren of de annotatie betrouwbaar is, heb ik in dit onderzoek 39 MI’s geannoteerd omdat elke MI slechts door één student is geannoteerd. Vervolgens zijn beide annotaties vergeleken en op basis daarvan is de agreement score berekend. De annotatie van de studenten is versie een. Mijn annotatie is versie twee. Zie bijlage C. Codingsheet voor de input.
Selectie materiaal
Omdat de annotaties matchbaar moeten zijn, is in de empirische evaluatie gebruikgemaakt van het oorspronkelijke codeersysteem (versie 7), in plaats van de in 4.1 voorgestelde verbetering (versie 8). Het voorstel voor het verbeterde codeersysteem verschilt te veel van versie 7, wat het maken van vergelijkingen van annotaties niet ten goede komt. Omdat het oorspronkelijke codeersysteem niet voor elke categorie een definitie kent, is tijdens deze empirische evaluatie wél gebruikgemaakt van de nieuwe definities.
Selectie steekproef
Van elke annotator worden drie MI’s geselecteerd, die ik vervolgens ook heb geannoteerd. Vorig jaar hebben dertien studenten elk een setje MI’s geannoteerd. De meeste annotaties zijn door een andere student gecontroleerd. Maar de annotatie bevat geen ID-nummers van de annotators. Het is dus niet meteen duidelijk wie welke MI’s heeft geannoteerd. Annotatietabel versie 8 geeft echter wel diverse aanwijzingen voor het achterhalen van de ID van de annotators. De belangrijkste en meest opvallende indicator is de opeenvolgende nummering van MI’s. Aan de hand van de nummering is te zien welke MI’s bij elkaar horen; ofwel welke MI’s door dezelfde annotator zijn geannoteerd. In de nummering van MI’s zitten vaak grote gaten, waardoor heel duidelijk te zien is waar een nieuwe reeks van een andere annotator begint. Zie tweede kolom in onderstaande tabel 4 ‘selectie steekproef’.
Selectieprocedure
De dertien annotators zijn opgedeeld in index A tot en met M, zie eerste kolom. In de tweede kolom is te zien welke MI’s door een annotator zijn gecodeerd. In de derde kolom staat de identiteit van de MI’s die in de steekproef zijn opgenomen. Dit zijn telkens de eerste drie MI’s per annotator.
Tabel 4 selectie steekproef.
ID annotator ID MI’s MI in steekproef
A 1 tot en met 10 1 tot en met 3
B 31 tot en met 40 31, 33 en 34
C 91 tot en met 100 91 tot en met 93
D 151 tot en met 160 151 tot en met 153
E 181 tot en met 207 181 tot en met 183
F 211 tot en met 228 211, 215 en 217
G 241 tot en met 250 241 tot en met 243
Pagina 21 van 137
I 300 tot en met 309 300 tot en met 302
J 330 tot en met 339 330 tot en met 332
K 360 tot en met 369 360 tot en met 362
L 434 tot en met 492 434, 436 en 437
M 493 tot en met 503 493 tot en met 495
ID annotator M
Deze methode voor de identificatie van annotators werkt voor ID A tot en met L. Het is echter niet eenvoudig om te zien waar annotator L ophoudt en annotator M begint. Het is uiteindelijk gelukt aan de hand van de bronnotatie. Een duidelijk verandering in de bronnotatie is te zien bij MI’s 494 tot en met 503. Ter vergelijking: MI 491 (L) sandoz.nl en MI 494 (M) http://www.klinion.nl-/behandeling-bijtwond/.
In het eerste geval volstaat de annotator met een beknopte beschrijving van de URL terwijl in het tweede geval de hele URL wordt gegeven, inclusief http en //. Dit is een duidelijk aanwijzing dat het hier om twee verschillende annotators gaat.
4.2.2: Resultaten
Na het coderen van de 39 MI’s is de agreement score van beide versies berekend met de Cohen’s Kappa calculator op http://dfreelon.org/utils/recalfront/recal2/. De Kappa wijst uit in hoeverre de annotaties overeenkomen en houdt daarbij rekening met de waarschijnlijkheid dat de annotators per toeval overeenstemmen, dat onder meer afhankelijk is van hun voorkeur voor een bepaalde
categorie. Een Kappa van 1 is een volledige overeenkomst. Een Kappa van 0 is geen overeenkomst. Landis en Koch (1977) onderscheiden zes categorieën van de mate van overeenkomst: 1.00- 0.81 (bijna) perfecte overeenkomst, 0.80 – 0.61 voldoende tot goed, 0.60 - 0.41 redelijk, 0.40 – 0.21 matig, 0.20 – 0 gering en < 0 slechte overeenkomst.
Op basis van dit onderscheid wordt een drempelwaarde van 0.40 gehanteerd. Alle agreement scores van onder de 0.40 zijn nader bekeken om te achterhalen of het inderdaad om een knelpunt in het codeersysteem gaat.
Titel, beschrijving en opmerkingen
De categorieën Titel, Beschrijving en Opmerkingen zijn niet meegenomen in de resultaten. Alle MI’s in deze steekproef zijn voorzien van een titel, waardoor de titel en beschrijving eenvoudig over te nemen zijn. De categorie Opmerkingen is een notitieruimte voor de annotator.
Pagina 22 van 137
Tabel 5: Resultatentabel per categorie
Hoofdcategorie Categorie %
overeenkomst
Pagina 23 van 137 Hoofdcategorie Presentatie
Deze hoofdcategorie scoort een lage agreement (Kappa 0.22) maar heeft een hoog agreement percentage van 90%. Wanneer de annotatie van één categorie opvallend vaker voorkomt dan een andere categorie is dat te zien aan een hoog percentage en een lage kappa. Drie categorieën scoren onder de drempelwaarde: Doelgroep (0.28), Reading-to-do (0) en Reading-to-decide (-0.04). Alleen
Reading-to-learn scoort een voldoende tot goede overeenkomst met een agreement van 0.62.
Doelgroep
De annotatie van deze categorie komt 33 van de 39 keer overeen. Slechts in zes gevallen was er sprake van een verschil in annotatie van de doelgroep. Deze verschillen liggen allen in de waarde
Medisch geschoolden. ‘Haal een AED’ wordt aangeduid als vakjargon en wijst op een instructie voor
medici. Maar in de annotatie van versie een is dit niet opgemerkt want zij codeerden de waarde
Volwassenen. Een verklaring kan zijn dat de vroegere definitie of niet duidelijk genoeg was of wellicht
te beperkt. Uit de theoretische evaluatie is gebleken dat deze definitie niet volstond en is op theoretische grondslag aangevuld (Zie bijlage A en 4.1). Het lijkt erop dat door de verruiming meer MI’s in deze waarde passen dan voorheen.
Reading-to-do
Deze categorie heeft een agreement score van 0. Het agreement percentage is 97.4%; 38 van de 39 annotaties komen overeen. Er is dus sprake van een bijna perfecte overeenkomst. Zie hierboven bij ‘Hoofdcategorie presentatie’ voor de verklaring van het verschil in kappa en %score. Dit lijkt geen knelpunt in het codeersysteem te zijn. Een verklaring voor de bijna perfecte overeenkomst is dat nagenoeg alle instructies onder Reading-to-do vallen. Een instructie bedoeld om te onthouden, is automatisch ook bedoeld om (later) uit te voeren. Dit vereist dus een herziening van de definitie of een beschrijving van een duidelijke werkwijze, door bijvoorbeeld zowel de Reading-to-do als de
Reading-to-learn te annoteren.
Reading-to-decide
Volgens de agreement score van -0.04 is er geen overeenkomst. Het agreement percentage is echter 87.2%; 34 van de 39 annotaties komen overeen. Het lijkt erop dat hier wederom sprake is van een annotatie die opvallend vaker voorkomt dan een ander. In dit geval is de annotatie ‘0, niet aanwezig’ vaker voorgekomen (73x) dan ‘1, wel aanwezig’ (5x) op een totaal van 78 annotaties (2x39 MI’s). Zie bijlage C Output. Omdat 34 van de 39 annotaties overeenkomen lijkt deze categorie geen knelpunt te zijn.
Hoofdcategorie Tekst
Vier van de dertien categorieën van de hoofdcategorie Tekst hebben een agreement score van boven de 0.40: Aantal stappen (0.74), Controle informatie (0.41), Waarschuwingen (0.42) en Extra
informatie (0.43). De andere negen categorieën scoren onder de drempelwaarde en zijn allemaal
knelpunten in het codeersysteem.
Aantal handelingen
Deze categorie scoort een 0.04 en heeft een agreement percentage van 7.7%. Dat wil zeggen dat drie van de 39 annotaties overeenkwamen. Een duidelijk signaal dat deze categorie lastig te herkennen is.
Zelfstandige naamwoorden
Pagina 24 van 137 een agreement percentage van 7.7%. Drie van de 36 annotaties kwamen overeen. Dit resultaat vraagt om nader onderzoek en eventueel een aanpassing van de definitie.
Ook de categorieën Anafora en Deixis scoren slecht met een Kappa van 0.06. Anafora kent een agreement percentage van 51.3% en Deixis van 35.9%. Beide categorieën hebben ongeveer evenveel verschillen als overeenkomsten in de annotaties en dat is een duidelijk signaal van een knelpunt. Deze bevinding komt overeen met mijn ervaring: het bleek lastig deze categorieën op te sporen. Daarom wordt nader onderzoek en een herziening van de definitie met uitbreiding van voorbeelden voorgesteld.
Gebiedende wijs
Deze categorie heeft een agreement score van 0.25 en scoort een agreement percentage van 28.2%. elf van de 39 annotaties komen overeen. De lage overeenkomst is een belangrijke reden om dit mogelijke knelpunt nader te onderzoeken.
Tot slot is het opvallend dat de agreement scores van Voorwaarden, Motivatie, Advies en Toelichting allemaal onder de 0.20 liggen. Het lijkt erop dat deze categorieën lastig te herkennen of van elkaar te onderscheiden zijn. Doordat er nagenoeg evenveel verschillen als overeenkomsten in de annotaties zijn, moeten deze vier knelpunten nader worden onderzocht.
Hoofdcategorie Afbeeldingen
Opvallend is dat deze hoofdcategorie het beste scoort met een agreement van 0.55. Zeven van de tien categorieën scoren een agreement boven de drempelwaarde: Aantal afbeeldingen (0.63), Soort
afbeeldingen (0.84), Affordance (0.79), Pictogrammen (0.59), Pijlen (0.79), Nummers/letters (0.66) en Tijdsaanduidingen (0.76).
De categorie Tekst in afbeelding valt onder de drempelwaarde, met een agreement score van 0.30. Maar deze categorie heeft een agreement percentage van 74.4%, wat inhoudt dat meer dan tweederde van de annotaties overeenkomt.
De resultaten van de categorieën Functie (0.08) en Handeling (0.05) wijzen uit dat de annotators onvoldoende met deze categorieën uit de voeten kunnen. Het agreement percentage ligt onder de 50% en voor beide geldt: er zijn meer verschillen dan overeenkomsten in de annotaties gevonden.
Functie: 21 verschillen en achttien overeenkomsten. Handeling: 26 verschillen en dertien
overeenkomsten. Dit is voldoende aanleiding om de categorieën aan te merken als knelpunten in het codeersysteem.
Hoofdcategorie Tekst-beeld relatie
In deze hoofdcategorie wordt zowel een heel hoge als een lage overeenkomst behaald. Opvallend is dat bij de categorie Tekstuele verwijzing de annotaties nagenoeg overeenkomen. Deze categorie kent namelijk een agreement score van 0.85. Deze score lijkt een bevestiging dat zowel de categorie als haar definitie goed werkbaar zijn.
Pagina 25 van 137
Verwijzing tekst en beeld
Deze categorie heeft een agreement score van 0.21 en een agreement percentage van 35.9%. Van de 39 annotaties zijn veertien overeenkomsten en vijfentwintig verschillen. Deze categorie is daardoor aangemerkt als knelpunt en vraagt om nader onderzoek.
4.2.3: Verdieping
Twaalf van de dertig categorieën zijn aangemerkt als knelpunten en vragen om vervolgonderzoek. Het vervolgonderzoek vond plaats in een verdieping waarbij onderzocht is hoe de annotator de betreffende categorie heeft geïnterpreteerd en hoe hij/zij bij deze annotatie is gekomen. Werkwijze
Omdat het in deze verdieping gaat om de kwaliteit in plaats van de kwantiteit, zijn twee annotaties van twee verschillende annotators geanalyseerd. In deze verdieping staan MI’s 226 en 248 centraal omdat alle categorieën die als knelpunt zijn aangemerkt in de annotatie van deze twee instructies voorkomen.
De resultaten van de verdieping zijn weergegeven in tabel 6. In de tweede kolom staan de twaalf categorieën die zojuist als knelpunt zijn aangemerkt. MI 226 is geannoteerd door student F en MI 248 door student G. Vervolgens heb ik beide MI’s op basis van de twaalf categorieën die als knelpunt zijn aangemerkt geannoteerd. De resultaten hiervan zijn opgenomen in tabel 6. Hierin is te zien dat er alleen sprake is van een overeenkomst in annotatie bij de categorieën Aantal handelingen en
Motivatie. Uit de verdieping zijn, ondanks een volledige overeenkomst bij de twee categorieën, een
aantal aspecten ter verbetering naar voren gekomen. Hieronder wordt per categorie besproken hoe de annotatie tot stand is gekomen.
Tabel 6: annotatietabel verdieping
Hoofdcategorie Categorie Annotatie MI 226 student F Annotatie MI 226 Joyce Annotatie MI 248 student G Annotatie MI 248 Joyce Tekst Aantal handelingen 16 16 22 22 Zelfstandige naamwoorden 27 41 59 53 Anafora 10 1 6 5 Deixis 8 1 5 0 Gebiedende wijs 12 12 23 22 Voorwaarden 2 1 1 1 Motivatie 1 1 1 1 Advies 1 1 2 1 Toelichting 1 1 4 4
Afbeeldingen Functie Meerdere
functies
Meerdere functies
Toelichting Meerdere functies Handeling Handeling Meerdere Handeling Meerdere Tekst-beeld
relatie
Verwijzing tekst en beeld
Pagina 26 van 137 Hoofdcategorie Tekst
Aantal handelingen
MI 226 bevat in totaal zestien verschillende handelingen in de instructie. Het aantal handelingen komt overeen met de annotatie van annotator F. De handelingen die geen deel uitmaakten van de instructie zijn niet in deze score opgenomen. Het is raadzaam om in de definitie te beschrijven dat de handelingen buiten de instructie, dus in de rest van het document, niet worden meegeteld.
MI 248 bevat 22 handelingen; er is sprake van een overeenkomst. Ook hier zijn de handelingen buiten de instructie niet meegeteld.
Zelfstandige naamwoorden
Volgens annotator F bevat MI 226 27 zelfstandige naamwoorden. Dit is een merkwaardig verschil met mijn annotatie (41x). Het lijkt erop dat annotator F alleen de zelfstandige naamwoorden die zijn voorzien met een lidwoord heeft meegeteld. Het komt echter vaak voor dat een zelfstandig
naamwoord niet voorzien is van een lidwoord, zoals ‘til je voet op’. Het grote verschil in aantal doet vermoeden dat de zelfstandige naamwoorden zonder lidwoord wellicht over het hoofd worden gezien. Dit is een goed aanknopingspunt voor het concreter maken van de definitie, door het toevoegen van voorbeelden.
Volgens annotator G telt MI 248 59 zelfstandige naamwoorden. Wederom is er geen sprake van een overeenkomst (59x versus 53x). Dit verschil kan betekenen dat de annotator ook de zelfstandige naamwoorden in de titel heeft meegeteld. De titel bevat namelijk zeven zelfstandige naamwoorden. Dat aantal zou dan nagenoeg overeen komen met het aantal van annotator G (59). Of annotator G daadwerkelijk de zelfstandige naamwoorden in de titel heeft geteld, blijft een vermoeden. Maar op basis van deze bevinding is het raadzaam een werkwijze aan de handleiding toe te voegen, waarin bijvoorbeeld staat alleen de zelfstandige naamwoorden in de instructie te tellen.
Anafora
MI 226 bevat een anafora, namelijk in de volgende zin: “hoe strakker je het aantrekt”. Volgens Annotator F zijn er echter tien voorkomens van een anafora; dit lijkt een merkwaardig verschil. Het is onduidelijk hoe annotator F bij dit aantal is gekomen. Echter levert het wel een aanwijzing op dat de definitie van anafora moet worden verbeterd en dient te worden uitgebreid met voorbeelden die laten zien op welke manieren de anafora kan voorkomen.
Annotator G stelt dat de anafora zes keer voorkomt in MI 248, in plaats van vijf, waardoor er geen overeenkomst is bereikt. Een verklaring voor dit verschil is niet duidelijk. Het lijkt erop dat hier sprake is van een telfout. Daarnaast lijkt het erop dat alleen het aantal anafora in de instructie is geteld. Dit kan een aanwijzing zijn voor het toevoegen van een handleiding waarin de werkwijze is opgenomen, met daarin bijvoorbeeld een instructie om alleen het aantal voorkomens van anafora in de instructie te tellen.
Deixis
Pagina 27 van 137 is niet zichtbaar waar dit verschil in aantal vandaan komt. Hierdoor rijst het vermoeden dat de definitie van deixis niet toereikend is. Het lijkt erop dat annotator F in zinnen zoals “zodat je weer aan de buitenzijde uitkomt” heeft opgevat dat er sprake is van deixis bij bijvoorbeeld het woord ‘buitenzijde’. Deze formuleringen komen een paar keer in de instructie voor. Dit resultaat is een aanleiding voor het concreter maken van de definitie en het toevoegen van passende voorbeelden in de handleiding.
Annotator G heeft vijf voorkomens van deixis geannoteerd, terwijl het niet in de instructie van MI 248 voorkomt. Het lijkt erop dat de definitie van deixis tekortschiet of wellicht heeft annotator G niet alleen het aantal voorkomens van deixis in de instructie geteld, maar in het hele document. Een handleiding, met daarin een werkwijze die aan de definitie wordt toegevoegd, kan uitkomst bieden.
Gebiedende wijs
In de annotatie van MI 226 is een overeenkomst te zien. De gebiedende wijs komt twaalf keer in deze instructie voor. Opvallend is dat het document achttien voorkomens van de gebiedende wijs telt. Ondanks een volledige overeenkomst is het raadzaam in de handleiding te vermelden dat alleen de gebiedende wijs in de instructie dient te worden geteld.
De annotatie van MI 248 komt bijna overeen. Annotator G heeft 23x een gebiedende wijs
aangemerkt, terwijl de gebiedende wijs 22x voorkomt. Het lijkt erop dat er sprake is van een verschil dat gebaseerd kan zijn op een telfout.
Voorwaarden
Annotator F stelt twee keer een voorwaarde in het document van MI 226 te herkennen terwijl er alleen sprake is van een voorwaarde in de volgende zin: “Deze manier van tapen is alleen van toepassing als je kort geleden door je enkel bent gegaan.” Hier is sprake van een voorwaarde: ben je niet kort geleden door je enkel gegaan, dan is er wellicht een andere behandelmethode noodzakelijk. Het lijkt erop dat annotator F de volgende advieszin als voorwaarde heeft aangemerkt: “Breng de tape aan voordat je gaat sporten, anders is je huid vochtig en plakt de tape niet meer”. Deze zin staat precies boven de instructie waardoor het lijkt alsof dit een pre-stap is. Maar deze instructie is een advies, want het sporten zal niet op iedereen van toepassing zijn.
Figuur 1: MI 226 Categorie Voorwaarde
Hierdoor is het raadzaam om aan de definitie van Voorwaarde toe te voegen dat de voorwaarde een pre-stap van de instructie moet zijn en in geen geval een advies kan zijn.
Pagina 28 van 137
Motivatie
Beide annotators hebben vastgesteld dat motivatie een keer in MI 226 voorkomt, namelijk in de volgende zin: “Je kunt me bellen maar beter is om even langs te komen. Dan kan ik je enkel zien en beoordelen”. In de voorgaande zin wordt om een handeling gevraagd, namelijk langskomen. De motivatie is te zien in de daaropvolgende zin: “dan kan ik je enkel zien en beoordelen”. Daarin wordt uitgelegd waarom het beter is om langs te komen dan om te bellen.
Ook in MI 248 is er sprake van een overeenkomst. In de instructie wordt één keer gemotiveerd waarom een handeling op een bepaalde manier moet gebeuren. Zie figuur 2:
Figuur 2: MI 248 Categorie Motivatie
Beide overeenkomsten leveren, behalve het toevoegen van voorbeelden in de handleiding, geen verdere aanknopingspunten ter verbetering van de categorie Motivatie op.
Advies
In MI 226 is er een keer sprake van advies. Het lijkt erop dat beide annotators dezelfde zin als advies hebben aangemerkt. Dit is echter een vermoeden aangezien annotator F geen notities heeft gemaakt tijdens het annoteren. Wellicht zag annotator F in de volgende zin zowel een advies als een
voorwaarde: “Breng de tape aan voordat je gaat sporten, anders is je huid vochtig en plakt de tape niet meer”. Zie categorie Voorwaarde. In het document staat geen andere zin waarin een advies te zien is.
MI 248 bevat tevens een voorkomen van advies. Zie figuur 3. De handeling is een geschikte injectieplaats uitkiezen. Vervolgens wordt de gebruiker in de instructie geadviseerd over welke plaatsen geschikt zijn, namelijk de buikwand, bovenbeen of boven de bil.
Figuur 3: MI 248 Categorie Advies
Annotator G heeft echter geannoteerd dat advies twee keer in deze MI voorkomt. Een verklaring hiervoor kan zijn dat annotator G elders in het document nog een zin met een adviserende rol is tegengekomen. Dit lijkt inderdaad het geval, want onder het kopje “Wat te doen als de catheter is opgestroopt?” wordt de gebruiker geadviseerd om in dat geval een nieuwe Insulfon te gebruiken. Dit lijkt een goede aanwijzing voor het toevoegen van een werkwijze in de handleiding: tel alleen de adviezen in de instructie of juist in het hele document.
Toelichting
Pagina 29 van 137 Ook de annotaties van MI 248 komen overeen (4/4). In dit document is sprake van een toelichting op het gebruik en het verwisselen van het product Insulfon. Ook in deze MI staat de toelichting na de instructie en is het raadzaam om een werkwijze met voorbeelden aan de handleiding toe te voegen. Hoofdcategorie Afbeeldingen
Functie
Annotator F heeft geconcludeerd dat de afbeeldingen van MI 226 meerdere functies kennen. Dat lijkt
te kloppen: in de afbeeldingen wordt een plaats van een onderdeel aangewezen, zoals een bepaald lichaamsdeel, en bieden de afbeeldingen de gebruiker een controlemogelijkheid. Daarnaast wordt de handeling in de afbeelding getoond.In MI 248 stelt annotator G dat de functie van de afbeeldingen toelichten is. Dit lijkt gedeeltelijk te kloppen: toelichting is wel degelijk een onderdeel van de functie maar deze waarde lijkt in deze instructie te beperkt. De afbeeldingen laten tevens een paar van de uit te voeren handelingen zien, zoals te zien is in figuur 4. Een aanscherping van de definities van de waarden kan uitkomst bieden.
Figuur 4: MI 248 Categorie Functie
Handeling
Annotator F stelt dat de afbeeldingen in MI 226 een handeling laten zien. Maar naast de handeling tonen de afbeeldingen ook het resultaat van de handeling. Daarom is in deze MI sprake van de waarde Meerdere. Een aanscherping van de definities en het toevoegen van voorbeelden in de handleiding van de waarden kan voor meer duidelijkheid zorgen.
Annotator G is van mening dat de afbeeldingen in MI 248 de uit te voeren handelingen laten zien. Dat klopt gedeeltelijk. De afbeeldingen tonen tevens het resultaat van die handeling en in sommige gevallen zelfs een onderdeel van het resultaat van die handeling. In onderstaande afbeelding is een onderdeel van het resultaat van de handeling van stap 13 te zien. In de afbeelding wordt de
beschermlaag verwijderd. Het resultaat van de handeling is een verwijderde beschermlaag. Daarom is in deze MI naast het tonen van de handeling ook sprake van een onderdeel van het resultaat van die handeling.
Pagina 30 van 137 Hoofdcategorie Tekst-beeld relatie
Verwijzing tekst en beeld
Annotator F heeft gesteld dat er in MI 226 sprake is van een verwijzing tussen tekst en beeld dat tot stand komt door blokken. De verwijzing tussen tekst en beeld komt echter tot stand door lijnen. Het lijkt echter wel duidelijk hoe annotator F bij dit resultaat is gekomen. De afbeeldingen zijn namelijk gepositioneerd als blokken. Maar het gaat hier om de verhouding van tekst en beeld. En met die gedachte vindt de verwijzing/samenhang tussen tekst en beeld niet plaats via blokken maar via lijnen. De afbeelding staat namelijk op dezelfde horizontale lijn als de tekst waarbij de afbeelding hoort. Deze discrepantie kan worden opgelost door de definities van de waarden aan te vullen met concrete voorbeelden.
Figuur 6: MI 226 Categorie Verwijzing tekst en beeld
Annotator G is van mening dat de verwijzing tussen tekst en beeld in MI 248 tot stand komt door nummering. De afbeeldingen zijn inderdaad voorzien van een nummer en in de tekst wordt expliciet naar deze nummers verwezen, door middel van “zie figuur 1b”. Echter is er pas sprake van een verwijzing door nummering als de nummering in tekst en afbeeldingen in aantallen overeenkomt. Dat is in deze MI niet het geval: de instructie bestaat uit veertien genummerde tekstuele stappen en de instructie kent slechts vijf afbeeldingen, die tevens uit een andere nummering bestaan, zoals figuur 1a en 1b. De verwijzing tussen tekst en beeld komt tot stand door de titels van de
afbeeldingen, zie figuur 7. Daarom is hier sprake van de waarde Anders. Dit heeft annotator G echter niet gezien of anders opgevat, waardoor de definitie van de waarde Nummering dient te worden aangescherpt en de handleiding te worden uitgebreid met voorbeelden.
Figuur 7: MI 248 Categorie Verwijzing tekst en beeld
Pagina 31 van 137
4.2.4: Resultaten
Hoofdcategorie Tekst
De annotaties van de categorie Aantal handelingen kwamen beide keren overeen. Uit de verdieping kwam naar voren dat het raadzaam is om in de handleiding te beschrijven dat de handelingen buiten de instructie niet worden meegeteld omdat een handeling volgens Steehouder en Jansen (1997) direct betrekking heeft op de hoofdinstructie en dus in de instructie zal staan.
De annotaties van de categorie Zelfstandige naamwoorden kwamen niet overeen. Het lijkt erop dat de moeilijkheidsgraad bij het tellen van het aantal zelfstandige naamwoorden in een niet
waterdichte definitie zit. Worden alleen de zelfstandige naamwoorden in de instructie geteld of ook die in de inleiding en extra informatie staan? Wordt de titel meegenomen? Worden de verdekt opgestelde zelfstandige naamwoorden, zoals ‘je knie’ wel opgemerkt? Daar lijkt het niet op. Dit is een duidelijk aanwijzing dat er een handleiding nodig is waarin staat dat alleen de zelfstandige naamwoorden in de instructie dienen te worden geteld. Daarnaast dient de definitie te worden uitgebreid met voorbeelden.
Anafora
Ook de annotaties van Anafora kwamen niet overeen. Het lijkt erop dat de definitie sterk kan worden verbeterd. Volgens Arts et al.(2000, p. 96) is een anafora te herkennen aan de verwijzing naar een antecedent. Tevens is het aan te raden een instructie in de handleiding op te nemen dat alleen de anafora in de instructie dient te worden geteld.
Deixis
De annotaties van Deixis kwamen niet overeen. De definitie dient te worden verbeterd en tevens worden uitgebreid met passende voorbeelden in de handleiding hoe deixis in het corpus voorkomt. Gebiedende wijs
Het aantal voorkomens van de Gebiedende wijs kwam nagenoeg overeen. Ondanks de bijna perfecte overeenkomst is het raadzaam om in de handleiding te vermelden dat alleen de gebiedende wijs in de instructie dient te worden geteld, omdat gebiedende wijs volgens Steehouder en Jansen (1997) onderdeel is van de instructieve stijl en vooral voor de instructie van belang is.
Voorwaarden, Motivatie, Advies en Toelichting
De annotaties van Voorwaarden kwam een keer wel en een keer niet overeen. Het lijkt erop dat annotator F Voorwaarde en Advies niet goed uit elkaar kon houden. Het is raadzaam om aan de definitie toe te voegen dat Voorwaarde , in overeenstemming met Steehouder en Jansen (1997) een pre-stap van de instructie moet zijn en in geen geval een advies is. De verdieping wijst uit dat de definitie van Motivatie kan worden verbeterd door deze aan te vullen met voorbeelden.
De categorie Advies kan worden verbeterd door voorbeelden en een werkwijze toe te voegen waarin staat beschreven dat advies, volgens Steehouder en Jansen (1997), voornamelijk voorkomt in de instructie.
Pagina 32 van 137 Hoofdcategorie Afbeeldingen
De annotaties van de categorieën Functie en Handeling kwamen niet overeen. Uit de verdieping kwam heel duidelijk naar voren dat de waarden van de categorieën Functie en Handeling niet goed van elkaar worden onderscheiden of niet voldoende worden herkend. Een betere definitie per waarde, voorzien van concrete voorbeelden kan dit probleem oplossen. De concrete voorbeelden van Carney & Levin (2012) van de identificatie- en lokalisatiefunctie van afbeeldingen worden in de handleiding opgenomen. Zie sectie 2, theoretisch kader.
Hoofdcategorie Tekst-beeld relatie
Ook de annotaties van de categorie Verwijzing tussen tekst en beeld kwamen niet overeen. Het lijkt erop dat de waarden van de categorie Verwijzing tussen tekst en beeld niet goed worden herkend. Een betere definitie per waarde, voorzien van concrete voorbeelden in de handleiding , kan uitkomst bieden. Over de waarde Lijnen zeggen Steehouder en Jansen (1997) bijvoorbeeld dat deze waarde te herkennen is aan een witregel of een horizontale lijn tussen verschillende onderdelen.
4.2.5: Conclusie
In de empirische evaluatie zijn de annotaties van dertig categorieën uit het oorspronkelijke
codeersysteem getoetst, waarvan twaalf categorieën zijn aangemerkt als knelpunt. Het merendeel van de categorieën lijkt dus voldoende te worden herkend in een instructie en werkbaar.
Herindeling hoofdcategorie Tekst
De resultaten van deze evaluatie bevestigen het voorstel voor de herindeling van de hoofdcategorie Tekst. Uit de theoretische evaluatie rees het vermoeden dat de categorieën Voorwaarde, Toelichting,
Motivatie en Advies te moeilijk van elkaar te onderscheiden en daardoor onduidelijk zijn. Uit de
resultaten blijkt dat deze categorieën inderdaad lastig van elkaar te onderscheiden zijn. Daarom zijn deze categorieën in het verbeterde codeersysteem ingedeeld als subcategorieën van de categorie
Controle-informatie. De lage agreement scores bevestigen dat het onderscheid tussen deze
categorieën niet duidelijk genoeg is en motiveren daarmee deze beslissing.
De categorie Controle-informatie bevat in het verbeterde codeersysteem vijf subcategorieën:
Waarschuwing, Voorwaarde, Toelichting, Advies en Anders. Door het toevoegen van een
subcategorie Anders, wordt deze categorie makkelijker te annoteren. Kan de annotator niet goed inschatten van welk type controle-informatie sprake is? Dan annoteert hij/zij een waarde bij de subcategorie Anders.
De verdieping lijkt uit te wijzen dat de twaalf categorieën die als knelpunten zijn aangemerkt wel degelijk werkbaar zijn, maar dat ze door het ontbreken van voorbeelden en duidelijke kaders voor verwarring zorgen.
Verbeteringen
