Annotator F heeft gesteld dat er in MI 226 sprake is van een verwijzing tussen tekst en beeld dat tot stand komt door blokken. De verwijzing tussen tekst en beeld komt echter tot stand door lijnen. Het lijkt echter wel duidelijk hoe annotator F bij dit resultaat is gekomen. De afbeeldingen zijn namelijk gepositioneerd als blokken. Maar het gaat hier om de verhouding van tekst en beeld. En met die gedachte vindt de verwijzing/samenhang tussen tekst en beeld niet plaats via blokken maar via lijnen. De afbeelding staat namelijk op dezelfde horizontale lijn als de tekst waarbij de afbeelding hoort. Deze discrepantie kan worden opgelost door de definities van de waarden aan te vullen met concrete voorbeelden.
Figuur 6: MI 226 Categorie Verwijzing tekst en beeld
Annotator G is van mening dat de verwijzing tussen tekst en beeld in MI 248 tot stand komt door nummering. De afbeeldingen zijn inderdaad voorzien van een nummer en in de tekst wordt expliciet naar deze nummers verwezen, door middel van “zie figuur 1b”. Echter is er pas sprake van een verwijzing door nummering als de nummering in tekst en afbeeldingen in aantallen overeenkomt. Dat is in deze MI niet het geval: de instructie bestaat uit veertien genummerde tekstuele stappen en de instructie kent slechts vijf afbeeldingen, die tevens uit een andere nummering bestaan, zoals figuur 1a en 1b. De verwijzing tussen tekst en beeld komt tot stand door de titels van de
afbeeldingen, zie figuur 7. Daarom is hier sprake van de waarde Anders. Dit heeft annotator G echter niet gezien of anders opgevat, waardoor de definitie van de waarde Nummering dient te worden aangescherpt en de handleiding te worden uitgebreid met voorbeelden.
Figuur 7: MI 248 Categorie Verwijzing tekst en beeld
Pagina 31 van 137
4.2.4: Resultaten
Hoofdcategorie Tekst
De annotaties van de categorie Aantal handelingen kwamen beide keren overeen. Uit de verdieping kwam naar voren dat het raadzaam is om in de handleiding te beschrijven dat de handelingen buiten de instructie niet worden meegeteld omdat een handeling volgens Steehouder en Jansen (1997) direct betrekking heeft op de hoofdinstructie en dus in de instructie zal staan.
De annotaties van de categorie Zelfstandige naamwoorden kwamen niet overeen. Het lijkt erop dat de moeilijkheidsgraad bij het tellen van het aantal zelfstandige naamwoorden in een niet
waterdichte definitie zit. Worden alleen de zelfstandige naamwoorden in de instructie geteld of ook die in de inleiding en extra informatie staan? Wordt de titel meegenomen? Worden de verdekt opgestelde zelfstandige naamwoorden, zoals ‘je knie’ wel opgemerkt? Daar lijkt het niet op. Dit is een duidelijk aanwijzing dat er een handleiding nodig is waarin staat dat alleen de zelfstandige naamwoorden in de instructie dienen te worden geteld. Daarnaast dient de definitie te worden uitgebreid met voorbeelden.
Anafora
Ook de annotaties van Anafora kwamen niet overeen. Het lijkt erop dat de definitie sterk kan worden verbeterd. Volgens Arts et al.(2000, p. 96) is een anafora te herkennen aan de verwijzing naar een antecedent. Tevens is het aan te raden een instructie in de handleiding op te nemen dat alleen de anafora in de instructie dient te worden geteld.
Deixis
De annotaties van Deixis kwamen niet overeen. De definitie dient te worden verbeterd en tevens worden uitgebreid met passende voorbeelden in de handleiding hoe deixis in het corpus voorkomt. Gebiedende wijs
Het aantal voorkomens van de Gebiedende wijs kwam nagenoeg overeen. Ondanks de bijna perfecte overeenkomst is het raadzaam om in de handleiding te vermelden dat alleen de gebiedende wijs in de instructie dient te worden geteld, omdat gebiedende wijs volgens Steehouder en Jansen (1997) onderdeel is van de instructieve stijl en vooral voor de instructie van belang is.
Voorwaarden, Motivatie, Advies en Toelichting
De annotaties van Voorwaarden kwam een keer wel en een keer niet overeen. Het lijkt erop dat annotator F Voorwaarde en Advies niet goed uit elkaar kon houden. Het is raadzaam om aan de definitie toe te voegen dat Voorwaarde , in overeenstemming met Steehouder en Jansen (1997) een pre-stap van de instructie moet zijn en in geen geval een advies is. De verdieping wijst uit dat de definitie van Motivatie kan worden verbeterd door deze aan te vullen met voorbeelden.
De categorie Advies kan worden verbeterd door voorbeelden en een werkwijze toe te voegen waarin staat beschreven dat advies, volgens Steehouder en Jansen (1997), voornamelijk voorkomt in de instructie.
Bij de categorie Toelichting lijkt het waardevol om aan de definitie toe te voegen dat deze categorie zowel in het document als in de instructie kunnen voorkomen (Steehouder en Jansen, 1997).
Pagina 32 van 137 Hoofdcategorie Afbeeldingen
De annotaties van de categorieën Functie en Handeling kwamen niet overeen. Uit de verdieping kwam heel duidelijk naar voren dat de waarden van de categorieën Functie en Handeling niet goed van elkaar worden onderscheiden of niet voldoende worden herkend. Een betere definitie per waarde, voorzien van concrete voorbeelden kan dit probleem oplossen. De concrete voorbeelden van Carney & Levin (2012) van de identificatie- en lokalisatiefunctie van afbeeldingen worden in de handleiding opgenomen. Zie sectie 2, theoretisch kader.
Hoofdcategorie Tekst-beeld relatie
Ook de annotaties van de categorie Verwijzing tussen tekst en beeld kwamen niet overeen. Het lijkt erop dat de waarden van de categorie Verwijzing tussen tekst en beeld niet goed worden herkend. Een betere definitie per waarde, voorzien van concrete voorbeelden in de handleiding , kan uitkomst bieden. Over de waarde Lijnen zeggen Steehouder en Jansen (1997) bijvoorbeeld dat deze waarde te herkennen is aan een witregel of een horizontale lijn tussen verschillende onderdelen.
4.2.5: Conclusie
In de empirische evaluatie zijn de annotaties van dertig categorieën uit het oorspronkelijke
codeersysteem getoetst, waarvan twaalf categorieën zijn aangemerkt als knelpunt. Het merendeel van de categorieën lijkt dus voldoende te worden herkend in een instructie en werkbaar.
Herindeling hoofdcategorie Tekst
De resultaten van deze evaluatie bevestigen het voorstel voor de herindeling van de hoofdcategorie Tekst. Uit de theoretische evaluatie rees het vermoeden dat de categorieën Voorwaarde, Toelichting,
Motivatie en Advies te moeilijk van elkaar te onderscheiden en daardoor onduidelijk zijn. Uit de
resultaten blijkt dat deze categorieën inderdaad lastig van elkaar te onderscheiden zijn. Daarom zijn deze categorieën in het verbeterde codeersysteem ingedeeld als subcategorieën van de categorie
Controle-informatie. De lage agreement scores bevestigen dat het onderscheid tussen deze
categorieën niet duidelijk genoeg is en motiveren daarmee deze beslissing.
De categorie Controle-informatie bevat in het verbeterde codeersysteem vijf subcategorieën:
Waarschuwing, Voorwaarde, Toelichting, Advies en Anders. Door het toevoegen van een
subcategorie Anders, wordt deze categorie makkelijker te annoteren. Kan de annotator niet goed inschatten van welk type controle-informatie sprake is? Dan annoteert hij/zij een waarde bij de subcategorie Anders.
De verdieping lijkt uit te wijzen dat de twaalf categorieën die als knelpunten zijn aangemerkt wel degelijk werkbaar zijn, maar dat ze door het ontbreken van voorbeelden en duidelijke kaders voor verwarring zorgen.
Verbeteringen
De resultaten van de empirische evaluatie en de verdieping geven concrete aanwijzingen hoe het voorstel voor het verbeterde codeersysteem kan worden verbeterd. Deze verbeteringen liggen in de definities, het opstellen van een handleiding met voorbeelden en een werkwijze en in een enkel geval het aanpassen van een categorie in het codeersysteem:
Pagina 33 van 137 Definities
Op basis van mijn ervaring met het annoteren van de 39 MI’s worden alle definities van de
categorieën met een agreement score lager dan Kappa < 0.81 gecontroleerd en verbeterd. Hieraan liggen de aantekeningen die gemaakt zijn tijdens de annotatie en de resultaten van de verdieping ten grondslag.
De definities van de categorieën Reading-to-do, Deixis, Anafora, Aantal handelingen, Zelfstandige
naamwoorden, Gebiedende wijs, Voorwaarde, Motivatie, Advies, Toelichting, Functie, Handeling (in
Afbeelding), Stappen correspondentie, en Verwijzing tussen tekst en beeld moeten sterk worden verbeterd. Eén manier is door het toevoegen van een handleiding met concrete voorbeelden en duidelijkere kaders stellen wanneer er wel (en geen) sprake is van een bepaalde categorie of waarde. Waarden
De resultaten van de verdieping tonen aan dat de annotators het lastig vinden om bij de categorie
Handeling (Hoofdcategorie Afbeelding) de juiste waarde te annoteren. Het lijkt erop dat de definitie
van Handeling tekortschiet. Daarnaast is het raadzaam om in de handleiding te beschrijven hoe de waarden van deze categorie te herkennen zijn.
Het toevoegen van een werkwijze en voorbeelden aan de handleiding is tevens aan te raden voor de categorie Functie (Hoofdcategorie Afbeelding) en de categorie Verwijzing tussen tekst en beeld (Hoofdcategorie Tekst-beeld relatie).
Uit de empirische evaluatie blijkt dat de waarde Iconen (Hoofdcategorie Tekst-beeld relatie) niet door de annotators van versie een is herkend. De definitie van de waarden Iconen lijkt niet op theoretische grondslag te kunnen worden verbeterd. In de empirische evaluatie is geen bewijs gevonden voor de relevantie van deze waarde bij het aantonen van tekst-beeld relatie. Maar de empirische evaluatie heeft wel uitgewezen dat de verwijzing tussen tekst en beeld tot stand kan komen door Titels. Daardoor is de waarde Iconen in het verbeterde codeersysteem vervangen door de waarde Titels.
Uit de verdieping is gebleken dat ook de andere waarden van de categorie Verwijzing tussen tekst en
beeld niet goed worden herkend. In het verbeterde codeersysteem worden daarom concrete
voorbeelden, gebaseerd op Steehouder en Jansen (1997) en Heiser & Tversky (2006), en duidelijke richtlijnen opgenomen.
Toevoegen aan codeersysteem
Aan de categorie Verwijzing tussen tekst en beeld (Hoofdcategorie Tekst-beeld relatie) kan tot slot het beste een zesde waarde worden toegevoegd: Meerdere. Uit de resultaten van zowel de empirische evaluatie als de verdieping blijkt namelijk dat meerdere waarden van deze categorie tegelijkertijd in een MI kunnen voorkomen.
Een andere manier om dit op te lossen is de waarden te verplaatsen naar subcategorieën. De verschuiving van de waarden naar subcategorieën levert meer informatie op omdat de annotator bij elke subcategorie moet aangeven of dit wel of niet voorkomt. Wanneer meerdere subcategorieën voorkomen, dan is in een oogopslag te zien welke dat zijn.
Pagina 34 van 137
4.3: Verbeterd codeersysteem
In dit hoofdstuk wordt het verbeterde codeersysteem gepresenteerd en wordt besproken waarom de veranderingen een verbetering zijn. Het verbeterde codeersysteem (versie 8) is op meerdere fronten anders dan het oorspronkelijke codeersysteem (versie 7). Hieronder wordt de algemene handleiding gepresenteerd waarin uitgelegd is hoe annotators dit verbeterde codeersysteem dienen te gebruiken.
4.3.1: Handleiding
Codeersysteem versie 8 wordt gebruikt om multimodale instructies in kaart te brengen. Dit model bestaat uit acht hoofd- en 42 categorieën, die kenmerken van Tekst, Afbeeldingen en de Tekst-beeld relatie representeren. De nieuwe hoofdcategorieën zijn: Identificatie van MI, Functie van MI, Tekst: Lengte, Tekst: Taalkundige kenmerken, Tekst: Illocutionaire kenmerken, Beeld: Visuele kenmerken, Beeld: Illocutionaire kenmerken en Tekst-beeld relatie. De hoofdcategorieën bestaan uit meerdere categorieën en soms ook uit subcategorieën. Alle categorieën zijn voorzien van een definitie ‘wat wordt hiermee bedoeld’ en een handleiding ‘hoe is deze categorie te herkennen’. Dit model bevat vier verschillende annotatiemogelijkheden:
Tekst (open ruimte)
0 of 1 (0 = categorie komt niet voor | 1 = categorie komt voor)
Aantal (tel en noteer hoe vaak de categorie voorkomt | Kom het niet voor? Annoteer dan
een 0)
Nominale waarde (keuzemogelijkheid: noteer op welke manier de categorie voorkomt.
Schrijf de waarde voluit (dus noteer geen cijfer) | Wanneer de categorie niet voorkomt wordt dit ondervangen door de nominale waarde ‘geen’).
Het codeersysteem maakt, gebaseerd op Steehouder en Jansen (1997), onderscheid tussen het document en het deel van het document waarin de instructie - die de gebruiker dient uit te voeren - wordt uitgelegd. Een MI (=document) kan naast de instructie een inleiding, voorwaarden voor de beginsituatie, achtergrondinformatie en/of tips bevatten. Let op: indien een categorie alleen betrekking heeft op de instructie van het document staat dat expliciet in de bijbehorende handleiding vermeld!
De instructie
Het instructieve deel van het document begint bij de eerste stap en eindigt na de laatste stap die de gebruiker moet uitvoeren om het eindresultaat van een instructie te bereiken.
Voorbeeld afbakening instructie:
In figuur 8 begint de instructie bij stap 1 [Controleer bewustzijn] en eindigt bij het einde van stap 6 [Als de AED er is]. De overige informatie van dit
document [achtergrondinformatie van de organisatie (=logo hartstichting), titel (=Reanimatie van een volwassene) en de voorwaarde (=zorg voor een veilige werkplek)] maakt dus geen deel uit van de uit te voeren instructie.
Figuur 8: Voorbeeld afbakening instructie
Pagina 35 van 137 Naast de hierboven gepresenteerde handleiding bevat het codeersysteem nu ook een handleiding per categorie. In deze handleiding wordt met behulp van voorbeelden uitgelegd hoe deze categorie te herkennen is en hoe de categorie geannoteerd kan worden. Een fragment van het verbeterde codeersysteem is weergegeven in Tabel 8. Hierin zien we dat het codeersysteem uit zes kolommen bestaat: Hoofdcategorie, Categorie, Subcategorie, Waarden, Definitie en Handleiding: Hoe te herkennen.
Het verbeterd codeersysteem bestaat nu uit zes kolommen in plaats van vijf. De titels van de kolommen zijn bijna allemaal veranderd. Codeersysteem versie 7 kende geen term voor Hoofdcategorie dus deze is nieuw toegevoegd. In de tweede kolom staan de Categorieën
weergegeven. In het vorige codeersysteem waren dit labels. De derde kolom Subcategorie is nieuw toegevoegd. De titel van de vierde kolom Waarden is gelijk gebleven. De vijfde kolom heette eerst ‘beschrijving’ maar dit is in het verbeterd codeersysteem veranderd in Definitie. De laatste kolom (vijfde van codeersysteem versie 7 en zesde van codeersysteem versie 8) heette eerst voorbeeld en is nu veranderd in Handleiding. Het volledig verbeterd codeersysteem is opgenomen in bijlage D.
Tabel 7: Fragment 1 uit verbeterd codeersysteem versie 8
Voorbeelden met afbeeldingen
In de handleiding zijn meerdere voorbeelden van een categorie opgenomen. Deze voorbeelden tonen verschillende manieren aan waarop de categorie kan voorkomen. Dit helpt de annotator om deze categorie te herkennen. De voorbeelden zijn allemaal afkomstig uit het corpus.
Codeersysteem versie 7 kent alleen tekstuele voorbeelden. Zie tabel 9. Het verbeterd codeersysteem beschrijft tekstuele voorbeelden én toont waar mogelijk de bijbehorende afbeelding. In tabel 10 wordt dit geïllustreerd bij de categorie Pijlen. In de handleiding wordt uitgelegd wat volgens Heiser en Tversky (2006, p. 582-590) de functie van een pijl is. Een pijl geeft een richting, een volgorde of een indicatie aan en kan een beweging in een doorgaans statische afbeelding suggereren.
Pagina 36 van 137 De uitleg van deze functies wordt concreet gemaakt aan de hand van de bijbehorende afbeeldingen waardoor annotators deze categorie makkelijker kunnen herkennen. Bekijk tabel 9 en 10 ter
vergelijking.
Tabel 8: Categorie Pijlen - Codeersysteem v7
Tabel 9: Categorie Pijlen – Verbeterd codeersysteem v8
Instructie in handleiding
Sommige categorieën uit codeersysteem versie 7 bevatten tekstuele voorbeelden maar een handleiding voor de annotator ontbreekt stelselmatig. Een instructie is onder andere van belang bij de categorie Aantal handelingen. Tabel 11 toont de definitie en beschrijving van deze categorie in de oude situatie. De annotator kan een handeling aan de hand van de voorbeelden herkennen. Maar de empirische evaluatie heeft uitgewezen dat herkenning niet voldoende is. Van hoeveel handelingen is sprake wanneer er staat “spoel de wond onder de kraan. Doe er geen ijs op”? Het antwoord luidt: één handeling.
Hoe gaat een annotator om met een handeling die hij/zij juist niet moet uitvoeren? Telt dat ook als handeling? Het verbeterde codeersysteem biedt de oplossing, zie tabel 12: “Een handeling die je juist niet moet uitvoeren tel je niet mee.” Doordat de handleiding nu tevens beschrijft wanneer er geen sprake is van een handeling, zal hierover minder onduidelijkheid bestaan bij de annotators, wat een systematische corpusbeschrijving ten goede zal komen.
Pagina 37 van 137
Tabel 11: Categorie Aantal handelingen - Verbeterd codeersysteem v8
4.3.2: Tekst
In codeersysteem versie 7 was er één hoofdcategorie voor tekstuele kenmerken. In codeersysteem versie 8 is dit veranderd door de taalkundige en illocutionaire kenmerken van elkaar te scheiden. Onder de illocutionaire kenmerken vallen de categorieën Handelingen, Controle informatie en Extra
informatie. Het verbeterde codeersysteem kent drie hoofdcategorieën van Tekst: Lengte,
Taalkundige en Illocutionaire kenmerken. Deze indeling maakt het codeersysteem overzichtelijker doordat de categorieën zijn gegroepeerd.
Een tweede verbetering in indeling is de verplaatsing van Controle-informatie. In codeersysteem versie 7 was dit een subcategorie van Tekst (zie tabel 13). In het verbeterd codeersysteem is
Controle-informatie de overkoepelende categorie geworden voor onder andere de subcategorieën
‘Waarschuwing en Toelichting’. Zie tabel 14. Hier is sprake van een verbetering in groepering omdat deze categorieën volgens Steehouder en Jansen (1997) alle drie in de uit te voeren instructie kunnen voorkomen.
Pagina 38 van 137
Tabel 13: Tekst - Categorie Controle informatie - Verbeterd codeersysteem v8
Toevoeging nieuwe categorieën
Steehouder en Jansen (1997) stellen dat de aanspreekvorm een relevant kenmerk is van instructieve teksten; het direct aanspreken van de gebruiker maakt deel uit van de instructieve stijl. Daarom kent de hoofdcategorie Tekst- Taalkundige kenmerken een nieuwe categorie: aanspreekvorm.
Uit de empirische evaluatie is gebleken dat de gebruiker op drie manieren in instructies kan worden aangesproken: u, je of u en je vermijdend. Dit zijn de waarden van de nieuwe categorie
aanspreekvorm. Zie tabel 15.
Tabel 15: Categorie Aanspreekvorm - Verbeterd codeersysteem v8
De nieuwe hoofdcategorie Tekst-Lengte bestaat uit de categorieën Aantal stappen, Aantal zinnen en
Aantal woorden. De twee laatstgenoemde zijn nieuw aan het codeersysteem toegevoegd. De
categorieën Aantal zinnen en Aantal Woorden maken deel uit van de nieuwe hoofdcategorie Tekst-Lengte omdat beide categorieën iets zeggen over de lengte van de tekst.
Pagina 39 van 137 Opsplitsing
De categorie Handeling is in het verbeterd codeersysteem opgesplitst in Verplichte en Optionele
handelingen. De motivatie hiervoor ligt in de empirische evaluatie. Daaruit bleek namelijk dat
sommige instructies een optionele handeling bevatten. Zie tabel 12. Door deze opsplitsing kan de annotator nauwkeuriger annoteren hoe de categorie Handelingen in de instructie voorkomt.
4.3.3: Afbeeldingen
Codeersysteem versie 7 kent een hoofdcategorie voor visuele kenmerken. In codeersysteem versie 8 is dit veranderd door de visuele en illocutionaire kenmerken van elkaar te scheiden. Onder de illocutionaire kenmerken vallen (zowel bij Tekst als Afbeeldingen) de Handelingen, Controle
informatie en Extra informatie. Het verbeterde codeersysteem kent twee hoofdcategorieën van
afbeeldingen: visuele en illocutionaire kenmerken. Deze nieuwe indeling zorgt voor een groepering van categorieën onder visuele- en illocutionaire kenmerken.
Een tweede verbetering is de verplaatsing van Controle-informatie. In codeersysteem versie 7 was dit een waarde van de categorie Functie van Afbeeldingen. Zie tabel 16. In het verbeterd codeersysteem is Controle-informatie zowel bij Tekst als bij Afbeeldingen de overkoepelende categorie geworden, in overeenstemming met Steehouder en Jansen (1997), voor de subcategorieën Waarschuwing en
Toelichting. Hierdoor is er een verbeterde systematiek tussen de categorieën van Tekst en
Afbeelding. De categorie Controle informatie staat nu namelijk in dezelfde kolom en bevat dezelfde beschrijving voor zowel Tekst als Afbeelding. Zie tabel 14 en 17.
Tabel 16: Afbeeldingen - Categorie Controle informatie - Codeersysteem v7
Pagina 40 van 137 Titel aanpassing
Diverse categorieën die onder de hoofdcategorie Afbeeldingen vallen zijn in het verbeterde codeersysteem versie 8 voorzien van een andere titel.
1. De titel van de categorie Affordance (versie 7) is In het verbeterd codeersysteem (versie 8) veranderd in Menselijke weergave. Volgens Hoogwegt, Maes en Van Wijk (2009) kan een afbeelding een menselijke weergave representeren. De afbeelding zoomt dan in op een bepaald lichaamsdeel waar of waarmee de gebruiker de handeling dient uit te voeren. De titel Menselijke weergave is eenvoudiger en concreter dan Affordance waardoor de categorie makkelijker te herkennen is door de annotators.
Tabel 18: Categorie Menselijke weergave - Verbeterd codeersysteem v8
2. De categorie Nummers/letters is tevens onderdeel van de hoofdcategorie Afbeeldingen in