7. Analyse verhouding tussen tekst en beeld
7.4 Overzicht corpus
In het algemeen kan er worden vastgesteld dat in alle categorieën het beeld vaker naast de tekst wordt geplaatst dan boven/onder de tekst wordt geplaatst, zie figuur 79. Daarnaast is er redelijk vaak sprake van een discrepantie tussen het beeld en de bijbehorende tekst, zie figuur 82. Wat betreft de samenwerking tussen tekst en beeld komen er in het corpus drie relaties voor: aanvullend, versterkend en symmetrisch. De mogelijke verklaringen voor deze uitkomsten worden hieronder per onderdeel (plaatsing beeld – tekst, discrepantie beeld – tekst en samenwerking tekst en beeld) besproken.
Plaatsing beeld - tekst
Waarom worden in de meeste MITen uit het corpus de afbeeldingen naast de tekst geplaatst of onder of boven de tekst? Waarom komen combinaties hiervan veel minder vaak voor, zelfs nog minder vaak dan de optie waarin het beeld op een andere pagina dan tekst wordt geplaatst? Samengevat: wat bepaalt precies waar de afbeeldingen ten opzichte van de tekst worden geplaatst?
Wat opvalt in de grafiek, gepresenteerd in figuur 79, is dat de horizontale plaatsing het meest voorkomt (met uitzondering van de categorie Instellingen aanpassen). Daarna komt verticale plaatsing het meest voor. Gevolgd door niet horizontaal en niet verticaal. Het minst vaak voorkomend is de combinatie van horizontale en verticale plaatsing.
Een reden voor of horizontaal óf verticaal plaatsen is wellicht dat de MIT zo voor de gebruiker ‘rustig’ en overzichtelijk oogt. Horizontaal heeft wellicht de voorkeur, omdat we van links naar rechts lezen en deze manier van plaatsing ‘dichter bij ons ligt’ en op die manier makkelijker is te verwerken.
Een andere verklaring is de manier waarop veel MITen met horizontale plaatsing zijn afgedrukt: verpakkingen. Op verpakkingen is het lastig en niet voor de hand liggend om de afbeeldingen ver van de tekst af te plaatsen. Dit is onoverzichtelijk en zorgt ervoor dat de gebruiker moet zoeken naar de afbeeldingen. In (papieren) handleidingen echter zijn de MITen vaak in een boekje afgedrukt waarin de tekst in verschillende talen wordt afgedrukt. Hier komt het vaker voor dat de afbeeldingen op een andere pagina staan dan de tekst.
Blijft de vraag echter waarom bij Instellingen aanpassen de meerderheid verticaal geplaatste afbeeldingen heeft. Mogelijk is dit omdat het onder elkaar plaatsen zorgt voor een andere interpretatie. Door het onder elkaar te plaatsen komen de beelden misschien meer over als een lijst met stappen die de gebruiker doorloopt. Meer specifiek gezegd, wanneer tekst en beeld naast elkaar zijn geplaatst lopen tekst en beeld wellicht ‘vloeiender’ in elkaar over. Tekst en beeld worden dan sneller met elkaar verbonden, omdat we van links naar rechts lezen. Wanneer het beeld onder of boven de tekst staat gebeurt dit wellicht ‘minder vloeiend’, omdat de verbinding tussen tekst en beeld anders is.
Mayer (2005: 46 ) stelt dat multimodaal leren veronderstelt dat er relevante woorden en beelden worden gebruikt, dat deze op een georganiseerde, samenhangende manier worden gerepresenteerd en dat de verbale en picturale informatie op elkaar aansluiten én aansluiten op de voorkennis van de gebruiker. Met name het deel waarin hij stelt dat woorden en beelden op een georganiseerde samenhangende manier moeten worden gepresenteerd, is toepasselijk voor de plaats van het beeld ten opzichte van de tekst. Wellicht vertoont een horizontale plaatsing voor de meeste categorieën meer samenhang dan verticale plaatsing? En is het voor de categorie Instellingen aanpassen juist een verticale plaatsing die meer samenhang met de beelden vertoont?
Discrepantie beeld – tekst
Het beeld en de tekst vertonen vooral een discrepantie in de categorieën Installeren en Bereiden. Bij Installeren is dit vaak doordat een tekstdeel geen bijbehorend beeld heeft. Bij Bereiden komt dit doordat
de tekst en het beeld iets anders ‘zeggen’. Zo heeft stap 1 in MIT 51 het over ‘snijd vervolgens de kipfilet in blokjes’, maar vertoont het bijbehorende beeld hele stukken niet gesneden kipfilet.
Bij Instellingen aanpassen en Openen is nauwelijks sprake van discrepantie. Wellicht omdat hier, in het geval van de categorie Openen, relatief weinig tekst is en er dus minder snel ‘fouten’ gemaakt kunnen worden bij de vertaalslag naar beeld. Immers, als er minder tekst is, dan is de kans minder groot dat er iets wordt afgebeeld dat niet in de tekst voorkomt.
Zo heeft de tekst ‘Om te Openen duw naar voren met duim’ (MIT 3) minder tekst dan ‘Verhit twee eetlepels (vloeibare) margarine in een braadpan en braad hierin het vlees aan. Bak de uien en champignons enkele minuten mee. Blus af met 250 ml water.’ (MIT 13). Dit verschil in lengte heeft invloed op het bijbehorende beeld. Bij de MIT met de korte tekst (MIT 3) zijn alle informatie-eenheden (‘Openen’, ‘naar voren duwen’ en ‘met duim’) relatief gemakkelijk in één afbeelding te plaatsen. Bij de MIT met de lange tekst (MIT 13) zijn alle informatie-eenheden (‘verhitten’, ‘twee eetlepels (vloeibare) margarine’, ‘in een braadpan’, ‘aanbraden’ en ‘het vlees’) lastiger (zo niet onmogelijk) in één afbeelding te plaatsen.
Samenwerking tekst en beeld
Tekst en beeld kunnen in MITen op drie manieren samenwerken, namelijk met aanvullende, versterkende of symmetrische relaties. Wat opvallend is, is dat het beeld de tekst kan aanvullen, maar dat de tekst ook het beeld kan aanvullen. Zo kan het beeld een bepaald tekstdeel concreter maken (e.g. MIT 61) en op die manier de tekst aanvullen. De tekst vult het beeld aan wanneer er een aanvullende tekst in de buurt van het beeld(element) staat. Dit kan in combinatie met een betekenislijn, maar kan ook gewoon een bijschrift zijn dat het beeld verduidelijkt (aanvult).
De versterkende relatie gaat in MITen slechts één richting op, namelijk vanuit het beeld naar de tekst. Dit wil zeggen dat alleen het beeld de tekst kan versterken en niet andersom. Hieruit blijkt dat de tekst als basis van de MIT dient en dat het beeld op de tweede plaats komt. Het beeld kan daarom niet de tekst versterken, omdat de tekst zelf vaak al sterk en to-the-point- is.
Het beeld versterkt de tekst door middel van een focus op bepaalde beeldelementen met behulp van een aanwijspijl (e.g. MIT 34, gepresenteerd in figuur 46) of met behulp van een markeringlijn (e.g. MIT 101 gepresenteerd in figuur 52).
De symmetrische relatie is een gelijkwaardige relatie, die meteen de veronderstelling dat beeld op de tweede plaats komt, teniet doet. In het corpus komen echter vaker MITen voor waar tekst en beeld elkaar aanvullen of versterken. Vaak wordt er in de invulling van het beeld niet alle tekstelementen gepresenteerd maar slechts voor een deel.
8. Conclusie
Dit onderzoek heeft inzichtelijk willen maken wat voor categorieën multimodale instructieve teksten er zijn en hoe deze MITen vorm worden gegeven. De focus lag op de tekststructuur van de MIT, het beeld in de MIT en de relatie tussen de tekst en het beeld in de MIT. In dit hoofdstuk wordt antwoord gegeven op de onderzoeksvraag. De vraag die centraal stond in dit afstudeerproject was wat voor multimodale instructieve teksten er bestaan en hoe deze MITen zijn vormgegeven.
Tijdens het verzamelen van het corpus MITen kwam al snel naar voren dat er veel multimodale instructieve teksten zijn, die onderling erg van elkaar kunnen verschillen. Voor het aanleggen van het corpus zijn een aantal criteria opgesteld waaraan de MIT moest voldoen, namelijk dat de MIT uit beeld en tekst bestaat, er minimaal één afbeelding in de MIT zit, deze afbeelding een tekening of foto is, de tekst Nederlands of Vlaams is, de MIT maximaal twee A4 lang is en dat de MIT uit één of meerdere procedurele taken bestaat.
Wat voor multimodale instructieve teksten zijn er? Om hier antwoord op te kunnen geven is er een literatuurstudie gedaan en is er een analysemodel opgesteld dat de verschillen tussen de multimodale instructieve teksten aan het licht brengt. Tijdens het verzamelen zijn steeds opvallendheden van de MITen genoteerd, waar later het analysemodel uit is opgesteld.
Allereerst zijn er in het corpus verschillende soorten handelingen die in de MIT worden uitgelegd. Deze handelingen vormen de basis voor de categorisatie van de MITen. De categorieën zijn: Openen, Bereiden, Inbrengen of aanbrengen, Assembleren, Installeren, Repareren en Instellingen aanpassen. Naast de categorieën zijn er andere onderdelen waarin de MITen kunnen verschillen, namelijk de tekststructuur, het beeld en de verhouding tekst en beeld.
Qua tekst is het grootste verschil de aanwezigheid van structurerende elementen. Er zijn MITen die op een bepaalde manier een chronologische ordening van de instructies maken, maar er zijn ook MITen die dit niet hebben. De meeste MITen in het corpus hebben echter wel een bepaalde volgorde. Die volgorde kan worden aangebracht met nummers, opsommingtekens of in de lopende tekst worden verwerkt. Dit komt overeen met het advies van Lenz (1991) om instructieve teksten stap voor stap te ordenen. Ook Frase & Schwartz (1979: 52-56) concluderen dat instructies het beste gepresenteerd kunnen worden als opsomming, waarbij elke opsomming voorzien is van een getal. Daarnaast stellen zij vast dat de opsommingen het beste onder elkaar kunnen worden gezet (dus niet in een lopende tekst). Deze aanbevelingen lijken ook op te gaan voor het corpus in dit onderzoek. De vaakst voorkomende manier om volgorde aan te brengen in multimodale instructieve teksten is namelijk de variant ‘genummerde lijsten’.
Wat betreft het beeld in de MITen zijn er meerdere onderdelen die moeten worden belicht. Ten eerste is er de scheiding tussen het gebruik van tekeningen en van foto’s. Opmerkelijk is dat er slechts drie MITen zijn waar zowel tekeningen als foto’s worden gebruikt. Schijnbaar is het niet geschikt voor MITen om beide beeldvarianten tegelijk te gebruiken. Het meest voorkomend in het corpus zijn MITen met tekeningen. Wellicht omdat de ontwerper dit type beeld meer naar zijn hand kan zetten dan het geval is bij foto’s? Een interessante aanvulling hierop is dat veel beelden in series worden vorm gegeven. Dit komt overeen met Essers aanbeveling waarin zij stelt dat een serie afbeeldingen voor procedurele taken de beste instructievorm is (2007: 19).
Naast het sporadisch gebruik van de combinatie van foto’s en tekeningen is een ander opvallend punt de hoeveelheid tekeningen die niet herkenbaar (complex) zijn. Een relatief groot deel in het corpus
met tekeningen heeft beeldelementen die niet herkenbaar zijn, wat de interpretatie van het beeld bemoeilijkt.
Een ander element dat de interpretatie van de gebruiker moet sturen, is het gebruik van de zogenaamde glyphs. In het corpus komt de pijl het vaakst voor. Respectievelijk gevolgd door lijnen, plustekens, V-tekens, mintekens en X- tekens. Het pijlgebruik is onder te verdelen in richtingpijlen, lengtepijlen, procespijlen en aanwijspijlen.
Naast de pijlen kunnen de lijnen ook verschillende functies hebben. Die komen tot uiting in de naam voor de verschillende soorten lijnen, namelijk verbindingslijnen en markeringslijnen. Opvallend aan de verbindingslijnen is dat deze altijd in combinatie met aanvullende tekst voorkomen. Die lijn vormt de verbinding tussen het beeldelement en de bijbehorende definitie. Naast aanvullende tekst komt het ook voor dat er aanvullende nummers in het beeld aanwezig zijn. Dit gegeven illustreert dat niet alleen de tekst in een bepaalde volgorde wordt gezet, maar dat ook de beelden in een chronologische ordening voorkomen.
Ten slotte is het laatste beeldelement de representatie van de gebruiker in het beeld. Opvallend is dat in meer dan de helft van de MITen de gebruiker is afgebeeld. Een goede zaak, want het lijkt mij dat de gebruiker de handelingen zo gemakkelijker kan interpreteren. Gibson (1979) stelt dat het object moet worden afgebeeld waarmee de handeling wordt uitgevoerd. Dit object kan een gereedschap zijn, maar natuurlijk ook de handen van de gebruiker (het meest basale ‘gereedschap’). Geen wonder dus dat de meest voorkomende representatie van de gebruiker de vorm is waarbij alleen de handen van de gebruiker worden afgebeeld.
Naast de tekststructuur en de beeldelementen is er ook gekeken naar hoe tekst en beeld zich tot elkaar verhouden. Er is gekeken naar de plaats van het beeld ten opzichte van de tekst, naar de discrepantie tussen tekst en beeld en naar de samenwerkingsrelaties tussen tekst en beeld. Opvallend is dat het beeld meestal naast de tekst wordt geplaatst (horizontaal). Kort hierop volgt de verticale plaatsing, waarbij het beeld onder of boven de tekst is geplaatst. Een combinatie van horizontale en verticale plaatsing komt niet heel vaak voor. Net als de verspreide plaatsing, waarbij het beeld niet in de directe omgeving van de tekst voorkomt.
Wat betreft de discrepantie heeft grofweg de helft van de MITen in het corpus een discrepantie tussen tekst en beeld. Dit houdt in dat het beeld iets anders ‘zegt’ dan de tekst of dat bepaalde beelden geen bijbehorende tekst hebben. Deze discrepantie in tekst en beeld kan de interpretatie van de MIT bemoeilijken. Wanneer een gebruiker bijvoorbeeld leest dat hij de kalkaanslag op een kraan met ontkalkingsmiddel kan verwijderen, maar hij ziet op de afbeelding naast de tekst geen ontkalkingsmiddel maar een kwast, dan kan dit voor hem verwarrend zijn.
De samenwerking tussen beeld en tekst kan uit drie relaties bestaan, namelijk de symmetrische, de aanvullende en de versterkende relatie. De tekst kan het beeld aanvullen, maar het beeld kan ook de tekst aanvullen (zoals in het voorbeeld van het verwijderen van de kalkaanslag). Dit geldt eveneens voor de versterkende relatie.
Discussie
Deze afstudeerscriptie heeft als doel gehad om inzicht te krijgen in de bestaansvorm van multimodale instructieve teksten. Dit wil zeggen dat er in het onderzoek is gekeken naar wat voor multimodale instructieve teksten er bestaan en op welke manier deze MITen gecategoriseerd kunnen worden. Om inzichtelijk te maken wat voor MITen er voorkomen is er een corpus van 102 MITen aangelegd. Hieruit is vervolgens een analysemodel opgesteld dat als hulpstuk dient voor het categoriseren van MITen en het analyseren van de vormgeving.
In het analysemodel worden drie basiselementen van MITen onderscheiden, namelijk de tekststructuur, het beeld en de verhouding tekst en beeld. Per basiselement zijn vervolgens subelementen onderscheiden. Echter zijn er per (sub)element een aantal beperkingen. Hieronder worden per subelement de
−
in het beperkte kader van een scriptieonderzoek onvermijdelijke−
lacunes besproken en worden er suggesties gegeven voor mogelijk vervolgonderzoek op het gebied van multimodale instructieve teksten.Tekststructuur
De analyse van de tekst in MITen heeft zich alleen gericht op de tekststructuur. De inhoudelijke elementen zoals formulering, referentiële expressies, de aanspreekvorm, de zinslengte, de woordlengte, het hoofdlettergebruik, het gebruik van leestekens en typografie zijn niet meegenomen in de analyse. Vervolgonderzoek naar het karakter van de tekst in MITen zou zich dan ook meer moeten richten op de inhoud van de tekst in plaats van alleen op de (globale) structuur van de tekst.
Een aspect voor vervolgonderzoek wat betreft tekst is de beperkte variëteiten aan instructies waar dit onderzoek zich op heeft gericht. In het corpus komen alleen MITen voor met procedurele taken, omdat dit soort taken gemakkelijker zijn toe te passen voor experimenteel vervolgonderzoek. Of iemand begrijpt hoe hij een product moet openen is eenvoudig na te gaan door hem het product te laten openen, terwijl het relatief lastig is na te gaan of iemand begrijpt hoe het remsysteem van een auto werkt (wat een declaratieve taak is). Echter zou onderzoek naar MITen met declaratieve taken een vollediger beeld geven van multimodale instructieve teksten. De lay-out en de tekst van instructies met procedurele taken van instructies verschilt zeer waarschijnlijk van instructies met declaratieve taken, omdat de tekstdoelen van beide typen instructies ook verschillend zijn.
De doelen van een instructieve tekst worden zichtbaar in de termen do en
reading-to-learn (Sticht, 1985: 317). Of een (multimodale) instructieve tekst to-do of to-reading-to-learn is, is echter niet altijd
meteen vast te stellen. De grens tussen instructieve doeteksten en leerteksten is vaag. Wanneer heeft een instructie niet alleen het doel om instructies uit te voeren, maar ook het doel om iets te leren van de instructies? To-do-teksten zijn meer korte termijn gericht dan to-learn-teksten, omdat de ontwerper van deze tekst ook wil dat de gebruiker iets leert van de instructie. Vervolgonderzoek zou zich kunnen richten op het verschil in reading-to-do-teksten en reading-to-learn-teksten. Wat zijn de inhoudelijke en structurele verschillen tussen deze twee instructietypen?
Beeld
De analyse van de beelden in multimodale instructieve teksten heeft relatief veel subelementen meegenomen. Beeldelementen die niet zijn meegenomen zijn kleurgebruik, contrast en perspectief. Dit soort elementen richten zich op vormgevingstechnische zaken en zijn duidelijk keuzes van de ontwerper van de MIT. Wat voor redenen kunnen er achter bepaalde kleur-, contrast- en perspectiefkeuzes liggen? Vervolgonderzoek zou hier antwoord op kunnen geven.
Verhouding tussen tekst en beeld
Wat betreft de plaats van het beeld ten opzichte van de tekst zou vervolgonderzoek specifieker kunnen zijn. In dit onderzoek wordt gesproken over horizontale plaatsing of verticale plaatsing. Horizontale plaatsing houdt in dat het beeld naast de tekst is geplaatst. Of dit nu links of rechts van de tekst is wordt nu echter niet duidelijk. Hetzelfde geldt voor de verticale plaatsing. Dit kan boven of onder de tekst zijn, maar wordt aan de hand van het stempel ‘verticale plaatsing’ niet duidelijk. Echter kan het voor bijvoorbeeld tekstbegrip of gebruiksvriendelijkheid van groot belang zijn of het beeld links van de tekst staat of rechts van de tekst staat. Vervolgonderzoek zou dit verschil in plaatsing dus beter moeten aangeven. Dus bijvoorbeeld niet ‘horizontaal’, maar ‘links’ of ‘rechts’.
Een ander punt wat betreft de verhouding tussen tekst en beeld is de discrepantie tussen tekst en beeld. Er is volgens het analysemodel sprake van discrepantie als het beeldmateriaal niet met de tekst overeenkomt of een tekstdeel geen bijbehorend beeldmateriaal heeft. Er wordt dus aangemerkt dat tekst en beeld niet met elkaar overeenkomen, maar er wordt niet precies aangegeven op welke manier ze niet met elkaar overeenkomen. Wat voor relaties zijn er tussen de term waarin de tekst het over heeft en de representatie van deze term? Bij de andere soort discrepantie is eveneens niet gekeken naar de reden voor het niet plaatsen van een afbeelding. Waarom hebben sommige tekstdelen in MITen geen bijbehorend beeld?
Ten slotte is er bij de samenwerking tussen beeld en tekst een opzet gemaakt naar hoe tekst en beeld samen kunnen werken in MITen, maar is dit nog niet heel uitgebreid gedaan. Vervolgonderzoek dat zich focust op de relaties tussen tekst en beeld in MITen zal meer inzicht geven in hoe tekst en beeld precies samenwerking en waaruit die samenwerking blijkt.
Dit onderzoek heeft als belangrijkste doel gehad om een model op te stellen dat helpt bij het categoriseren van MITen. Dit doel is behaald. Vervolgonderzoek kan voortbouwen op de categorieën en subelementen van MITen die in het analysemodel worden beschreven. De subelementen en de verschillende categorieën kunnen dienen als onafhankelijke variabelen, die variabelen zoals ‘gebruiksvriendelijkheid’ en ‘tekstbegrip’ kunnen beïnvloeden.
Een interessant vraagstuk naar het gebruik van multimodale instructieve teksten kan zijn wat de perfecte vorm van multimodaliteit in instructies is. Hoe ziet een gebruiksvriendelijke MIT er uit? Mogelijk kunnen experimenten waarin verschillende condities (subelementen) worden gemanipuleerd antwoord