MA Scriptie

University of Groningen

MA Scriptie

Een onderzoek naar de invloed van verschillende combinaties

van modaliteiten op de kwaliteit van instructies

Naam Jos Kloosterman

Studentnummer s1701835 E-mailadres j.h.kloosterman@student.rug.nl Adres Saturnuslaan 37 9742 EB Groningen Telefoon 06 36309784 Inleverdatum 29 april 2016 1e begeleider dr. I.F. van der Sluis 2e begeleider dr. Y.P. Ongena

Voorwoord

Voor u ligt het onderzoek dat ik heb uitgevoerd in het kader van de afronding van mijn masteropleiding Communicatiekunde aan de Rijksuniversiteit Groningen. Dit onderzoek gaat over de invloed die verschillende combinaties van modaliteiten hebben op instructies die gebruikt worden bij routebeschrijvingen op mobiele apparaten.

Na het afronden van mijn bachelor Communicatie- en Informatiewetenschappen, tevens aan de Rijksuniversiteit Groningen, werd steeds meer duidelijk dat mijn interesse lag bij de vormgeving van instructies, formulieren en het verbeteren van zowel teksten als beelden. Tijdens de masteropleiding werd deze interesse gevoed door onder andere het vak Multimodale Instructieve Teksten, dat zich richtte op medische instructies die gebruikt worden in de gezondheidscommunicatie. Het doen van onderzoek naar deze vorm van instructies die bestaan uit een combinatie van bijvoorbeeld tekst en beeld ervoer ik als prettig en leerzaam tegelijk. Om deze reden koos ik er dan ook voor om voor mijn masterscriptie een onderwerp te kiezen dat enige raakvlakken had met dit vak.

Door middel van dit onderzoek heb ik veel geleerd over multimodale instructies, over het uitvoeren van wetenschappelijk onderzoek, over planmatig werken en hoe je succesvol naar een doel toe kunt werken. Ik wil graag Ielka van der Sluis en Yfke Ongena bedanken voor hun begeleiding, tijd en de nuttige feedback die ik altijd van hen kreeg. Met vragen kon ik altijd bij hen terecht en door elk gesprek kwam ik een stapje dichter bij het realiseren van dit eindproduct. Ook wil ik mijn familie en vrienden graag bedanken voor hun steun en hulp tijdens het uitvoeren van dit onderzoek.

Veel leesplezier gewenst! Jos Kloosterman,

Samenvatting

In dit onderzoek is de kwaliteit van verschillende combinaties van multimodale instructies onderzocht. Volgens Desloover (2007: 13) en van Hooijdonk & Spooren (2011: 234) heeft het gebruik van een combinatie van modaliteiten, zoals een afbeelding en tekst, een positief effect op de cognitieve verwerking van de instructie.

Door het combineren van de modaliteiten afbeelding, tekst en pijl werden verschillende combinaties van multimodale instructies gevormd die stapsgewijs een routebeschrijving toonden. In totaal werden vier combinaties gebruikt, waarvan drie combinaties twee modaliteiten bevatten en één combinatie alle drie modaliteiten bevatte. De volgende combinaties werden gebruikt: 1) afbeelding en tekst, 2) afbeelding en pijl, 3) tekst en pijl en 4) afbeelding, tekst en pijl. Er werd gekeken naar hoe deze vier verschillende combinaties van invloed waren op de kwaliteit van instructies bij routebeschrijvingen, die getoond werden op een mobiel apparaat. De kwaliteit van de instructies werd onderverdeeld in begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en uitvoerbaarheid. Ook werden persoonlijke kenmerken als need for cognition (de behoefte aan cognitieve uitdaging) en zelfeffectiviteit (de mate waarin iemand vertrouwen heeft in eigen kunnen) gemeten, dat mogelijk van invloed was op de variabelen die de kwaliteit van de instructies hebben gemeten.

In twee verschillende onderzoeken, namelijk een online vragenlijst (N = 149) en een gebruikersexperiment (N = 19), werd de kwaliteit van de verschillende versies van multimodale instructies getest. Twee verschillende onderzoeken waren noodzakelijk omdat uitvoerbaarheid alleen in de praktijk getest kan worden. Met de online vragenlijst was het mogelijk om de verschillende combinaties door een groot aantal respondenten te beoordelen en werd een grote dataset verzameld. Door het uitvoeren van een gebruikersexperiment werden de instructies in de praktijk getest en werden diepere inzichten uit meerdere typen data verkregen.

Inhoudsopgave

1.2 Opbouw van de scriptie 2

2. Theoretisch kader... 3 2.1 Multimodale instructies 3 2.1.1 Tekst 3 2.1.2 Beeld 4 2.1.3 Pijlen 5 2.2 Routebeschrijvingen 5

2.3 Verwerking van multimodale routebeschrijvingen 7

2.3.1 Need for cognition 7

4. Resultaten... 24

4.1 Resultaten online vragenlijst 24

4.1.1 Need for cognition 24

4.1.2 Zelfeffectiviteit 25

4.1.3 Kwaliteit van de instructie 26

4.1.3.1 Begrijpelijkheid 26

4.1.3.2 Oproepbaarheid 27

4.1.3.3 Aantrekkelijkheid 27

4.1.3.4 Uitvoerbaarheid 27

4.2 Resultaten gebruikersexperiment 28

4.2.1 Need for cognition 28

4.2.2 Zelfeffectiviteit 29

4.2.3 Kwaliteit van de instructie 30

4.1.3.1 Begrijpelijkheid 30

4.1.3.2 Oproepbaarheid 30

4.1.3.3 Aantrekkelijkheid 31

4.1.3.4 Uitvoerbaarheid 32

4.3 Resultaten vergelijking beide onderzoeken 34

5. Conclusie... 36

5.1 Conclusie algemene verwachtingen 36

5.2 Antwoord op de onderzoeksvraag 39

6. Discussie ……….. 40

6.1 Terugblik op dit onderzoek 40

6.2 Aanbevelingen voor vervolgonderzoek 41

Literatuurlijst 42

1

1. Inleiding

Navigeren van punt A naar punt B kan voor sommige mensen een behoorlijke uitdaging blijken. Door het gebruik van hulpmiddelen zoals navigatieapparatuur voor buitenshuis en bijvoorbeeld wegwijzers in een gebouw voor binnenshuis lukt het mensen vaak uiteindelijk wel om het gewenste eindpunt te bereiken. Toch is het vinden van de juiste route voor mensen vaak een obstakel en valt hier nog veel in te verbeteren (Hölscher et al., 2013: 1, Cuayáhuitl et al., 2011: 1). Door het combineren van navigatieapparatuur voor buitenshuis en wegwijzers in een gebouw, kan een nieuw navigatiemiddel worden ontwikkeld. Hiermee zijn personen in staat om efficiënter te navigeren met behulp van instructies.

Het is echter de vraag hoe die instructies het best kunnen worden vormgegeven, zodat de gebruiker hier het meest bij geholpen is. Een instructie die bestaat uit meerdere modaliteiten, zoals een combinatie van tekst en beeld, zorgt ervoor dat de instructie beter door de ontvanger wordt onthouden (Desloover, 2007: 13; van Hooijdonk & Spooren, 2011: 234). Er zijn veel verschillende combinaties mogelijk die kunnen worden gebruikt. Uit voorgaand onderzoek blijkt echter dat de combinatie van tekst en afbeelding complementair werkt, zodat de modaliteiten elkaar aanvullen (Mayer, 2005). Bij wegwijzers wordt vaak gebruik gemaakt van pijlen om een richting of vervolgstap aan te duiden (Kloosterman & Pot, 2015), waardoor deze modaliteit ook een logische optie is om te gebruiken bij een multimodale instructie. De modaliteiten die bij de instructies in dit onderzoek gebruikt worden zijn combinaties van tekst, afbeeldingen en pijlen.

Een groeiend aantal mensen maakt tegenwoordig gebruik van een smartphone en heeft daarmee toegang tot een enorme bron van informatie (Smith, 2013: 1). Inmiddels heeft 81% van de Nederlanders tussen 18 en 80 jaar een smartphone (Martketingfacts.nl, 2015). Verder gebruikt ongeveer 51% van de Nederlanders een tablet (Tweakers.nl, 2014). Een groot deel van de Nederlandse bevolking heeft zijn mobiele apparaat vrijwel altijd bij de hand (Martketingfacts.nl, 2015). In dit onderzoek worden de mogelijkheden van het gebruik van mobiele apparaten bij het navigeren van een route bestudeerd.

Dit onderzoek zal meer duidelijkheid verschaffen in de vraag hoe multimodale instructies het best vormgegeven kunnen worden, zodat gebruikers instructies van een zo hoog mogelijke kwaliteit kunnen gebruiken bij het navigeren. Dit onderzoek draagt bij aan de theorievorming over de manier waarop mensen multimodale informatie verwerken en zal duidelijkheid scheppen over de manier waarop multimodale instructies kunnen worden ingezet om gebruikers te helpen bij het vinden van de juiste route. De conclusies die aan dit onderzoek worden verbonden zullen ontwerpers en vormgevers van bijvoorbeeld mobiele applicaties kunnen helpen om navigatiehulpmiddelen zo duidelijk mogelijk vorm te geven.

De rode draad in dit onderzoek is de onderzoeksvraag, die luidt:

‘In hoeverre dragen verschillende combinaties van modaliteiten bij aan de kwaliteit van instructies op mobiele apparaten?’

2 Deze onderzoeksvraag zal worden beantwoord met behulp van een vragenlijst die digitaal af zal worden genomen. Daarnaast wordt door middel van een gebruikersexperiment onderzocht hoe verschillende combinaties van modaliteiten van instructies in de praktijk worden uitgevoerd.

1.2 Opbouw van de scriptie

3

2. Theoretisch kader

In dit hoofdstuk wordt het onderzoek ingekaderd. Eerst worden multimodale instructies besproken waarbij er specifiek aandacht uit zal gaan naar de modaliteiten tekst, afbeeldingen en pijlen. Vervolgens zal theorie over routebeschrijvingen worden behandeld. Tot slot wordt theorie uiteengezet over begrijpelijkheid, de interfererende variabelen need for cognition en zelfeffectiviteit, alsmede de variabelen recall, aantrekkelijkheid en tot slot uitvoerbaarheid.

2.1 Multimodale instructies

Dit onderzoek zal zich richten op routebeschrijvingen in de vorm van multimodale instructies. Dit zijn instructies die meerdere modaliteiten bevatten, zoals bijvoorbeeld tekst in combinatie met beeld (Calliope, 2008, van Hooijdonk & Spooren, 2011: 234, Carney en Levin, 2002). Het leren en begrijpen van informatie gaat beter als deze via twee modaliteiten wordt getoond in plaats van via één modaliteit (van Hooijdonk en Krahmer, 2005). Tekst is een uitstekende manier om complexe informatie te beschrijven, maar kan bij de lezer voor problemen zorgen als deze een mentale voorstelling moet maken. Door het toevoegen van bijvoorbeeld afbeeldingen wordt dit probleem omzeild en bereikt de informatie de lezer via twee kanalen. Dit zorgt tevens voor een lagere belasting van het werkgeheugen bij de lezer (Larkin en Simon, 1987).

Een aantal theorieën die de combinatie van beeld en tekst behandelen, zijn de Cognitive Theory of Multimedia Learning (CTML; Mayer, 2005) en het Integrative Model of Text and Picture Comprehension (ITPC; Schnotz, 2005). Deze theorieën gaan er allen van uit dat een lezer een beperkte geheugencapaciteit heeft en dat visuele en verbale geschreven informatie via twee verschillende kanalen wordt verwerkt. Door informatie in zowel tekst als beeld aan te bieden wordt de geheugenbelasting verspreid over twee kanalen. Dit leidt tot betere en diepere verwerking van de informatie (Mayer, 2005; Schnotz, 2005). Wel is het mogelijk dat need for cognition, de behoefte aan cognitieve uitdaging, hier een rol in speelt. Hierover wordt in sectie 2.3.1 meer uitgelegd.

Verder zorgen afbeeldingen ervoor dat impliciete informatie expliciet kan worden weergegeven, zodat de instructie eenvoudiger te begrijpen, te onthouden is. Handelingen uit de instructie zijn hierdoor gemakkelijker uit te voeren (Maes & Schilperoord, 2002: 158). In dit onderzoek worden verschillende modaliteiten met elkaar gecombineerd om een multimodale instructie te vormen die zo begrijpelijk en aantrekkelijk mogelijk is en zo goed mogelijk te onthouden is. Er wordt gebruik gemaakt van tekst, beeld en pijlen, om verschillende combinaties te vormen. Deze modaliteiten worden in de volgende sectie nader toegelicht.

2.1.1 Tekst

4 beïnvloeden. Zo kan de effectiviteit van het document worden vergroot door de instructieve tekst zo in te richten dat de gebruiker de informatie gemakkelijk kan verwerken (Hoeken et al., 2009).

Volgens Jansen (1999) heeft een instructieve tekst als doel om een lezer een concrete taak uit te kunnen laten voeren. Echter, er wordt vaak geen rekening gehouden met de lezer en de tekst is vaak moeilijker ontworpen dan gewenst. Het is dus zaak om de tekst zo duidelijk en begrijpelijk mogelijk te formuleren, zodat geen problemen ontstaan bij de verwerking van de instructieve tekst bij de lezer of gebruiker (Jansen, 1999: 2).

Kenmerkend voor instructieve teksten is het gebruik van werkwoorden in de imperatieve vorm, oftewel de gebiedende wijs. Dit zijn woorden zoals: ‘loop’, ‘daal af’, of ‘neem’. In de instructies die gebruikt worden bij dit onderzoek zullen voornamelijk deze werkwoorden staan. Dit is kenmerkend voor een instructieve tekst, omdat de gebruiker aan wordt gespoord om handelingen uit te voeren en is de meest directe formulering van een actie in een instructie (Schellens & Steehouder, 2008). Teksten die gebruikt worden bij instructies om een route af te leggen moeten een plaatsbepaling, een richting en een oriëntatiepunt bevatten (Xia et al., 2008: 445), aangezien deze essentieel zijn om de juiste route af te leggen. Door middel van een plaatsbepaling weet de gebruiker waar hij zich op dat moment bevindt. Vervolgens krijgt de gebruiker een richtingsindicatie, zodat hij weet welke kant hij op moet en tot slot een oriëntatiepunt, ook wel landmark genoemd, zodat de eindlocatie van de instructieve handeling duidelijk wordt (Xia et al., 2008: 445).

2.1.2 Beeld

Behalve tekst kan bij instructies gebruik gemaakt worden van afbeeldingen. Van Hooijdonk & Spooren (2011) hebben onderzoek gedaan naar de rol van beeld in tekstverwerking. Een tekstontwerper kan volgens hen kiezen uit een grote verscheidenheid aan presentatietechnieken: statisch of dynamisch (losse afbeeldingen of bewegende series van afbeeldingen op een computer), schematisch (verkeersborden en bijvoorbeeld was- en strijklabels in kleding) of realistisch (foto’s), ze kunnen fysiek in de tekst gerealiseerd zitten of bijvoorbeeld met hypertext op een heel andere locatie zijn geplaatst (Van Hooijdonk & Spooren, 2011).

Tversky (2002) stelt dat afbeeldingen eerder door de mensheid gebruikt werden dan tekst, gezien rotstekeningen en hiërogliefen uit het oude Egypte. Tegenwoordig wordt nog steeds veel gebruik gemaakt van afbeeldingen, aangezien ze voor veel mensen makkelijker te begrijpen zijn dan talige uitingen. Het gebruik van afbeeldingen zorgt ervoor dat concepten duidelijk weer kunnen worden gegeven en de informatie gemakkelijker wordt overgedragen (Tversky, 2002).

5 2.1.3 Pijlen

Van Wijk et al. (2010: 1) stellen dat met pijlen in schematische afbeeldingen zelden een pijl die van een boog wordt geschoten wordt bedoeld. Veel vaker zijn ze toegevoegd aan de afbeelding om iets aan te wijzen of de lezer te attenderen op een bepaald gedeelte van de afbeelding. Pijlen kunnen meerdere functies hebben, zoals iets aanwijzen, een handeling verduidelijken, een bewegingsrichting aantonen, een vervolgstap tonen of een ruimtelijke afstand aangeven (Kloosterman & Pot, 2015). Volgens Heiser & Tversky (2006: 589) zorgen pijlen voor een verandering, een beweging of een oorzakelijk verband. Pijlen behoren tot de categorie van schematische elementen samen met lijnen, vierkanten, kruizen en cirkels (Tversky, 2005). In onderzoek naar multimodale instructies hebben pijlen als voornaamste functie om een bewegingsrichting aan te tonen, zodat de gebruiker weet welke richting hij op moet gaan. Ook kan beargumenteerd worden dat pijlen bij routebeschrijvingen een vervolgstap tonen, omdat het vervolg van de route aan de hand van de pijl duidelijk wordt. De richting waar de pijl naar wijst komt overeen met de richting die in de tekst wordt vermeld. Als in de tekst wordt aangegeven dat de gebruiker linksaf moet slaan en de trap af moet dalen dan wijst de pijl naar links en schuin naar beneden. Op deze manier geven zowel tekst als pijl dezelfde informatie weer.

2.2 Routebeschrijvingen

Instructies die personen via een bepaalde route van punt A naar punt B leiden worden routebeschrijvingen genoemd. De eindbestemming van de gebruiker kan worden bereikt met behulp van navigatie, ook wel wayfinding genoemd (Arthur & Passini, 1992: 24). Een belangrijk aspect van routebeschrijvingen is de vormgeving, die een grote invloed heeft op de begrijpelijkheid van de instructie. Hoe begrijpelijker de instructies zijn vormgegeven, hoe beter de gebruiker in staat is om deze instructies te verwerken en vervolgens uit te voeren (Arthur & Passini, 1992: 25). De manier waarop een instructie is vormgegeven heeft hierdoor een verband met de mate waarin de instructie door een gebruiker wordt beoordeeld en uitgevoerd.

Door de opkomst van het global positioning system (GPS) heeft onderzoek naar routebeschrijvingen zich de afgelopen decennia voornamelijk gericht op routebeschrijvingen die buitenshuis gebruikt worden, bijvoorbeeld voor het gebruik in vervoersmiddelen (Hölscher et al., 2013: 1). Onderzoek naar routebeschrijvingen in combinatie met indoor wayfinding (routebeschrijvingen voor binnenshuis) zoals ook in dit onderzoek zal worden gedaan, is pas veel recenter in opkomst en is nog volop in ontwikkeling (Hölscher et al., 2013: 1, Cuayáhuitl et al., 2011: 1). Deze auteurs stellen dat navigeren in een gebouw een uitdaging is, omdat gebouwen erg van structuur en inrichting kunnen verschillen. Bij een buitenomgeving zijn deze verschillen vaak veel kleiner. Daarnaast kan de gebruiker in mindere mate zien waar hij zich precies bevindt vergeleken met buiten, vanwege muren, vloeren en plafonds. Om deze reden is het van essentieel belang dat instructies die de gebruiker in staat stellen de weg te vinden in gebouwen worden ontwikkeld. Met dit onderzoek kan een waardevolle bijdrage worden geleverd aan de vormgeving van deze instructies.

6 zoals een personal digital assistent (PDA) of smartphone. Opties die zij gebruikten om informatie te presenteren waren: gesproken tekst, geschreven tekst, tweedimensionale kaarten of pseudo-realistische (driedimensionale) kaarten (Kray et al., 2003: 118). Door middel van het combineren van deze opties, bijvoorbeeld geschreven tekst met tweedimensionale kaarten of gesproken tekst met driedimensionale kaarten werden multimodale instructies gecreëerd. Dit zijn instructies waarbij de gebruiker informatie uit twee bronnen, bijvoorbeeld tekst en beeld, krijgt. Niet alle combinaties waren echter even duidelijk; zo was gesproken tekst vaak een grotere afleiding dan een hulpmiddel. De onderzoekers stelden dat de beste optie een combinatie was van geschreven tekst met zowel een tweedimensionale als een driedimensionale kaart, zoals te zien is in Figuur 1.

Figuur 1. Een multimodale routebeschrijving met tekst, 2D en 3D (Kray et al., 2003).

Dat deze combinatie de beste optie was werd aangetoond in een experiment waarbij tien proefpersonen een bepaalde route af moesten leggen met behulp van verschillende vormen van instructies, waarna een interview plaatsvond. Hieruit bleek dat de combinatie van tekst en twee- en driedimensionale beelden leidde tot een hoge begrijpelijkheid en dat het navigeren eenvoudiger werd door gedetailleerde gebouwen in de driedimensionale kaarten (Kray et al., 2003: 122).

Waar Kray et al. (2003) zich in hun onderzoek richtten op een outdoor setting, hebben Münzer & Stahl (2007) zich bij hun onderzoek naar routebeschrijvingen op een mobiel apparaat juist gericht op een indoor setting, oftewel in een gebouw. Ze hebben verschillende instructieformats onderzocht, zoals afbeeldingen, kaarten en videomateriaal om te kijken welk format het meest begrijpelijk was voor gebruikers. Aan het materiaal werden pijlen toegevoegd die de route stap voor stap toonden, waardoor ook in dit onderzoek gebruik werd gemaakt van multimodale instructies. Proefpersonen werden gevraagd naar de begrijpelijkheid van het materiaal en dit leidde tot positieve scores van ongeveer 65% (afbeeldingen) tot 69% (videomateriaal). Na het zien en beoordelen van het materiaal wisten proefpersonen de route succesvol af te leggen (Münzer & Stahl, 2007: 243). In 2011 deden Münzer & Stahl een soortgelijk onderzoek, waarbij gekeken werd naar drie verschillende presentatieformats: een routekaart van het gebouw, stap voor stap fotografische afbeeldingen van de route, of een animatie die de route vanuit eerste persoonsperspectief liet zien. Uit de resultaten kwam naar voren dat beeldende informatie, zoals afbeeldingen of een animatie beter werd onthouden door gebruikers dan een routekaart. Ook stelden zij voor om formats, bijvoorbeeld een animatie en een routekaart, te combineren om zo de gebruiker de kans te geven om zijn informatie uit meerdere bronnen te halen (Münzer & Stahl, 2011: 306).

7 van het ontwerpen van een op tekst gebaseerd navigatiesysteem probeerden zij deze uitdaging te verkleinen. Het systeem werd getest in een universiteitsgebouw dat bekend stond om de problemen die ontstonden bij het navigeren. Door middel van dit navigatiesysteem konden gebruikers met behulp van een computer of mobiel apparaat een routebeschrijving opvragen in een computerprogramma via het invoeren van tekst. Door te vragen naar een bepaalde zaal of andere locatie in het gebouw, kon de computer de relevante informatie opvragen in zijn geheugen en vervolgens stap voor stap tekstueel tonen aan de gebruiker. In totaal werd aan 26 gebruikers gevraagd om de weg te vinden met behulp van dit computerprogramma. Uit de resultaten bleek dat de mate van taaksucces erg hoog lag. Echter werd niet duidelijk in hoeverre de respondenten moeite hadden om de taak uit te voeren. Wel was de algehele gebruikerswaardering van de respondenten hoog (Cuayáhuitl et al., 2011: 295), dat laat zien dat de gebruikers het prettig vonden om op deze manier informatie te verkrijgen.

Uit bovenstaande onderzoeken blijkt dat instructies om een route af te kunnen leggen zeer divers kunnen zijn en verschillende modaliteiten in verschillende onderzoeken worden gebruikt. Er komt naar voren dat het aan te raden is om multimodale instructies te gebruiken. Er bestaat echter nog geen duidelijkheid over hoe verschillende modaliteiten het best kunnen worden ingezet om ten eerste complementair aan elkaar te zijn en ten tweede ervoor te zorgen dat instructies zo begrijpelijk mogelijk worden weergegeven. Dit onderzoek zal meer duidelijkheid over deze vraag verschaffen.

2.3 Verwerking van multimodale routebeschrijvingen

Maes, Ummelen en Hoeken (1996) beschrijven in hun handboek over het samenstellen van instructieve teksten, dat een kenmerk van deze teksten is dat ze handelingen ondersteunen. De effectiviteit en kwaliteit van een instructie heeft te maken met een aantal constructen: begrijpelijkheid, oproepbaarheid (ook wel recall genoemd), aantrekkelijkheid en uitvoerbaarheid (Maes et al., 1996; Rozeman, 2015: 306). Dit geldt ook bij multimodale routebeschrijvingen, waar de gebruiker baat heeft bij een begrijpelijke, uitvoerbare en aantrekkelijke instructie om zo optimaal geholpen te worden bij het vinden van de juiste route.

De kwaliteit van de multimodale routebeschrijving kan worden onderzocht door het meten van de variabelen begrijpelijkheid, oproepbaarheid, uitvoerbaarheid en aantrekkelijkheid. Daarnaast zijn need for cognition en zelfeffectiviteit mogelijk van invloed op deze variabelen. Eerst zullen deze variabelen worden besproken en vervolgens wordt in Figuur 2 duidelijk welke relaties tussen de variabelen worden verwacht.

2.3.1 Need for cognition

8 uitdaging) genoemd (Cacioppo & Petty, 1982: 805). Zij stellen dat mensen met een hoge need for cognition een voorkeur hebben om complexe taken uit te voeren, terwijl mensen met een lage need for cognition juist een simpele taak prefereren, waarbij ze hun cognitieve vermogen niet zwaar hoeven te belasten en dus niet diep na hoeven te denken over de te uitvoeren taak. Dit geldt ook voor de cognitieve verwerking van een multimodale instructie. Het zou kunnen dat mensen met een hoge need for cognition een hogere bereidheid hebben tot het verwerken en begrijpen van de instructie dan mensen met een lage need for cognition. Ook zien zij sneller hoe de instructie is opgebouwd en waar belangrijke informatie te vinden is. Dit is dan van invloed op de begrijpelijkheid van de instructie. Echter is need for cognition niet de enige factor die van invloed zou kunnen zijn op deze twee variabelen, ook zelfeffectiviteit speelt hier mogelijk een rol in.

2.3.2 Zelfeffectiviteit

Zelfeffectiviteit (self-efficacy) heeft te maken met het vertrouwen dat een persoon in zijn eigen kunnen heeft. Het gaat hierbij of de persoon gelooft dat hij of zij in staat is om een taak uit te voeren (Bandura, 1977; Zimmerman, 2000). In dit specifieke onderzoek gaat het om de vraag of personen in staat zijn handelingen uit te voeren die in de multimodale instructie worden beschreven. Een persoon met een hoge mate van zelfeffectiviteit heeft een hogere mate van geloof in eigen kunnen dan een persoon met een lage mate van zelfeffectiviteit (Bandura, 1977). Dit zou van invloed kunnen zijn op de mate van begrip van de instructie door de gebruiker. Personen zijn namelijk geneigd om een hogere motivatie te hebben voor een taak als zij er in geloven dat zij de taak succesvol uit kunnen voeren (Zimmerman, 2000). Zelfeffectiviteit zou hier een modererende variabele kunnen zijn. 2.3.3 Begrijpelijkheid

Bij begrijpelijkheid wordt gekeken naar de mate waarin iets helder of duidelijk is voor een persoon (Kloosterman & Pot, 2015: 8). In dit geval gaat het om de begrijpelijkheid die de gebruiker ervaart bij het bestuderen van het materiaal, ook wel gepercipieerde begrijpelijkheid genoemd. Begrijpelijkheid is een belangrijk aspect van de kwaliteit van een instructie. Volgens Maes, Ummelen en Hoeken (1996) zorgt gepercipieerde begrijpelijkheid ervoor dat gebruikers denken dat ze handelingen uit de instructie uit kunnen voeren. Het hangt nauw samen met de uitvoerbaarheid van de instructie. Bij een hoge begrijpelijkheid is de verwachting dat de uitvoerbaarheid ook hoog zal zijn.

Echter is er een verschil tussen begrijpelijkheid die door de gebruiker wordt ervaren en de mate waarin hij in staat is om de instructie ook daadwerkelijk uit te voeren. De mate waarin een gebruiker de begrijpelijkheid ervaart wordt ook wel gepercipieerde begrijpelijkheid genoemd (Jansen, 2015: 95). Iemand kan namelijk wel zeggen dat hij een instructie heeft begrepen en er zelf ook van overtuigd zijn, maar dit betekent niet dat bij het daadwerkelijk uitvoeren van de instructie geen fouten zullen worden gemaakt.

9 2.3.4 Oproepbaarheid

Oproepbaarheid of recall gaat om de manier waarop gebruikers informatie op kunnen roepen in hun geheugen. Volgens Kobus et al. (1994) waren proefpersonen beter in staat om het materiaal tijdens een experiment te herinneren als dat materiaal via een combinatie van tekst en beeld was getoond. Zij concludeerden dat het menselijk geheugen beter in staat is om een veelvoud aan onderwerpen te onthouden als de presentatie van informatie gelijktijdig via zowel tekst als beeld werd gedaan. Er wordt in de literatuur onderscheid gemaakt tussen free recall en cued recall. Bij free recall wordt de gebruiker niet geholpen in zijn taak om informatie te herinneren. Bij cued recall gebeurt dit juist wel, door de gebruiker aanwijzingen (cues) te geven of bijvoorbeeld naar specifieke delen van de informatie te vragen (Earhard, 1967: 258). Het valt te verwachten dat respondenten een hoger percentage van de instructie op kunnen roepen door middel van cued recall, aangezien ze dan met aanwijzingen geholpen worden om informatie op te vragen in hun geheugen, terwijl ze bij free recall deze hulp niet krijgen. In dit onderzoek is gekozen om zowel free recall als cued recall te gebruiken, omdat dan zowel duidelijk wordt hoeveel de gebruiker met hulp weet te herinneren, als ook hoeveel hij nog op kan roepen zonder aanwijzingen.

In dit onderzoek is recall van belang omdat het onthouden van informatie door middel van een multimodale instructie ervoor zorgt dat een gebruiker snel en op de juiste manier een route in een gebouw af kan leggen (Kobus et al., 1994).

2.3.5 Aantrekkelijkheid

Maes et al. (1996) stellen dat bij het ontwerp van instructieve teksten aandacht moet worden besteed aan het zo aantrekkelijk mogelijk maken van de instructie. Bij aantrekkelijkheid wordt vaak gedacht aan uiterlijke schoonheid. Echter heeft aantrekkelijkheid in dit onderzoek betrekking op de functionaliteit en het ontwerp van de multimodale instructie. Tevens stelt Hoeken (1998) dat een onaantrekkelijk vormgegeven tekst of instructie voor de gebruiker een aanwijzing kan zijn dat hij of zij niet serieus genomen wordt door de ontwerper van de instructie. Door middel van een

aantrekkelijke instructie is de gebruiker beter in staat om de instructies op de juiste manier op te volgen, omdat deze dan functioneler en beter ontworpen is om de gebruiker te helpen (Maes et al., 1996).

2.3.6 Uitvoerbaarheid

10 een hoge mate van uitvoerbaarheid. Bij problemen met het uitvoeren van de instructie was de uitvoerbaarheid ervan ook lager. Münzer & Stahl (2007) concludeerden dat uitvoerbaarheid een belangrijke graadmeter is om de kwaliteit van een instructie te bepalen.

Tussen de variabelen die in dit onderzoek worden gebruikt worden relaties verwacht, aangezien bepaalde variabelen invloed op elkaar zouden kunnen hebben. In het IPKK (Invloed van Persoonlijke Kenmerken op Kwaliteit) –model in Figuur 2 staat welke relaties verwacht worden tussen de variabelen.

Figuur 2. IPKK (Invloed van Persoonlijke Kenmerken op Kwaliteit) –model

Zoals te zien is in bovenstaand model wordt verwacht dat zowel need for cognition als zelfeffectiviteit invloed hebben op de vier variabelen die uiteindelijk de kwaliteit van de instructie meten. Deze verwachtingen zijn gebaseerd op onderzoek van Mayer (2005) en Schnotz (2005) waar wordt gesteld dat door informatie in zowel tekst als beeld aan te bieden, de geheugenbelasting wordt verspreid over twee kanalen. Dit leidt tot betere en diepere verwerking van de informatie. Het is te verwachten dat persoonlijke kenmerken als need for cognition en zelfeffectiviteit hier een rol in spelen.

11

2.4 Verwachtingen

De vier versies van de multimodale instructie werden zowel in de online vragenlijst als het gebruikersexperiment getest om te kijken wat de invloed van het gebruik van verschillende combinaties van modaliteiten was. Door het uitvoeren van twee pretests sloten de stappen in de instructie zo goed mogelijk op elkaar aan en gaven de verschillende modaliteiten zoveel mogelijk dezelfde informatie weer. De algemene verwachtingen van de resultaten is deels gebaseerd op de resultaten uit de pretest en deels op relevante onderzoeken uit het theoretisch kader.

Over de afhankelijke variabelen die in dit onderzoek mee werden genomen (kwaliteit, begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en uitvoerbaarheid) zijn per variabele hypothesen opgesteld. In de conclusie zijn deze hypothesen getoetst aan de verkregen resultaten. 2.4.1 Algemene verwachtingen

De algemene verwachtingen die bij dit onderzoek zijn opgesteld luiden:

- 1) Het gebruik van een combinatie van zowel afbeelding, tekst en pijl leidt tot een hogere kwaliteit van de multimodale instructie dan een combinatie van twee modaliteiten.

- 2) Het gebruik van de combinatie afbeelding en tekst leidt tot een hogere kwaliteit van de multimodale instructie dan het gebruik van de combinatie afbeelding en pijl. Het gebruik van de combinatie tekst en pijl leidt tot de laagste kwaliteit van de multimodale instructie.

- 3) Er is een verschil in uitvoerbaarheid tussen de verschillende versies van de multimodale instructie bij het gebruikersexperiment.

- 4) Er is een verschil in begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en uitvoerbaarheid tussen deelnemers aan de online vragenlijst en deelnemers aan het gebruikersexperiment.

Verwachting 1 is gebaseerd op onderzoeksresultaten waaruit blijkt dat een combinatie van verschillende modaliteiten leidt tot een hoger begrip en een betere waardering van de instructie (Münzer & Stahl, 2011: 306; Münzer & Stahl, 2007: 243).

Verwachting 2 is gebaseerd op de resultaten van Xia et al. (2008), waaruit blijkt dat de gebruiker een oriëntatiepunt en een richting nodig heeft om de route te vinden. Het is te verwachten dat tekst deze richting gedetailleerder duidelijk kan maken dan een pijl.

Verwachting 3 is gebaseerd op de resultaten van Münzer & Stahl (2011) en die van Kloosterman & Pot (2015), die concludeerden dat verschillende combinaties van modaliteiten leidden tot verschillende resultaten in uitvoerbaarheid van de instructie.

12

3. Methode

In deze sectie worden eerst de onderzoeksvraag en bijbehorende variabelen geoperationaliseerd. Vervolgens worden de gebruikte meetinstrumenten toegelicht. Uiteindelijk volgt een splitsing tussen beide onderzoeksmethodes, waarbij eerst dieper in wordt gegaan op de online vragenlijst en daarna op het gebruikersexperiment.

3.1 Operationalisatie

De vraag die centraal staat in dit onderzoek is:

‘In hoeverre dragen verschillende combinaties van modaliteiten bij aan de kwaliteit van instructies op mobiele apparaten?’

Kwaliteit wordt gemeten aan de hand van de volgende kwaliteitsvoorwaarden: begrijpelijkheid, recall (oproepbaarheid), aantrekkelijkheid en uitvoerbaarheid.

Door middel van het beantwoorden van subvragen kan de onderzoeksvraag worden beantwoord. Deze luiden:

1. In hoeverre zijn verschillende combinaties van pijlen, tekst en afbeeldingen in instructies op een mobiel apparaat begrijpelijk?

2. In hoeverre zijn verschillende combinaties van pijlen, tekst en afbeeldingen in instructies op een mobiel apparaat oproepbaar?

3. In hoeverre zijn verschillende combinaties van pijlen, tekst en afbeeldingen in instructies op een mobiel apparaat aantrekkelijk?

4. In hoeverre zijn verschillende combinaties van pijlen, tekst en afbeeldingen in instructies op een mobiel apparaat uitvoerbaar?

De begrippen uit de onderzoeksvraag en subvragen zijn als volgt geoperationaliseerd:

 Multimodale instructie = een combinatie van meerdere modaliteiten (tekst, beeld, pijl) die een gebruiker in staat stelt handelingen uit te voeren.

 Kwaliteit = de mate waarin instructies voldoen aan de eisen van de gebruiker, onderverdeeld in begrijpelijkheid, recall (oproepbaarheid), aantrekkelijkheid en uitvoerbaarheid. Hierbij betekent hogere kwaliteit: sneller en beter uit te voeren, beter te onthouden en aantrekkelijker (Rozeman, 2015: 14).

 Begrijpelijkheid = de mate waarin iets helder of duidelijk is voor een persoon.

 Recall = de mate waarin de gebruiker in staat is de instructie te herinneren of mentaal op te roepen.

 Aantrekkelijkheid = de mate waarin de instructie door uiterlijk, vormgeving en duidelijkheid voorkeur geniet bij de gebruiker.

13 Combinaties van multimodale instructies worden in dit onderzoek tot onafhankelijke variabele (OV) gerekend. De afhankelijke variabele (AV) is kwaliteit, onderverdeeld in begrijpelijkheid, recall (oproepbaarheid), aantrekkelijkheid en uitvoerbaarheid. Verder worden de begrippen need for cognition en zelfeffectiviteit tot interfererende variabelen (IV) gerekend. Deze variabelen zullen aan de hand van een online vragenlijst en een gebruikersexperiment worden gemeten, zodat geanalyseerd kan worden of ze daadwerkelijk van invloed zijn op de afhankelijke variabele. In het model dat in het theoretisch kader is geschetst (zie Figuur 2) is te zien hoe verwacht wordt dat need for cognition en zelfeffectiviteit van invloed zijn op de andere variabelen.

3.2 Meetinstrumenten

Om de onderzoeksvraag te kunnen beantwoorden, werden twee verschillende onderzoeksmethoden gebruikt. De eerste onderzoeksmethode was een online vragenlijst, die zich richtte op de kwaliteit van de multimodale instructies door middel van stellingen over begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en uitvoerbaarheid. Daarnaast vond een gebruikersexperiment plaats, waarbij respondenten de multimodale instructie in de praktijk uitvoerden en vervolgens dezelfde vragenlijst invulden die bij de eerste onderzoeksmethode werd gebruikt. Door het toepassen van beide onderzoeksmethoden kon het verschil in wat respondenten denken te begrijpen of herinneren en hun daadwerkelijke begrip en geheugen gemeten worden.

3.2.1 Online vragenlijst

De vragenlijst in dit onderzoek is aan de hand van het vak ‘Document design: het ontwerp van vragenlijsten’ (LCX035M10) aan de Rijksuniversiteit Groningen tot stand gekomen. Door middel van wekelijkse opdrachten is de vragenlijst aangepast. Tevens zijn cognitieve interviews gehouden met vijf respondenten om de vragenlijst te analyseren en waar nodig te verbeteren. Dit zijn interviews waarbij gevraagd wordt naar het denkproces van de respondent, om te analyseren hoe informatie wordt opgehaald om uiteindelijk tot een geformuleerd antwoord te komen (Collins, 2003). De onderzoeker stelt tijdens de cognitieve interviews vragen om de cognitieve belasting van de respondent in kaart te brengen.

Tijdens deze cognitieve interviews is gebruik gemaakt van de hardopdenk-methode, waarbij respondenten zoveel mogelijk hun gedachten moeten uiten. Deze cognitieve interviews hebben geleid tot een aantal aanpassingen van vraagstellingen. Ook is bij een aantal secties extra uitleg toegevoegd op basis van de cognitieve interviews.

14 3.2.2 Gebruikersexperiment

Bij het gebruikersexperiment werd de afhankelijke variabele uitvoerbaarheid gemeten. Verder werden de afhankelijke variabelen begrijpelijkheid, oproepbaarheid en aantrekkelijkheid gemeten door middel van de vragenlijst. Uitvoerbaarheid was namelijk niet meetbaar met een online vragenlijst, aangezien respondenten in hun eigen omgeving de vragenlijst invulden en niet fysiek aanwezig waren op de locatie van de multimodale instructie. Uitvoerbaarheid was wel te meten door respondenten de multimodale instructie op een mobiel apparaat te tonen op de locatie uit de instructie en de respondenten vervolgens te vragen om de handelingen in de praktijk uit te voeren. Ook bij het gebruikersexperiment vulden respondenten de vragenlijst in, om zo ook begrijpelijkheid, recall en aantrekkelijkheid van de instructie te kunnen meten. Dit vond direct na afloop van het uitvoeren van de multimodale instructie plaats. In totaal waren er 19 proefpersonen die de multimodale instructie uit hebben gevoerd. Alle vier versies van het materiaal werden op deze manier ongeveer 5 keer in de praktijk getest. Gedetailleerde uitleg over het gebruikersexperiment is te vinden in sectie 3.4.

Tijdens het uitvoeren van de multimodale instructie vonden de volgende metingen plaats:

- Tijd totale instructie: dit is de totale tijd in seconden die respondenten nodig hebben om de gehele instructie uit te voeren. Dit is van beginpunt (4e verdieping Harmoniegebouw, bij kamer 1312.428) tot het eindpunt (buiten, na de draaideuren op de begane grond van het Harmoniegebouw).

- Tijd per stap (1-5): de totale tijd zal worden onderverdeeld in de tijd in seconden die per stap van de instructie benodigd is. Stap 1 eindigt op de locatie van de afbeelding van de volgende stap en dit geldt ook voor de stappen die daarop volgen.

- Gemaakte fouten: het meten van fouten wordt gedaan door middel van turven. Fouten zijn onderverdeeld in richtingsfouten (respondent volgt niet de juiste richting van de instructie), instructiefouten (respondent heeft verkeerde stap van de instructie op verkeerde deel van de route voor zich) en overige fouten (fouten die niet op voorhand te voorzien zijn). Ook wordt gemeten door middel van turven hoeveel pogingen de respondent nodig heeft om de eindbestemming van de route te bereiken. Het telt als een nieuwe poging als de onderzoeker in moet grijpen. Corrigeert de deelnemer zichzelf dan telt het niet als een nieuwe poging omdat de deelnemer dan zelf de juiste route weet te vervolgen.

- Recall: het aantal keer dat de respondent per stap van de instructies op het mobiele apparaat kijkt, met uitzondering van de eerste keer dat hij de stap ziet. Ook wordt gemeten hoe vaak de deelnemer terugbladert naar een vorige stap van de instructie.

15 Respo ndent Versie Tijd totale instr. (in sec) Tijd tussen stappen (1 – 5) (in sec) Aantal richting-sfouten Aantal instr. fouten Aantal overige fouten Ingrepen Recall totaal Recall per stap (terugge bladerd) 1 1-2: 2-3: 3-4: 4-5:

Tabel 2. Schema van het gebruikersexperiment.

De vragenlijst die na afloop van het gebruikersexperiment werd ingevuld bevatte dezelfde vragen en stellingen als de online vragenlijst en werd op een computer ingevuld. Na afronding van het gebruikersexperiment werden alle ingevulde vragenlijsten in SPSS verwerkt.

3.3 Online vragenlijst

3.3.1 Proefpersonen

In totaal hebben 213 respondenten deelgenomen aan het experiment met de online vragenlijst. Dit is gedaan met een gelegenheidssteekproef, waarbij de vragenlijst voornamelijk via sociale media is verspreid. Voor de demografische gegevens betekent dit dat voornamelijk jongvolwassenen, die gebruik maken van sociale media, tot de groep respondenten behoren. De gegevens van de 213 respondenten waren alleen bruikbaar als de vragenlijst geheel was ingevuld en afgerond. Om deze reden zijn 57 respondenten uit de resultaten gehaald. Onder de resterende 156 respondenten bleken 7 respondenten te zijn die de vragen niet serieus hadden beantwoord en bijvoorbeeld constant hetzelfde antwoord hadden gegeven. Ook deze respondenten zijn verwijderd, zodat er in totaal 149 respondenten overbleven die de vragenlijst serieus en compleet hadden ingevuld.

De proefpersonen die mee werkten aan dit experiment deden dit op vrijwillige basis en hun privacy werd te allen tijde gewaarborgd. Uit ethisch oogpunt was het de proefpersonen toegestaan om op elk moment te stoppen met de vragenlijst. Voor het invullen van de vragenlijst vulden respondenten een consentformulier in waarmee ze toestemming gaven om deel te nemen aan het onderzoek. Onder de respondenten was 46,3% (N = 69) man en 53,7% (N = 80) vrouw. De gemiddelde leeftijd van de respondenten was 30,3 jaar. De mannelijke gemiddelde leeftijd was 28,7 jaar en bij de vrouwen was dit 31,8 jaar. Het opleidingsniveau was als volgt verdeeld (Tabel 3):

Opleidingsniveau Percentage Basisschool 0,7 (N = 1) VMBO 1,3 (N = 2) HAVO 4,7 (N = 7) VWO 5,4 (N = 8) MBO 8,7 (N = 13) HBO 34,2 (N = 51) Universiteit 45,0 (N =67)

16 Ook werd gevraagd naar het bezit van een mobiel apparaat onder respondenten. Opvallend was dat alle respondenten minstens één mobiel apparaat in hun bezit hadden. 2,0% (N = 3) had een mobiele telefoon, maar geen smartphone. 43,6% (N = 65) had een smartphone in het bezit en 54,4% (N = 81) had zowel een smartphone als tablet.

Van de respondenten had 22,1% (N = 33) wel eens te maken gehad met een noodsituatie. Veel voorkomende antwoorden waren ‘brand’ en ‘ongeval met auto’. Op de vraag of de respondent bedrijfshulpverlener (BHV’er) was, antwoordde 12,1% (N = 18) positief. Verder bleek onder de respondenten 29,5% (N = 44) een EHBO-cursus te hebben gevolgd.

Verder werd gevraagd in hoeverre de respondenten het Harmoniecomplex in Groningen van binnen kenden. Dit was namelijk de plek waar de multimodale instructie betrekking op had. Van de 149 respondenten kende 17,4% (N = 26) het Harmoniecomplex van binnen, een even groot deel van 17,4% kende het een beetje en de overige 65,2% (N = 97) kende het gebouw niet van binnen.

Tot slot waren de 149 respondenten als volgt over de vier verschillende versies van de multimodale instructie verdeeld (Tabel 4).

Versie Respondenten (N)

1 (afb. + tekst) 35 (23,5%)

2 (afb. + pijl) 39 (26,2%)

3 (tekst + pijl) 37 (24,8%)

4 (afb. + tekst + pijl) 38 (25,5%) Tabel 4. Verdeling respondenten over de versies.

3.3.2 Materiaal

In dit onderzoek werd gebruik gemaakt van een stapsgewijze instructie die is opgebouwd uit meerdere modaliteiten. Deze instructie bevatte bij elke onderzoeksconditie twee of drie verschillende modaliteiten die werden onderzocht. Bij de instructie werd gebruik gemaakt van afbeeldingen, tekst en pijlen die zijn gemanipuleerd. Hierdoor ontstonden vier versies van de instructies; één met afbeelding en tekst, één met afbeelding en pijl, één met tekst en pijl en één met afbeelding, tekst en pijl. Verder waren de versies exact hetzelfde, zodat de manipulaties het enige element waren waarop de versies van elkaar verschilden.

17

1 Afbeelding en tekst 2 Afbeelding en pijl

3 Tekst en pijl 4 Afbeelding, tekst en pijl

Figuur 3: Manipulaties van het materiaal in vier versies.

18 In Tabel 5 zijn de stappen van de instructie met de daarbij horende handelingen te zien, waarbij de gebruiker een plaatsbepaling (‘Je bent in de gang op de 4e verdieping’) en een richting kreeg (‘Loop de gang door..’) die naar een oriëntatiepunt leidt (‘..naar het trappenhuis’). Tot slot volgde nog een eindlocatie. Volgens Xia et al. (2008: 445) maken mensen gebruik van richtingen en oriëntatiepunten (landmarks) bij wayfinding, het vinden van een route.

Stap Plaats Richting Oriëntatiepunt

1 Je bent in de gang op de

4e verdieping.

Loop de gang door naar het trappenhuis.

2 Je bent nu in het

trappenhuis op de 4e verdieping.

Sla links af en loop naar de trap naar beneden

3 Je bent nu op de trap

naar beneden.

Daal 4 verdiepingen af tot aan de rode receptiebalie.

4 Je bent nu op de begane

grond.

Sla linksaf naar de hal.

5 Je bent nu in de centrale

hal.

Sla linksaf en loop door de grote draaideur.

Eind Je bent nu buiten op de verzamelplaats

aangekomen.

- -

Tabel 5: Stappen met begeleidende tekst.

De constructen die in dit onderzoek werden gebruikt zijn gemeten door stellingen met behulp van een 7-punts Likertschaal. In onderstaande Tabel 6 staat verduidelijkt welke constructen door welke items werden gemeten.

Construct Wat meet het Aantal items Voorbeeld

Need for cognition In hoeverre de respondent graag cognitief belast wordt, b.v. puzzels oplost.

6 ‘Ik word graag mentaal uitgedaagd om puzzels op te lossen.’

Zelfeffectiviteit In hoeverre de respondent

vertrouwen heeft in zijn eigen kunnen.

6 ‘Ik ben in staat om de handelingen in de instructie uit te voeren.’ Begrijpelijkheid In hoeverre is de instructie begrijpelijk voor de respondent

6 ‘Ik begrijp de gehele instructie.’

Oproepbaarheid In hoeverre de respondent zich de instructie nog kan herinneren. 6 ‘Beschrijf de instructie in uw eigen woorden.’ Aantrekkelijkheid In hoeverre de respondent de instructie aantrekkelijk vindt.

5 ‘Welke versie van de instructie vindt u het meest aantrekkelijk?’

Uitvoerbaarheid In hoeverre de instructie uitgevoerd kan worden

19 De stellingen van de constructen need for cognition en zelfeffectiviteit zijn in de vragenlijst in willekeurige volgorde gepresenteerd om mogelijke antwoordpatronen van respondenten te voorkomen. Deze stellingen werden namelijk allen op dezelfde pagina getoond aan respondenten. Daarnaast zijn twee stellingen per variabele negatief geformuleerd. Het negatief formuleren van enkele stellingen verhoogt de betrouwbaarheid van het onderzoek omdat er gecontroleerd kan worden of de proefpersonen de vragenlijst serieus hebben ingevuld.

3.3.3 Procedure

De online vragenlijst is digitaal verspreid via sociale media waardoor de meetmethode een gelegenheidssteekproef was. Potentiële respondenten konden op een link klikken en werden naar de website van Qualtrics geleid waar de respondent informatie kreeg over het onderzoek en zijn vrijwillige deelname. Vervolgens kon met de vragenlijst worden begonnen. Bij de online vragenlijst kreeg een respondent willekeurig één versie van de multimodale instructie te zien. Het experiment werd uitgevoerd aan de hand van een tussen-proefpersonen design, wat inhoudt dat elke proefpersoon tot één groep behoorde en ook maar één versie van het materiaal te zien kreeg. Als respondenten meerdere versies van het materiaal te zien zouden krijgen, zouden ze wellicht kunnen ontdekken welke manipulaties er werden gedaan en dit zou de resultaten kunnen beïnvloeden. Dit heeft als gevolg dat de validiteit van het onderzoek aan zou kunnen worden getast. Er waren in totaal vier versies van de multimodale instructies. Per versie vulden ongeveer 40 proefpersonen de vragenlijst in, zodat de data bij elk van de vier versies van het materiaal 40 proefpersonen zullen bevatten, met een totaal van 160 proefpersonen.

De afhankelijke variabelen begrijpelijkheid, oproepbaarheid en aantrekkelijkheid werden met stellingen gemeten. Ook werd informatie verzameld over de interfererende variabelen need for cognition en zelfeffectiviteit.

Allereerst werd naar demografische gegevens gevraagd. Vervolgens werd need for cognition en de zelfeffectiviteit van de respondent gemeten. Daarna kreeg de respondent één versie van de multimodale instructie te zien, waarbij de respondent een instructie bestaande uit vijf stappen te zien kreeg. Vervolgens werd op een nieuwe pagina gevraagd naar de begrijpelijkheid van de instructie. Daarna werd respondenten gevraagd om vragen over oproepbaarheid te beantwoorden, waarbij respondenten de instructie niet meer konden zien. Tot slot zagen respondenten alle vier versies van de multimodale instructie en werd de voorkeur van de respondent wat betreft aantrekkelijkheid gemeten. Stellingen in de vragenlijst werden in willekeurige volgorde aan de respondenten aangeboden om het risico op sociaal wenselijk en repetitief antwoorden te minimaliseren. Ook werden enkele stellingen omgepoold, zodat de stelling negatief werd aangeboden aan de respondent. Op deze manier was het mogelijk om respondenten die de vragenlijst niet serieus invulden uit de resultaten te filteren.

20 inhoudsvaliditeit werd vergroot. Begrijpelijkheid werd bijvoorbeeld gemeten door 6 stellingen die ongeveer hetzelfde vroegen, maar dan vormgegeven in andere bewoordingen.

Oproepbaarheid werd vervolgens gemeten door per versie van de instructie vragen te stellen over wat respondenten nog wisten van de instructie. Eerst werd respondenten gevraagd om de instructie in hun eigen woorden te beschrijven. Dit was een vorm van free recall, waarbij respondenten geen aanwijzingen kregen maar de instructie zelf moesten herinneren. Daarna werd gevraagd naar delen uit de multimodale instructie die in elke versie voorkwamen, zoals de richting van een stap en uit hoeveel stappen de instructie bestond. De reden hiervoor was dat de versies verschillende modaliteiten bevatten en op deze manier versie-overstijgende vragen konden worden gesteld, die op alle versies van toepassing zijn. Dit is een vorm van cued recall, waarbij vragen werden gesteld aan de hand van aanwijzingen (cues) die de respondent hielpen om de instructie te herinneren. Door de combinatie van free en cued recall werd duidelijk hoeveel de respondenten zich nog van het materiaal konden herinneren, na de instructie bekeken te hebben voorafgaand aan de vragen. Aantrekkelijkheid werd tot slot gemeten door respondenten alle versies van het materiaal te laten zien en hen de meest aantrekkelijke optie te laten kiezen, voorzien van een motivatie.

De ingevulde vragenlijsten werden overgezet vanuit Qualtrics in het statistiekprogramma SPSS en met behulp van dit programma geanalyseerd.

Bij oproepbaarheid werd gebruik gemaakt van free recall (1 vraag) en cued recall (5 vragen). Elke respondent kreeg uiteindelijk een score wat betreft oproepbaarheid, gebaseerd op zijn antwoorden. De volgende formule werd gehanteerd: score = 100 * ((% free recall * 0,25) + (aantal goede antwoorden cued recall * 0,15)). Een respondent die bij free recall 80% goed had en bij cued recall 3 goede antwoorden heeft gegeven kreeg als eindscore bijvoorbeeld: 100 * ((80% * 0,25) + (3 * 0,15%)) = 100 * (0,20 + 0,45) = 65%. De juiste antwoorden op de vragen zijn te vinden in Tabel 7:

Tabel 7. Berekening score oproepbaarheid.

In totaal zijn er vier verschillende versies ontworpen voor dit experiment, door middel van het combineren van de modaliteiten. Dit is te zien in Tabel 8 op de volgende pagina. Er is gekozen om steeds minimaal twee modaliteiten per versie te gebruiken omdat gekeken werd naar de kwaliteit van multimodale instructies en niet naar losstaande modaliteiten, zoals alleen tekst of alleen beeld. Juist de combinatie van modaliteiten zorgt voor een hoger begrip (Dowse & Ehlers, 2005; Mayer, 2005).

Free recall (0,25 in totaal) Cued Recall (0,15 per vraag)

Respondent noemt/beschrijft:

- Route (40%) - Vinden van uitgang (20%) - Instructies/stappen opvolgen (20 %) - Mobiele telefoon (20%) - Extra details (bonus 20%) Totale score maximaal 100% (= 0,25)

1: vijf / 5

2: gang / 4e verdieping / bovenin het gebouw / docentenkamers / etc.

3: hal / verzamelplaats / buiten / draaideur / onderin bij de kantine / etc.

21

Conditie Soort instructie

1 Afbeelding en tekst

2 Afbeelding en pijl

3 Tekst en pijl

4 Afbeelding, tekst en pijl

Tabel 8. Overzicht van de verschillende onderzoekcondities.

Voorafgaand aan het online zetten van de vragenlijst zijn de richtlijnen van CETO voor het uitvoeren van een onderzoek met proefpersonen in acht genomen en gecontroleerd. Door het invullen van een ‘application form’, de informatiebrief, de debriefing, het toestemmingsformulier en de stimuli (de versies van de instructie) heeft de beoordelaar gekeken of het onderzoek voldeed aan de ethische regels voor het uitvoeren van onderzoek met respondenten en dit vervolgens goedgekeurd.

De gehele vragenlijst, die gebruikt is bij het afnemen van de online vragenlijst en die vrijwel in dezelfde vorm is gebruikt in het gebruikersexperiment, is te vinden in bijlage 3.

3.4 Gebruikersexperiment

In dit onderzoek vond ook een gebruikersexperiment plaats waarbij het ging om de uitvoering van de multimodale instructie. Hierbij werd in de praktijk getest hoe respondenten om zouden gaan met een stapsgewijze multimodale instructie en hoe deze het meest begrijpelijk kan worden gemaakt. Door middel van het uitvoeren van de instructies lieten respondenten zien in hoeverre zij in staat waren deze instructies te begrijpen en uit te voeren. Dit heeft als belangrijk voordeel dat ze de instructie konden beoordelen op basis van hun eigen gebruikerservaring in plaats van alleen op basis van het zien en lezen van de instructie zoals bij de online vragenlijst.

Er is gekozen voor zowel een vragenlijst als een gebruikersexperiment omdat respondenten bij het invullen van de digitale vragenlijst niet fysiek aanwezig waren in het gebouw en de instructies niet letterlijk uit konden voeren. Bij het gebruikersexperiment werden de instructies in de praktijk uitgevoerd, terwijl ze werden gepresenteerd op een mobiel apparaat. Zo werd duidelijk hoe de uitvoerbaarheid van de instructie was en konden eventuele verschillen beter worden aangetoond. Het tweede onderzoek diende als aanvulling op het onderzoek met de digitale vragenlijst en had als doel om een antwoord te geven op de vraag in hoeverre het nodig is om instructies in een experiment ook daadwerkelijk uit te voeren, naast alleen lezen en bekijken. Bij het gebruikersexperiment kenden proefpersonen het gebouw en de route niet, omdat dit de resultaten zou kunnen beïnvloeden.

3.4.1 Proefpersonen

Bij het gebruikersexperiment namen proefpersonen deel die aan een aantal voorwaarden voldeden, namelijk:

1: Proefpersonen kennen het Harmoniegebouw niet van binnen.

22 In totaal hebben 19 personen deelgenomen aan het gebruikersexperiment. Zij voldeden allen aan de vier bovengenoemde voorwaarden en waren dus geschikt om deel te nemen. De deelnemers zijn geworven via sociale media en in de buurt van het Harmoniegebouw. Alle deelnemers zijn willekeurig aan één van de vier versies van de instructies toegewezen en hebben het gebruikersexperiment succesvol afgerond.

Onder de respondenten was 58% (N = 11) man en 42% (N = 8) vrouw. De gemiddelde leeftijd van de respondenten was 30,6 jaar. De mannelijke gemiddelde leeftijd was 30,4 jaar en bij de vrouwen was dit 30,9 jaar. Het opleidingsniveau was als volgt verdeeld (Tabel 9):

Opleidingsniveau Percentage

VWO 11 (N = 2)

MBO 11 (N = 2)

HBO 32 (N = 6)

Universiteit 46 (N =9)

Tabel 9. Opleidingsniveau deelnemers gebruikersexperiment.

Alle respondenten waren in het bezit van een mobiel apparaat. Van hen bezat 47% zowel een mobiele telefoon als een tablet en de overige 53% bezat alleen een smartphone.

Van de respondenten had 16% (N = 3) wel eens te maken gehad met een noodsituatie. Onder deze noodsituaties was een auto-ongeluk en een brandoefening, al is dit geen echte noodsituatie maar een simulatie. Op de vraag of de deelnemer bedrijfshulpverlener (BHV’er) was, antwoordde 11% (N = 2) positief. Verder bleek onder de respondenten 26% (N = 5) een EHBO-cursus te hebben gevolgd. Verder werd ter controle gevraagd in hoeverre de respondenten het Harmoniecomplex in Groningen van binnen kenden.Van de 19 respondenten kende 11% (N = 2) het Harmoniecomplex een beetje en de overige 89% (N = 97) kende het gebouw niet van binnen. Bij navraag bleek dat de 11% die het gebouw een beetje kende alleen bekend was met de kantine en niet met de rest van het gebouw. Tot slot waren de 19 respondenten als volgt over de vier verschillende versies van de multimodale instructie verdeeld (Tabel 10):

Versie Respondenten (N)

1 (afb. + tekst) 5 (26%)

2 (afb. + pijl) 5 (26%)

3 (tekst + pijl) 5 (26%)

4 (afb. + tekst + pijl) 4 (22%) Tabel 10. Verdeling deelnemers over de versies.

23 3.4.2 Materiaal

Het materiaal dat gebruikt is bij het gebruikersexperiment komt exact overeen met het materiaal dat is gebruikt bij de online vragenlijst. Dit is te vinden in sectie 3.3.2. Bij de online vragenlijst werd het materiaal getoond op een computer en bij het gebruikersexperiment zagen deelnemers het

materiaal als een stapsgewijze instructie op een mobiele telefoon. Door met een vinger naar links of rechts te vegen, kon de gebruiker tussen de vijf stappen wisselen.

3.4.3 Procedure

Het gebruikersexperiment vond plaats in het Harmoniegebouw van de Rijksuniversiteit Groningen. Via een andere route dan de route in de instructies werden deelnemers naar een kamer op de vierde verdieping gebracht. Deelnemers werd vooraf gevraagd om een instructie die bij het onderzoek hoorde door te lezen en een formulier te tekenen waarop zij vastlegden dat ze vrijwillig meededen aan het experiment. Ook kregen ze beperkte informatie over het doel van het onderzoek en wat van hen verwacht werd. Vervolgens kregen deelnemers een hoofdband op met daarop een camera bevestigd. Deze camera filmde de route die in het experiment af werd gelegd en nam de tijd op. Deelnemers kregen één van de vier versies van het materiaal te zien op een mobiele telefoon die ze tijdens het experiment bij zich hielden. Daarna verlieten deelnemers de kamer op de vierde verdieping en direct bij de uitgang van de kamer was het startpunt van de route, in de gang op de vierde verdieping. De camera werd gestart en de deelnemers werd succes gewenst bij het uitvoeren van de instructies op de mobiele telefoon.

Het stond deelnemers vrij om eerst de hele instructie te bekijken of dit stap voor stap tijdens het uitvoeren van de instructie te doen. De onderzoeker liep tijdens de uitvoering achter de deelnemer aan, maar bemoeide zich niet met het experiment. De deelnemer werd geïnstrueerd om te doen alsof de onderzoeker niet aanwezig was. Bij externe interventie, als bijvoorbeeld iemand iets vroeg over de hoofdband of camera, werd de deelnemer geïnstrueerd om te zeggen: ‘ik ben bezig om een experiment uit te voeren, stoor mij alstublieft niet.’ Mocht de deelnemer verdwalen en de route kwijt zijn, dan kon de onderzoeker ingrijpen en de deelnemer terugbrengen naar het laatste juiste gedeelte van de route. De deelnemer kon zijn weg dan vervolgen.

Bij het bereiken van het eindpunt, de verzamelplaats buiten bij het Harmoniegebouw, werd de cameraopname gestopt en mocht de hoofdband worden afgezet. Vervolgens gingen deelnemer en onderzoeker terug naar het beginpunt van de route, waar de deelnemer werd gevraagd om de bijbehorende vragenlijst in te vullen. Deze vragenlijst was vrijwel hetzelfde als de online vragenlijst uit sectie 4.2, op een paar kleine veranderingen in vraagstelling na. Een voorbeeld hiervan is:

- Online vragenlijst: ‘Ik kan de instructie uitvoeren.’

- Gebruikersexperiment: ‘Ik heb de instructie uit kunnen voeren.’

24

4. Resultaten

In dit hoofdstuk worden de resultaten van de online vragenlijst en het gebruikersexperiment besproken. Het doel van deze sectie is om de hypotheses uit sectie 2.4 te toetsen. De data die is verkregen uit beide onderzoeken is geanalyseerd met behulp van het computerprogramma SPSS. Om de betrouwbaarheid van dit onderzoek te waarborgen is voorafgaand aan het analyseren van de resultaten het significantieniveau vastgesteld op p = .05.

Eerst worden de resultaten van de online vragenlijst besproken. Vervolgens worden de resultaten van het gebruikersexperiment besproken. Tot slot wordt een vergelijking tussen beide onderzoeken uiteengezet.

4.1 Resultaten online vragenlijst

Bij de online vragenlijst hebben 213 respondenten deelgenomen, waarvan 149 respondenten de vragenlijst compleet en betrouwbaar hebben ingevuld. Deze 149 respondenten zijn als volgt verdeeld (Tabel 11):

Versie Respondenten (N)

1 (afb. + tekst) 35 (23,5%)

2 (afb. + pijl) 39 (26,2%)

3 (tekst + pijl) 37 (24,8%)

4 (afb. + tekst + pijl) 38 (25,5%) Tabel 11. Verdeling respondenten over versies.

De resultaten van de online vragenlijst zijn verdeeld in begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en (gepercipieerde) uitvoerbaarheid. Daarvoor worden de resultaten van de variabelen need for cognition en zelfeffectiviteit uiteengezet.

4.1.1 Need for cognition

Door een Cronbach’s Alpha toe te passen op de stellingen die need for cognition hebben gemeten, werd duidelijk dat α = .740 waardoor alle stellingen over need for cognition samen mogen worden gevoegd tot een schaal, die 7 schaalpunten bevat. Dit is gedaan door de formule: schaal need for cognition = (stelling 1 + .. + stelling 6) / 6.

Vervolgens werden verschillen tussen de vier versies van de instructies onderzocht door middel van een Oneway ANOVA en een Post Hoc Tukey-test. Hieruit bleek er geen significante verschillen tussen de versies bestonden wat betreft need for cognition [F(3,145) = .605, p = .613]. De groepen per versie zijn dus vergelijkbaar op dit aspect.

25

Categorie Respondenten (N)

1. NFC laag 24 (16,1%)

2. NFC gemiddeld 94 (63,1%)

3. NFC hoog 31 (20,8%) Tabel 12. Categorisatie need for cognition.

De verdeling van de categorieën over de verschillende versies van de instructie was als volgt (Tabel 13):

NFC laag NFC gemiddeld NFC hoog

Versie 1 (afb. + tekst) 5 22 8

Versie 2 (afb. + pijl) 10 19 10

Versie 3 (tekst + pijl) 3 29 5

Versie 4 (afb. + tekst + pijl) 6 24 8

Totaal 24 94 31

Tabel 13. Verdeling categorieën NFC over de instructies.

4.1.2 Zelfeffectiviteit

Door een Cronbach’s Alpha toe te passen op alle stellingen die zelfeffectiviteit (ZE in tabel 13) hebben gemeten, kwam naar voren dat α = .666. Deze score is te laag om alle stellingen samen te kunnen voegen. Echter, als stelling 6 wordt uitgesloten van de schaal werd de score α = .725. Deze stelling is vervolgens verwijderd en stelling 1 tot en met stelling 5 zijn samen gegroepeerd tot de schaal zelfeffectiviteit, die 7 schaalpunten bevat.

Door het uitvoeren van een Oneway ANOVA in combinatie met een Post Hoc Tukey-test kwam naar voren dat tussen de verschillende versies van de multimodale instructies geen significante verschillen bestonden wat betreft zelfeffectiviteit [F(3,145) = .173, p = .915].

Respondenten werden vervolgens ingedeeld in drie categorieën, afhankelijk van de gemiddelde waarden van zelfeffectiviteit (M = 5,80, SD = ,60). De verschillende categorieën waren laag (<5,20), gemiddeld (>5,20 en <6,40) en hoog (>6,40). Dit is te zien in Tabel 14.

Categorie Respondenten (N)

1. ZE laag 20 (13,4%)

2. ZE gemiddeld 110 (73,8%)

26 4.1.3 Kwaliteit van de instructie

De kwaliteit van de instructie werd gemeten door de variabelen begrijpelijkheid, oproepbaarheid, aantrekkelijkheid en uitvoerbaarheid. In Tabel 15 zijn de gemiddelde waarden (μ) en

standaarddeviaties (σ) te zien van de gemeten variabelen per versie. Ook zijn de percentages van oproepbaarheid en aantrekkelijkheid te zien.

Begrijpelij k heid Oproepbaarheid (%) Aantrekkelijkhei d (%) Uitvoerbaarheid μ σ μ σ Meest Minst μ stelling 1 σ stelling 1 μ stelling 2 σ stel ling 2 Versie 1 (afb. + tekst) 5.94 1.02 76.86 16.14 8.1 5.4 6.11 1.13 2.37 1.5 6 Versie 2 (afb. + pijl) 5.79 .83 73.46 14.79 16.8 9.4 5.92 .90 2.54 1.2 3 Versie 3 (tekst + pijl) 5.52 1.04 70.81 25.40 1.3 81.2 5.84 1.11 2.86 1.4 0 Versie 4 (afb. + tekst + pijl) 6.29 .94 78.68 16.83 73.8 4.0 6.34 .98 2.21 1.1 2 Tabel 15. Resultaten afhankelijke variabelen online vragenlijst.

4.1.3.1 Begrijpelijkheid

Begrijpelijkheid werd door middel van zes stellingen gemeten. Door het toepassen van een Cronbach’s Alpha op deze stellingen kwam naar voren dat α = .896. De stellingen waar begrijpelijkheid gemeten is werden daarom samen gegroepeerd tot de schaal begrijpelijkheid, die 7 schaalpunten bevat. Een lage score betekende dat de gebruiker de multimodale instructie niet begrijpelijk vindt, terwijl een hoge score liet zien dat de gebruiker de instructie juist wel begrijpelijk vindt.

Vervolgens werd een Oneway ANOVA gedaan om verschillen tussen de versies van de multimodale instructie naar voren te brengen. Hieruit bleek dat de versies significant van elkaar verschilden qua begrijpelijkheid [F(3,145) = 4.742, p = .003]. Door de Post Hoc Tukey-test werd duidelijk welke versies significant van elkaar verschilden. Significante verschillen werden gevonden tussen versie 3, met tekst en pijl (M = 5.52, SD = 1.04) en versie 4, met afbeelding, tekst en pijl (M = 6.29, SD = .71), namelijk p = ,002. De andere versies bleken niet significant van elkaar te verschillen.

27 4.1.3.2 Oproepbaarheid

Bij oproepbaarheid is gebruik gemaakt van de volgende formule om de score per respondent te berekenen: score = 100 * ((% free recall * 0,25) + (aantal goede antwoorden cued recall * 0,15)). De juiste antwoorden zijn te vinden in de gebruikersstudie bij 4.2.3.

Dit leverde per respondent een score op tussen 0 en 100%, afhankelijk van het aantal goede antwoorden. De resultaten wat betreft oproepbaarheid staan per versie in Tabel 15.

Door het uitvoeren van een Oneway ANOVA kon onderzocht worden of de scores per versie significant van elkaar verschilden, zowel bij free recall als bij cued recall. Hieruit bleek dat er geen significante verschillen bestonden tussen de versies bij free recall [F(3,145) = .701, p = .553. Bij cued recall bleken ook geen significante verschillen te bestaan tussen de verschillende versies van de instructie [F(3,145) = 1.341, p = .264.

4.1.3.3 Aantrekkelijkheid

Het meten van aantrekkelijkheid werd gedaan aan de hand van meerkeuzevragen, waarbij respondenten een keuze konden maken tussen verschillende versies, met een mogelijkheid tot toelichting.

Uit de resultaten bleek dat respondenten de verschillende versies als volgt hadden gewaardeerd, te zien in Tabel 15. Op de vraag welke versie respondenten het liefst gebruikten, waren dit de antwoorden (Tabel 16).

Welke versie zou u het liefst gebruiken (N)

Versie 1 (afb. + tekst) 9 (6,0%)

Versie 2 (afb. + pijl) 26 (17,4%)

Versie 3 (tekst + pijl) 9 (6,0%)

Versie 4 (afb. + tekst + pijl) 105 (70,5%) Tabel 16. Gemiddelden aantrekkelijkheid stelling 3.

Vervolgens werd een Chi-kwadraat uitgevoerd om significante verschillen tussen de versies wat betreft aantrekkelijkheid duidelijk te maken. De vragen over welke versie het meest en welke versie het minst aantrekkelijk was werden tegen elkaar uit gezet en uit de kruistabel werd duidelijk dat er een significant verschil bestond tussen de versies met X²(9) =70.803, met p = .000.

4.1.3.4 Uitvoerbaarheid