In deze paragraaf wordt verteld in hoeverre het piramidaal geschreven advies een rol speelt. Eerst wordt aangegeven in hoeverre een piramaal advies gewaardeerd wordt en vervolgens wordt toegelicht in hoeverre genreverwachtingen een rol spelen in dit onderzoek.
5.2.1 In hoeverre wordt een piramidaal geschreven advies gewaardeerd?
Tien respondenten zijn positief over de opbouw van het rapport. Daarnaast zijn negen
respondenten positief over de kopjes van de paragrafen, voornamelijk omdat ze duidelijk zijn en de lading van de tekst dekken. Zes van de negen respondenten geven zelfs expliciet aan dat het kopje het advies (oftewel, de hoofdboodschap) is. Verder vinden acht respondenten de tekst kort, bondig, krachtig en/of concreet. Zes respondenten geven aan dat ze het rapport makkelijk leesbaar vinden en drie respondenten vinden de inleiding erg duidelijk.
5.2.2 In hoeverre spelen genreverwachtingen een rol?
Hoewel er door een groot deel van de respondenten aangegeven wordt dat ze positief zijn over het piramidaal geschreven advies, wordt er door veel respondenten gezegd dat het rapport niet voldoet aan bepaalde verwachtingen en dat ze aan bepaalde aspecten moeten wennen. Om te beginnen wordt door zes PDF-respondenten en drie respondenten aangegeven dat ze een samenvatting en/of conclusie missen. De hypertekst-respondenten zeggen minder nadrukkelijk dat ze het missen dan de PDF-hypertekst-respondenten. Toch waren er wel drie PDF-respondenten die het uiteindelijk toch geen probleem meer vonden dat de conclusie of samenvatting ontbrak, omdat het rapport zo kort is dat er volgens hen geen conclusie nodig is. Naast het ontbreken van een samenvatting of
conclusie spelen meer genreverwachtingen een rol. Zo moeten drie respondenten wennen aan de opbouw van het rapport. Ook geven drie respondenten aan dat de inleiding anders is dan ze hadden verwacht. De overige punten die (telkens door maximaal één respondent) worden genoemd zijn wennen aan een kort rapport, onduidelijke kopjes en wennen aan de schrijfstijl. Er was één respondent die expliciet aangeeft dat hij niet hoeft te wennen. Achteraf bleek dat hij bekend is met het piramideprincipe.
Op de vraag in hoeverre het piramidaal geschreven advies een rol speelt kan ook geen eenduidig antwoord gegeven worden. Het piramidale advies wordt door een groot deel van de respondenten positief beoordeeld. Anderzijds spelen de genreverwachtingen bij zowel de PDF als de hypertekst een rol. Opvallend is wel dat de PDF-respondenten ongeveer twee keer zoveel over de piramidale wijze van adviseren zeggen dan de hypertekst-respondenten. Het lijkt daarom wel dat de vorm invloed heeft op de mate waarin het de respondenten opvalt dat het advies afwijkt van de methodologische wijze van adviseren.
6. Discussie
In dit hoofdstuk worden de beperkingen van dit onderzoek besproken en worden er aanbevelingen gedaan voor eventueel vervolgonderzoek.
6.1 Beperkingen
Door middel van dit onderzoek is er geprobeerd inzicht te krijgen in de ervaringen en meningen van respondenten. Dit kwalitatieve onderzoek is gericht op de eigen aard van het onderzochte proces. Dit onderzoek kan daarom niet gegeneraliseerd worden op andere personen dan de respondenten van dit onderzoek. Daarnaast is er geanalyseerd aan de hand van de theorie, maar ook vanuit de interpretaties van de onderzoeker. Daardoor kunnen de resultaten nooit helemaal objectief zijn. Dit maakt het onderzoek minder betrouwbaar.
Een andere beperking van het onderzoek is het beperkte aantal respondenten. In dit onderzoek zijn 20 zakelijke lezers geïnterviewd. Het onderzoek zou meer betrouwbaar zijn geweest als er meer zakelijke lezers waren geïnterviewd.
De keuze voor een semigestructureerd interview kan ook van invloed zijn op de resultaten. De formulering van de vragen is vooraf bepaald, maar er is door de onderzoeker ook regelmatig doorgevraagd. Hierdoor kunnen er bij bepaalde respondenten andere of extra antwoorden verkregen zijn. Wellicht hadden andere respondenten deze antwoorden ook gegeven (of juist het tegenovergestelde) als bepaalde vragen ook aan hen waren gesteld. In dit onderzoek is ernaar gestreefd om de ecologische validiteit hoog te houden door de onderzoeksresultaten zoveel mogelijk overeen te laten komen met de alledaagse praktijk. Dit wordt deels gerealiseerd doordat de respondenten zakelijke lezers zijn die in het dagelijks leven ook adviesrapporten lezen. Toch is de alledaagse praktijk niet helemaal nagebootst. De respondenten hadden namelijk geen voorkennis over het onderwerp. Over het algemeen lezen zakelijke lezers adviesrapporten over onderwerpen waar ze voorkennis over hebben. Daarnaast is in het theoretisch kader besproken dat uit het onderzoek van Bezdan, Kester en Kirschner (2010) blijkt dat de leeruitkomsten van hypertekst-gebaseerd leren in grote mate afhankelijk zijn van onder andere de voorkennis van de lerende. Ondanks dat dit onderzoek gericht is op hypertekst in een zakelijke context en niet op hypergekst-gebaseerd leren, zou het feit dat de zakelijke lezers geen voorkennis hebben ook van invloed kunnen zijn op dit onderzoek.
Een andere beperking van dit onderzoek is het verschil in affiniteit met technologie van de respondenten. Er wordt in dit onderzoek gebruik gemaakt van een tablet (iPad), maar niet iedereen heeft ervaring met het gebruik daarvan. In totaal waren er zes respondenten (drie in elke groep) die geen ervaring hadden met het gebruik van een tablet. Het is mogelijk dat het gebrek aan ervaring van invloed is geweest op hun mening. Anderzijds zijn er in de alledaagse praktijk ook zakelijke lezers die geen ervaring hebben met het gebruik van een tablet, dus het kan ook juist relevant zijn dat er verschil was tussen de affiniteit met technologie van de respondenten.
Een aspect dat ook van invloed kan zijn op de resultaten is de techniek die gebruikt is om de PDF te lezen. Er bestaan verschillende programma’s om op een tablet een tekst te lezen. Deze programma’s gebruiken verschillende technieken om door de tekst heen te gaan, bijvoorbeeld verticaal scrollen (van boven naar onder) of horizontaal scrollen (van rechts naar links). Er is in dit onderzoek gekozen voor de techniek die door standaardreaders gebruikt wordt: verticaal scrollen. De resultaten van dit onderzoek hadden anders kunnen zijn als er een andere techniek was gebruikt die voor bepaalde respondenten wellicht meer bekend is. Een laatste relevante opmerking is het feit dat er tot nu toe weinig theorie beschikbaar is over ‘piramidaal adviseren’. Er is daarnaast nog nooit onderzoek gedaan naar een piramidaal rapport in de vorm van een hypertekst. Dit betekent dat het onderzoek zeer exploratief is en dat de uitkomsten echt verkennend zijn. Er zijn daardoor wel veel mogelijkheden voor vervolgonderzoek.
6.2 Vervolgonderzoek
Ten eerste zou dit onderzoek nog een keer gedaan kunnen worden, maar dan met een vernieuwde hypertekst. Bijna de helft van de respondenten geeft immers aan dat ze een voorkeur hebben voor de hypertekst. Op basis van dit verkennende onderzoek zou de hypertekst aangepast kunnen worden. Het zou bijvoorbeeld een idee zijn om het menu aan de linkerkant te behouden (daar waren de meeste respondenten immers positief over) maar de mogelijkheid om te klikken (vonden de meeste respondenten niet prettig) optioneel te maken. Je krijgt dan een hypertekst waar je doorheen kunt scrollen, maar waar het menu aan de linkerkant zichtbaar en klikbaar blijft en daarnaast aangeeft waar je je in het rapport bevindt. Een ander punt waar sommige respondenten negatief over waren is het doorklikken. Dit zou wellicht opgelost kunnen worden door de subpagina in beeld te laten verschijnen als kleine pop-up, zodat de respondenten niet worden doorverwezen naar een nieuwe pagina. De achterliggende pagina blijft dan in beeld (waardoor mensen wellicht minder het gevoel hebben dat ze verdwaald raken) en de pop-up kan weggeklikt worden als ze de achtergrondinformatie gelezen hebben.
Als dit vervolgonderzoek op dezelfde manier uitgevoerd zou worden (een hypertekst wordt vergeleken met een PDF en beide vormen worden gepresenteerd op een tablet) dan zou het wellicht een optie zijn om de respondent te laten kiezen op welke manier hij de PDF wil lezen. Op die manier kan de beperking van dit onderzoek uitgesloten worden dat er gebruik wordt gemaakt van één techniek om de PDF te lezen. Deze keuze (horizontaal of verticaal scrollen) zou er dan echter ook moeten zijn voor de hypertekst. Als dit vervolgonderzoek uitgevoerd zou worden, zou het wellicht interessant zijn om het onderzoek meer te richten op genreverwachtingen. Dit onderzoek was voornamelijk gericht op gebruiksvriendelijkheid en vanuit daaruit kwamen er opmerkingen over de piramidale wijze van adviseren. Het zou ook mogelijk kunnen zijn om (bijvoorbeeld in een posttest) expliciet te vragen naar de mening van de respondenten over de piramidale wijze van adviseren. Hierdoor kan de onderzoeker misschien meer te weten komen over de genreverwachtingen. Daarnaast is het mogelijk dat wanneer er een vernieuwde hypertekst wordt ingezet en er meerdere technieken van lezen worden gebruikt, de respondenten meer tevreden zijn over de gebruiksvriendelijkheid en er daardoor beter geconcludeerd kan worden in hoeverre de genreverwachtingen een rol spelen.
Naast het nogmaals uitvoeren van het kwalitatieve onderzoek, zou het ook interessant kunnen zijn om kwantitatief onderzoek te doen. Ten eerste zou dit onderzoek nog een keer kwantitatief gedaan kunnen worden, maar dan met een vernieuwde hypertekst. In plaats van interviews zou er dan een enquête gedaan kunnen worden met een groot aantal respondenten. Een andere mogelijkheid voor kwantitatief onderzoek is een onderzoek naar gewenning. Uit eerdere onderzoeken en ook uit dit onderzoek blijkt dat respondenten moeten wennen aan de piramale wijze van adviseren. Daarnaast is ook uit dit onderzoek gebleken dat de respondenten moeten wennen aan de hypertekst. Het lijkt er daardoor op dat het wennen aan iets onbekends een grote rol speelt bij het oordeel over een tekst. Om dit te kunnen bevestigen (of juist niet) is het interessant om hier kwantitatief onderzoek naar te doen. Hierbij kan gedachten worden aan een onderzoek waarbij de ene groep resondenten een hypertekst vaker te zien krijgt (en er daardoor aan kan wennen) en de andere groep respondenten de hypertekst één keer te zien krijgt. Een andere mogelijkheid is een onderzoek waarbij de ene groep respondenten een piramidaal rapport vaker te zien krijgt en de andere groep hetzelfde rapport één keer te zien krijgt. Hierdoor kan wellicht bepaald worden of gewenning een rol speelt bij het oordeel over een tekst. Een voordeel van kwantitatief onderzoek is dat er een overzicht verkregen kan worden van de meningen van een groot representatief aantal respondenten. Hierdoor kan er gegeneraliseerd worden en kan er wellicht statistisch iets bewezen worden.
In dit onderzoek zijn door een paar respondenten uitspraken gedaan over een onderwerp dat interessant kan zijn voor vervolgonderzoek. In het ‘Theoretisch kader’ is beschreven dat er verschillende leesstijlen zijn: reading-to-do, reading-to-learn en reading-to-assess. Volgens Neutelings (2001) is reading-to-access de leesstijl die door zakelijke lezers wordt toegepast, omdat ze beslissingen moeten nemen aan de hand van documenten. Het onderzoek van Neutelings is gehouden onder parlementariërs die beleidsdocumenten lezen. De uitvoering van het onderzoek van Neutelings verschilt echter met dit onderzoek, want dit onderzoek is gehouden onder zakelijke lezers die adviesrapporten lezen. De
leesstijl van dit onderzoek hoeft daarom niet reading-to-asses te zijn, zoals bij het onderzoek van Neutelings. Toch blijkt uit de antwoorden van een respondent dat hij afwegingen maakt tijdens het lezen. Hij geeft bijvoorbeeld aan dat hij in één keer door het document wil lopen zodat hij tot een afgewogen besluit kan komen. Dit wijst erop dat deze respondent de leesstijl reading-to-assess heeft toegepast. Daarnaast zijn er twee respondenten die aangeven dat ze informatie selecteren bij het lezen van het rapport, zodat ze niet het hele rapport hoeven te lezen (zie pagina 57). Het selecteren van informatie komt ook voor in het onderzoek van Neutelings (2001). In zijn onderzoek zijn drie methodes gebruikt om de leesprocessen van de parlementariërs te beschrijven: informatieselectie (hoeveel lezen de lezers en in welke volgorde), informatieprocessen (wat doen de lezers met de informatie) en lezersdoelen (waardoor wordt het lezersproces geleid). De antwoorden van de twee respondenten sluiten aan bij wat Neutelings (2001) bedoelt met informatieselectie: het selectief lezen van een rapport. Neutelings deelt informatieselectie op in categoriën: selectief lezen en intensief lezen. Selectieve lezers lezen alleen de informatie die ze willen lezen en intensieve lezers lezen het hele document. De twee respondenten die in dit onderzoek aangaven dat ze informatie selecteren bij het lezen van het rapport, zijn dus selectieve lezers. Het interessante hieraan is dat deze respondenten allebei een duidelijke voorkeur hebben voor de hypertekst. Het zou daarom mogelijk kunnen zijn dat lezers met de voorkeur voor een hypertekst selectieve lezers zijn en lezers met de voorkeur voor de PDF de tekst liever lineair lezen en dus intensieve lezers zijn. Aangezien deze leesstijlen een belangrijke rol kunnen spelen in de voorkeur voor een hypertekst is het interessant om dit verder te onderzoeken.
Tot slot is het van belang om toe te lichten wat dit onderzoek betekent voor de praktijk. Aan de hand van de conclusies uit dit onderzoek wordt adviseurs niet aangeraden om lezers een hyperteks-adviesrapport te geven. Daarvoor moet de hypertekst eerst verbeterd worden. Het verbeteren van de hypertekst is wel mogelijk aan de hand van dit onderzoek. Wellicht heeft de hypertekst dan potentie om geliefd te worden bij de lezers. Daarnaast moet er meer vervolgonderzoek worden gedaan naar de leesstijlen van zakelijke lezers, zodat er in de toekomst aan elke lezer een adviesrapport aangeboden kan worden dat aansluit bij zijn of haar wensen.
Literatuurlijst
Abran, A., Khelifi, A., Suryn, W., & Seffah, A. (2003). Usability Meanings and Interpretations in ISO Standards. Software Quality Journal, 11(4), 325-338.
Babbie, E., Baxter, L.A. (2004). The basics of communication research. Belmont, CA: Wadsworth-Thompson.
Bezdan, E., Kester, L., & Kirschner, P. A. (2010). Het effect van verschillende vormen van hiërarchische structuren op hypertext-gebaseerd leren. http://dspace.ou.nl/
bitstream/1820/2889/1/Poster_ORD2010_E_Bezdan.pdf [verkregen op 20 maart 2012]. Chua, B. B. & Dyson, L. E. (2004). Applying the ISO 9126 model to the evaluation of an e-learning system. ASCLITE Conference Proceedings: 186
Cornelis, L. (2007), Adviseren met perspectief. Rapporten en presentaties maken, Bussum: Uitgeverij Coutinho.
Cornelis, L. (2011), Interviews met dertig zakelijke lezers. Intern onderwijsdocument Master CIW VU.
Cornelis, L. (2012), Het piramideprincipe: je gaat het pas zien als je het doorhebt. Ingediend voor publicatie.
Ericsson, K.A., Simon, H.A. (1993). Protocol Analysis: Verbal Reports as Data. Cambridge: MIT Press. 143-155.
Foltz, P.W. (1996) Comprehension, coherence, and strategies in hypertext and linear text. Internet: http://www-psych.nmsu.edu/~pfoltz/reprints/Ht-Cognition.html [verkregen op 21 maart 2012]
Frøkjær, E., Hertzum, M., & Hornbæk, K. (2000). Measuring usability: Are effectiveness, effi- ciency and satisfaction really correlated? In: Proceedings of CHI 2000 Human Factors in Computing Systems: 345–352
Geel, A. (2003) Advance organizers en Hypertext - Een experimenteel onderzoek naar de
invloed van aan links gekoppelde inhouds- en taakpreviews op de efficiëntie, effectiviteit en waardering vaneen elektronische handleiding. Internet: arno.uvt.nl/show.cgi?fid=46871
[verkregen op 20 maart 2012].
Geerligs, T. & Veen, T. van der (1996) Lesgeven en zelfstandig leren. Assen: Van Gorcum: 329.
Haak, J. van den, Jong, M. de, Schellens, P.J. (2003). Retrospective vs. concurrent think-aloud protocols: testing the usability of an online library catalogue. Behaviour & information
technology, 22: 339-351.
Kamperbeek, J. (2000), Basishandboek HTML: websites maken met HTML, Utrecht: Bijleveld Press.
Kassenaar, P. (2010), Handboek usability. Ontwerp gebruiksvriendelijke, doelmatige en
toegankelijke websites. Culemborg: Van Duuren Media B.V.
Koohang A. (2004), Expanding the concept of usability. Internet: http://www.inform.nu/ Articles/Vol7/v7p129-141-002.pdf [verkregen op 26 februari 2012].
Lagerwerf, L., Cornelis L., Geus de J., Jansen P. (2008). Advance organizers in advisory reports: selective reading, recall and perception. Written communication, 25: 53
Maes, F., Ummelen, N. & Hoeken, H. (1996). Instructieve teksten. Analyse, ontwerp en
evaluatie. Bussum, Coutinho.
Minto, B. (1996) The Pyramid Principle. Logic in Writing and Thinking. London: Prentice Hall. Neutelings, Rob (2001). Reading to assess in professional life. Reading styles of Dutch parliamentarians. In R. Neutelings en D. Janssen (eds.), Reading and writing public
documents (pp. 255-274). Amsterdam/Philadelphia: John Benjamins.
Nielsen, J. en Scheumenaur, P. J. (1995), Writing for the web. Internet: http://www.sun. com/980713/webwriting [verkregen op 27 februari 2012]
Oostendorp, H. van (1996). Stydying and annotating electronic text. In: Rouet, J.F, Levonen, J.J, Dillon, A., en Spiro, R.J. (Eds.), Hypertext and Cognition, 137, 147. USA: Mahwah, NJ: Lawrence Erlabaum Associates, Publishers.
Otter, M., & Johnson, H. (2000). Lost in hyperspace: metrics and mental models. Interacting
with Computers, 13, 1-40.
Pander Maat, H. (2001), Over de structuur van digitale documenten. Tijdschrift voor
Taalbeheersing 23, 289-318
Pearson, J., Buchanan, G., Thimbleby, H. (2011) The Reading Desk: Applying Physical Interactions to Digital Documents. Vancouver, BC, Canada.
Rubin en Chisnell (2008). Handbook of usability testing: how to plan, design and conduct effective tests. Indianapolis, Indiana: Wiley Publishing: 123-127
Schriver, K.A. (1997). Dynamics in Document Design. New York: John Wiley & Sons Inc Spruijt, S. & Jansen, C. (1999) The influence of Task and Format on Reading Results with an Online Text. IEEE Transactions on Professional Communication, 42(2): 92-99.
Van Dale (2005), Groot Woordenboek der Nederlandse taal, Utrecht: Van Dale Lexicografie. Wixon, D. & Wilson, C. (1997) The usability engineering framework for product design and evaluation, In Handbook of Human–Computer Interaction, ed. M. Helander, Amsterdam: 665.
Bijlage 1 Analyse
Deze analyse is gedaan aan de hand van zeven stappen van de procedure van data-analyse van Babbie en Baxter (2004): globale vragen identificeren, eenheden bepalen, categoriën maken, controle (of er genoeg materiaal is), checken (alle data moet onder een categorie vallen), voorbeelden gebruiken en het integreren van de analyse.