In deze paragraaf worden de beperkingen van het onderzoek behandeld, vervolgens de aanbevelingen voor toekomstig onderzoek en er wordt afgesloten met een praktische aanbeveling.
Als eerst is er in de casestudie met een groep respondenten kunnen gerekend worden tot hetzelfde
kennisniveau, namelijk de professional. Hierdoor is het raamwerk niet getoetst op alle kennisniveaus. Er is in de casestudie uitgegaan van meerdere gebruikers van hetzelfde dashboard en is de keuze gemaakt voor een gecombineerde presentatie, dit leidt ertoe dat de invloed het kennisniveau op de taak analyseren niet getoetst op een specifiek kennisniveau. De factor kennis van de gebruiker is een mogelijke oorzaak tussen de kleine verschillen in de resultaten van Hard en Vanecek (1991) en heeft verder een grootte invloed op het effectief presenteren van informatie. Hier zou een verder onderzoek duidelijkheid in kunnen geven.
Tevens is er geen mogelijkheid geweest om de taak voorspellen en de invloed van de factor tijdsdruk op deze taak te onderzoeken. Hierdoor is de opname in het raamwerk niet getoetst en blijft dit dus volledig gebaseerd op de combinatie van de resultaten van Hard en Vanecek (1991) en Benbasat en Dexter (1986). Een
vervolgonderzoek op basis van deze combinatie van de taak voorspellen en de factor tijdsdruk is dus nog nodig om het raamwerk volledig gevalideerd te krijgen.
36 Als derde punt van toekomstig onderzoek is de invloed van de factor kennis van de gebruiker bij de taak herkennen. Alhoewel Cognitive Load Theory verklaart waarom de toegevoegde waarde van een tabel verloren gaat, is de werking hiervan op het raamwerk nog onduidelijk. Waarschijnlijk is de factor kennis van de
informatie de oorzaak voor het verloren gaan van de toegevoegde waarde, maar hier zijn in de bewijzen voor gevonden in de casestudie.
Vanuit de Cognitieve Load Theory bekeken is het verstandig om een eenduidige opmaakstijl te gebruiken voor alle presentaties en rapportages. Door dezelfde stijl overal door te voeren neemt de bekendheid met de presentatie toe. Dit zorgt voor een lagere belasting van de gebruiker en daardoor kan die de informatie sneller vinden en opnemen.
37
7 BIBLIOGRAFIE
Amer, T., & Maris, J. (2007). Signal Words and Signal Icons in Application Control and Information Technology Exception Messages- Hazard Matching and Habituation Effects. Journal of information systems, 21(2), 1-26.
Benbasat, I., & Dexter, A. (1986). An investigation of the effectiveness of color and graphical information presentation under varying time constraints. MIS Quarterly, 10(1), 59-83.
Blumberg, B., Cooper, D., & Schindler, P. (2008). Business research methods. Maidenhead, Berrkshire: McGraw-Hill Education.
Cardinaels, E. (2008). The interplay between cost accounting knowledge and presenatation formats in cost based decision makin. Accounting, Organizations and Society(33), 582-602.
Chi, M. (2006). Laboratory methods for assesing experts' and novices' knowledge. In K. Anderson-Ericsson, The Cambridge
handbook of expertise and expert performance (pp. 167-184). Cambridge: Cambridge University Press.
Desanctis, G., & Jarvenpaa, S. L. (1989). Graphical presentation of accounting data for finacial forecasting: an experimental investigation. Accounting, organizatons and society, 14(5/6), 509-525.
Dretske, F. I. (1981). Knowledge and the flow of information. Oxford: Basil Blackwell.
Dull, R., & Tegarden, D. (1999). A comparison of three visual representations of complex multidimensional accounting information. Journal of information systems(13), 117-131.
Eckerson, W. (2010). Performance Dashboards: measuring, monitoring and managing your business (2 ed.). oboken, New Jersey: John Wiley and Sons inc.
Eppler, M., & Mengis, J. (2004). The concept of information overload: A review of literature from organization science, accounting, marketing, MIS, and related disciplines. The information society, 20(5), 325-344.
Few, S. (2004). Show me the numbers. Oakland, CA: Analytics Press.
Few, S. (2006). Information Dashboard Design (1 ed.). Sebastopel: O'Reilly Media, Inc.
Floridi, L. (2005). IS semantic information meaningful. Philosopy and phenomanlogical research, 70(2), 351-370. Hard, N., & Vanecek, M. (1991). The implications of task and format on the use of financial information. Journal of
information systems, 5(2), 35-49.
Huang, A., & Windsor, J. (1998). An empirical assessment of a multimedia executive support system. Information &
Management(33), 251-262.
Kaplan, R. S., & Norton, D. P. (1992). The balanced scorecard that drive performance. Harvard Business Review, 70(1), 71-79.
Kelton, A. S., Pennington, R. R., & Tutle, M. B. (2010). The effects of infomration presentation format on judgment and decision making: A review of the information systems research. Journal of information systems, 24(2), 79-105. Kumar, N., & Benbasat, I. (2004). The effect of relationship ecoding, task type, and complexity on Information presentation:
an empirical evalutation of 2D and 3D line graphs. MIS Quartely, 28(2), 255-281.
Lurie, N. H., & Mason, C. H. (2007). Visual representation: Implications for decision making. Journal of marketing, 71(1), 160-177.
McKinney Jr., E., & Yoos II, C. (2010). Information about information: A taxonomy of views. MIS Quarterly, 34(2), 329-A5. Merriënboer, J., & Sweller, J. (2010). Cognitive load theory in health professinal educatin: design principles and strategies.
38
Meyer, J. (2000). Performance with tables and graphs: effects of training and a visual search model. Ergonomics(43), 1840-1865.
Moriarity, S. (1979). Communicating financial information through multidimensional graphics. Journal of accounting
research, 17(1), 205-244.
Nielsen, J. (1996). F-Shaped Pattern For Reading Web Content. Opgeroepen op 02 28, 2011, van Useit.com: http://www.useit.com/alertbox/reading_pattern.html
Noyes, J., & Garland, K. (2003). VDT versus paper-based text: reply to Mayes, Sims and Koonce. Internation journal of
industrial ergonomics(31), 411-423.
Parush, A., Shwarts, Y., Shtub, A., & Chandra, M. J. (2005). The impact of visual layout factors on performance in web pages: A cross-language study. The journal of the human factors and ergonomics society, 47(1), 141-157.
Porat, T., Oron-Gilad, T., & Meyer, J. (2009). Task-dependent processing of tables and graphs. Behaviour & Inforomation
Technology, 28(3), 293-307.
Shaft, T., & Vessey, I. (2006). The role of cognitve fit in the relationship between software comprehension and modification.
Management information systems quartly, 30(1), 29-55.
Simpson , C., & Prusak, L. (1995). Troubles with information overload - moving from quantity to quality in information provision. International journal of information management, 15(6), 413-425.
Smith, M., & Taffler, R. (1996). Improving the communication of accounting information through cartoon graphics.
Accounting, Auditing & Accountability Journal, 9(2), 68-85.
Speier, C. (2006). The influence of information presentation formats on complex task decision-making performance.
International Journal of Human-Computer Studies, 64(11), 1115-1131.
Starreveld, R., Leeuwen, O. v., & Nimwegen, H. v. (2002). Bestuurlijke informatieverzoring Deel 1: Algemene grondslagen (5 ed.). Groningen/Houten: Wolters-Noordhoff.
Stock, D., & Watson, C. J. (1984). Human judgement accuracy, multidimensinal graphics, and humans versus models.
Journal of accounting research, 22(1), 192-206.
Tufte, E. (1983). The visual display of quantitative information. Cheshire, conn.: Graphics Press.
Vessey, I. (1991). Cognitive Fit: A theory-based analysis of the graphs versus tables literature. Decision sciences(22), 219-240.
Ware, C. (2004). Information visualization (2 ed.). San Francisco, CA: Morgan Kaufmann. Ware, C. (2008). Visual thinking for design. Amsterdam [etc.]: Elsevier/Morgan Kaufmann.
Wickens, C., & Carswell , C. (1995). The priximity compatibility principle: its psychological foundation and tis relevance to display design. Human Factors(37), 473-494.
39
8 BIJLAGEN
A Taxonomie van McKinney Jr. & Yoos II ... I B Stephen Few – Relationship & choice for graph ... II C Gestalt voorbeelden ... III D Dashboard weekrapportage ... IV D-1 Dashboard volgens raamwerk ... IV D-2 Dashboard niet volgens raamwerk ... V E Dashboard dagrapportage ... VI E-1 Dashboard met tabel ... VI E-2 Dashboard zonder tabel ... VII F Interviews ... VIII F-1 Vragenlijst ... VIII F-2 Interviewverslagen ... IX F-3 Valysrapportage ... XVII
I
A TAXONOMIE VAN MCKINNEY JR. & YOOS II
Characteristic
View of Information
Token Syntax Representation Adaptation
Definition of Information Manipulated tokens Measured relationship among tokens
Sign of an object to an observer Perceived difference causing system adaptation
Use Process data Reduce entropy Form meaning Achieve viability
Domains Data processing in cognitive science, Al, organizational science
Signal transmission Accounting, Psychology, IS, Computer Science
Self-referencing systems
Examples Memory chunking, processing a transaction, summing
transactions
The rings in a tree, a hash function
A solar eclipse, a database that represents transactions
Interpretation of this paper, recursive programming Illustrative Theories Magical Number Seven Plus or
Minus Two (Miller 1956); Human Problem Solving (Newell and Simon 1972)
Mathematical Theory of Communication (Shannon & Weaver 1963)
Knowledge and the Flow of Information (Dretske 1981); Information, Mechanism and Meaning (MacKay 1969)
Autopoiesis and Cognition (Maturana and Verela 1980); Second Order Cybernetics (von Foerster 1984); Cybersemiotics (Brier 2005)
Key Criterion Manipulate-able Measureable Accurate Viable
Exemplary Article 2D vs 3D graphs (Kumar and Benbasat 2004)
Mutual information measure (Zhao and Soofi 2006)
Personal information (Awad and Krishnan 2006)
Informing practices (Schultze 2000)
Key IS Implication Information indistinguishable from data
Widely applicable to reduce uncertainty
Object, sign and observer must be specified
Applicable to ambiguous, unpredictable environments
II
B STEPHEN FEW – RELATIONSHIP & CHOICE FOR GRAPH
Relationship
Value-Encoding Object
Points Lines Points & lines Bars
Nominal Comparison
When there is a need to narrow the
quantitative scale, and in so doing, remove zero from its base
Avoid Avoid Either horizontal or
vertical bars
Time Series Avoid Categorical
subdivisions on X axis, quantitative values on Y axis; emphasis on overall pattern Categorical subdivisions on X axis, quantitative values on Y axis; mutual emphasis on overall pattern and individual values Categorical subdivisions on X axis, quantitative values on Y axis; emphasis on individual values
Ranking When there is a need to narrow the
quantitative scale, and in so doing, remove zero from its base
Avoid Avoid Horizontal bars are
preferable, with values sorted in descending order
Part-to-whole Avoid Avoid Avoid Either horizontal or
vertical bars
Deviation Avoid Especially useful when
combined with times series
Useful when combined with time series and when a slight emphasis on individual values is desired
Either horizontal or vertical bars, expect when combined with times series, which requires vertical bars Single distribution Avoid Known as a frequency
polygon; emphasis on overall pattern
Avoid Known as a histogram;
emphasis primarily on individual values Multiple
distribution
Use to mark the median in a box plot
Avoid Avoid Use in the form of
range bars in box plot Correlation Known as a scatter plot Avoid In this case the line is a
trend line, not a line that connects the points
Either horizontal or vertical bars; can be structured either as a correlation bar graph or a paired bar graph
III
C GESTALT VOORBEELDEN
De hieronder gepresenteerde voorbeelden van de Gestaltprinicipes zijn gebaseerd op de voorbeelden gegeven door Stephen Few in zijn boek Information Dashboard Design.
IV
D DASHBOARD WEEKRAPPORTAGE
V
VI
E DASHBOARD DAGRAPPORTAGE
VII
VIII
F INTERVIEWS
F-1 VRAGENLIJST
Een interview zal volgens de volgende stappen doorlopen worden:
1. Algemene introductie met respondent. Hierin wordt het doel van het interview uitgelegd, samen met het algemene verloop van het interview. Indien het gehouden interview de eerste van de twee is, zal worden uitgelegd waarom er twee sessies zijn.
2. Algemene bespreking van het beoordelen van dashboards door de respondent. Wat ervaart de gebruiker als een geschikte prestentatievorm voor informatie?
a. Welke voorkeur heeft de respondent met het presenteren van informatie, een tabel of grafische presentatie?
b. Welke taak voert de respondent uit bij deze voorkeur? c. Beïnvloedt de tijdsdruk de voorkeur voor de presentatievorm?
Wanneer ervaart een gebruiker tijdsdruk bij het bestuderen van een dashboard?
d. Worden dashboards door de respondent over het algemeen vluchtig bekeken of aandachtig bestudeerd?
e. Wat is de tijd, die genomen wordt om de gepresenteerde informatie te bestuderen en wanneer wordt er tijdsdruk ervaren voor het trekken van conclusies?
3. Dagrapportage.
Ervaart de gebruiker de toevoeging van een tabel als bruikbaar, maakt dit de trend beter te onderscheiden?
Doorspreken algemene indruk van rapportage. a. In geval zonder tabel:
i. welke manier heeft de respondent gebruik gemaakt van de grafische presentatie om het probleem op te lossen?
ii. Mist de respondent een tabel?
iii. Waarvoor zou de respondent deze tabel willen gebruiken? iv. Heeft de respondent nog opmerkingen over deze rapportage? b. In geval van met tabel:
i. Heeft de respondent de tabel opgemerkt?
ii. Heeft de respondent gebruik gemaakt van de tabel?
iii. Op welke manier heeft de respondent gebruik gemaakt van de grafische presentatie om het probleem op te lossen?
iv. Heeft de respondent nog opmerkingen over deze rapportage? 4. Weekrapportage.
Ervaart de gebruiker de kolompresentatie als voorkeurpresentatie? a. Rapportage voorleggen en de volgende vragen behandelen.
i. Wat is de eerste indruk van de gebruikte presentatie?
ii. Is deze presentatie volgens de respondent de meest bruikbare oplossing of geeft die een voorkeur aan een andere presentatievorm? Waarom?
iii. Heeft de respondent nog opmerkingen over deze rapportage? 5. Afsluitende bespreking
IX
F-2 INTERVIEWVERSLAGEN
Naam:
T. Kappert
Functie:
Proces & ICT manager
Interviewdatum
Interview 1: 15 juli 2011, dagrapportage met tabel, weekrapportage in punten Interview 2: 18 juli 2011, dagrapportage zonder tabel, weekrapportage in kolommen. 15 juli 2011
Wat ervaart de gebruiker als een geschikte prestentatievorm voor informatie? Op welke manier zie je het liefst de informatie gepresenteerd worden?
Een combinatie van tabellen en grafieken heeft bij de voorkeur, hiermee kun je meestal snel gegevens
analyseren. Maar dit is wel afhankelijk van de informatie die ik opzoek, soms is een tabel alleen ook voldoende.
Wanneer heeft de tabel de voorkeur?
Als je absolute getallen wilt weten, zoals het aantal ritten voor bepaalde periode.
Dus als je relaties wilt leggen tussen de informatiebronnen, dan gebruik je het liefst een grafiek aangevuld met een tabel voor de absolute waarden?
Dat klopt.
Wanneer ervaart een gebruiker tijdsdruk bij het bestuderen van een dashboard?
Wanneer ervaar je een tijdsdruk voor het bestuderen van een dashboard, bijvoorbeeld als de directeur naast je staat met een vraag?
Dit ligt eraan of je weet waar je het moet zoeken. Sommige vragen zijn direct te beantwoorden door de gegevens uit een rapportage te halen, is er geen druk aanwezig. In andere gevallen staat er wel druk achter, dan ligt het meer aan de situatie dan aan de vraag van de directeur.
Heb je ook de voorkeur voor een combinatie van grafiek en tabel, als je de gegevens moet analyseren onder een tijdsdruk?
Wanneer je gegevens snel moet analyseren en voornamelijk om trends te herkennen, is een grafiek het beter bruikbaar. Maar in sommige gevallen geeft een tabel juist sneller de duidelijkheid.
Waar ligt het verschil hier tussen dan?
Een tabel kan snel inzicht geven in de absolute waarden, maar dit is niet zo als je veel getallen moet vergelijken. Dan geeft een grafiek weer meer mogelijkheden.
Ervaart de gebruiker de toevoeging van een tabel als bruikbaar, maakt dit de trend beter te onderscheiden? Oké, neem als voorbeeld de dagrapportage. De bedoeling is dat je de relatie kan onderkennen tussen de tijdigheidsmarge, het aantal ritten en het aantal auto’s. Is het mogelijk om hierin een trend te herkennen en geeft de tabel een toevoeging om dit te herkennen?
De trend valt beter te herkennen door de grafiek, dan door de tabel. Als je hier snel een conclusie uit moet trekken, zal ik toch de grafiek gebruiken en de tabel laten voor wat het is.
Waarom gebruik je de tabel niet?
X De tabel is dus niet meer relevant, omdat er teveel informatie in staat?
Ja, als je deze tabel vergelijkt met de Valys rapportage8 van gisteren, geeft de tabel in de Valys rapportage wel een toevoeging. Maar in de dagrapportage zijn er teveel gegevens, vooral als je maar een beperkte tijd hebt om de informatie te analyseren.
18 juli
Vorige keer is gebleken dat de toevoeging van tabel alleen relevant is, als de gepresenteerde gegevens niet te groot is. Bij deze versie van de dagrapportage is de tabel dus niet opgenomen, lukt het dan nog steeds om de trend te herkennen?
Het weglaten van de tabel zorgt ervoor dat het dashboard er rustiger uitziet.
Dus het weglaten van een tabel zorgt ervoor dat je focus gelijk naar de grafiek gaat?
Ja, je gaat niet eerst beide elementen proberen te ontleden. Hier gaat in principe veel tijd mee verloren, omdat beide presentatie dezelfde informatie bevatten.
Als conclusie kunnen we dus zeggen, dat de ideale presentatievorm onder tijdsdruk af hangt van de taak en de hoeveelheid van de informatie wat gepresenteerd wordt. Bij een kleinere hoeveelheid gegevens kan een tabel wel een toevoeging zijn die waarde genereerd. Echter bij een grotere hoeveelheid verliest de tabel de waarde, omdat deze te onoverzichtelijk wordt.
Daar ben ik het mee eens.
Ervaart de gebruiker de kolompresentatie als voorkeurpresentatie?
Het doel van de weekrapportage is het vergelijken van de waarden per vervoersvorm, is dat met deze rapportage volgens jou mogelijk?
Wat het mogelijk maakt, is de tabel. De punten zijn gewoon waardeloos om te vergelijken. Ze staan over elkaar heen en dit maakt het onderscheiden erg moeilijk. Bij de presentaties van de bestickerde ritten is het wel wat beter, maar toch blijft vergelijken moeilijk.
Zijn er, volgens jou, nog andere presentatievormen mogelijk?
Een lijn zou een mogelijkheid kunnen zijn, maar volgens mij overlappen de waardes dan te veel. Dus die valt af. Wat volgens mij wel goed zou kunnen werken, is het gebruiken van kolommen. Die vergelijken altijd wel eenvoudiger, omdat je dan gelijk kan zien welke hoger is.
18 juli
Voor je ligt de weekrapportage, maar nu in de vorm van een kolommenpresentatie. Lukt het je nu wel om een betere vergelijking te maken?
De kolommen zijn beter in het vergelijken. Wat ik eigenlijk alleen mis een lijn met de doelstelling, is het sneller te zien of een waarde onder of boven de doelstelling ligt. Dan kun je de percentages in de tabel ook weglaten.
Heeft de tabel dan nog wel een toegevoegde waarde volgens jou?
Jazeker, de tabel kun je naar mijn menig het best gebruiken voor alleen absolute waarden. Dan geeft dit een toevoeging voor de relevantie van de behaalde tijdigheid.
Conclusie: De kolommengrafieken zijn dus beter om gegevens te vergelijken en de tabellen zijn voornamelijk handig voor het gebruik van absolute getallen.
8
De Valys rapportage had ook de taak herkennen, alleen was hier het aantal waarden beperkt. Deze rapportage is opgenomen in bijlage F-3.
XI
Naam:
M. Roescher
Functie:
Directeur
Interviewdatum
Interview 1: 18 juli 2011, dagrapportage met tabel, weekrapportage in punten Interview 2: 20 juli 2011, dagrapportage zonder tabel, weekrapportage in
kolommen. 18 juli
Wat ervaart de gebruiker als een geschikte prestentatievorm voor informatie? Als je een rapportage voor je krijgt, waar kijk je dan meestal het eerst naar?
Als eerst kijk ik naar de tabellen.
Hebben tabellen altijd de voorkeur?
In de meeste gevallen wel, maar soms is een grafiek ook handig. Dan voornamelijk voor het herkennen van trends, zoals de groei over een langere termijn. Bijvoorbeeld in de rapportages waar verschillende jaren tegenover elkaar worden uitgezet, is het sneller te zien in welke periodes er meer ritten zijn gereden. Maar dan blijft het ook nog handig om de exacte aantallen te weten.
Wanneer ervaart een gebruiker tijdsdruk bij het bestuderen van een dashboard? Als je een beperkte tijd hebt, blijft de voorkeur voor tabellen dan ook?
Eigenlijk vind ik dat je altijd voldoende tijd moet vrij maken voor het bestuderen van de gegevens. Maar als het toch snel moet, kijk ik meestal naar de tabellen.
Waarom?
Hierin staan de directe waarden, vanuit dit kan ik gelijk opmaken of deze waarden goed of fout zijn.
Ervaart de gebruiker de toevoeging van een tabel als bruikbaar, maakt dit de trend beter te onderscheiden? Oké, als we de dagrapportage die je hebt gekregen als voorbeeld neemt. Kijk je dan ook eerst na de tabel?
Eigenlijk niet, deze is namelijk zo klein dat die moeilijk te lezen is.
Thijs en ik zijn in het voorgaande interview tot de conclusie gekomen, dat de tabel eigenlijk geen toevoeging is, omdat die te veel informatie bevat. Deel je deze conclusie?
Daar kan ik me in vinden. Het is zoveel, dat het te veel is om even door te lezen.
20 juli
Voor je licht nu een versie zonder een tabel, mis je deze nu ook.
Ja, mijn voorkeur blijft altijd een tabel. Deze kan mij het snels in informatie voorzien. Maar ik kan ook begrijpen dat er mensen zijn die eerst de voorkeur geven aan een grafiek.
Op zich is dit niet raar, het is gebruikelijk dat gebruikers met een hoge kennis eerder een tabel gebruiken om