Gebruik en gebruiksvriendelijkheid

Gebruik en

gebruiksvriendelijkheid

Een onderzoek naar de gebruiksvriendelijkheid van het Management

Informatie Dashboard.

Masterscriptie Communicatie- en Informatiewetenschappen Afstudeerrichting Computercommunicatie

Faculteit der Letteren Rijksuniversiteit Groningen Begeleider: dr. I.F. (Ielka) van der Sluis Tweede beoordelaar: dr. F.J.J.M. (Frank) Steyvers Gasselte, 25 maart 2016

Auteur: Marieke Pepping

Studentnummer: s2611465

Adres: De Heugte 18

9462 PW Gasselte

Gebruik en

gebruiksvriendelijkheid

Een onderzoek naar de gebruiksvriendelijkheid van het Management

Voorwoord

Voor u ligt het resultaat van een gebruiksvriendelijkheidsonderzoek naar het Management

Informatie Dashboard van de Rijksuniversiteit Groningen. Tevens is dit de scriptie die geschreven is in het kader van mijn afstuderen in de master Computercommunicatie aan de Rijksuniversiteit

Groningen. Het traject is begonnen in september 2015 met een stage bij de afdeling Administratieve Informatie Voorzieningen van de Rijksuniversiteit Groningen en eindigde in februari 2016 met een scriptie.

Het schrijven van deze scriptie verliep niet altijd even soepel, mijn enthousiasme over het onderwerp gebruiksvriendelijkheid is groot en ik ging dan ook hard van start. Misschien iets te hard, door de grote hoeveelheid data die verzameld is, was het moeilijk om door de bomen het bos te zien. Structuur aanbrengen in de resultaten bleek daarom moeilijk te zijn. Maar het eindresultaat mag er zijn, ik ben super trots op wat ik bereikt heb de afgelopen periode. Maar dit heb ik natuurlijk niet alleen kunnen bereiken.

Graag wil ik een aantal mensen hartelijk bedanken voor de hulp die ik gekregen heb tijdens mijn stage en scriptie. Zonder jullie was deze scriptie niet in de huidige vorm tot stand gekomen: dr. I.F. (Ielka) van der Sluis – jouw geduld, positiviteit en feedback tijdens mijn stage- en

scriptieperiode hebben mij enorm geholpen. Je enthousiasme motiveerde me enorm wanneer ik het even niet meer zag zitten. De feedback die je me gaf bracht je altijd op een positieve manier wat ik echt heel fijn vond. Ik vond het erg fijn om met jou samen te werken tijdens deze periode. Ik kon me geen betere stage- en scriptiebegeleider wensen.

dr. F.J.J.M. (Frank) Steyvers – voor de feedback tijdens mijn stage- en scriptieperiode en het meedenken over mijn onderzoek naar de gebruiksvriendelijkheid van het Management Informatie Dashboard.

drs. H.G. (Erik) Middelbosch en J.A. (Hans) Piëst – met jullie had ik het meeste te maken tijdens mijn stageperiode. Jullie hebben mij goed wegwijs gemaakt op jullie afdeling en stonden altijd klaar om mijn vragen te beantwoorden.

dr. M.M. (Mark) Span – voor het uitlenen van de Eye Tracker en de hulp bij het zoeken naar geschikte Eye Tracking analyse software.

C. (Carla) Pepping – voor het nakijken en corrigeren van spel- en taalfouten. Door mijn dyslexie heb ik hier moeite mee en ik voel me altijd zekerder als ik weet dat jij alles hebt nagekeken.

Ik wens u veel leesplezier toe. Marieke Pepping

Samenvatting

De Rijksuniversiteit Groningen maakt gebruik van diverse dashboards om informatie te ontsluiten naar haar medewerkers. Een van deze dashboards is het Management Informatie Dashboard. Dit dashboard geeft (historisch) inzicht in trends van prestatie-indicatoren op facultair, RUG en landelijk niveau. Het dashboard is bedoeld voor het management en heeft als doel het management te ondersteunen bij hun taken. Uit gebruikscijfers is gebleken dat het management nauwelijks gebruikt maakt van het dashboard. Om die reden is er een gebruiksvriendelijkheidonderzoek naar het

Management Informatie Dashboard ingesteld. Het doel van dit onderzoek is om een reden te vinden waarom er weinig gebruik gemaakt wordt van het Management Informatie Dashboard. Dit wordt uitgezocht door middel van een gebruiksvriendelijkheidsonderzoek. De onderzoekvraag die in dit onderzoek wordt beantwoord luidt: In hoeverre is het Management informatie Dashboard

gebruiksvriendelijk en hoe kunnen we het Management Informatie Dashboard gebruiksvriendelijker maken?

Om de onderzoekvraag te beantwoorden is een gebruikersonderzoek opgezet onder de doelgroep van het management Informatie Dashboard. Aan dit gebruikersonderzoek hebben 15 participanten meegedaan. Het onderzoek bestond uit vier onderdelen: Eye Tracking, Think Aloud, enquêtes en een gestructureerde interviews. Eye Tracking, dit is een methode die oogbewegingen registreert.

Participanten kregen vier afbeeldingen te zien. In deze afbeeldingen werd de participant gevraagd een gegeven te zoeken. Think Aloud, dit is een methode waarbij participanten hardop vertellen wat ze denken en doen terwijl ze een taak proberen te voltooien binnen het Dashboard. In totaal waren er drie taken. Enquêtes, tijdens het gebruikersonderzoek zijn er vier soorten enquêtes gebruikt. De demografische-enquête is gebruikt om gegevens over de participanten te verzamelen. Taak-enquêtes zijn gebruikt om na elke taak de participant te vragen of ze de taak hebben kunnen voltooien, en zo niet waarom ze de taak niet hebben kunnen voltooien. Daarnaast wordt in deze enquête de participanten gevraagd aan te geven hoe moeilijk ze de taak vonden. De System Usability Scale (SUS) enquête is een veelgebruikte tool om gebruiksvriendelijkheid te meten. De SUS bestaat uit tien vragen die samen een score opleveren die aangeeft hoe tevreden participanten zijn over het Dashboard. De Words-enquête is gebruikt om een beschrijving van het Dashboard van de

participanten te verkrijgen. In deze enquête konden participanten woorden kiezen die zij het beste vonden passen bij het Dashboard. Gestructureerd interview, in deze methode zijn elf vooropgestelde vragen gesteld aan de participanten over het gebruik, het uiterlijk, de navigatie en de teksten in het Dashboard. Aan de hand van de bovenstaande vier methoden worden er conclusies getrokken over de gebruiksvriendelijkheid van het Management Informatie Dashboard. Dit wordt gedaan aan de hand van de vijf componenten van gebruiksvriendelijkheid: Leerbaarheid, Efficiëntie,

gefixeerd en het gegeven dus makkelijk hebben gevonden. Hieruit kunnen we concluderen dat het Dashboard efficiënt is. Slechts vier participanten bleken geschikt te zijn om Onthoudbaarheid te meten. Twee participanten ondervinden moeite met het voltooien van de taken en twee participanten hebben weinig moeite met het voltooien van de taken. Er zijn onvoldoende

participanten die het Dashboard lange tijd niet gebruikt hebben, er kunnen dus geen conclusies over de onthoudbaarheid getrokken worden. Participanten hebben vele fouten gemaakt die hebben geleid tot een verkeerde uitkomst. In Taak 1 hebben slechts zeven van de vijftien personen de taak voltooid. In Taak 2 slechts vier en in Taak 3 niemand. Uit het aantal onvoltooide taken kan er geconcludeerd worden dat er teveel fouten worden gemaakt die niet hersteld worden en leiden tot een fout antwoord op de taken. De SUS enquête duidt aan dat de participanten niet tevreden zijn wanneer zij het Management Informatie Dashboard moeten gebruiken. Het Dashboard scoort 48,67 punten uit de in totaal 100 te verdienen punten. De Words-enquête geeft aan participanten wel de waarde van het Management Informatie Dashboard inzien door het hoge aantal positieve woorden waarmee het Dashboard wordt omschreven. Er kan geconcludeerd worden dat participanten wel de waarde van het Dashboard inzien maar toch ontevreden zijn met het huidige Dashboard. Op basis van de bovenstaande conclusies over de vijf componenten van gebruiksvriendelijkheid kan er geconcludeerd worden dat meer onderzoek nodig is om uitsluitsel te geven over de

gebruiksvriendelijkheid van het Management Informatie Dashboard. Op basis van de resultaten kan er ook concludeert worden dat de componenten fouten en tevredenheid matig scoren.

We doen de aanbeveling om het Dashboard meer op gebruikers in te richten zodat het gebruik natuurlijk verloopt voor de gebruikers, en er dus minder fouten gemaakt worden. Wanneer

Inhoudsopgave

1 Inleiding 1

1.1 Aanleiding 1

1.2 Doel & vraagstelling 1

1.3 Leeswijzer 2 2 Theoretisch kader 3 2.1 Gebruiksvriendelijkheid 3 2.2 Expertmethoden 4 2.3 Gebruikersmethoden 5 3 Methode 7 3.1 Taken 7 3.2 Expertonderzoek en gebruikersonderzoek 7 3.2.1 Expertonderzoek 7 3.2.1.1 Functionele analyse 7

3.2.1.2 Cognitieve Walkthrough analyse 8

3.2.2 Gebruikersonderzoek 9

3.2.2.1 Think Aloud methode 10

3.2.2.2 Eye tracking methode 12

3.2.2.3 Enquête methodes 13

3.2.2.4 Interview methode 14

4 Expertonderzoek 16

4.1 Beschrijving Dashboard 16

4.2 Beschrijving van de procedurele taakuitvoering 20

5 Gebruikersonderzoek 22 5.1 Participanten 22 5.2 Materiaal 24 5.3 Procedure 25 5.4 Resultaten 26 5.4.1 Leerbaarheid 27 5.4.2 Efficiëntie 34 5.4.3 Onthoudbaarheid 37 5.4.4 Fouten 39 5.4.5 Tevredenheid 42 6 Conclusie 45 7 Discussie 48

7.1 Reflectie en aanbevelingen voor vervolgonderzoek 48

7.2 Aanbevelingen Management Informatie Dashboard 50

Literatuurlijst Bijlagen

1. Functionele Analyse 2. Cognitieve Walkthrough 3. Think Aloud analyse 4. Demografische enquête 5. Taak-enquête

6. SUS enquête

7. Words enquête

1

1 Inleiding

De Rijksuniversiteit Groningen maakt gebruik van diverse dashboards om informatie te ontsluiten naar haar medewerkers. Een van deze dashboards is het Management Informatie Dashboard. Dit dashboard geeft (historisch) inzicht in trends van prestatie-indicatoren op facultair, RUG en landelijk niveau. Het dashboard is ontwikkeld door de afdeling Algemene Informatie Voorziening van de RUG en is bedoeld voor het management en heeft als doel het management te ondersteunen bij hun taken.

Uit gebruikscijfers is echter gebleken dat het management nauwelijks gebruikt maakt van het dashboard. De afdeling Algemene Informatie Voorziening van de RUG die het dashboard beheerd en ontwikkeld heeft, ziet graag dat het gebruik omhoog gaat. Om die reden is er een

gebruiksvriendelijkheidonderzoek naar het Management Informatie Dashboard ingesteld.

Nielsen (2012) stelt dat de gebruiksvriendelijkheid van een systeem bepalend is voor het gebruik van een systeem. Als een systeem moeilijk te gebruiken is, gebruiken mensen het systeem niet. Als het op de homepage niet duidelijk is wat gebruikers kunnen doen met het systeem, gebruiken mensen het systeem niet. Als gebruikers verdwalen in het systeem, gebruiken mensen het systeem niet. Als de informatie moeilijk leesbaar is of niet de kernvragen van de gebruiker beantwoordt, gebruiken mensen het systeem minder. Er zijn meerdere manieren aanwezig waarop een gebruiker aan informatie kan komen. Als een systeem niet gebruiksvriendelijk is, wordt het systeem niet gebruikt. Nielsen (2012) definieert gebruiksvriendelijkheid als een concept dat evalueert hoe gemakkelijk een systeem te gebruiken is. Nielsen (2012) voegt hier aan toe dat gebruiksvriendelijkheid uit vijf componenten bestaat: Leerbaarheid, Efficiëntie, Onthoudbaarheid, Fouten en Tevredenheid.

1.2 Doel & vraagstelling

Het doel van dit onderzoek is om een reden te vinden waarom er weinig gebruik gemaakt wordt van het Management Informatie Dashboard. Dit wordt uitgezocht door middel van een

gebruiksvriendelijkheidsonderzoek. De onderzoekvraag die in dit onderzoek wordt beantwoord luidt: In hoeverre is het Management informatie Dashboard gebruiksvriendelijk en hoe kunnen we het Management Informatie Dashboard gebruiksvriendelijker maken?

In een gebruiksvriendelijkheidsonderzoek wordt achterhaald waar de knelpunten van gebruikers tijdens het gebruik van het dashboard zitten en worden aanbevelingen gedaan over hoe deze knelpunten verbeterd kunnen worden. Hierbij zijn de volgende deelvragen gesteld:

- Hoe makkelijk is het Management Informatie Dashboard te leren voor nieuwe gebruikers?

- Hoe snel kunnen gebruikers een taak in het Management Informatie Dashboard uitvoeren?

- Hoe makkelijk kunnen gebruikers handelingen herinneren?

- Hoeveel fouten maken gebruikers tijdens het uitvoeren van een taak in het Management Informatie Dashboard?

2

1.3 Leeswijzer

Hoofdstuk 1 presenteert de aanleiding van het probleem en in hoofdstuk 2 wordt relevante literatuur voor dit onderzoek besproken. In hoofdstuk 3 wordt de methode die tijdens dit onderzoek

3

2 Theoretisch kader

In dit hoofdstuk worden relevante theorieën en literatuur omtrent gebruiksvriendelijkheid en het onderzoeken van gebruiksvriendelijkheid uiteengezet.

2.1 Gebruiksvriendelijkheid

Palmer (2002:163) suggereert dat het succes van een systeem kan worden vastgelegd door het meten van de frequentie van het gebruik, de waarschijnlijkheid dat de gebruiker het systeem

nogmaals gebruikt en de tevredenheid van de gebruiker. Om succesvol te zijn moet een systeem dus gebruiksvriendelijk zijn. Nielsen (2012) definieert gebruiksvriendelijkheid als een concept dat

evalueert hoe gemakkelijk een systeem te gebruiken is. Nielsen (2012) voegt hier aan toe dat gebruiksvriendelijkheid uit vijf componenten bestaat:

1. Leerbaarheid 2. Efficiëntie

3. Onthoudbaarheid 4. Fouten

5. Tevredenheid

Dix, Finlay, en Abowd (2005: 194) voegen hieraan toe dat kennis over materialen en mensen essentieel is bij het ontwerpen van een systeem. Het zit in de natuur van de mens om fouten te maken, systemen moeten hier dus op aangepast worden. De kans dat een mens een fout maakt moet zo klein mogelijk gemaakt worden en wanneer deze fouten gemaakt worden, moeten de consequenties van deze fout zo minimaal mogelijk zijn aldus Dix et al. (2005: 194). Om de kans op fouten te minimaliseren is een goed navigatieontwerp essentieel. Gebruikers kennen het systeem vaak niet door en door. De meeste interactie die plaats vindt is doel-zoekend gedrag, om die reden moet de interface altijd duidelijk zijn in: waar de gebruiker is, wat de gebruiker kan doen en wat er gebeurt als de gebruiker op een link klikt (Dix et al., 2005: 203). Onderzoek van Nielsen en Mack (1994: 30) stelt dat een goed systeem aan tien basisprincipes moet voldoen. Deze tien basisprincipes worden heuristieken genoemd. Deze tien heuristieken zijn:

1. Zichtbaarheid van systeemstatus

- De bezoeker van de website krijgt optimaal feedback, snel en op het gewenste moment. - De bezoeker weet wat er gebeurt of wat er is gebeurd, wanneer hij/zij een actie uitvoert

op een systeem. 2. Helderheid

- De bezoeker begrijpt het taalgebruik van het systeem en is vertrouwd met de woorden, zinnen en concepten.

- De bezoeker krijgt de content op een natuurlijke en in een logische volgorde gepresenteerd.

3. Gebruikerscontrole en vrijheid

- Bezoekers kunnen gebruik maken van een duidelijk herkenbare ‘nooduitgang’ wanneer zij achteraf bezien een verkeerde keuze hebben gemaakt.

4 4. Consistentie ontwerp gebruikersinterface

- Bezoekers hoeven zich niet af te vragen of verschillende woorden, situaties of acties dezelfde betekenis hebben, de presentatie is eenduidig en transparant.

5. Foutenpreventie

- De bezoeker kan probleemloos door het systeem navigeren. 6. Herkenning in plaats van Herinnering

- De bezoeker vindt dat de objecten, acties en opties duidelijk herkenbaar zijn, zodat de bezoeker weinig hoeft te onthouden.

- De bezoeker hoeft geen informatie te onthouden als hij, op zoek naar het gewenste resultaat, de verschillende zoekstappen doorloopt.

7. Flexibiliteit en efficiëntie

- De bezoeker hoeft geen onnodige handelingen te verrichten. 8. Esthetische en minimalistische vormgeving

- De bezoeker wordt niet geconfronteerd met overbodige informatie. - De bezoeker vindt dat de vormgeving past bij de doelen van het systeem. 9. Hulp bij herkennen, vaststellen, en herstellen van fouten

- De bezoeker begrijpt foutmeldingen.

- De bezoeker wordt niet onnodig geconfronteerd met “error-codes”. 10. Goede helpfunctie en documentatie

- De bezoeker krijgt voldoende informatie aangeboden wanneer hij / zij dit wenst. - De bezoeker kan de website gebruiken zonder documentatie en helpschermen. Deze tien heuristieken van Nielsen en Mack zijn een tool die laat zien aan welke voorwaarden een gebruiksvriendelijk systeem moet voldoen. Daarnaast laat deze tool ook zien hoe deze

gebruiksvriendelijkheid gecreëerd kan worden. Dit maakt dat de tool in de praktijk goed te gebruiken is. Een ander belangrijk aspect dat Nielsen (2012) toevoegt aan gebruiksvriendelijkheid is

functionaliteit. Gebruiksvriendelijkheid en functionaliteit zijn even belangrijk bij het bepalen of het systeem bruikbaar is. Het maakt immers weinig uit of een systeem makkelijk te gebruiken is als het systeem niet doet wat de gebruiker wil of nodig heeft (Nielsen, 2012).

2.2 Expertmethoden

Expertmethoden, ofwel gebruiksvriendelijkheidinspectiemethoden zoals Holzinger (2005: 72) ze noemt, zijn inspectiemethoden voor gebruiksvriendelijkheid waarbij de onderzoeker de hoofdrol speelt. Bij deze inspectiemethoden worden geen gebruikers ingezet, de onderzoeker of

onderzoekers testen het systeem op gebruiksvriendelijkheid. Deze methoden worden op dit project toegepast omdat het Management Informatie Dashboard een te groot systeem is om compleet te testen. Met expertmethoden kan het onderzoek beter gecontroleerd worden door specifieke taken te definiëren en door middel van deze taken het systeem te testen.

Karreman en Van Enschot (2013: 8) beschrijven een methode die de functionaliteit van een tekst beoordeelt. Karreman en Van Enschot (2013: 10) noemen dit de functionele analyse, dit is een onderzoeksmethode die bekijkt welke functies een tekst vervult. Vervolgens wordt er een oordeel gegeven over de tekst op basis van deze functies. Op basis van dit oordeel worden weer

5 Dit sluit voor een deel aan op de visie over gebruiksvriendelijkheid van Nielsen (2012) en Dix et al. (2005: 203) die zoals eerder besproken het succes van een systeem naast gebruiksvriendelijkheid wijten aan de functionaliteiten van een systeem en hoe goed deze aansluiten op de doelgroep. De functionele analyse van Karreman en Van Enschot kijkt ook naar de doelgroep van een tekst en gaat na of deze tekst aansluit op de doelen en functies van de tekst.

Een andere methode die goed aansluit op expertmethodes en het onderzoek is de Cognitieve Walktrough van Wharton, Rieman, Lewis, en Polson (1994: 2). Zij omschrijven de Cognitieve Walkthrough als een gebruiksvriendelijkheidsmethode waarbij de onderzoeker één of meerdere taken uitvoert en vragen stelt vanuit het perspectief van de gebruiker. De focus van de Cognitieve Walkthrough is het testen van de leerbaarheid van het systeem voor nieuwe of onregelmatige gebruikers. Hierbij worden niet alleen de problemen vastgesteld, maar het biedt ook een uitleg van de problemen. Die uitleg kan bijdragen aan het vinden van oplossingen. Het feit dat leerbaarheid een grote rol speelt in de Cognitieve Walktrough maakt dat deze methode goed aansluit op de ideeën van Nielsen (2012) over gebruiksvriendelijkheid. Nielsen (2012) stelt dat leerbaarheid een van de vijf componenten van gebruiksvriendelijkheid is.

2.3 Gebruikersmethoden

Gebruikersmethoden oftewel gebruiksvriendelijkheidtestmethodes zijn testmethodes waarbij de gebruiker wordt ingezet om gebruiksvriendelijkheidsproblemen te vinden. De onderzoeker neemt hierbij een observerende en/of analyserende rol aan. Deze methodes hebben als voordeel dat ze inzicht in de daadwerkelijke gebruiker geven. Nadelig aan testen met gebruikers is dat deze testen veel tijd en geld kosten en dat ze onnatuurlijk zijn. Wanneer een gebruiker weet dat hij/zij

geobserveerd wordt zal de gebruiker anders reageren dan hij/zij normaal zou doen. Het is zaak voor de onderzoeker om voor gebruikers de normale situatie zo goed mogelijk na te bootsen (Holzinger, 2005:72).

Het testen van gebruiksvriendelijkheid bij gebruikers kent vele methodes. Een van de meest gebruikte methodes is de Think Aloud methode. Bij de Think Aloud methode wordt aan de participanten gevraagd om een taak uit te voeren terwijl ze hun gedachten hardop uitspreken. De onderzoeker observeert hierbij wat de gebruiker doet en zegt. De Think Aloud methode kent

6 bleek geen verschil te zijn in de manier waarop het systeem na de Think Aloud methode beoordeeld werd op gebruiksvriendelijkheid.

Naast de Think Aloud methode zijn er meerdere methodes die gebruikt worden in

gebruiksvriendelijkheidstesten. Andere veel gebruikte methodes zijn interviews en enquêtes. Interviews worden gehouden om meningen van (potentiele) gebruikers van het systeem te achterhalen. Enquêtes zijn een lijst vragen ontworpen om reacties en meningen van gebruikers te verkrijgen. Campbell (2001: 7) stelt dat enquêtes vaak worden gebruikt om in een relatief korte tijd veel respons te kunnen krijgen. Open vragen kunnen gebruikt worden om trends, problemen of thema’s te ontdekken en vragen met een vooraf opgesteld antwoord zoals Likertschalen, kunnen statistisch geanalyseerd worden. Enquêtes kunnen onder een grote groep verspreid worden zonder dat het veel meer tijd kost om de data te analyseren. Brooke (1996:5) ontwikkelde de System

Usability Scale (SUS) enquête. Dit is een van de meest gebruikte enquêtes om gebruiksvriendelijkheid te meten. De SUS bestaat uit tien vragen en is gebaseerd op de drie gebruiksvriendelijkheids-criteria: effectiviteit, efficiëntie en tevredenheid. SUS gebruikt een vijf-punt Likertschaal en stelt vragen zowel positief als negatief om ervoor te zorgen dat vragen goed gelezen worden. Tullis en Stetson (2004: 7) stellen dat de SUS-enquête effectief is omdat deze meerdere aspecten van gebruiksvriendelijk benadrukt. Daarnaast stellen zij dat zelfs bij een kleine groep respondenten de betrouwbaarheid van deze enquête hoog ligt. Een andere enquête die Tullis en Stetson (2004: 2) hoog beoordelen is de Words-enquête. De Words-enquête is ontwikkeld door Microsoft en is gebaseerd op reactiekaarten bij het testen van producten van Microsoft. Bij de Words-enquête kiezen participanten uit 118 woorden die woorden die zij het beste bij het systeem vinden passen. Tullis en Stetson (2004: 7) stellen dat de Words-enquête de meest diagnostische enquête is omdat deze vele omschrijvingen van het systeem genereerd.

7

3 Methode

In dit hoofdstuk wordt de methode van onderzoek uiteengezet, die toegepast is om de

onderzoeksvraag “In hoeverre is het Management informatie Dashboard gebruiksvriendelijk en hoe kunnen we het Management Informatie Dashboard gebruiksvriendelijker maken?” te beantwoorden. Om de onderzoeksvraag te beantwoorden is er gekozen voor beschrijvend onderzoek. In dit

onderzoek wordt de situatie rondom de gebruiksvriendelijkheid van het Management Informatie Dasboard in kaart gebracht. Dit wordt gedaan aan de hand van kwalitatieve en kwantitatieve data. In de onderstaande alinea’s wordt beschreven welke data nodig zijn om de onderzoekvraag te

beantwoorden en hoe deze data verzameld worden.

3.1 Taken

Het Management Informatie Dashboard is zoals in hoofdstuk 1 besproken een complex en groot systeem. Het is onmogelijk om elke pagina te analyseren. Om die reden is ervoor gekozen om het dashboard te analyseren aan de hand van taken. Deze taken zijn vragen die door typische potentiële gebruikers van het Dashboard moeten worden beantwoord aan de hand van het Management Informatie Dashboard. De vragen die door typische potentiële gebruikers van Dashboard moeten worden beantwoord aan de hand van het Dashboard, zijn als volgt:

Taak 1: - Hoeveel bachelorsdiploma's per faculteit van de RUG zijn er behaald tussen 2005 en 2015? - Maak een PDF van de tabel “Bachelorsdiploma's per faculteit”.

Taak 2: - Hoeveel her-inschrijvers voor de opleiding Kunstgeschiedenis waren er in 2012? Taak 3: - Hoeveel procent BKO-gecertificeerde docenten zijn er op landelijk niveau in 2015?

- Maak een Excel bestand van de pagina “BKO gecertificeerde Docenten”.

Er is voor drie taken gekozen omdat het Management Informatie Dashboard kengetallen op drie niveaus laat zien, deze niveaus zijn: Facultair, RUG en Landelijk. Elk van de drie taken leidt tot een kengetal op een ander niveau. Daarnaast is er gekozen om bij enkele taken een extra opdracht zoals het maken van een PDF bestand toe te voegen om te onderzoeken hoe gebruiksvriendelijk de exporteerfuncties van het dashboard zijn.

3.2 Expertonderzoek en gebruikersonderzoek

Het onderzoek naar het Management Informatie Dashboard vindt plaats in twee fases. De eerste fase is het expertonderzoek. De tweede fase is het gebruikersonderzoek.

3.2.1 Expertonderzoek 3.2.1.1 Functionele analyse

8 Een Functionele analyse verloopt volgens Karreman en Van Enschot (2013: 12) in vier stappen. In de volgende alinea’s worden deze vier stappen nader toegelicht.

Stap 1

De eerste stap kan worden omschreven als een contextbeschrijving. In deze stap wordt het Dashboard omschreven. Daarnaast wordt het onderwerp, de zender, de doelgroep en de organisatiedoelen van de tekst geïdentificeerd.

Stap 2

In de tweede stap worden de doelen van de tekst geïdentificeerd. Het gaat hierbij om

communicatieve en consecutieve doelen van de tekst. Communicatieve doelen zijn de doelen die een tekst moet vervullen. Voorbeelden van deze doelen zijn: informeren en activeren. Consecutieve doelen zijn de gevolgen die een tekst op de lezer moet hebben. Wanneer de communicatieve doelen geïdentificeerd zijn worden de onderlinge relaties tussen de doelen weergegeven in een schema. Stap 3

De derde stap richt zich tot het identificeren van de teksthandelingen. Teksthandelingen zijn onderdelen in een tekst met een bepaalde functie, bijvoorbeeld: beschrijven van, mededelen over. Hierbij wordt er gekeken naar de verschillende onderdelen in de tekst. Per onderdeel wordt er bepaald welke teksthandelingen het desbetreffende onderdeel bevat. Vervolgens wordt per teksthandeling gekeken hoe en of ze de communicatieve doelen voldoende ondersteunen. Deze teksthandelingen worden toegevoegd aan het communicatieve doelenschema.

Stap 4

In de vierde stap worden de onderdelen geëvalueerd die in de stappen één tot en met drie geanalyseerd zijn. In deze stap worden er naast de evaluatie ook verbetersuggesties gedaan. De evaluatie begint met het onderwerp, de zender, de doelen en de doelgroepen. Vervolgens worden de communicatieve en consecutieve doelen beoordeeld. Hierbij wordt er vastgesteld of de

communicatieve doelen duidelijk zijn, of ze goed gekozen zijn, of het consecutieve doel aansluit bij het communicatieve doel, of de doelen goed weergegeven zijn in het doelenschema en of de

organisatiedoelen in lijn zijn met de communicatieve doelen. Als laatste worden de teksthandelingen beoordeeld. Er wordt hierbij vastgesteld of de teksthandelingen onder te brengen zijn in het

communicatieve doelenschema, of er voldoende teksthandelingen zijn die de communicatieve doelen ondersteunen en of er misschien niet teveel ondersteunende handelingen zijn. De

hoofdvraag die hierbij gesteld kan worden is: Zijn alle teksthandelingen relevant voor de te bereiken doelen?

De data uit de Functionele Analyse levert een omschrijving van het Dashboard en een beoordeling of de beoogde doelen van het dashboard gehaald worden of niet.

3.2.1.2 Cognitieve Walkthrough analyse

9 ook een analyse gedaan die een voorspelling doet bij welke acties participanten mogelijk fouten zullen maken.

De Cognitieve Walkthrought gebeurt volgens Wharton et al (1994: 2) in de volgende stappen: Stap 1 Beschrijving van de interface

Stap 2 Beschrijving van de gebruikers Stap 3 Beschrijving van de taak en acties

Stap 4 Analyse en evaluatie van de acties die nodig zijn om de taak te volbrengen. Bij deze stap worden volgens de Cognitieve Walktrough per actie de volgende drie vragen gesteld: - Zijn de correcte acties duidelijk voor de gebruiker?

- Zal de gebruiker het label van een actie verbinden aan het doel van de gebruiker? - Ontvangt de gebruiker zinvolle feedback?

Als er geen problemen worden gevonden is de actie een succes. Worden er wel problemen gevonden wordt deze actie een probleem genoemd en zal er besproken worden wat de problemen zijn. De data uit de Cognitieve Walkthrough levert dus een aantal hypotheses op over waar mogelijke problemen zich voor kunnen doen tijdens het gebruikersonderzoek.

3.2.2 Gebruikersonderzoek

Het gebruikersonderzoek is gehouden onder een groep willekeurig geselecteerde huidige gebruikers van het Management Informatie Dashboard. Dit onderzoek vindt plaats op het kantoor van de participanten zelf. Op deze manier wordt gepoogd de omgeving waarin de participant geobserveerd wordt zo natuurlijk mogelijk te maken voor de participant. Om ervoor te zorgen dat iedere

participant het Management Informatie Dashboard op dezelfde manier ziet wordt deze gepresenteerd op een laptop die is meegebracht door de onderzoeker.

In het gebruikersonderzoek wordt data verzameld door middel van een Interview, Think Aloud, diverse enquêtes en Eye Tracking. De data van deze vier methodes geven de leerbaarheid van het dashboard aan en geven de efficiëntie, onthoudbaarheid, fouten en tevredenheid van de

participanten over het Management Informatie Dashboard weer. Tabel 1 geeft schematisch weer welke componenten van gebruiksvriendelijkheid met welke methoden gemeten wordt.

Tabel 1

Schematische weergave componenten en bijbehorende meetinstrumenten.

Component Wordt gemeten met data van:

Leerbaarheid Think Aloud en Taak-enquête

Efficiëntie Think Aloud en Eye tracking

Onthoudbaarheid Think Aloud en Demografische enquête

Fouten Think Aloud

Tevredenheid SUS enquête, Words enquête en Interview

10

3.2.2.1 Think Aloud methode

De Think Aloud methode wordt gebruikt om de leerbaarheid, efficiëntie en fouten te meten. In de Think Aloud methode worden de opmerkingen die de participant maakt geregistreerd. Deze opmerkingen worden verzameld en gecategoriseerd zoals aangegeven in Tabel 2.

Tabel 2

Opmerkingen analyse gecategoriseerd onder 10 Heuristieken Heuristieken Tijdcode en plaats Pad

analyse Opmerking participant Opmerkingen onderzoeker 1. Zichtbaarheid van systeemstatus 2. Helderheid 3. Gebruikerscontrole en vrijheid 4. Consistentie ontwerp gebruikersinterface 5. Foutenpreventie 6. Herkenning in plaats van Herinnering 7. Flexibiliteit en efficiëntie 8. Esthetische en minimalistische vormgeving

9. Hulp bij herkennen, vaststellen, en herstellen van fouten

10. Goede helpfunctie en documentatie

11 gebruiksvriendelijkheidsproblemen zich voordoen. Op deze manier is af te lezen welke gebieden verbeterd kunnen worden, bijvoorbeeld wanneer de participant de opmerking maakt: “Hé dit gegeven stond op een andere pagina op een hele andere plaats.” Deze opmerking past onder categorie 4: Consistentie ontwerp gebruikersinterface. Als meerdere participanten problemen in dezelfde categorie opmerken duidt dit op inconsistentie problemen binnen het Management Informatie Dashboard. De verbalisaties tijdens de Think Aloud methode worden gebruikt om de onderzoeksresultaten te ondersteunen. Deze verbalisaties geven meer inzicht in wat proefpersonen ervaren.

Naast de verbalisaties wordt ook data verzameld over het pad dat de participant neemt om een taak te volbrengen. In Tabel 3 is weergegeven hoe zo’n pad bijgehouden wordt. In de tabel worden twee termen gebruikt: Acties en Paden. Een actie is een handeling die een participant doet om een taak te voltooien, bijvoorbeeld inloggen op of klikken op. Een pad is een serie handelingen van een

participant. Om een taak te voltooien moet de participant een aantal acties uitvoeren. Deze acties zijn van te voren per taak gedefinieerd. Wanneer de participant afwijkt van de vooropgestelde serie acties wordt dit als nieuw pad gezien. Er wordt bijgehouden wanneer en hoe vaak een participant van dit pad afwijkt.

Tabel 3

Checklist werkelijk pad voor taak 1.

Taak 1

Acties Pad 1 Pad 2 Pad 3

1 Login op BI dashboard 2 Klik door naar

Management informatie dashboard

3 Klik door naar onderwijs 4 Ga naar het RUG tabblad 5 Klik op bachelorsdiploma’s 6 Selecteer de jaren 2005 en

2015

7 Klik op export 8 Selecteer PDF

De analyse van de Think Aloud data levert een lijst met opmerkingen over het Management

Informatie Dashboard op. Daarnaast levert het protocol een beschrijving van de paden en acties die een participant neemt op. Met de Think aloud methode worden de componenten als volgt gemeten: Leerbaarheid kunnen we meten door aan de hand van resultaten van de Think Aloud methode, de hypotheses die opgesteld worden tijdens de Cognitieve Walkthrough, te verwerpen of aan te nemen. Bij leerbaarheid wordt gebruik gemaakt van participanten die het dashboard voor het eerst

12

3.2.2.2 Eye Tracking methode

Eye Tracking wordt gebruikt om efficiëntie te meten. Het Eye Tracking onderzoek wordt uitgevoerd op basis van één vooraf bepaalde taak. Dit is een andere taak dan de taken die tijdens de Think Aloud methode worden gegeven. Dit is om ervoor te zorgen dat dit Eye Tracking onderzoek geen invloed heeft op de manier waarop taken worden uitgevoerd tijdens de Think Aloud methode. Tijdens het Eye Tracking onderzoek krijgt de gebruiker een viertal afbeeldingen te zien. Deze vier afbeeldingen simuleren de vier acties die nodig zijn om de taak te kunnen voltooien. Op elk van deze afbeelding is het Management informatie Dashboard weergegeven. Bij elke afbeelding staat een taak die de gebruiker moet volbrengen. Voor deze opzet is gekozen omdat met de opzet van dit onderzoek het niet mogelijk is om Eye Tracking te doen tijdens het Think Aloud onderzoek. Ook is het niet mogelijk om live websites te laten zien.

De Eye tracking slides worden gemaakt en geanalyseerd in het programma Eyeproof van TheEyeTribe. Eyeproof genereert automatisch de zogenaamde heatmaps die aangeven waar participanten het meest en langst hebben gekeken. Dit is te zien aan de kleuren in de heatmaps. In Tabel 4 is een voorbeeld van zo’n heatmap weergegeven. Blauw geeft aan dat participanten kort hebben gekeken, vervolgens gaat de kleur van groen naar rood. Hoe roder een patroon is hoe langer er naar gekeken is. De onderzoeker beschrijft deze opvallendheden in deze heatmaps. In Tabel 4 is weergegeven hoe dit genoteerd wordt.

Tabel 4

Beschrijving en opvallen heden Eye Tracking per slide

Heatmap Opdracht Beschrijving en opvallendheden

Vind het Management Informatie Dashboard.

U wil de bezetting van de hoogleraren weten. Zoek de juiste actie om hier te komen.

13 Uit hoeveel procent

facultair aandeel bestond de bezetting in 2012?

De Eye Tracking data levert een beschrijving van de heatmaps van de vier Afbeeldingen die getoond worden aan de participanten op. Eye Tracking wordt gebruikt om de efficiëntie te meten. Efficiëntie kunnen we meten door naar de hoeveelheid fixatiepunten op een afbeelding te kijken. Deze

fixatiepunten worden met rood aangegeven. Een heatmap met meerdere rode punten die niet relevant zijn voor het beantwoorden van een bepaalde vraag, duidt op een inefficiëntie en lage leerbaarheid van het dashboard, bijvoorbeeld wanneer de participant de taak krijgt “Vind: Bezetting Hoogleraren”. Hierbij is het doel dat de participant zo snel mogelijk het gegeven kan vinden op het scherm. Ontstaat er dan vervolgens een patroon waarbij meerdere rode punten in de heatmap zitten kan er geconcludeerd worden dat de participant lang moest zoeken op het scherm en het dus niet gemakkelijk is voor de participant om een gegeven te vinden.

3.2.2.3 Enquête methodes Demografische enquête

In de demografische enquête wordt gevraagd naar de demografische gegevens van de gebruiker. Deze gegevens zijn: geslacht, leeftijd, hoeveelheid gebruik van het dashboard, doeleinden van het gebruik van het dashboard en eventuele beperkingen als kleurenblindheid en dyslexie. Deze enquête levert dus data op over de participant zelf. Door in de demografische enquête vragen te stellen over hoe vaak de participant gebruik maakt van het dashboard kunnen we nagaan hoe ervaren de gebruiker met het systeem is. Wanneer een participant aangeeft het Dashboard lange tijd niet gebruikt te hebbe kunnen we in de taken nagaan of de participant minder fouten is gaan maken in taak twee en taak drie. Met een lange tijd niet gebruikt hebben wordt jaren, kwartalen en maanden bedoelt. Als participanten minder fouten gaan maken in Taak 2 en 3 kunnen we stellen dat de

participant zich goed kan herinneren hoe het systeem werkt en niet het systeem opnieuw moet leren te gebruiken. In bijlage 4 is deze enquête weergegeven.

Taak-enquêtes

14

System Usability Scale enquête

De System Usability Scale enquête bestaat uit 10 stellingen die diverse aspecten van

gebruiksvriendelijkheid testen zoals vormgeving en organisatie van informatie. De vragen worden gemeten aan de hand van een 5-punts Likert schaal (zeer oneens – zeer eens). De helft van de vragen is positief geformuleerd en de andere helft negatief om te voorkomen dat gebruikers de vragen niet goed lezen. (Tullis & Stetson, 2004: 1). Per vraag zijn 10 punten te verdelen. Er zijn 10 vragen, dit houd dus in dat de maximale score 100 is. Bij een score van 100 is het systeem perfect. Deze scores zijn als volgt te interpreteren: <50 is onvoldoende, 50-60 is voldoende, 60-70 OK, 70-80 goed, 80-90 zeer goed en >90 uitmuntend (Bangor, et al.,2008: 592). Met de SUS enquête worden data over de tevredenheid verzameld. Een hoge score op de Likert schaal duidt op tevredenheid. Deze enquête levert dus een SUS beoordeling op over het Management Informatie Dashboard. In bijlage 6 is deze enquête weergegeven.

Words-enquête

De Words-enquête is gebaseerd op 118 woorden die gebruikt worden als reactiekaarten bij het testen van producten van Microsoft (Tullis & Stetson, 2004: 2). Elk woord wordt gepresenteerd met een checkbox ernaast. Per woord wordt er bijgehouden hoe vaak het gekozen is. De woorden die het meeste gekozen zijn vormen de beschrijving van het systeem. Gebruikers mogen zoveel woorden als ze willen kiezen waarvan zij vinden dat die het beste passen bij het systeem. De Words-enquête levert een frequentietabel op waarin wordt aangegeven hoe vaak participanten een woord

benoemen. Met de Words-enquête wordt data over de tevredenheid verzameld. Positieve woorden duiden op tevredenheid en negatieve woorden duiden op ontevredenheid. In bijlage 7 is deze enquête weergegeven.

3.2.2.4 Interview-methode

Het interview wordt gehouden om tevredenheid te meten. Usabilitynet (2015), een website opgericht door de Europese Unie om Usabillity te promoten, stelt dat de interviews en de analyses van deze interviews zorgvuldig moeten worden opgezet en geanalyseerd worden om te zorgen dat deze methode resultaten oplevert. Er is gekozen om een gestructureerd interview te houden met vooraf bepaalde vragen. Hiervoor is gekozen omdat ongestructureerde data een groot gevaar van een interview is tijdens een onderzoek. Deze ongestructureerde data maakt het moeilijk om de data goed te interpreteren. Daarnaast kunnen er belangrijke data achterwege gelaten worden waardoor er censuur optreed. Om dit te voorkomen moet er een goede manier van dataverzameling zijn. Notities alleen zijn hierbij niet voldoende. Een audiobestand en/of transcript zijn nodig om juiste conclusies te kunnen trekken.

De vragen die gesteld worden vallen onder vier categorieën: uiterlijk, teksten, navigatie en gebruik. Deze categorieën komen terug in de tien heuristieken van Nielsen en Mack (1994: 30), waarbij uiterlijk, teksten, navigatie en gebruik terug komen in: Zichtbaarheid van

Systeemstatus (navigatie), Helderheid (navigatie), Gebruikerscontrole en vrijheid (navigatie),

Consistentie ontwerp gebruikersinterface (uiterlijk), Foutenpreventie (uiterlijk), Herkenning in plaats van Herinnering(gebruik), Flexibiliteit en Efficiëntie (gebruik), Esthetische en minimalistische

15 om meningen van participanten over de diverse aspecten van het dashboard te achterhalen. Deze aspecten zijn voor de participanten simpel vertaald naar: uiterlijk van het dashboard, teksten binnen het dashboard, navigatie van het dashboard en gebruik van het dashboard. Per categorie worden vragen gesteld. Bij deze vraag worden de belangrijkste antwoorden genoteerd met een tijdcode zodat de antwoorden herleidbaar zijn. In Tabel 5 is weergegeven hoe dit gedaan wordt.

Tabel 5

Vragen en antwoorden analyse van interview per categorie

Categorie Vragen Tijdcode Antwoord

Uiterlijk (lay-out, tabellen, grafieken)

- Wat vind u van de lay-out van het dashboard?

- Wat vind u van de weergave van de grafieken en tabellen in het dashboard?

- Zijn deze tabellen en

grafieken duidelijk afleesbaar?

Teksten - Wat vind u van de teksten in het dashboard in het

algemeen?

- Hielpen de teksten u te begrijpen wat er op het scherm te zien was?

- Hielpen deze teksten u bij het uitvoeren van de taken?

Navigatie - Wat vind u van de navigatie mogelijkheden in het dashboard?

- Kon u gemakkelijk vinden hoe u moet navigeren?

- Kon u makkelijk naar de juiste pagina navigeren?

Gebruik - Kon u de taken voltooien op een manier zoals u dit verwacht had?

- Wat ziet u graag veranderd aan het dashboard?

16

4 Expertonderzoek

Het Management Informatie Dashboard is een complex systeem met vele mogelijkheden. In deze paragraaf wordt het dashboard en de mogelijkheden van het dashboard toegelicht. De data die gepresenteerd wordt, is afkomstig uit de Functionele Analyse (Bijlage 1).

Onderwerp

Het management informatie dashboard ontsluit kengetallen die managers gebruiken voor sturing, analyse en inzicht van de rijksuniversiteit van Groningen.

Zender

De informatie zelf wordt uit diverse databases verzameld. Deze databases worden aangevuld door de gebruikers. Bijvoorbeeld een gebruiker vult zijn aantal gewerkte uren in op een systeem, deze

informatie wordt opgeslagen in een database. De informatie uit deze database kan weer worden opgevraagd en gebruikt worden in een ander systeem als bijvoorbeeld het Management Informatie dashboard. De manier waarop de informatie gepresenteerd wordt in de userinterface wordt

verzorgd door de afdeling Administratieve Informatievoorziening van Rijksuniversiteit Groningen. De zender van de 3 pagina’s die geanalyseerd worden is dus de Rijksuniversiteit Groningen.

Doelgroep en aangesproken lezer

Het management informatie dashboard is gecreëerd met het doel om efficiënt de voortgang van de Rijksuniversiteit Groningen te bewaken. Managers moeten in een oogopslag kunnen zien hoe het er voorstaat bij de RUG op facultair, RUG en landelijk niveau. De doelgroep van het management informatie dashboard is dan ook het management van de RUG. Dit is tevens de doelgroep voor de 3 pagina’s die geanalyseerd worden.

Navigatiestructuur

Het Dashboard bestaat uit vele pagina’s en heeft een grote navigatiestructuur. Met

navigatiestructuur wordt de manier waarop een gebruiker zich door het systeem kan voortbewegen bedoeld. In Afbeelding 1 is deze structuur weergegeven, de afbeelding geeft weer hoe een gebruiker van de homepagina tot een kengetal komt. Met pijltjes is weergegeven hoe gebruikers kunnen navigeren tussen de pagina’s.

17 De gebruiker begint op de homepage, in Afbeelding 2 is deze homepage weergegeven. De gebruiker klikt vervolgens door naar het Management Informatie dashboard. Vanaf het Management

Informatie Dashboard kan de gebruiker naar tien aandachtsgebieden navigeren (Strategische

agenda, Wederzijdse Doorstroom, Onderwijs, Onderzoek, Personeel, Ratio’s, Secties, Releases, Uitleg en Definities). Deze aandachtsgebieden zijn de categorieën waaronder de kengetallen zijn verdeeld. Het kengetal “Bachelorsdiploma’s” wordt onder het aandachtgebied “onderwijs” gevonden. Zes aandachtgebieden leiden zoals aangegeven in Afbeelding 1 tot kengetallen. Een kengetal is een getal dat inzicht geeft in de situatie en/of ontwikkeling. Het kengetal her-inschrijvers geeft bijvoorbeeld historisch inzicht in het aantal Bachelorsdiploma’s op diverse niveaus. De overige aandachtsgebieden leiden tot overige pagina’s zoals hulp en uitleg.

Niveaus

Binnen het Management Informatie Dashboard kunnen gebruikers op drie niveaus kengetallen bekijken: facultair, RUG en landelijk. In Afbeelding 1 is dit visueel weergegeven in een oranje balk. Zoals die balk al weergeeft zijn alle aandachtsgebieden en alle detailpagina’s op alle drie niveaus te bekijken. Dit houdt in dat gebruikers op elk moment dat ze zich in het oranje gebiedt bevinden van niveau kunnen wisselen.

Homepagina

Nadat ingelogd is komt de gebruiker op de homepagina terecht. Op deze pagina kunnen gebruikers een selectie maken uit diverse dashboards. Een van deze dashboards is het Management Informatie Dashboard.

Aandachtgebieden

Nadat het Management Informatie Dashboard is geselecteerd komt de gebruiker op de pagina waar een aandachtgebied geselecteerd kan worden. Daarnaast kan de gebruiker een jaartal selecteren en een

faculteit/eenheid selecteren mits de gebruiker op het faculteit niveau zit.

Afbeelding 2: Homepagina

18

Aandachtgebied “Onderwijs” met kengetallen

Nadat een aandachtgebied is geselecteerd krijgt de gebruiker een overzicht van de kengetallen behorend bij het gekozen aandachtgebied te zien. De kengetallen zijn in grafieken weergegeven. Daarnaast kan de gebruiker een jaartal selecteren en een faculteit/eenheid selecteren mits de gebruiker op het faculteit niveau zit.

Detailpagina kengetal “Bachelorsdiploma’s”

Nadat het kengetal geselecteerd is krijgt de gebruiker een pagina te zien met meer gedetailleerde informatie over dit kengetal. Deze pagina is opgedeeld in drie

kolommen. Links de navigatie/specificatie knoppen, in het midden de gegevens over het kengetal en rechts uitleg over de gegevens in de midden-kolom. Daarnaast kan de gebruiker een jaartal selecteren en een faculteit/eenheid selecteren. Deze faculteit/eenheid is alleen te selecteren wanneer de gebruiker op het faculteit niveau.

Navigatie naar detailpagina’s op detailpagina’s

Op de detailpagina is een tweede navigatiemogelijkheid

gepresenteerd aan de gebruiker. De andere mogelijkheid is via een dropdown menu die alleen op de detailpagina’s zichtbaar is. Dit dropdown menu is een lange lijst van 73 kengetallen die op alfabet gesorteerd zijn.

Weergaves selecteren op detailpagina’s

Op de detailpagina’s kunnen gebruikers de

kengetallen in verschillende weergaves laten zien. In Afbeelding 7 is te zien dat het kengetal “Bezetting promovendi (fte)” 6 verschillende weergaven heeft. Per kengetal verschillen deze weergaves.

Afbeelding 4: Aandachtgebied “Onderwijs” met kengetallen

Afbeelding 5: Detailpagina kengetal “Bachelorsdiploma’s” op facultair niveau

Afbeelding 6: Navigatie naar detailpagina’s op detailpagina’s

19

Organisatiedoelen

De belangrijkste organisatiedoelen van Rijksuniversiteit Groningen zijn de voortgang van de

universiteit behouden, bewaken en bijsturen. Het management informatie dashboard is een tool die deze organisatiedoelen ondersteund. Zo moeten ook de 3 pagina’s die geanalyseerd worden helpen bij: inzicht/beeldvorming, analyse, sturing en voortgangsbewaking van de universiteit.

Communicatieve doelen

Zoals de meeste systemen, heeft ook het Management Informatie dashboard meerdere en verschillende communicatieve doelen. De detailpagina’s hebben 3 communicatieve doelen. Op volgorde van prioriteit zijn deze doelen:

 Activeren  Overtuigen  Informeren

Consecutieve doelen

Alleen het idee dat gebruikers iets met de kengetallen doen is niet voldoende. Het is de bedoeling dat de gebruikers ook daadwerkelijk iets gáán doen met de kengetallen. Daarom zijn de volgende twee consecutieve doelen opgesteld:

1. Gebruikers van het management informatie dashboard gebruiken de kengetallen voor hun werkzaamheden.

2. Gebruikers van het management informatie dashboard ondernemen actie wanneer de kengetallen afwijken van de streefgetallen.

Teksthandelingen in relatie tot communicatieve en consecutieve doelen.

In afbeelding 8 zijn de teksthandelingen weergegeven in relatie tot de

communicatieve en consecutieve doelen. Het linker schema geeft consecutief doel 1 weer en het rechter schema geeft

consecutief doel 2 weer. De blokken met de witte randen geven de

communicatieve doelen weer en de blokken met de ronde hoeken geven de teksthandelingen weer. De pijlen geven aan welke teksthandeling welk

communicatief doel ondersteunt. In de afbeelding is te zien dat het communicatieve doel activeren niet ondersteund wordt met teksthandelingen.

20

4.2 Beschrijving van de procedurele taakuitvoering

De deelvraag die bij deze paragraaf hoort is: Hoe makkelijk is het Management Informatie Dashboard te leren voor nieuwe gebruikers? Tijdens de beschrijving van de tijden worden hypotheses opgesteld die worden behandeld in paragraaf 5.4.1 Leerbaarheid. De data die gepresenteerd wordt is afkomstig uit de Cognitieve Analyse (Bijlage 2).

In Tabel 6 zijn de taken met de bijbehorende acties gedefinieerd. In rood is aangegeven bij welke acties problemen worden verwacht.

Tabel 6

Taken met bijbehorende acties. Taak 1

Hoeveel bachelorsdiploma's per faculteit van de RUG zijn er behaald tussen 2005 en 2015? - Maak een PDF van deze tabel.

Taak 2

Hoeveel her-inschrijvers voor de opleiding Kunstgeschiedenis waren er in 2012?

Taak 3

Hoeveel procent

BKO-gecertificeerde docenten zijn er op landelijk niveau in 2015?

- Maak een Exel bestand van de hele pagina.

1 Login op BI dashboard 1 Login op BI dashboard 1 Login op BI dashboard

2 Klik door naar Management informatie dashboard

2 Klik door naar Management informatie dashboard

2 Klik door naar Management informatie dashboard

3 Klik door naar onderwijs 3 Klik door naar onderwijs 3 Klik door naar Strategische

agenda

4 Ga naar het RUG niveau 4 Ga naar het Faculteit niveau (Het

faculteit tabblad is de default)

4 Klik op BKO Certificering Docenten

5 Klik op bachelorsdiploma’s 5 Klik een random item/kengetal

aan (er is geen directe link)

5 Ga naar het Landelijk niveau

6 Selecteer de jaren 2005 en 2015 6 Selecteer onderwijs 6 Selecteer 2015

7 Klik op export 7 Selecteer her inschrijvers 7 Selecteer procentuele weergave

8 Selecteer PDF 8 Selecteer 2012 8 Klik op pagina opties

9 Selecteer faculteit der letteren 9 Selecteer export to Excel

10 Selecteer ultimo weergave 10 Kies export current page

Aan de hand van de verwachte problemen kan een probleem in categorieën gedefinieerd worden. Hieronder wordt elk van deze categorieën toegelicht.

Niveaus kiezen

21

Hypothese 1: Nieuwe participanten ondervinden moeite bij het selecteren van het RUG niveau in Taak 1.

Hypothese 2: Nieuwe participanten ondervinden moeite bij het selecteren van het Landelijk niveau in Taak 3.

Weergaves selecteren

Met weergaves selecteren wordt het aanpassen van gegevens in de tabellen of grafieken bedoeld naar bijvoorbeeld de ultimo weergave zoals bij taak 2 actie 10 en de procentuele weergave zoals bij taak 3 actie 7. Er wordt verwacht dat gebruikers moeite zullen hebben met bepalen wat het woord ultimo inhoud en of gebruikers het bestaan van de functie binnen het dashboard wel kennen.

Hypothese 3: Nieuwe participanten ondervinden moeite bij het selecteren van de ultimo weergave van kengetallen in Taak 2.

Hypothese 4: Nieuwe participanten ondervinden moeite bij het selecteren van de procentuele weergaves van kengetallen in Taak 3.

Juiste aandachtgebied kiezen

Bij taak 3 actie 3 wordt verwacht dat de gebruiker niet het juiste aandachtgebied kiest. Omdat het BKO gecertificeerde Docenten betreft wordt er verwacht dat gebruikers bij het aandachtgebied Personeel gaan zoeken in plaats van bij Strategische Agenda.

Hypothese 5: Nieuwe participanten ondervinden moeite bij het selecteren van het aandachtsgebied “Strategische Agenda” bij Taak 3.

Kengetallen vinden die niet in aandachtgebieden staan

Het kengetal her-inschrijvers is niet direct zichtbaar in de aandachtgebieden. Om bij her-inschrijvers te komen moet een gebruiker eerst een random kengetal aanklikken voordat de gebruiker her-inschrijvers kan vinden. Bij Taak 2 actie 5 en 6 wordt verwacht dat gebruikers het kengetal blijven zoeken in de aandachtgebieden.

Hypothese 6: Nieuwe participanten ondervinden moeite bij het selecteren van het kengetal “her-inschrijvers” bij Taak 2.

Hele pagina exporteren

Wanneer de gebruiker een hele pagina wil exporteren zoals bij taak 3 actie 8, moet dit gedaan worden via pagina opties. Hier kan verwarring ontstaan omdat er op de pagina twee opties zijn om te exporteren. Bovendien is de knop “pagina opties” een klein knopje in de rechter bovenhoek van de pagina en valt daardoor niet snel op. Ook is pagina opties alleen visueel weergegeven met een icoon ( ) er wordt verwacht dat participanten de betekenis van dit icoon niet kennen.

22

5 Gebruikersonderzoek

Het Management Informatie Dashboard geeft toegang aan 278 medewerkers van de Rijksuniversiteit Groningen. Van deze groep mensen is een random groep van 60 personen benaderd om deel te nemen aan dit onderzoek. Van de 60 personen hebben 15 personen de uitnodiging geaccepteerd. In de onderstaande afbeeldingen zijn deze gegevens gepresenteerd. De gegevens over de participanten zijn afkomstig uit de demografische enquête (bijlage 4) die voorafgaand aan het Think Aloud

onderzoek is genomen.

Afbeelding 9: Geslacht participanten N=15

Afbeelding 9 laat de verdeling tussen mannen en vrouwen zien. In totaal hebben 5 mannen en 10 vrouwen deelgenomen aan het onderzoek.

Afbeelding 10: Leeftijd participanten N=15

Afbeelding 10 geeft de verdeling van de leeftijden van de participanten weer. De grootste groepen zijn de leeftijden 30-39 jaar en 50-59 jaar met beiden vijf participanten. 21-29 jaar en 60-64 jaar hebben beiden twee participanten en 40-49 heeft één participant.

0 5 10 15

23

Afbeelding 11: hoogst genoten opleiding participanten N=15

Zoals in Afbeelding 11 is weergegeven hebben veertien van de vijftien participanten een universitaire opleiding afgerond. Eén participant heeft een HBO opleiding afgerond.

Afbeelding 12: Dyslectici onder participanten N=15 Afbeelding 13: Kleurenblindheid onder participanten N=15

De Afbeeldingen 12 en 13 geven weer of de participanten een beperking hebben welke invloed kan hebben op het uitvoeren van de taken. Veertien participanten geven aan niet dyslectisch te zijn, één participant weet niet of hij/zij dyslectisch is. Geen enkele participant geeft aan kleurenblind te zijn.

Afbeelding 14: Gebruiksfrequentie Management Informatie Dashboard door participanten N=15

Afbeelding 14 laat zien hoe vaak participanten gebruik maken van het Dashboard. Vijf participanten geven aan wekelijks gebruik te maken van het Dashboard. Vier participanten maken maandelijks gebruik van het dashboard. Drie participanten maken jaarlijks gebruik van het dashboard en één participant maakt dagelijks, per kwartaal en nooit gebruik van het dashboard.

0 5 10 15

Hoogst genoten opleiding

Hoogst genoten opleiding 0 5 10 15 Ja Nee Weet ik niet

Bent u dyslectisch?

Bent u kleurenblind?

Hoe vaak maakt u gebruik van het Management

Informatie Dashboard?

Hoe vaak maakt u gebruik van het Management

24

Afbeelding 15: Doel waarmee het dashboard gebruik wordt door participanten N=14

Afbeelding 15 geeft aan met welk doel de participanten het dashboard gebruiken. Participanten konden hierbij meerdere doelen aanklikken. Het aantal participanten dat doelen aan heeft gegeven is veertien. Dit houd in dat één participant geen doelen heeft opgegeven. Negen participanten gebruiken het dashboard voor inzicht/beeldvorming. Vier voor sturing, twaalf voor analyse en acht voor voortgangsbewaking. Eén participant heeft onderwijsmonitor aangegeven.

Wat opvalt aan de bovenstaande gegevens is dat hoewel ongeveer evenveel mannen als vrouwen een uitnodiging hebben ontvangen meer vrouwen dan mannen hebben gereageerd. De grootste leeftijdsgroepen zijn die van 30-39 jaar en die van 50-59 jaar met beide vijf deelnemers. Wat

daarnaast opvalt is dat er geen deelnemers zijn met een afwijking zoals kleurenblindheid of dyslexie. Vrijwel alle deelnemers hebben een universitaire opleiding gedaan, slechts twee van de vijftien deelnemers hebben HBO gedaan. Hoeveel het dashboard gebruikt wordt en met welke doelen dit dashboard dan gebruikt wordt variëren.

5.2 Materiaal

In dit gebruikersonderzoek zijn de volgende materialen gebruikt:

Computer: De onderzoeker nam naar elke afspraak een eigen laptop mee. Dit werd gedaan om

ervoor te zorgen dat elke participant met dezelfde computerinstellingen de taken kon uitvoeren. Op deze manier zijn de condities waarin het onderzoek plaatsvind voor elke participant hetzelfde. Voor dit onderzoek is een 15 inch Windows laptop gebruikt met een schermresolutie van 1920 x 1090. Op de laptop zit een office pakket en PDF software die nodig zijn tijdens het uitvoeren van de taken. Het gebruikersonderzoek is gemaakt in een Powerpont presentatie. Morea Recorder is gebruikt om het beeldscherm en geluid op te nemen.

Eye Tracker: Voor dit onderzoek is een portable Eye tracker gebruikt van The Eye Tribe. Dit is een dun

balkje van ongeveer 30 cm dat via een USB 3 poort op een computer kan worden aangesloten. De presentatie en data-analyse van het Eye Tracking onderzoek zijn gedaan met het programma Eyeproof. 0 2 4 6 8 10 12 14

Met welk doel gebruikt u het dashboard?

25

Informatiebrochures: De participant kreeg voor het onderzoek een geprinte informatiebrochure.

Hierin stond de procedure van het onderzoek uitgelegd. Daarnaast stond er in de brochure een consent formulier. Hierin geeft de participant aan dat er toestemming is gegeven voor het gebruik van de gegevens van de participant.

Contactinformatie kaartje: Een geprint kaartje met contactinformatie van de onderzoeker en het

participantennummer van de participant.

5.3 Procedure

Het gebruikersonderzoek is gehouden op het kantoor van de deelnemers. Hierdoor vond het onderzoek plaats in een, voor de participant vertrouwde omgeving. Voordat het onderzoek begon kreeg de participant een folder met daarin informatie over het onderzoek en de rechten van de participant. Daarnaast werd de participant gevraagd een toestemmingsformulier te ondertekenen waarin toestemming voor het gebruik van de gegevens van de participant wordt gegeven.

Het onderzoek begon met een Eye Tracking onderzoek. De participant kreeg hierbij vier afbeeldingen te zien. Bij elk van deze afbeeldingen kreeg de participant de opdracht een gegeven te zoeken in de afbeelding. De onderzoeker had hierbij een terughoudende rol. De onderzoeker nam zoveel mogelijk afstand om de participant niet te beïnvloeden.

Na het Eye tracking onderzoek werd de participant gevraagd een demografische enquête in te vullen. Na de enquête werd het Think Aloud onderzoek gestart. Hierbij werd de participant gevraagd de drie taken uit te voeren terwijl hij/zij hardop verteld wat hij/zij denkt en doet. Ook na elke taak werd de participant gevraagd een enquête in te vullen, in deze enquête werd kort de mening van de

participant over de taak gevraagd. Nadat alle taken waren voltooid kreeg de participant een afsluitende enquête waarin een algemene beoordeling van het Management informatie Dashboard werd gevraagd.

Net zoals bij het Eye Tracking onderzoek nam de onderzoeker zoveel mogelijk afstand om de participant niet te beïnvloeden.

Als laatste onderdeel van het gebruikersonderzoek werd er een interview gehouden. In dit interview stelde de onderzoeker vragen over het gebruik, de lay-out, de teksten en de navigatie van het dashboard.

26

5.4 Resultaten

De resultaten zijn gepresenteerd naar de vijf componenten van gebruiksvriendelijkheid:

Leerbaarheid, Efficiëntie, Onthoudbaarheid, Fouten en Tevredenheid van Nielsen (2012). Voordat op de componenten wordt ingegaan, wordt er eerst een overzicht gegeven van de gegevens per taak. In Afbeelding 16 is per taak de gemiddelde duur, het succes, het succes volgens participanten en de moeilijkheidsgraad die participanten hebben toegekend aan de taken weergegeven. In Tabel 7 is het gemiddelde, de mediaan en de standaarddeviatie over de gegevens in Afbeelding 16 gegeven.

Afbeelding 16: Statistieken per Taak N=15

Tabel 7

Statistieken per Taak met gemiddelde, mediaan en standaarddeviatie

Taak 1 Taak 2 Taak 3

Duur in minuten Gemiddelde 3:46 3:27 3:40 Mediaan 3:16 2:15 3:35 Standaarddeviatie 1,7 1,96 1,68 Werkelijk succes Gemiddelde 1,53 1,73 0 Mediaan 2 2 0 Standaarddeviatie 0,50 0,44 0

Succes volgens de participanten

Gemiddelde 1,07 1,27 1,33 Mediaan 1 1 1 Standaarddeviatie 0,25 0,44 0,47 Moeilijkheidsgraad Gemiddelde 4,93 7 6,07 Mediaan 5 7 7 Standaarddeviatie 2,35 2,07 2,95

Afbeelding 16 laat de statistieken per taak zien. Taak 1 is in gemiddeld 3:46 minuten afgerond met een standaarddeviatie van 1,7 en een mediaan van 3:16 minuten. Taak 2 is in gemiddeld 3:27

minuten voltooid met een standaarddeviatie van 1,96 en een mediaan van 2:15 minuten. Taak 3 is in gemiddeld 3:40 minuten afgerond met een standaarddeviatie van 1,68 en een mediaan van 3:35 minuten.

Het werkelijke succesaantal bij Taak 1 is 7 participanten, om het gemiddelde, de mediaan en de standaarddeviatie te bereken heeft ‘wel voltooid’ de waarde: 1 gekregen, en de ‘niet voltooid’ de

27 waarde: 2. Het gemiddelde is 1,53, de mediaan is 2 en de standaarddeviatie is 0,50. Bij Taak 2

hebben 4 participanten de taak voltooid. Het gemiddeld is 1,73, de mediaan is 2 en de standarddeviatie is 0,44. Bij Taak 3 heeft geen enkele participant de taak volbracht.

Daarnaast is de participanten gevraagd of zij dachten de taak te hebben volbracht. Deze aantallen liggen hoger dan de werkelijke succesaantallen. 14 participanten denken Taak 1 te hebben voltooid. Om het gemiddelde, de mediaan en de standaarddeviatie te bereken heeft ‘wel voltooid’ de waarde: 1 gekregen, en de ‘niet voltooid’ de waarde: 2. Taak 1 heeft een gemiddelde van 1,07, de mediaan is 1 en de standaarddeviatie is 0,25. Bij Taak 2 denken 11 participanten de taak te hebben voltooid. Dit is een gemiddelde van 1,27 met een mediaan van 1, de standaarddeviatie is 0,44. Bij Taak 3 denken 10 participanten de taak te hebben voltooid. Het gemiddelde hierbij is 1,33, de mediaan is 1 en de standaarddeviatie is 0,47.

Daarnaast is de participanten gevraagd aan te geven hoe moeilijk zij het vonden om een de taken uit te voeren. De participanten hebben de taken beoordeeld met een cijfer tussen 1 t/m 10. 10 is hierbij moeilijk en 1 is makkelijk. Taak 1 is gemiddeld met een 4,93 beoordeeld. De mediaan is 5 en de standaarddeviatie is 2,35. Taak 2 is gemiddeld beoordeeld met 7. De mediaan is ook 7 en de standaarddeviatie is 2,07. Taak 3 is gemiddeld met een 6,07 beoordeeld. De mediaan is een 7 en de standaarddeviatie is 2,95.

5.4.1 Leerbaarheid

De deelvraag die bij deze paragraaf hoort is: Hoe makkelijk is het Management Informatie Dashboard te leren voor nieuwe gebruikers? De data die is gepresenteerd is afkomstig uit de Think Aloud methode, alle data uit het Think Aloud onderzoek staat in bijlage 3.

Uit de data is naar voren gekomen dat slechts 1 participant het Dashboard nog nooit gebruikt heeft. Participant 261104 is een man van 51 jaar. In Afbeelding 17 is de data uit Taak 1 van deze participant weergegeven en afgespiegeld tegen het gemiddelde van alle participanten. Hierbij is de duur van een taak, voltooiing van een taak, aantal paden, aantal acties, succes volgens de participanten en de moeilijkheidsgraad die de participanten toekennen aan het Dashboard benoemd. In Tabel 8 is het gemiddelde, de mediaan en de standaarddeviatie van alle participanten in Taak 1 gegeven.

28 Tabel 8

Statistieken Taak 1 in gemiddelde, mediaan en standaarddeviatie van alle participanten Duur Werkelijk

succes

Paden Acties Succes volgens de participanten Moeilijkheidsgraad Taak 1 Gemiddelde 3:46 minuten 1,53 3 9 1,07 4,93 Mediaan 3:16 minuten 2 3 8 1 5 Standaarddeviatie 1,7 0,50 1,71 2,37 0,25 2,35

Taak 1 duurt gemiddeld 3:46 minuten, participant 261104 doet er 8:28 minuten over, dit is 4:42 minuten langer dan het gemiddelde. Gemiddeld is Taak 1 niet correct voltooid, participant 261104 heeft de taak ook niet correct voltooid. In succes volgens de participanten(en) geeft participant 261104 ook aan de taak niet te hebben voltooid, dit terwijl de gemiddelde participant wel denkt de taak correct te hebben voltooid. In de Cognitieve Walktrough is vastgesteld dat het 8 acties kost om Taak 1 te voltooien. Participant 261104 deed dit in 5 acties en 2 paden, gemiddeld deden

participanten er 9 acties en 3 paden over. Dit betekent dat participant 261104 3 acties minder deed dan nodig was om de taak te voltooien en gemiddeld participanten 1 actie meer deden om de taak te voltooien. Participant 261104 geeft de Taak een moeilijkheidsgraad van 7 uit 10. Gemiddeld gaven participanten Taak 1 een 4,49 uit 10. Dit is 2,51 punten lager dan het cijfer dat Participant 261104 gaf.

In Afbeelding 18 is de data uit Taak 2 van 261104 participant weergegeven en afgespiegeld tegen het gemiddelde van alle participanten. In Tabel 9 is het gemiddelde, de mediaan en de standaarddeviatie van alle participanten in Taak 2 gegeven.

Afbeelding 18: Gegevens participant 261104 Taak 2 N=15

Tabel 9

Statistieken Taak 2 in gemiddelde, mediaan en standaarddeviatie van alle participanten Duur Werkelijk

succes

29 Taak 2 duurt gemiddeld 3:27 minuten, participant 261104 doet er 7:41 minuten over, dit is 4:14 minuten langer dan het gemiddelde. Zowel gemiddeld als bij participant 261104 is Taak 2 niet correct voltooid, beide groepen denken wel de taak correct te hebben voltooid. Participant 261104 deed 6 paden en 14 acties over Taak 2, gemiddeld deden participanten 4 paden en 9 acties over Taak 2. Volgens de Cognitieve Walktrough kost het 10 acties om Taak 2 te voltooien. Participant 261104 deed 4 acties meer en gemiddeld werd er 1 actie minder gedaan dan nodig was. Ondanks dat participant 261104 langer dan gemiddeld over Taak 2 deed en meer acties dan gemiddeld deed, beoordeeld participant 261104 Taak 2 met 3 punten makkelijker dan het gemiddelde. Participant 261104 geeft de Taak een moeilijkheid van 4 uit 10. Gemiddeld is deze score een 7 uit 10.

In Afbeelding 19 is de data uit Taak 3 van 261104 participant weergegeven en afgespiegeld tegen het gemiddelde van alle participanten. In Tabel 10 is het gemiddelde, de mediaan en de

standaarddeviatie van alle participanten in Taak 3 gegeven.

Afbeelding 19: Gegevens participant 261104 Taak 3 N=15

Tabel 10

Statistieken Taak 3 in gemiddelde, mediaan en standaarddeviatie van alle participanten Duur Werkelijk

succes

Paden Acties Succes volgens de participanten Moeilijkheidsgraad Taak 3 Gemiddelde 3:40 minuten 0 4 9 1,33 6,07 Mediaan 3:35 minuten 0 4 8,5 1 7 Standaarddeviatie 1,68 0 1,67 3,07 0,47 2,95

Taak 3 duurt gemiddeld 3:35 minuten, participant 261104 doet er 49 seconden langer over met: 4:24 minuten. Participant 261104 en de gemiddelde participant hebben beiden Taak 3 niet correct

voltooit en denken beiden de taak wel correct te hebben voltooid. Ook het aantal paden en acties is gemiddeld en bij participant 261104 hetzelfde. Een verschil bij de moeilijkheidsgraad is wel aanwezig. Participant 261104 beoordeeld Taak 3 met een moeilijkheid van 5 uit 10, gemiddeld is deze score een 6,07 uit 10. Gemiddeld ligt de moeilijkheidsscore 1,07 punten hoger.