9.2 De productevaluatie
9.2.3 Randactiviteiten en overige verslagen
Naast de besproken producten, waaronder het adviesrapport en het plan van aanpak, zijn er natuurlijk ook andere producten geweest waaraan ik heb moeten werken. Onderstaande verdeling geeft hiervan een tweetal voorbeelden:
Het creëren van een korte film voor de Geoweb gebruikersdag:
5 februari 2012, een aantal weken nadat mijn usability onderzoeken hebben plaatsgevonden, heeft mijn opdrachtgever een presentatie gehouden op de door de gemeente Den Haag georganiseerde Geoweb gebruikersdag. Hierbij zijn een groot aantal bedrijven en overige steden die gebruik maken van dit programma aanwezig geweest. De opdrachtgever heeft mij gevraagd om van mijn uitgevoerde usabilitytests een kort “promotiefilmpje” te maken, om een inzicht te geven in de manier waarop is getest. Zo heb ik met behulp van Adobe Premiere een korte film in elkaar gezet om aan deze wens te voldoen. Hierbij heb ik een combinatie gemaakt van het uitvoeren van een bepaalde taak met de gezichtuitdrukkingen van de gebruiker eraan verbonden. Dit promotiefilmpje heeft de opdrachtgever in zijn presentatie aangehaald en laten zien, waarbij ik werd aangehaald als de maker. Ook heeft hij een tekstuele uitleg gegeven van hetgeen ik mee bezig was voor de gemeente en op deze wijze laten zien dat niet enkel de techniek, maar ook de gebruikersvriendelijkheid aan bod komt bij het pakket. Hiermee werden mij dus credits toegespeeld en kreeg ik waardering voor mijn werk. Dit is iets wat het werk aangenaam maakt voor mijn gevoel.
Onderzoek bij de softwareontwikkelaar:
Waar ik het al meerdere malen heb aangehaald binnen het verslag, ben ik gedurende mijn afstudeertraject ook betrokken geweest bij het beoordelen van usability aspecten voor de nog in ontwikkeling zijnde Geoweb 4.0. Om dit zo goed mogelijk af te stemmen op de wensen van de gebruiker, ben ik tweemalig in Rotterdam geweest bij softwareontwikkelaar Esri Nederland om te bekijken of zowel de iconen als de gebruikte terminologie in deze nieuwe versie aansluiten op de richtlijnen van icoongebruik en terminologie. Het leuke hieraan is, dat na mijn eerste adviezen bij mijn tweede bezoek een groot deel van deze aanbevelingen al werkelijk was gebruikt bij aanpassingen in het pakket. Hiermee kreeg ik het gevoel dat zij mij serieus namen en zij inzagen dat er een aantal zaken verbeterd konden worden. Gedurende mijn tweede bezoek heb ik nog een aantal kleine punten kunnen ontdekken voor verbetering.
De productmanager van Esri Nederland, René Colijn, heeft op de Geoweb gebruikersdag ook een presentatie gegeven over de nieuwe versie van zijn product, Geoweb 4.0. Hierin was het voor mij een aangename verrassing, dat zij ook mijn tweede bevindingen hadden verwerkt in de applicatie. Hierin zocht hij binnen zijn presentatie contact met mij om dit te laten zien. Ook dit was voor mij wederom een gevoel van euforie. Nu was op deze belangrijke dag door zowel mijn opdrachtgever als de softwareontwikkelaar aangehaald dat ik bezig was met een verbetering van het product die alle aanwezigen aanging. Dit meenemende in mijn evaluatie, kan ik niet anders zeggen dan dat ik mijn opdracht heb afgesloten met het gevoel dat ik voor alle betrokken partijen iets heb neergezet waar zij werkelijk iets aan hebben, hetgeen mij een gelukkig student maakt.
Afstudeer procesverslag
maart
2012
Literatuurlijst
Boeken:
Schrijver (s)
Titel
Roel Grit
Projectmanagement
Mark van Onna
Prince2
Jesse James Garrett
The elements of user interface
Verslagen/documenten:
Schrijver (s)
Titel
Jeroen Overbeek en Nanka
Karstkarel
Gebruik Geo-viewers op
overheidswebsites
Ed Visser
WebGis Den Haag
Jeroen Overbeek, Wim Blanken en Ed Visser
PID Gemeenschappelijk WebGis
Ed Visser
WebGis Den Haag populair
Projectteam WebGis
Programma van eisen WebGis
Internetbronnen:
www.google.nl www.wikipedia.nl www.roelgrit.nl http://www.projectmanagement-training.nl/boek/hoofdstuk1.html www.denhaag.nl http://intradsb.denhaag.nl/smartsite.dws?sp=1 http://demo.geostart.nl/ http://www.den-dopper.com/2008/11/11/usability-webrichtlijnen-voor-overheidswebsites/ http://www.slideshare.net/stefanc7/usability-testing-544597/ http://www.jjg.net www.frankwatching.com/archive/2010/11/01/communicatie-van-persona-naar-persoonlijk http://www.leidenuniv.nl/ics/sz/so/webexpert/websos.html www.bondbeterleefmilieu.be/downloads.../070403_tips_voor_enquetes.pdf http://flamingo.gbo-provincies.nl/Adviesrapport WebGis Den Haag
Feb. 2012
Testrapport WebGis
Gemeente Den Haag
Dienst Stedelijke Ontwikkeling
Sector Landmeten en Vastgoed
T.a.v. Gert-Jan van der Weijden
Maarten Wolff
Feb. 2012
Adviesrapport WebGis Den Haag
Feb. 2012
Inhoudsopgave
1. Inleiding 4
2. Het project en zijn terminologieën 5
2.1 Het project 5
2.2 Gebruikte terminologie 5
3. Uitslag usabilitytests 6
3.1 De testtaken 6
3.2 De testresultaten 7
3.2.1 Het opzoeken van een adres 7
3.2.2 Het aanpassen van de schaal 9
3.2.3 Het achterhalen van een postcode 11
3.2.4 Het opzoeken van verleende vergunningen 13
3.2.5 Het opvragen van welke werknemer een vergunning heeft verleend 14
3.2.6 Het openen van een panoramaweergave op een willekeurig adres 16
3.2.7 Het aanleggen van een buffer 17
3.2.8 Het opzoeken van een postcode 19
3.2.9 Het achterhalen van een vervuilingsgraad van een gebied 20
3.2.10 Het meten van een object/locatie 21
4. Een vergelijking tussen Geoweb 3.3 en Geoweb 4.0 22
4.1 De usability aspecten van Geoweb 3.3 22
4.1.1 Icoongebruik 22
4.1.2 Menustructuur 24
4.1.3 Functies 26
4.2 De usability aspecten van Geoweb 4.0 29
4.2.1 Icoongebruik 29
4.2.2 Menustructuur 32
4.2.3 Functies 36
4.3 Geoweb 3.3 naast Geoweb 4.0 38
4.3.1 Icoongebruik 38
4.3.2 Menustructuur 39
Adviesrapport WebGis Den Haag
Feb. 2012
5. Het oplossen van de knelpunten in Geoweb versies 3.3 en 4.0 41
5.1 De knelpunten binnen het WebGis 41
5.1.1 Het opvragen en het gebruik van de zoekfunctie 42
5.1.2 Het opvragen van een rapport 45
5.1.3 Het gebruik van een panoramaweergave 49
5.1.4 Het aanleggen van een buffer 50
5.1.5 Het meten van een object of locatie 53
5.2 conclusie op basis van het resultaat 55
6. De effectiviteit en efficiëntie binnen Geoweb versies 3.3 en 4.0 56
6.1 De effectiviteit 57
6.1.1 De effectiviteit binnen Geoweb 3.3 57
6.1.2 De effectiviteit binnen Geoweb 4.0 59
6.1.3 De effectiviteitverandering binnen beide Geoweb versies 60
6.2 De efficiëntie 61
6.2.1 De efficiëntie binnen Geoweb 3.3 61
6.2.2 De efficiëntie binnen Geoweb 4.0 62
6.2.3 De efficiëntieverandering binnen beide Geoweb versies 63
7. Conclusie 64
7.1 Conclusie voor de opdrachtgever 64
7.2 Conclusie voor Esri Nederland 64
Bijlage A: Testscenario’s WebGIS op Geoweb 3.3 65
Bijlage B: Testscenario’s op Geoweb 4.0 78
Bijlage C: Bevindingen Geoweb 4.0 84
Bijlage D: Latere bevindingen Geoweb 4.0 87
Adviesrapport WebGis Den Haag
Feb. 2012
1. Inleiding
Dit adviesrapport is opgebouwd uit verschillende onderdelen.
De onderdelen dienen het doel om zowel de gemeente Den Haag als softwareleverancier Esri Nederland een inzicht te geven in de volgende, exclusief op usability gerichte, kernpunten:
Welke knelpunten bevat WebGis Den Haag, draaiend op GeoWeb 3.3?
Wat zijn de essentiële verschillen tussen Geoweb 3.3 en 4.0 op het gebied van usability?
Lost Geoweb 4.0 de gevonden knelpunten op, of is dit met aanpassingen in Geoweb 3.3 al mogelijk?
Verbeteren de prestaties van het gebruik van het WebGis, lettend op effectiviteit en efficiëntie?
Welke conclusie is er te trekken uit de usabilitytests voor zowel de opdrachtgever als software engineer Esri?
De opbouw van dit plan is als volgt:
Als eerst zal er een beschrijving hoofdstuk worden opgemaakt, waarin zal worden aangegeven wat het hele project voor primair doel heeft gehad. Tevens zal hier een korte beschrijving worden gegeven over een aantal veel voorkomende terminologieën binnen dit rapport.
Hierna worden de onderzoeksuitslagen van de usabilitytests geanalyseerd en verwerkt. Hierbij zal naar voren komen welke onderdelen van het WebGis voor de (potentiële) gebruikers lastig of niet uit te voeren zijn. Hierbij zal ook de reden worden benoemd van deze knelpunten.
Vervolgens wordt bekeken wat de verschillen zijn tussen Geoweb 3.3 en Geoweb 4.0 op het gebied van usability. Op deze wijze zullen de oplossingen van knelpunten hier vanzelf uit voort vloeien. Hierbij zal een onderscheid worden gemaakt tussen de knelpunten die al op te lossen zijn door aanpassingen in Geoweb 3,3 en de knelpunten die enkel met Geoweb 4.0 kunnen worden opgelost.
Ook zal worden bekeken of de prestaties van het WebGis zullen verbeteren met de invoering van het nieuwe Geoweb. Dit zal worden gemeten op zowel efficiëntie- als effectiviteitvlak.
Uiteindelijk zal er worden weergegeven welke conclusies er uit de uitgevoerde usabilitytests kunnen worden getrokken. Hierbij zal voor zowel de gemeente Den Haag als Esri Nederland worden besproken wat deze uitslagen voor (positief) effect kunnen hebben.
Dit plan is geschreven voor personen die enkele kennis van Geoweb of vergelijkbare Gis-viewers hebben, aangezien de gebruikte terminologieën en de beschreven technieken enige voorkennis behoeven.
Adviesrapport WebGis Den Haag
Feb. 2012
2. Het project en zijn terminologieën
Onderstaand hoofdstuk geeft, voorafgaand aan de testresultaten en de versievergelijkingen van Geoweb 3.3 en 4.0, nogmaals een inzicht in hoe het traject is opgebouwd en wat het uiteindelijke resultaat zal zijn na het voltooien van het afstudeertraject. Ook zal er een terminologieënlijst verschijnen over veel gebruikte termen binnen het project en daarbij behorend dit adviesrapport.
2.1 Het project
Gedurende mijn 17 weken durend afstudeertraject, begonnen op 15 november 2011 en lopend tot 19 maart 2012, is er gefaseerd toegewerkt naar het resultaat dat dit adviesrapport u zult bieden.
Voorafgaand aan het project is gebleken dat de werking van het huidige WebGis Den Haag, draaiend op GeoWeb 3.3 met ArcGis server 10 als ondersteuning, verbeterd kan worden op gebruiksvriendelijkheid en gebruiksgemak. Zo is de gebruiksvriendelijkheid een aspect waar weinig aandacht aan is besteed. Mijn project is hieruit voort komen vloeien. De basis van mijn afstudeertraject is namelijk primair gericht op de usability. Zo zou ik gaan bekijken welke knelpunten het huidige WebGis heeft, wat de verschillen zijn tussen Geoweb 3.3 en GeoWeb 4.0 op het gebied van usability en adviseren over mogelijke verbeterpunten aan de komende versie(s) van het Geoweb voor Esri Nederland. Hiernaast heb ik voor de gemeente Den Haag bekeken of Geoweb 4.0 de knelpunten weg zou nemen of dat een aantal systematische aanpassingen in het Webgis onder Geoweb 3.3 het gebruiksgemak ook zou vereenvoudigen.
Om tot deze bevindingen te komen, heb ik gebruik gemaakt van usabilitytests onder vooraf geselecteerde testpersonen. Deze testpersonen hebben een aantal testtaken doorlopen waarmee zij kennis hebben kunnen maken met het WebGis. Uit deze resultaten zijn de knelpunten getrokken. Dit is in hoofdstuk 3 in te lezen. Deze testgegevens met bijbehorende enquêtes zijn de basis geweest voor de invulling van dit adviesrapport.
Hiernaar zal begrijpelijkerwijs in dit rapport dus meermaals worden verwezen.
2.2 Gebruikte terminologie
Hieronder zullen een aantal terminologieën worden gesommeerd welke belangrijk zijn voor het begrijpelijk kunnen doornemen van dit adviesrapport.
Efficiëntie: Het aantal seconden dat een testtaak in beslag neemt Effectiviteit: het aantal handelingen dat een testtaak in beslag neemt
Metafoor: Een koppeling van de afbeelding in het icoon met de werkelijkheid (voorbeeld: instellingen heeft
een stuk gereedschap om aan te geven dat men hiermee dingen kan aanpassen/bijschroeven)
Mouse-over: De toelichtende tekst die verschijnt bij een symbool als men hier met de muis overheen gaat Testscenario’s: Een vooraf doorlopen pad wat men een gebruiker verwacht te nemen bij uitvoering van een
Adviesrapport WebGis Den Haag
Feb. 2012
3. Uitslag usabilitytests
Onderstaand hoofdstuk geeft een zowel tekstueel als illustratief inzicht van de uitslagen van de gevoerde usabilitytests. In eerste instantie staan de uitgevoerde testtaken beschreven, waarna er met behulp van grafieken met bijbehorende tekstuele toelichting per testtaak beschreven zal staan waar de knelpunten hebben gezeten voor de testpersonen (10 stuks). Hiermee is een inzicht te krijgen welke taak/taken er voor problemen hebben gezorgd en welke taken eenvoudig en dus goed uitvoerbaar zijn qua usability.
3.1 De testtaken
Onderstaande testtaken zijn de taken die aan de geselecteerde testpersonen zijn voorgelegd. Reden waarom voor deze taken is gekozen, is de diversiteit in uit te voeren opdrachten waarmee men een duidelijk inzicht heeft kunnen vergaren van de functionaliteiten van het WebGis en men menu’s en terminologie heeft moeten doorspitten om de taken uit te voeren. Op deze wijze is de usability indirect voorgelegd aan de testpersonen, waarna zij ondervraagd zijn over deze aspecten. Zo zijn dus zowel de functionaliteit als een aantal primaire usability aspecten doorlopen in een enkele test.
De testtaken zijn de volgende geweest:
Ga naar http://kaarten.denhaag.nl en open de kaart Den Haag in detail Voer de volgende testtaken uit.
1. Zoek het adres “Elandstraat 15” 2. Zoom in tot schaal 1:500 op het adres 3. Achterhaal de postcode van “Elandstraat 15”
4. Zoek uit of er in de nabije omgeving vergunningen zijn verleend.
5. Zoek uit welke medewerker de vergunning heeft verleend in postcodegebied 2518 CJ 6. Open de panoramaweergave van de “Elandstraat 15”
7. Zoek, door middel van het aanleggen van een buffer, uit hoeveel postcodegebieden (4-positie postcodegebied) er in een straal van 200 meter om de Elandstraat 15 liggen.
Ga terug naar http://kaarten.denhaag.nl
Open nu de viewer “Objecten Beheer Buitenruimte” 8. Zoek naar postcode 2513 GL.
9. Zoek uit wat de vervuilingsgraad is in de veegwijk waarin deze postcode valt. 10. Meet de breedte van huisnummer 23 in postcodegebied 2513 GL
Adviesrapport WebGis Den Haag
Feb. 2012
3.2 De testresultaten
Onderstaande subhoofdstukken geven per uitgevoerde testtaak aan hoeveel secondes en muisclicks/handeling een testpersoon nodig heeft gehad om de taak succesvol uit te voeren. Indien de balk in de grafieken 0 aangeeft is de taak niet volbracht door de testpersoon. Reden waarom er is gekeken op aantal handelingen en aantal secondes, is het onderzoeken van de verbetering op efficiëntie en effectiviteitvlak. Een later hoofdstuk geeft hiervan een dieper inzicht met tekstuele uitleg en diepere onderzoeksuitslagen van zowel Geoweb 3.3 als Geoweb 4.0.
3.2.1 Het opzoeken van een adres
Zoals bovenstaande grafiek aangeeft, is het aantal muisklikken dat men gebruikt enigszins afwijkend. De belangrijkste reden die hiervan te geven is, is dat de zoekfunctie de enige menufunctie is gebleken die geen Mouse-over1 heeft. Hiervoor is het voor de minder ervaren computergebruiker lastig geweest om de zoekfunctie op te kunnen vragen. De testpersonen met meer computerervaring hebben door de logische plaatsing van de zoekfunctie rechts in het menu de functie wel relatief eenvoudig naar voren komen krijgen. Ook de metafoor2 van de zoekfunctie was voor de meeste testpersonen vrijwel niet te herkennen. Hierdoor mist de menufunctie zijn primaire doel, het op eerste oogopslag duidelijk zijn van zijn betekenis.
1
De tekst die verschijnt bij een symbool als men hier met de muis overheen gaat
2
Een koppeling van de afbeelding in het icoon met de werkelijkheid 0 2 4 6 8 10 12 5 10 6 10 11 8 10 9 7 4
Opzoeken van een adres
Adviesrapport WebGis Den Haag
Feb. 2012
Waar in het aantal muisklikken een verschil is te zien in de completering van de testtaak, zo is tevens het aantal seconden dat men heeft gebruikt om de testtaak te voltooien sterk fluctuerend. Ook hier komt de
computerervaring duidelijk kijken. Er is in te zien dat het aantal handelingen een sterke correlatie vertoond met het aantal seconden dat een testtaak in beslag heeft genomen. Wanneer er zal worden bekeken of de
effectiviteit en efficiëntie per onderdeel positief of negatief verandert in de nieuwe versie van Geoweb, zal er een gemiddelde tijd en aantal muisklikken worden gegeven die de testpersonen per taak hebben gebruikt. Hierbij zullen de minimale en maximale meting worden weggestreept, om uitschieters geen negatief of positief beeld te doen geven van de werkelijkheid.
0 20 40 60 80 100 65 95 45 100 80 70 70 60 45 30
Opzoeken van een adres
Adviesrapport WebGis Den Haag
Feb. 2012
3.2.2 Het aanpassen van de schaal
De testtaak voor het aanpassen van de schaal is een taak die voor vrijwel alle testpersonen eenvoudig uit te voeren is gebleken. Reden hiervoor is geweest dat de schaalbalk duidelijk staat opgesteld onderin het scherm. Hierdoor heeft er vrijwel niet gezocht te worden en is het aanpassen van een getal in deze schaalbalk zeer eenvoudig te voltooien. Aangezien er hier geen enkel knelpunt kan worden bevonden, is deze taak positief beoordeeld en dus een positief punt voor de effectiviteit. Reden hier is ook geweest dat de schaal op vier manieren aan te passen is. Dit is namelijk mogelijk met het scrollen van de muis, het aanpassen van het getal in de schaalbalk, het plus en min icoon bij de schaalbalk zelf of in het hoofd navigatiemenu of het gebruiken van de laatste optie in onderstaande afbeeldingen.
Vrijwel iedere testpersoon heeft gebruik gemaakt van het invullen van het getal tot de gewenste grootte, waarbij een enkeling met het inzoom en uitzoom icoon de gewenste grootte heeft weten te realiseren.
0 0,5 1 1,5 2 2,5 3 2 2 2 2 2 2 3 1 3 3
Aanpassen van de schaal
Adviesrapport WebGis Den Haag
Feb. 2012
Naast de weinige handeling is ook de tijd die men heeft besteed aan het completeren van de testtaak vrij kort en minder sterk fluctuerend dan de voorgaande testtaak. Ook hier is te merken dat de efficiëntie op dit punt vrij sterk is.
0 20 40 15 25 10 15 20 15 15 30 20 25
Aanpassen van de schaal
Adviesrapport WebGis Den Haag
Feb. 2012
3.2.3 Het achterhalen van een postcode
Het achterhalen van een postcode is op meerdere manieren te doen in het WebGis Den Haag. De meest eenvoudige manier behoeft een enkele muisklik. Waar in de eerste testtaak een adres is opgezocht, zijn de gegevens van dit adrespunt nog actief. Bij een mouse-over op dit adrespunt verschijnt direct de informatie over dit adres op het scherm. Zo is de postcode dus direct zichtbaar voor de gebruiker. Hieronder is in te zien hoe dit op het scherm staat weergegeven.
Een enkele testpersoon heeft via de zoekfunctie geprobeerd dit te achterhalen, wat niet mogelijk is. Een andere manier om de postcode en overige gegevens over een adres op te vragen is via een rapport over het adres. Dit kan in het resultatenvenster links onder in de hoek. Geen enkele testpersoon heeft hier echter gebruik van gemaakt, waardoor ik hier voor de rest geen verdere aandacht aan deze intensievere manier zal besteden. De testscenario’s in de bijlage geven hier echter wel een inzicht in.
Zoals bij meerdere opties in het programma, is informatie, zoals zojuist beschreven, op verschillende manieren op te vragen door een gebruiker. Nadeel hieraan is dat niet iedereen op dezelfde wijze aan zijn informatie zal komen, waardoor het analyseren van testen soms kan afwijken van vooraf geplande testscenario’s3. Hierbij moet gedacht worden aan afwijkende testtijden en muisklikken bij verschillende uitvoeringen van de testtaken binnen de testpersonen.
3
Een vooraf doorlopen pad wat men van een gebruiker verwacht bij uitvoering van een taak 0 1 2 3 4 5 6 7 7 1 3 6 1 1 1 4 4 3
Achterhalen van een postcode
Adviesrapport WebGis Den Haag
Feb. 2012
Waar bij het aantal handelingen een verschil was gebleken in hoe snel men de taak kon volbrengen, is dit ook terug te zien in het aantal besteedde seconden. De mensen die de eenvoudigste manier hadden ontdekt, namelijk een Mouse-over op een het adrespunt, hebben hier ook begrijpelijkerwijs weinig tijd aan verloren. Testpersoon 4 heeft daarentegen meer handelingen verricht dan testpersoon 3 en 8, maar heeft minder tijd gebruikt om de taak uit te voeren dan testpersoon 8 en evenveel tijd als testpersoon 3. Hierdoor is het niet altijd tijdrovender om meer handelingen uit te voeren om een taak te voltooien, maar is ook de
handelingssnelheid van belang bij de uitvoering van de taken. 0 20 40 60 55 10 30 30 10 10 20 45 20 15
Achterhalen van een postcode
Adviesrapport WebGis Den Haag
Feb. 2012
3.2.4 Het opzoeken van verleende vergunningen
Het opzoeken of er vergunningen zijn verleend in een vooraf opgegeven gebied is ook een testtaak die vrij eenvoudig is gebleken. Om dit te achterhalen was een enkele klik op vergunningen in de kaartlagenlijst links in het scherm voldoende. Echter had niet elke testpersoon in de gaten dat dit zo uit te voeren was, waardoor zij in