het High Fidelity Prototype heeft een goede basis neergelegd voor het testen met personen uit de gebruikersdoelgroep. De Surface Plane heeft ervoor gezorgd dat alle functionele en niet-functionele eisen een passende look-and-feel hebben gekregen. De laatste vraag die binnen de evaluatiefase gesteld kan worden is of het High Fidelity prototype voldoet aan de verwachtingen van de gebruikersdoelgroep. De nadruk ligt op de look-and-feel van het product: past dit binnen de ervaring en mogelijkheden van de gebruikersdoelgroep? Zijn de opties en functionaliteiten overzichtelijk en makkelijk te vinden, daarnaast logisch opgebouwd? Zijn de teksten binnen het fotojaarboek systeem prettig leesbaar en begrijpelijk? Kortom: is er een juiste interactie binnen het ontwerp toegepast? Deze fase evalueert de manier waarop het testen met gebruikers is opgezet, welke doelstellingen ik uit deze test wilde halen en hoe deze resultaten verwerkt zijn in het ontwerp. Hieronder ziet u het proces dat gedurende het testen met gebruikers gehanteerd wordt.
10.1 Opzet testen met gebruikers
De evaluatiefase omvat het evalueren van een proces of product. Dit project bevat een systeem dat geëvalueerd moet worden aan de hand van de gestelde eisen door de gebruikersgroep. Voordat deze evaluatie plaats heeft gevonden is er eerst gekeken welke uitwerkingen de evaluatie moet bevatten. De uitwerking hiervan omvatte de volgende vraagstelling na te gaan of de vormgeving en opties binnen het huidige High Fidelity Prototype aansluit bij het verwachtingspatroon, de functionele en niet-functionele eisen die de docenten aangegeven hebben.
Er zijn verschillende methodes beschikbaar om antwoord te krijgen op de hierboven gestelde vraag. De methodes die hiervoor beschikbaar zijn bijvoorbeeld: een acceptatie- validatie- of Usability tests. Alle drie de methodes hebben één ding gemeen: het testen van het prototype zal aan de hand van het User-Centered Design principe plaatsvinden. Dit betekend dat het eindproduct, door middel van personen uit de doelgroep, mee getest zal moeten worden. Maar welke testmethode kan hiervoor het beste gebruikt worden?
Afbeelding 10.1: Schematische weergave van de evaluatiefase: het testen met gebruikers.
94
In het ontwerprapport werden de User Needs uiteengezet aan de hand van de 10 meest gebruikte Usability heuristieken, beschreven door Jakob Nielsen. Deze User Needs zijn vervolgens verdeeld in functionele en niet-functionele eisen. De Usability aspecten die binnen deze Usability test gebruikt worden om mee te testen zijn gebaseerd op Whitney Quensenbery’s en Jakob Nielsen onderzoek - 5E-S for understanding users. Deze 5 Usability aspecten staan in relatie tot de 10 Usability Heuristics van Jakob Nielsen. Voor de opzet van deze test is er gekozen voor een Usability test. De 5E-S zouden niet door middel van een validatie- of acceptatietest getoetst kunnen worden, een Usability test sluit beter aan bij de al eerder beschreven Usability heuristieken. De onderstaande tabel geeft weer wat de 5E-S betekenen.
Na het uitwerken van de onderzoeksmethode heb ik bepaald welke testopstelling en benodigde middelen er nodig zijn om de Usability test uit te voeren. Het testen met de respondenten zal mogelijkerwijs op verschillende locaties afgenomen kunnen worden, vandaar dat ik er voor gekozen heb de testopstelling mobiel te maken. De test maakt gebruik van een laptop waarop online zowel als offline software gedraaid kan worden. De laptop beschikt verder over een camera en softwareprogramma Morea. Het analyseren van deze gegevens zijn niet van primair belang bij de Usability test, maar kan achteraf ter referentie voor het meten van emoties alsnog herroepen worden. Het testen van het High Fidelity Prototype zal middels het programma InVisionApp plaatsvinden. InVisionApp is een Web, Mobile Mockup en UI Prototyping Tool. Alle gemaakte Hi-Fi Mock-ups worden binnen dit programma aan elkaar gelinkt, hierdoor lijkt het alsof het fotojaarboek systeem interactief is. Op basis van de meetvragen en de testtaken heb ik het High Fidelity prototype binnen InVisionApp gerealiseerd. Hieronder ziet u een schema van de testopstelling die gebruikt is tijdens het testen.
Respondent (Testpersoon)
Coach Software
Afbeelding 10.2: Hierboven de lijst met 5E-S die opgesteld zijn door Jakob Nielsen. Voor het testen zullen 3 van de 5E-S gebruikt worden om de onderzoeksvraag te beantwoorden.
Afbeelding 10.3: Links de testopstelling die gebruikt is tijdens het testen met personen uit de gebruikersdoelgroep. Door de mobiliteit hiervan is het testen op elke gewenste locatie mogelijk geweest.
95
De Usability test is slechts één onderdeel van de gehele testprocedure. Het afnemen van een Usability volstaat niet genoeg om de bruikbaarheid en de validatie van het prototype te waarborgen. Het afnemen van Usability test ansicht zou immers gelijk staan aan een acceptatie- of validatietest. De Usability test meet de effectiviteit en efficiëntie van het systeem, het zegt inhoudelijks niets over de Engaging ervan. De resultaten uit de Usability test worden aan de hand van een aantal enquêtevragen gecontroleerd. De vragen die in de enquête beschreven zijn sluiten aan bij de deel- en meetvragen. Tot slot worden de antwoorden van de enquête in een persoonlijk interview getoetst, gevraagd waar de problemen liggen, te achterhalen wat de gebruikersgroep van het prototype vindt en of alle functionaliteiten erin zitten. Binnen de gehele test vindt twee keer een controle plaats. Deze drie onderdelen zorgen ervoor dat de onderzoeksvraag zo goed mogelijk beantwoord kan worden. Hieronder ziet u een overzicht van een testsessie.
10.2 Testen met gebruikers
Nadat de opzet binnen het testplan beschreven is ben ik uitnodigingen gaan maken om deze naar de testpersonen te sturen. Deze uitnodigingen heb ik via de e-mail naar twaalf testpersonen verzonden. De gedachte hierachter is dat het digitaal verzenden van de uitnodigingen een snellere respons teweeg zou brengen. Alle twaalf testpersonen hebben gereageerd op de uitnodiging, slechts twee testpersonen zijn niet in de gelegenheid geweest om deel te kunnen nemen aan de test. Ondanks het feit dat twee testpersonen niet aan de test konden deelnemen, blijft de minimale eis van het testen met vijf testpersonen behouden.
Het verzamelen van de reacties en het inplannen van de tijd betrof een secuur werkje, sommige testpersonen wilde graag op eenzelfde dag en tijdstip als andere testpersonen en meestal in het weekend. De meeste testsessies heb ik op vrijdag, zaterdag en zondag gehouden. De mogelijkheid voor docenten om doordeweeks te testen valt niet in goede aarde, dit heeft waarschijnlijk te maken gehad met de tijd. In de uitnodiging stond beschreven dat de test 60 tot 70 minuten zou duren, de meeste reacties van de testpersonen omvatte de stelling dat dit aan de lange kant was men wilde graag duidelijker weten wat de test omvatte.
De locatie van het testen is deels bij mij thuis en bij de testpersonen thuis tot stand gekomen. Gedurende de het testen merkte ik bij een deel van de testpersonen op dat het testen bij de testpersonen thuis een stuk informeler en ontspannender op mij overkwam. De tijd die nodig was om te testen heeft langer geduurd dan oorspronkelijk aangegeven was. Dit had te maken met het feit dat een aantal testpersonen tijdens de Usability test een aantal testtaken niet afgerond heeft, waardoor de tijd tijdens de Usability test uitliep. De uitloop van de tijd was ook kenbaar tijdens het interviewen van de testpersonen. Dit liep vanaf mijn kant deels ook uit, omdat het doorvragen op de antwoorden die gegeven werden meer tijd heeft gekost om te evalueren.
Afbeelding 10.4: Tabel waarin de taken van de coach, de procedure en de tijdsindicatie beschreven is. Het testen zal tussen de 60 en 70 minuten duren.
96
Zoals eerder beschreven bestaat de test uit drie verschillende onderdelen, namelijk een Usability test, invullen van de enquête formulieren en het afnemen van de interviews. Het afnemen van de Usability test heeft op een paar niet voltooide testtaken verder niet tot constructieve problemen geleid. De testpersonen gaven bij sommige testtaken aan vragen te hebben hoe iets moest en waarom sommige onderdelen niet bekeken konden worden. Het invullen van de enquête formulieren verliep naar wens en was sneller ingevuld dan ingepland. De formulieren riepen echter vragen op zoals wat ik met sommige vragen bedoelde. Achteraf gezien had ik dit wat duidelijker op papier moeten zetten. Ondanks de stelling meten is weten, hebben de interviews de meest waardevolle informatie over de validatie van de eisen kenbaar gemaakt. Daaruit is gebleken dat over het algemeen je niet louter van de gegevens uit de Usability test uit kan gaan. De vraag waarom iets niet lukt en of daar mogelijke suggesties bij zijn, zijn waardevol geweest voor een juiste uitwerking voor het verwerken van de testresultaten.
10.3 Verwerken van de testresultaten
Meten is weten. De resultaten (tijd en muisklikken) van alle testtaken uit de Usability test heb ik opgeteld en het gemiddelde berekend. De maximale tijd die voor een testtaak benodigd was en die niet voltooid zijn heb ik meegenomen in de berekening van de test. De standaard procedure is dat de personen die de test niet hebben voltooid niet worden meegenomen in de berekening van het gemiddelde. In mijn optiek is dit een misvatting van de resultaten, dit zou betekenen dat de gemiddelde tijd voor een niet-voltooide taak lager is dan in werkelijkheid. Terwijl het voor mij eerder als indicatie geldt dat een bepaalde taak als onduidelijk wordt bestempeld. Door mijn objectiviteit heb ik geen commercieel en financieel belang bij de uitkomst van zo gunstig mogelijke resultaten. De uitkomsten van de testtaken in de Usability test geven weer welke gebieden de meeste Usability problemen opleveren.
Vervolgens zijn de resultaten van de enquête formulieren opgeteld en door het aantal testpersonen met elkaar gedeeld. Hieruit bleek dat de vragen die negatief op het enquête formulier beantwoord zijn, aansluit bij de problemen die tijdens de Usability test gevonden waren. De resultaten uit de enquête formulieren geven weer dat de 3E-S het High Fidelity Prototype een ruime voldoende krijgt.
Ter controle op de Usability test en enquête formulieren is aan de respondenten een aantal vragen gesteld. De resultaten uit de interviews heb ik als positieve en negatieve punten samengevoegd in een tabel. Op deze manier is het overzicht van de knelpunten makkelijker te verwerken in het nieuwe prototype. De belangrijkste lering en conclusies die hieruit getrokken werden is dat de testpersonen aangegeven hebben dat de formaten en vormen op de website en bij de lay- outs duidelijker weergeven moeten worden. Daarnaast is het de wens om op meerdere plekken aan te geven welke sponsoren er meedoen, wat de gesponsorde prijs is en docenten de keuze te geven om voor het aanmaken van een account of fotojaarboek, sponsoren te selecteren. De testresultaten laten zien dat het grootste probleem aanwezig is bij het inloggen. Voor een juiste uitwerking van de toegankelijkheid en gebruikersvriendelijkheid is het gewenst om het inlog en aanmeld systeem anders te vormgeven en interactie toe te passen. Hieronder ziet u één van deze wijzingen, waar als eerste het originele inlog systeem en daaronder het nieuwe inlog systeem getoond wordt.