Het ontwikkelde materiaal is in het eerste vooronderzoek getoetst op bruikbaarheid. Hierbij lag de focus vooral op de mate waarin leerlingen het ontwikkelde materiaal gebruikten. In de latere vooronderzoeken is de inhoudelijke bruikbaarheid steeds verder verfijnd.
Bij de bruikbaarheid van een programma kan naar verschillende aspecten van de applicatie gekeken worden (o.a. Abran, Khelifi, Suryn, & Seffah, 2003; Bevan, 2001). Dit komt onder andere tot uiting in definities van organisaties die beogen standaardisatie te realiseren, zoals ISO en IEEE (zie figuur 2.13).
“The capability of the software product to be understood, learned, used and attractive to the user, when used under specified conditions.” (ISO/IEC 9126-1, 2000)
“The extent to which a product can be used by specified users to achieve specified
goals with effectiveness, efficiency and satisfaction in a specified context of use.” (ISO 9241- 11, 1998)
“The ease with which a user can learn to operate, prepare inputs for, and interpret outputs of a system or component.” (IEEE Std. 610.12-1990)
Figuur 2.13 Definities van bruikbaarheid (Abran et al., 2003, p. 326)
Facetten als begrijpelijkheid, leerbaarheid, opereerbaarheid, aantrekkelijkheid en gebruiksflexibiliteit zoals genoemd in deze definities zijn echter globaal en niet direct meetbaar. Vandaar dat ze zijn vertaald naar meetbare grootheden. Een voorbeeld van zo’n vertaling is het model van Nielsen (1994) (zie figuur 2.14).
Nielsen (1994) stelt voor zaken te meten, zoals de hoeveelheid tijd, het percentage fouten en de hoeveelheid volbrachte taken. Gebruikelijk is om bij een eerste onderzoek naar de bruikbaarheid vooral de technische kanten van het programma door te lichten. Ook in dit vooronderzoek hebben wij de technische bruikbaarheid onderzocht.
Daarnaast hebben we gekeken naar de inhoudelijke bruikbaarheid. Aspecten als ‘het gemak waarmee de gebruiker de uitkomsten van het systeem kan interpreteren’ hangen niet alleen af van hoe het technisch is weergegeven in het interactieve gedeelte, maar bijvoorbeeld ook van de verwachtingen en/of domeinkennis van de leerling. De vertaling van Nielsen (1994) is in dat opzicht een eenzijdige uitwerking richting technische bruikbaarheid. Voor de inhoudelijke bruikbaarheid hebben we daarom andere meeteenheden.
De inhoudelijke bruikbaarheid heeft betrekking op de doelen zoals in deel 1, hoofdstuk 3 gedefinieerd. De centrale vraag is: heeft het materiaal de potentie om bruikbaar ingezet te worden om die doelen te realiseren?
Het eerste vooronderzoek
85
Figuur 2.14 Model van bruikbaarheid van Nielsen (1994)
De inhoudelijke bruikbaarheid zullen we steeds verder verfijnen in de loop van de verschillende deelonderzoeken. De vraag wordt dan ook steeds meer of leerlingen laten zien met wiskundige begrippen en activiteiten bezig te zijn. In tabel 2.6 staan de vragen uit de vooronderzoeken gegeven.
Tabel 2.6 Bruikbaarheid in de verschillende deelonderzoeken
onderzoek aspect van bruikbaarheid
Vooronderzoek 1 (a) Worden de verschillende onderdelen gebruikt? (b) Hoe worden de verschillende onderdelen gebruikt?
Vooronderzoek 2 In hoeverre komen de verschillende wiskundige begrippen en activiteiten aan de orde? Waardoor komen de wiskundige begrippen en activiteiten onvoldoende aan de orde?
Vooronderzoek 3 In hoeverre is het materiaal bruikbaar in een reële klassensituatie? Grootschalig onderzoek In hoeverre is het materiaal bruikbaar bij afwezigheid van de
ontwikkelaars en met adviezen voor de inbedding?
Een eerste vereiste is dat leerlingen met het materiaal aan de slag gaan. We meten daarom een aantal aspecten die te maken hebben met het gebruik van opdrachten en het interactieve gedeelte. In het eerste vooronderzoek zijn de twee centrale vragen dan ook:
(1) worden de verschillende onderdelen gebruikt en (2) hoe worden de verschillende onderdelen gebruikt?
Wat bedoelen we precies met de vraag ‘worden de verschillende onderdelen gebruikt’? We richten ons op aspecten zoals de mate waarin leerlingen met de opdrachten aan de slag gaan, of ze het interactieve gedeelte gebruiken en of leerlingen zich (daarbij) meer afvragen dan hetgeen in de opdracht aan de orde komt (zie figuur 2.15). Een leerling kan verder gaan dan de opdracht gaat, door zelf dingen uit te zoeken. Leerlingen kunnen naar aanleiding van het materiaal eigen vragen hebben en proberen die met
86
behulp van het interactieve gedeelte te beantwoorden. Het materiaal geeft dan aanleiding tot het stellen van vragen.
Figuur 2.15 Inhoudelijke bruikbaarheid bekeken in het eerste
vooronderzoek
Wat bedoelen we precies wanneer we het gaat om het ‘hoe van het gebruik’? We richten ons op de manier waarop leerlingen met de applicaties omgaan en tegen welke problemen zij daarbij oplopen. Eén aandachtspunt van de omgang met het programma is de omgang met het interactieve gedeelte. De gedachte was dat leerlingen vooral veelvuldig van het interactieve gedeelte gebruik zouden moeten maken, zoals vereist in het testen van hypothesen. De mate waarin het interactieve gedeelte wordt gebruikt, is mogelijk mede afhankelijk van de inhoud van de opdracht. We richten ons daarom op de vraag hoeveel variabelen bij een opdracht gemanipuleerd worden en of de leerlingen in hun antwoord verwijzen naar het interactieve gedeelte (zie figuur 2.16).
gebruiken leerlingen het materiaal? beantwoorden leerlingen de opdracht? maken leerlingen de opdracht?
is het antwoord compleet en/of juist?
gebruiken leerlingen het interactieve gedeelte?
stellen leerlingen hardop andere vragen dan die in een opdracht staan?
Het eerste vooronderzoek
87
hoe vaak en wanneer gebruiken leerlingen het interactieve gedeelte?
bij welke opdracht geeft de leerling antwoord na op zijn minst twee verschillende
invoerparameters te hebben veranderd? bij welke opdracht geeft de leerling antwoord zonder één van de invoermogelijkheden in het interactieve gedeelte te hebben veranderd?
gebruikt de leerling het interactieve gedeelte wanneer de opdracht gemaakt kan worden zonder het interactieve gedeelte te gebruiken?
verwijzen leerlingen in hun ingetikte antwoord naar het interactieve gedeelte?
Figuur 2.16 Vragen over interactieve gedeelte programma het eerste vooronderzoek
Een speciaal aandachtspunt is de verwerking van de inleidende teksten. Het is de bedoeling dat de leerlingen deze teksten lezen, het interactieve gedeelte exploreren en verbindingen leggen met hun voorkennis. Vanaf nu noemen we die activiteiten oriënteren. Dit oriënteren krijgt in de loop van het onderzoek een steeds sterker accent.
Het bruikbaarheidonderzoek richt zich met name op het exploratieve gedrag van de leerlingen. We richten ons op het aantal verschillende situaties die leerlingen uitproberen bij het maken van een inleidende tekst.
Figuur 2.17 Vragen over de oriëntatie in het eerste vooronderzoek
Een derde aandachtspunt in het eerste vooronderzoek betrof de navigatie (zie figuur 2.18). Er zijn twee hoofdaspecten van navigatie. Het ene punt heeft betrekking op het kiezen van opdrachten uit de lijst en het tweede punt heeft betrekking op het kiezen van een tabblad.
oriënteren leerlingen zich?
hoeveel verschillende situaties probeert een leerling uit bij het maken van een oriëntatie opdracht?
bekijkt de leerling eerst de verschillende tabbladen voordat hij begint?
88
Figuur 2.18 Vragen over de navigatie in het eerste vooronderzoek