Er heeft dataverzameling plaatsgevonden na het afronden van de eerste en na het afronden van de tweede versie van de lessenserie. De feedback is afgenomen met het in paragraaf 4.3.1 besproken onderzoeksinstrument. Er is geprobeerd vooral de mening van de expert te vangen en niet te vragen naar feiten.
4.3.1 Onderzoeksinstrument
Om te beoordelen of de ontworpen lessenserie voldoet aan de ontwerpeisen en een alternatief kan vormen voor Getal en Ruimte, worden experts gevraagd feedback te geven op de lessenserie. Aan de hand van de op pagina 185-187 in (van der Donk & van Lanen, 2020) gegeven tips is een onderzoeksinstrument gemaakt, zie tabel 4.1.
Het onderzoeksinstrument is niet ontwikkeld met als doel een perfect onderzoeksinstrument te verkrijgen.
Dit zou te veel tijd kosten en valt buiten de doelen van dit onderzoek. Het doel is om de respondenten op weg te helpen en om enigszins geordende feedback terug te krijgen. Het onderzoeksinstrument zit als volgt in elkaar:
• Doel: beantwoorden van de onderzoeksvraag.
• Kernbegrip: Het doel is opgedeeld in kernbegrippen. De kernbegrippen zijn gekoppeld aan de deelvragen in paragraaf 1.3. Een extra kernbegrip is toegevoegd om de lessenserie te kunnen vergelijken met de huidige aanpak in Getal en Ruimte.
• Deelaspect: De kernbegrippen zijn opgedeeld in deelaspecten. In hoofdstuk 6 zal per deelaspect de verkregen feedback besproken worden.
• Stelling: Per deelaspect zijn één of meerdere vragen bedacht. Er is gekozen voor open vragen in plaats van stellingen zoals in van der Donk en van Lanen (2020), om iets uitgebreidere antwoorden te krijgen.
Alleen de vragen in deze kolom worden met de respondenten gedeeld.
Na het doorlopen van de eerste feedbackronde is het onderzoeksinstrument uitgebreid met de vragen in tabel 4.2 omdat meer feedback over de koppeling met de literatuur gewenst was.
Naast de vragen zijn de volgende richtlijnen meegestuurd aan de respondenten:
• De feedback wordt het liefst schriftelijk ontvangen. Dit om de feedback zo neutraal mogelijk te houden en het eerlijk te kunnen verwerken.
• De interesse van de onderzoeker ligt vooral op de gebieden waar de expert kennis van/ervaring mee heeft. Vragen die een expert niet goed kan beantwoorden kunnen open gelaten worden.
Tabel 4.1: Onderzoeksinstrument.
Tabel 4.2: Toevoegingen aan onderzoeksinstrument na de eerste feedback ronde.
Hoofdstuk 5
Resultaten
5.1 Toetsanalyse lessen Getal en Ruimte
Zoals in de aanleiding besproken, hebben ervaringen tijdens het doceren van de paragrafen 11.6 en 11.7 uit de 11eeditie van Getal en Ruimte VWO A deel 3 de aanleiding gevormd voor dit onderzoek. Het is daarom interessant om te analyseren welke vaardigheden leerlingen hebben geleerd tijdens deze paragrafen en welke vaardigheden leerlingen nog niet (goed) beheersen. Omdat de afsluitende toets afgelopen jaar volledig digitaal gemaakt is, waren de resultaten nog beschikbaar voor dit onderzoek. Per toetsvraag is geanalyseerd wat goed ging en wat leerlingen nog niet goed kunnen. Deze informatie is gebruikt om een idee te krijgen waar tijd aan besteed moet worden in de te ontwikkelen lessenserie. Daarnaast is de informatie gebruikt om te bepalen of de ervaringen van de onderzoeker ook echt overeen komen met de praktijk.
In bijlage A is een uitgebreide analyse van de toetsresultaten te vinden. Hieronder enkele uitkomsten:
• De eerste vraag, waar een veel geoefende procedurele vaardigheid werd getoetst (het maken van een draaitabel) werd door bijna alle leerlingen goed gemaakt.
• In vraag twee werd een extra procedurele vaardigheid toegevoegd (het ’hercoderen’ van een dataset voordat de draaitabel wordt gemaakt). Bij deze vraag liepen al veel meer leerlingen vast.
• Bij de derde vraag wordt gevraagd om de odds-ratio te berekenen. Ook dit kan als procedurele vaardigheid worden gezien. Leerlingen halen of bijna alle punten, of bijna geen punten.
• In de vierde opdracht wordt gevraagd om de tevredenheid van een groep jongeren te kwantificeren. Dit kan met behulp van het maximale verschil in cumulatief percentage, maar dat moeten leerlingen zelf bedenken. Ook hier is weer duidelijk onderscheid te zien tussen leerlingen die geoefend hebben (weten waar ze het over hebben) en leerlingen die dat niet (genoeg) gedaan hebben.
• Bij vraag vijf moeten leerlingen zelf onderzoeken of er een verband is tussen twee variabelen. De conclusie moeten ze ondersteunen met een in hun ogen geschikt diagram. Verder mogen de leerlingen zelf bepalen hoe ze te werk gaan. Dit blijkt nog te lastig voor deze groep leerlingen. Hoewel bijna alle leerlingen goed een draaitabel kunnen maken, lukt het niet om zelf de benodigde data overzichtelijk weer te geven in een draaitabel. Ook kiest een groot deel voor het door Excel geadviseerde diagram in plaats van zelf na te denken welk diagram duidelijk is. Als laatste valt op dat leerlingen altijd proberen een conclusie te geven, ook wanneer deze totaal niet terug te zien is in de data.
Concluderend valt het op dat de leerlingen die veel geoefend (lijken) te hebben de meeste vragen goed kunnen beantwoorden, terwijl leerlingen die weinig geoefend hebben ook bijna geen punten scoren. Daarnaast valt op dat wanneer meer inzicht wordt gevraagd ook de leerlingen die veel geoefend hebben vastlopen.
Leerlingen lijken bepaalde vaardigheden wel uit te kunnen voeren (het maken van een draaitabel), maar niet (goed) te weten waarom ze dit doen. De ervaringen van de onderzoeker komen dus ook naar voren uit de toetsresultaten.
Wat meegenomen kan worden naar de hier te ontwikkelen lessenserie is dat het leren van procedurele vaardigheden voor (gemotiveerde) leerlingen goed te doen is. Op dit moment lijken leerlingen vast te lopen wanneer de vraag iets minder afgebakend is dan wat ze gewend zijn. Extra aandacht moet daarom worden besteed aan het uitleggen waarom bepaalde handelingen gedaan moeten worden, zodat leerlingen in deze situaties zelf de benodigde stappen kunnen bedenken.