De respondenten, onderzoeksinstrumenten en werkwijze

Respondenten

Het interventieonderzoek heeft plaats gevonden onder 16 eerstejaars studenten van de MO-A opleiding Economie. Alle respondenten maken deel uit van de avondopleiding en zijn in hun dagelijkse beroepspraktijk werkende in het bedrijfsleven (deeltijdsstudenten). Voor het doorlopen van de lessenserie, bestaande uit 8 lessen, zijn er behalve de individuele opdrachten ook groepsopdrachten uitgevoerd. Bij de groepsopdrachten is er gewerkt met 4 groepen van 4 studenten. Bij de afsluitende groepsopdracht heeft er een hergroepering plaats gevonden en zijn er 2 groepen van 8 studenten gevormd. De gehanteerde groepsindeling is bewust toegepast uitgaande van een soortgelijke opzet die tijdens het boekhoudenproject zal plaats vinden. Alle respondenten hebben de modules ‘Boekhouden A’ en ‘Bedrijfseconomie A’ afgerond. De module ‘Boekhouden 3’ is simultaan doorlopen door 3 eerstejaars groepen binnen de opleiding, waarvan 1 groep (in het vervolg de

interventiegroep genoemd) de lessenserie (‘Boekhouden 3’ ingericht naar de

concept-contextbenadering) heeft doorlopen. De overige 2 groepen hebben de module in de ‘oude setting’ doorlopen. Van één van deze 2 groepen zijn de tentamenresultaten van zowel de module ‘Boekhouden 3’ als het boekhoudenproject ook meegenomen als vergelijkingsmateriaal bij de data-analyse van het interventieonderzoek. Deze groep die

70 vergeleken is met de interventiegroep wordt in het vervolg de controlegroep genoemd. Bij de controlegroep heeft er ook een evaluatie, met behulp van een groepsevaluatieformulier (uit de learner reports), plaats gevonden. Deze resultaten uit de formulieren zijn vergeleken met die van de interventiegroep.

Onderzoeksinstrumenten en werkwijze

Er zijn verschillende dataverzamelingsmethoden gehanteerd om de data uit het interventieonderzoek vast te leggen, namelijk:

- observaties met behulp van een observatielijst met gebruikmaking van videobeelden en foto’s (bijlage 1b);

- open gesprekken met gebruikmaking van een vragenlijst met topics waarbij een voice recorder is gebruikt om de gesprekken vast te leggen;

- analyse van de groeps- en individuele resultaten aan de hand van een beoordelingslijst

(context(groeps)opdrachten & individuele toetsen);

- learner reports ingevuld per les door zowel de interventiegroep als de controlegroep (bijlage 1c & 3b);

- een ‘self-efficacy’ test ingevuld door de interventiegroep (bijlage 2a & 2b); - een blad met ‘smiley faces’ (bijlage 2d);

- een logboek voor de vaststelling van aantekeningen over verwachte en onverwachte gebeurtenissen tijdens en buiten de lessenserie (bijlage 3c). De in het dagboek gemaakte aantekeningen dienen als onderbouwingsmateriaal bij de data-analyse. Het gebruiken van verschillende dataverzamelingsmethoden en ook van verschillende databronnen, die de triangulatie-benadering weergeven, wordt een multimethode-aanpak genoemd (Baarda, De Goede & Teunissen, 2009 p. 200). De onderzoeksgegevens uit de learner reports (de groepsevaluaties) en de vragenlijsten zijn ook aan de respondenten voorgelegd, waarop ze hun bevindingen hebben kunnen geven (member-checking). Om de onderzoeksgegevens te kunnen controleren op validiteit zijn de onderzoeksgegevens uit de beoordelingslijsten en learner reports voorgelegd aan 2 collega vakdocenten die hierop hun kritische feedback hebben gegeven (peer-debriefing).

Dataverzameling, -verwerking en -analyse

De bij het interventieonderzoek gehanteerde onderzoeksinstrumenten zijn op de volgende wijze ingezet voor de dataverzameling, -verwerking en -analyse:

1. Observaties met datavastlegging van de groepspresentaties middels een observatielijst met behulp van videobeelden en foto’s (zie bijlage 3d). Van alle lessen is er

beeldmateriaal verzameld. Bij de dataverwerking was het de bedoeling om met behulp

van de observaties na te trekken welke typische handelingen, gedragingen en houdingen de studenten hebben vertoond bij het maken en uitvoeren van de verschillende opdrachten met name de groepspresentaties en het ontwerpen van de conceptmappen. De data uit de observaties was voornamelijk om vast te stellen welke kenmerkende

71

aspecten uit de concept-contextbenadering in relatie tot projectonderwijs tijdens de

lessenserie wel zijn waargenomen en welke niet.

2. Aan het eind van de lessenserie is er een open gesprek gevoerd met de studenten uit de

interventiegroep. Bij het voeren van dit gesprek is er gebruik gemaakt van een vragenlijst met topics die de leidraad van het gesprek aangaf. De verzamelde data uit het gesprek was voornamelijk bestemd voor de analyse met betrekking tot de

ervaringen, meningen, bevindingen, gedragingen en emoties van de studenten over de

nieuwe opzet van de module waarbij de concept-contextbenadering is gevolgd, over hun motivatie naar het boekhoudenproject toe en over hun behaalde leerresultaten. Deze gesprekken zouden getranscribeerd worden (letterlijk uittypen) en vervolgens geanalyseerd worden. De data uit de gesprekken was voornamelijk bestemd voor de analyse van de mate waarin de self-efficacy bij de studenten in verhoogd en in hoeverre de studenten tevreden zijn over de aansluiting tussen de modules ‘Boekhouden 3’ en het boekhoudenproject. Verder is er ook een open gesprek gevoerd met studenten uit de interventiegroep en de controlegroep voor en na de individuele toets van het

boekhoudenproject waarbij de focus lag op hun opvattingen over het

boekhoudenproject. De opvattingen zijn geïnventariseerd naar de volgende thema’s: tevredenheid, motivatie, initiatief nemen, inspanning/moeite, volhouden/doorzetten en ontwikkelde kennis en vaardigheden (behaalde leerresultaten). Vervolgens zijn de opvattingen voorzien van een label.

3. Voor de dataverzameling uit de self-efficacy test is er gewerkt met een aangepaste en

vertaalde versie van de stellingenlijst uit ‘Self-efficacy, Angst en Moeilijkheid’ (De Jong, 2013 in Vloor, 2014). (zie bijlage 2a). De studenten uit de interventiegroep hebben de

self-efficacy test ingevuld na het doorlopen hebben van het boekhoudenproject waarbij

de dataverzameling heeft plaats gevonden aan de hand van 12 stellingen verdeeld onder drie hoofdthema’s namelijk: initiatieven durven nemen, inspanning/moeite en

volharding/doorzettingsvermogen. Hierbij moesten de studenten per stelling aangeven

tot in hoeverre deze klopt voor hen. In de self-efficacy test konden de studenten kiezen uit een schaal van 1 tot 5. De schaalindeling liep als volgt: helemaal niet, nauwelijks, een

beetje, vrij goed, helemaal. Hierbij betekent 1 helemaal niet en 5 helemaal. Verder zijn de

gegevens die verzameld zijn uit de individuele test verwerkt in het statistisch computerprogramma ‘SPSS 18’. Vanuit ‘SPSS 18’ zijn Mean (gemiddelde), N (aantal stellingen), Std. Deviation (standaard deviatie) en Cronbach’s Alpha (onderlinge correlatie van de items) als statistische maten bepaald. Het gemiddelde is naar 3 schalen ingedeeld namelijk: Schaali (initiatieven durven nemen), Schaalm (inspannig/motivatie) en Schaalv (volharding/doorzettingsvermogen). Op basis hiervan is vastgesteld hoeveel er gemiddeld is gescoord per schaal en hoe de spreiding van de getallen ligt rondom het gemiddelde. Aan de hand van Cronbach’s Alpha is nagegaan wat de onderlinge correlatie is tussen de items binnen één schaal. Het zegt iets over de betrouwbaarheid van de schaal.

72

4. Het blad met ‘smiley faces’ is gebruikt om vast te stellen hoe de studenten uit de

interventiegroep zich voelden na verloop van de naar concept-contextbenadering ingerichte lessenserie met het oog op het boekhoudenproject (vastlegging van

gevoelens).

5. Er is een analyse gedaan van de resultaten van de verschillende uitgevoerde opdrachten. De context(groeps)opdrachten, de gepresenteerde groepsopdracht, de in groepsverband ontworpen conceptmap (afsluitende groepsopdracht), het individueel behaald cijfer voor het tentamen en de individueel te behalen bonuspunten zijn vastgelegd. De resultaten uit de opdrachten geven een beeld over de opgedane

kennis, vaardigheden en ervaringen tijdens de naar concept-contextbenadering

ingerichte lessenserie. (in bijlage 3 zijn enkele foto’s opgenomen van de ontwerpactiviteit). Ook de resultaten na verloop van het boekhoudenproject zijn meegenomen als analyse materiaal. De verzamelde data is voornamelijk geweest om het leerresultaat van de studenten uit de interventiegroep vast te stellen. Bij de controlegroep is er gebruik gemaakt van de resultaten uit het individueel tentamen van de module ‘Boekhouden 3’, de groepsresultaten uit het boekhoudenproject en de individuele toets van het boekhoudenproject.

6. Learner reports in de vorm van een groepsevaluatieformulier (zie bijlage 1c & 3b). De studenten uit de interventiegroep hebben aan het eind van elke les in groepsverband ‘learner reports’ ingevuld. Hierbij moesten er vragen beantwoord worden over onder andere de werkwijze, het nut van de opdracht, ervaren knelpunten (moeilijkheden), leermomenten en suggesties voor een verbeterde aanpak. De verzamelde data uit de learner reports is bestemd voor vastlegging van de typische handelingen, meningen en denkwijzen van de studenten bij het uitvoeren van projectmatige opdrachten die tijdens de lessenserie zijn aangeboden. De studenten uit de controle groep hebben ook learner reports ingevuld.

7. De docent (tevens de onderzoeker) heeft een reflectief dagboek (logboek) bijgehouden. Hiermee is getracht de betrouwbaarheid van het onderzoek te waarborgen. De in het dagboek gemaakte aantekeningen dienen als onderbouwingsmateriaal bij de data-analyse. Bij het observeren van de studenten is nauwlettend aandacht besteed aan hun gedragingen, handelingen en houdingen tijdens de lessen, voornamelijk bij het uitvoeren van de opdrachten. De docent heeft tijdens alle lessen eigen aantekeningen gemaakt over opvallende waargenomen aspecten. Verder heeft de docent ook gesprekken gevoerd met docenten over het belang van de concept-contextmethode tijdens de lessenserie. Bij de analyse is de data geplaatst naast de theorie en vervolgens is er naar verbanden gezocht (zie bijlage 3c).

Met betrekking tot de data wordt een kanttekening gemaakt dat de verzamelde data uit de geobserveerde presentaties en de lessenserie, beeldmateriaal verzameld via de video- en fotocamera, en de data uit de vragenlijsten (in de vorm van een open gesprek), verzameld

73 via de voice recorder, na het onderzoek zijn kwijtgeraakt. Daar de onderzoeker relevante en gedetailleerde aantekeningen heeft gemaakt in het logboek was het mogelijk de uiteindelijke analyse te doen vanuit de verzamelde data uit het logboek, de learner reports, de individuele testen en de overige documenten. De gegevens uit de het logboek en learner reports zijn handmatig verwerkt.

5.4 Betrouwbaarheid en geldigheid

Bij kwalitatief onderzoek is het belangrijk te weten waarop de conclusies van het onderzoek zijn gebaseerd. Dit wil zeggen dat de conclusies controleerbaar en inzichtelijk moeten zijn (Baarda, de Goede & Teunissen 2009 blz. 193). Met dit onderzoek wil ik een relevante vraag helpen oplossen en de onderzoeksresultaten delen met mijn collega docenten en de betrokken studenten van de opleiding MO-A Economie. Voor de waarborging van de betrouwbaarheid van het onderzoek is er bewust gekozen voor de triangulatie-benadering. Hierbij is er gebruik gemaakt van verschillende dataverzamelingsmethoden waarbij veelal dezelfde gegevens van de onderzoekseenheden zijn verzameld (Baarda, de Goede & Teunissen, 2009 blz. 193). De data is voornamelijk door de docent (onderzoeker) zelf verzameld. De vastgestelde onderzoeksresultaten zijn achteraf besproken met de collega docent die het boekhoudenproject in de volgende periode aan de studenten uit de interventiegroep heeft verzorgd. Voor het verhogen van de betrouwbaarheid van dit kwalitatief onderzoek heeft de onderzoeker een reflectief dagboek bijgehouden waarin opvallende gebeurtenissen zijn aangetekend die dienen als onderbouwing bij de analyse. Bij de verwerking van de data in hoofdstuk 6 is ‘thick

description’ toegepast en zijn zowel de gedragingen van de respondenten en de context

waarin deze gedragingen plaats vinden beschreven. Door de gedetailleerde data weergave wordt de werkelijkheid zo goed mogelijk beschreven. Die beschrijvingen van onder andere de situaties en omstandigheden die van belang zijn voor de interventie zijn door de onderzoeker beschreven waardoor de externe validiteit van dit onderzoek is bereikt (Boeije, 2005). Ter waarborging van de privacy van de studenten is er in de beschrijvingen met letters uit het alfabet gewerkt. Ter controle van de validiteit van de onderzoeksresultaten is de verworven data uit de vraaggesprekken en de groepsevaluaties aan de respondenten voorgelegd (member-checking-techniek) waarna er aanpassingen zijn aangebracht (Baarda, de Goede & Teunissen 2009 blz. 200).

74