Eindverslag Educatief Ontwerpen
Titel: Nacho favourite: de verschillenanalyse in een besluitvormingscontext Naam auteur: T. van Middendorp MSc
Studentnummer: 10741895
Schoolvak: Bedrijfseconomie Variant: Effectonderzoek
Opleiding: Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Vakdidacticus: dr. Q.L. Elvira
Tweede
beoordelaar: dr. M.A. Booden Datum: 12 januari 2021 Bibliografische
1
Samenvatting
In dit educatief ontwerp is een lessenserie van vier lessen ontworpen rondom de verschillenanalyse bij het vak bedrijfseconomie. Vanuit de literatuur blijkt dat de verschillenanalyse zeer formulegedreven wordt onderwezen, waardoor het wordt ervaren als een brei aan formules. De stof wordt doorgaans door middel van rote learning aan de man gebracht. Ook wordt niet onderwezen waarom de verschillenanalyse nuttig gereedschap is voor een manager. Mede hierdoor wordt er op dit onderwerp slecht gescoord op eindexamens.
Daarom is dit ontwerp erop gericht dat leerlingen zelf de verschillen leren begrijpen en berekenen in een contextrijke benadering. Ook leren leerlingen denken vanuit de manager. Hierbij wordt de analogie van een ondernemer met een Texaans-Mexicaans restaurant gebruikt. Leerlingen krijgen hierbij de taak om een voorcalculatie te maken en vervolgens kleine plastic bakjes te vullen met nacho’s. Het beoogde leereffect is dat leerlingen inzien dat de werkelijkheid afwijkt van de voorcalculatie. Deze afwijking moeten de leerlingen in kaart brengen met berekeningen. Aan de hand van deze berekeningen moeten zij beslissingen nemen.
Uit de resultaten van dit onderzoek blijkt dat de meeste leerlingen het een leuke manier vinden om kennis te maken met de verschillenanalyse. Ook blijkt dat leerlingen hun eigen heuristieken ontwikkelen om de verschillen te berekenen door er op contextuele wijze over na te denken. Enkele leerlingen missen echter de structuur. De opdracht leidt ertoe dat leerlingen in staat zijn om de verschillen te verklaren, maar het berekenen van met name het efficiencyresultaat voldoet niet aan de daarvoor geformuleerde streefnorm.
In de toekomst zal daarom meer structuur in de opdracht aangebracht moeten worden. Ook wordt aanbevolen om bij een vervolgonderzoek de effectmetingen uit te stellen tot na de laatste les, zodat vertekeningen in het resultaat worden beperkt.
2
Inhoudsopgave
Samenvatting ... 1
1. Ontwerpvraagstuk ... 4
2. Theoretische verkenning van het probleem ... 5
De principaal-agenttheorie, management control en management accounting ... 5
De verschillenanalyse ... 5
Oorzaak 1: Ontbreken van een raamwerk ... 6
Oorzaak 2: Formulegedreven aanpak ... 7
Oorzaak 3: Geen aansluiting bij belevingswereld van leerlingen ... 7
3. Taakanalyse ... 8 Opgave 15... 8 Opgave 16... 8 Opgave 17... 8 Opgave 18... 10 Opgave 19... 10 4. Empirische verkenning ... 10 Inhoudsanalyse eindexamens ... 10 Toets- en itemanalyse... 13
Verkenning van de methode ... 15
5. Theoretische verkenning van de oplossingen ... 17
Het aanbieden van een raamwerk ... 17
Het aanbrengen van common sense ... 20
Leerlingen bedenken zelf de verschillen ... 20
Leerlingen ervaren de verschillenanalyse in een besluitvormingscontext ... 21
Samenwerkend leren ... 21 6. Ontwerp ... 22 Ontwerphypothese ... 22 Ontwerpregels ... 22 Lesontwerp ... 22 7. Onderzoeksplan ... 23
3
Aanpassing van de evaluatie ... 24
8. Terugblik op de lessen ... 25
Les 1 ... 25
Les 2/3 ... 27
Les 4 ... 27
Uitvoering van de effectmetingen ... 28
9. Resultaten ... 29 Effectmeting 1 ... 29 Effectmeting 2 ... 30 10. Conclusie en discussie ... 35 11. Analytische terugblik ... 36 Bibliografie ... 38 Bijlagen ... 40
Bijlage 1: Eindexamen m&o 2018-I opgave 4... 40
Bijlage 2: Examenvragen naar type ... 42
Bijlage 3: Vragen uit de methode, naar type ... 44
Bijlage 4: “Blur of equations” (Repriels & Stoffels, 2020, pp. 32, 65–79) ... 46
Bijlage 5: Les 1 ... 49
Bijlage 6: Les 2/3 ... 50
Bijlage 7: Les 4 ... 51
Bijlage 8: Startopdracht ... 52
Bijlage 9: Simulatie-opdracht ... 54
Bijlage 10: Correctievoorschrift simulatie-opdracht ... 56
Bijlage 11: PowerPoint bij les 4 ... 58
Bijlage 12: Formulier in Microsoft Forms ... 61
4
1. Ontwerpvraagstuk
Het vakdidactische probleem dat centraal staat in dit educatief ontwerp betreft de verschillenanalyse. De verschillenanalyse betreft een analyse van de verschillen tussen de begrote en de werkelijke nettowinst1. Deze problematiek bestaat voornamelijk bij
productieondernemingen. Deze verschillen kunnen ontstaan doordat bijvoorbeeld meer manuren zijn gebruikt dan begroot om een product te produceren (nadelig efficiencyverschil), doordat de materialen goedkoper ingekocht konden worden dan begroot (voordelig prijsverschil) of doordat er minder geproduceerd is dan normaal, waardoor de constante kosten (vaste kosten) slechter kunnen worden gedekt door de productie (nadelig bezettingsresultaat).
In de syllabus is de verschillenanalyse beschreven door eindterm 31: “De kandidaat kan voor niet-industriële organisatie de voorcalculatorische en de nacalculatorische resultatenrekening opstellen, verschillen verklaren en passende beheersmaatregelen afleiden” (CvTE, 2020, p. 32). De crux zit in het tweede deel van de eindterm: het verklaren van de verschillen tussen de voor- en nacalculatie. Uit mijn ervaringen met mijn sectiegenoten blijkt dat docenten leerlingen bij de verschillenanalyse vaak trucjes aanleren. Deze trucjes bestaan dan uit het aanreiken van de formules en leerlingen hier vervolgens veel mee te laten oefenen. Deze aanpak wordt in de literatuur beschreven als “rote learning” (Mayer, 2002). Hoewel de leerling door rote learning relevante kennis opdoet, is de leerling niet in staat om deze kennis toe te passen in situaties waarin probleem opgelost dienen te worden. Daarmee is het leren niet betekenisvol. De denkvaardigheid van de leerling blijft op een laag niveau: memoriseren. Messer (2016) onderschrijft dit probleem. De verschillenanalyse bestaat uit vele formules en variabelen. Als leerlingen deze memoriseren, blijkt dat bij een beroep op het inzicht van deze leerlingen snel dat ze niet echt weten wat ze aan het doen zijn (Messer, 2016). Toch is dit wel wat in eindterm 31 staat beschreven. Leerlingen moeten immers de verschillen kunnen verklaren en niet enkel berekenen. Bij de formulegedreven aanpak van docenten, het aanleren van trucjes, is het berekenen het doel. Hierdoor ontbreekt het inzicht in het grotere geheel (VanZante, 2007). In de eindterm is het slechts een middel, om uiteindelijk de verschillen te kunnen verklaren.
Daarom wil ik leerlingen leren hoe de verschillen ontstaan, zodat de formules “vanzelf” volgen. Hiermee draai ik de volgorde om. Ik begin met het verschil tussen voor- en nacalculatie. Leerlingen denken eerst na over hoe verschillen tussen voor- en nacalculatie kunnen ontstaan, om
1 Bij de verschillenanalyse worden verschillende termen gebruikt die hetzelfde beschrijven. Voorcalculatorisch
en begroot worden als synoniemen beschouwd, evenals nacalculatorisch, gerealiseerd en werkelijk. In mijn ontwerpnotitie worden deze termen door elkaar gebruikt, maar is er geen verschil in de betekenis.
5
daarna pas te rekenen. Hiermee wil ik bereiken dat de formules voor de verschillenanalyse volgen uit het logisch nadenken door leerlingen.
Als leerlingen in staat zijn om de verschillen te verklaren, is ook de stap naar het derde deel van de eindterm, het afleiden van passende beheersmaatregelen, eenvoudiger te zetten (Maher, 2000). Dit is uiteindelijk wat relevant is in de maatschappij. Managers van ondernemingen die te maken krijgen met verschillen tussen voor- en nacalculatie, moeten immers beslissingen nemen op basis van een verschillenanalyse. Bij grote nadelige prijsverschillen op de inkoop, zal de manager kunnen overwegen om de inkoper te ontslaan. Bij grote voordelige efficiencyverschillen op arbeid, zal de manager moeten nadenken over beloningen voor de productiemedewerkers, zodat ze onverminderd productief blijven. Zo is er tal van beheersmaatregelen te bedenken op grond van de verschillenanalyse die van belang zijn om een onderneming draaiende te houden.
2. Theoretische verkenning van het probleem
De principaal-agenttheorie, management control en management accounting
De verschillenanalyse komt voort uit de principaal-agenttheorie, beschreven door Jensen & Meckling (1976). In deze theorie is er een eigenaar van een onderneming (de principaal) die niet over de middelen (tijd, kennis) beschikt om de onderneming zelf te leiden. Daarom delegeert hij het leiderschap aan een manager (de agent). De agent heeft geen prikkel om keuzes te maken in het belang van de principaal, omdat hij zijn salaris toch wel krijgt. Daarom moet de principaal maatregelen treffen om te zorgen dat de agent de strategie van de onderneming volgt. Dit is de definitie van management control (Bhimani, Horngren, Datar, & Rajan, 2015).Een van de doelen van management accounting is om de principaal inzicht te geven in de performance van de agent (Bhimani et al., 2015). Daarmee dient management accounting als gereedschapskist voor management control. Een van deze gereedschappen is de verschillenanalyse, die inzicht moet geven in de performance van werknemers, zodat deze geëvalueerd kan worden (Samuel, 2018). Bhimani et al. (2015) beschrijven de verschillenanalyse als de meest gebruikte tool voor het analyseren van kosten. De verschillenanalyse geeft managers inzicht in afwijkingen tussen de werkelijke resultaten en de voorcalculatie. Hiermee is de insteek van Bhimani et al. (2015) dat de manager de principaal is en de werknemers op de productievloer de agenten.
De verschillenanalyse
Emsley (2000) omschrijft de verschillenanalyse als een proces met drie fasen: het berekenen van de verschillen, het identificeren van de problemen die de verschillen hebben veroorzaakt en het
6
identificeren van de oorzaken van deze problemen. Bij de eerste fase dienen de verschillen berekend te worden door het bedrijfsresultaat uit te splitsen in een verkoop- en budgetresultaat. Deze uitsplitsing wordt verder beschreven bij de taakanalyse. Bij de tweede fase dient een manager de problemen te identificeren door de berekende verschillen uit de eerste fase. Hierbij kan een manager kijken naar de grootste verschillen, maar ook naar de afdeling waar de verschillen zijn veroorzaakt. In de derde fase identificeert de manager de oorzaken van deze problemen. Sommige oorzaken zijn snel duidelijk, bijvoorbeeld als de prijsverschillen zeer negatief zijn voor een bepaalde inkoper. In dit geval zal de manager overwegen om de inkoper te vervangen. Soms zijn de oorzaken niet meteen duidelijk. In dat geval moet de manager beslissingen nemen met incomplete informatie. Dit kan leiden tot verkeerde keuzes (Emsley, 2000). De confrontatie met verkeerde keuzes zal daarom ook onderdeel zijn van mijn ontwerp.
De methode van LWEO, voorheen Stoffels, beschrijft dat de gerealiseerde nettowinst kan afwijken van de verwachte of begrote nettowinst (Repriels & Stoffels, 2020). De methode noemt hierbij een drietal oorzaken: verschillen in omzet, inkoopwaarde van de omzet en bedrijfskosten.
“Is de afwijking groot, dan wordt het tijd voor de ondernemer om de resultaten te analyseren. Door de oorzaken van de afwijking op te sporen, kan de ondernemer maatregelen treffen om zulke afwijkingen in de toekomst te voorkomen.” (Repriels & Stoffels, 2020, p. 31)
De door Emsley beschreven fasen zijn daarmee terug te vinden in de methode. Allereerst worden de verschillen berekend, daarna worden de oorzaken opgespoord en vervolgens worden beheersmaatregelen getroffen. Daarmee is ook de aansluiting met de in het ontwerpvraagstuk beschreven eindterm gemaakt.
Oorzaak 1: Ontbreken van een raamwerk
De eerste oorzaak van het probleem is dat een duidelijk raamwerk ontbreekt (Greenberg & Wilner, 2015; Shank & Churchill, 1977; VanZante, 2007). Het raamwerk dient hierbij als hulpmiddel om het onderwezen materiaal te ordenen. Greenberg en Wilner (2015) schrijven dat bachelorstudenten over het algemeen eerst financial accounting volgen en daarna management accounting. Financial accounting biedt een duidelijk ‘raamwerk’ in de vorm van een balans en een resultatenrekening. Bij management accounting ontbreekt zo’n raamwerk. Greenberg en Wilner (2015) schrijven dat onderwerpen vaak worden behandeld in separate hoofdstukken, waardoor de connectie tussen de onderwerpen lijkt te ontbreken. Hierdoor zijn studenten geneigd trucjes (“procedural rules”) te leren.
Op de middelbare school is dit eveneens toepasbaar. Bij de methode van LWEO wordt eerst het boekje Financiële Verslaggeving (financial accounting) behandeld en daarna pas Het
7
Resultaat (management accounting). Uit mijn ervaring, zoals al beschreven in het ontwerpvraagstuk, blijkt ook hier dat leerlingen trucjes leren.
Ook VanZante (2007) wijt het probleem aan het gebrek structuur in lesboeken. Sommige boeken laten de samenhang tussen enkele verschillen zien, maar een totaalplaatje ontbreekt. Daardoor zien leerlingen geen samenhang en kunnen ze ook niet zien dat de logica achter de berekeningen bij veel van de verschillen gelijk is.
Oorzaak 2: Formulegedreven aanpak
De tweede oorzaak van het probleem is dat de aanpak in boeken zeer formulegedreven is (VanZante, 2007). Messer (2016) schrijft dat studenten bij een formulegedreven aanpak geneigd zijn om de formules uit het hoofd te leren. Als gevolg hiervan weten ze niet wat ze berekenen, waardoor ze niet in staat zijn tot het identificeren van de oorzaken van de verschillen en het treffen van passende beheersmaatregelen.
Ook Greenberg en Wilner (2015) spreken van een “blur of equations” in methodes. Doordat leerlingen en studenten niet enkel management accounting moeten leren, maar ook vele andere vakken volgen, daalt het zelfvertrouwen bij leerlingen en studenten. Ze krijgen het gevoel dat ze de stof nooit gaan beheersen. Ook werkt de formulegedreven aanpak demotiverend, want het wordt snel saai.
De rol van rote learning bij het toepassen van formules wordt beschreven door Mayer (2002). Hij schrijft dat het doel van onderwijs tweeledig is: retentie en transfer. Bij retentie gaat het erom dat de leerling kennis kan onthouden en dit in een soortgelijke situatie kan toepassen. Bij transfer gaat het erom dat de leerling de verworven kennis kan toepassen in andere situaties. Bij rote learning wordt op zijn best retentie bereikt, maar transfer kan niet plaatsvinden (Mayer, 2002). Een leerling kan hierdoor een formule reproduceren, maar kan daar vervolgens niets mee.
Oorzaak 3: Geen aansluiting bij belevingswereld van leerlingen
Thein (2006) schrijft dat kennis van management accounting vaak niet beklijft bij studenten. Volgens hem komt dit doordat de vraagstukken niet worden aangeboden in een besluitvormingscontext. Studenten hebben geen ervaring in het nemen van beslissingen op het gebied van management accounting. De inbreng van studenten is daardoor klein en als ze iets inbrengen, is dat doorgaans fout.
Ook King en McConnell (2010) benadrukken het belang van het ervaren van onderwijs. Volgens hen wordt er beter geleerd als studenten nieuwe stof kunnen relateren aan iets wat ze hebben meegemaakt. Zonder deze ervaring ontbreekt iets waaraan ze kunnen refereren tijdens het
8
studeren. Maher (2000) schrijft dat het doel van onderwijs is om probleemoplossend vermogen te creëren. De meest effectieve methode hierin is leren door ervaring.
3. Taakanalyse
In Figuur 1 is weergegeven hoe de verschillenanalyse uitgevoerd dient te worden (Emsley, 2000).
Figuur 1: De verschillenanalyse (Emsley, 2000)
In Figuur 2 is grafisch weergegeven hoe de verschillen in de verschillenanalyse berekend dienen te worden (Bhimani et al., 2015).2 Dit betreft de eerste fase in het model van Emsley (2000).
Emsley zelf beschrijft de uitvoering van deze eerste fase niet, omdat hij vindt dat dit voldoende wordt gedaan in andere literatuur.
Voor de taakanalyse heb ik gekozen voor opgave 4 uit het vwo-eindexamen m&o 2018, eerste tijdvak (bijlage 1). Deze opgave bevat zowel de voor- als de nacalculatie.
Opgave 15
Bij opgave 15 wordt gevraagd naar het machine-uurtarief. Dit betreft een opslag voor de constante machine-uren. Deze is te berekenen door de constante kosten te delen door het normale aantal machine-uren. Het normale aantal machine-uren bedraagt hier 216 ∙ 14 = 3.024 per jaar. Het machine-uurtarief bedraagt hiermee €1.360.800
216∙14 = €450.
Opgave 16
Opgave 16 betreft het berekenen van de fabricagekostprijs. Dit valt buiten de verschillenanalyse en is derhalve niet meegenomen in deze taakanalyse.
Opgave 17
Bij opgave 17 moet het bezettingsresultaat op de machinekosten berekend worden. Hiertoe moet eerst de bezetting bepaald worden. Het werkelijke aantal machine-uren (werkelijke bezetting) bedraagt 67. De normale bezetting volgt uit de gegevens bij vraag 15. Het normale aantal machine-
2 Figuur 2 geldt enkel als de werkelijke afzet gelijk is aan de begrote afzet, omdat anders een
hoeveelheidsverschil (sales volume variance) ontstaat. In de methode en het eindexamen is een dergelijk verschil altijd afwezig (CvTE, 2017). Berekenen van de verschillen Identificeren van de problemen Identificeren van de oorzaken van de problemen Treffen van passende beheers-maatregelen
9
Figuur 2: Verschillenanalyse (grafisch)
Bedrijfsresultaat
Verkoopresultaat Budgetresultaat
Efficiencyresultaat Bezettingsresultaat
Toegestane kosten Werkelijke kosten
Standaardverbruik bij werkelijke
productie
Standaardprijs Werkelijk Standaardprijs verbruik
*
-
*
Prijsresultaat
Toegestane kosten Werkelijke kosten
Werkelijk verbruik Standaardprijs Werkelijke prijs Werkelijk verbruik * - *
Overbezetting Opslag voor de constante kosten Werkelijke bezetting Normale bezetting Normale productie Constante kosten * ÷ -
10
uren is 14 ∙ 5 = 70 per week. Er is dus sprake van onderbezetting. Kroos bv draait minder machine-uren waarover de constante kosten uitgesmeerd kunnen worden. De opslag voor deze constante kosten (het machine-uurtarief) bedraagt €450. Het nadelige bezettingsresultaat is dus (67 − 70) ∙ €450 = €1.350.
Opgave 18
Bij opgave 18 moet het efficiencyverschil op de machinekosten berekend worden. Hierbij gaat het om het verbruikte aantal machine-uren ten opzichte van het toegestane aantal. Het werkelijke aantal machine-uren is 67. Per zwembad mag ½ machine-uur worden ingezet. Bij de werkelijke productie van 130 komt dit neer op een toegestaan aantal machine-uren van 65. Kroos bv verbruikt dus meer machine-uren dan toegestaan. Tegen een standaardprijs van €450 per machine-uur, komt het nadelige efficiencyverschil uit op (65 − 67) ∙ €450 = €900 nadelig.
Opgave 19
Vraag 19 vraagt naar een verklaring voor het tegengestelde verloop tussen het bezettings- en efficiencyresultaat. Hierbij moet meer conceptueel (in plaats van procedureel) worden nagedacht. Bij het bezettingsresultaat leidt onderbezetting tot een nadelig resultaat, omdat de constante kosten slechter worden gedekt. Bij het efficiencyresultaat leiden meer uren tot een nadelig resultaat, omdat (bij een gelijkblijvende productie) per product meer machine-uren zijn verbruikt.
4. Empirische verkenning
Inhoudsanalyse eindexamens
Voor de empirische verkenning zijn alle eindexamens m&o vwo van 2003 tot en met 2019 geanalyseerd. Hierbij is elke examenvraag die te maken heeft met de verschillenanalyse een code toegekend. Deze code correspondeert met een bepaald type vraag. Hierbij zijn drie typen vragen onderkend: berekenen, verklaren en treffen beheersmaatregelen (zie bijlage 2 en 3). Deze drie typen corresponderen met de drie fasen van de verschillenanalyse: berekenen verschillen, identificeren van de oorzaken en treffen beheersmaatregelen.
Type B: Berekenen
Type B1: Berekenen kostprijs / verkoopprijs
Hierbij wordt gevraagd om de kostprijs te berekenen. Dit kan zijn via de fabricagekostprijs 𝐶 𝑁+
𝑉 𝐵 of via de inkoopprijs met een opslag voor de overheadkosten. Indien de verkoopprijs wordt gevraagd, dient de leerling nog een nettowinstopslag toe te voegen en eventueel de btw. Voorbeeld:
11
“Stel de commerciële kostprijs van een vrieskist vast die geproduceerd is in Polen voor de Nederlandse markt. Bereken daarvoor afzonderlijk de variabele commerciële kosten en de constante commerciële kosten per vrieskist.” (2006-I, vraag 7)
Type B2: Overige voorcalculatorische berekeningen
Hierbij wordt gevraagd om voorcalculatorische gegevens anders dan de kostprijs of de verkoopprijs. Voorbeeld: “Bereken het normale aantal te produceren en te verkopen dozen scharreleieren in 2015.” (2016-II, vraag 24)
Type B3: Berekenen bedrijfsresultaat / nettowinst
Hierbij wordt gevraagd om het bedrijfsresultaat te berekenen als sluitstuk van de verschillenanalyse, of om een controleberekening uit te voeren door de totale kosten van de totale opbrengsten af te trekken. Voorbeeld: “Bereken de werkelijke winst van het bestraten van het parkeerterrein door de omzet te vergelijken met de totale kosten.” (2008-I, vraag 10)
Type B4: Berekenen onderdeel van de verschillenanalyse
Bij dit type vraag wordt naar een van de verschillen of variabalen uit figuren 1 t/m 5 (taakanalyse) gevraagd. Het gaat hierbij enkel om de berekening. Voorbeeld: “Bereken het budgetresultaat op de materiaalkosten in 2014 door middel van het efficiencyresultaat en het prijsresultaat. Geef bij elk resultaat aan of er sprake is van een voordelig of van een nadelig resultaat.” (2015-II, vraag 19) Type V: Verklaren
Type V1: Verklaren van verbanden tussen verschillen
Hierbij gaat het erom dat een leerling laat zien dat hij de verbanden tussen de verschillen uit de analyse begrijpt. Dit gaat dus om een hogere orde denkvaardigheid. Om een berekening wordt bij dit type vraag niet gevraagd, maar er zit wel een rekenkundig verband achter. Voorbeeld: “Leg uit dat de lijnen van het bezettingsresultaat en het efficiencyresultaat een tegengesteld verloop hebben.” (2018-I, vraag 19)
Type V2: Verklaren van de oorzaken van een verschil
Bij dit type vraag moet een leerling op een conceptueel niveau verklaren hoe een verschil ontstaat. Dit type vraag sluit naadloos aan bij de tweede fase van Emsley (2000). Voorbeeld: “De financieel directeur heeft vastgesteld dat de indirecte fabricagekosten voor een groot deel constant zijn en meent dat, gezien de nacalculatorische productie en afzet, het budgetresultaat op de indirecte fabricagekosten voor een belangrijk deel daardoor verklaard wordt. Hoe wordt het door de financieel directeur bedoelde resultaat genoemd? Leg uit hoe dit resultaat ontstaat.” (2012-II, vraag 31)
12 Type V3: Verklaren van voorcalculatorische kosten
Hierbij dient de leerling te verklaren waarom bepaalde voorcalculatorische kosten tot de constante dan wel variabele (fabricage)kosten worden gerekend. Dit betreft voornamelijk lagere orde denkvragen, waarbij het gros zich op het niveau van memoriseren bevindt. Voorbeeld: “Waarom rekent La Gelatirella deze transportkosten tot de constante kosten?” (2010-II, vraag 12)
Type M: Treffen beheersmaatregelen Type M1: Treffen beheersmaatregelen
Bij dit type vraag dient de leerling een beheermaatregel voor te stellen of om de keuze voor een bepaalde maatregel te onderbouwen. Dit is de derde fase van Emsley (2000). Voorbeeld: “Was het achteraf gezien voor dit project voordeliger geweest om de valutaovereenkomst wel af te sluiten? Licht het antwoord toe met een berekening.” (2014-II, vraag 13)
Op deze manier zijn 118 examenvragen geïdentificeerd bij de verschillenanalyse. Bij 4 van deze examenvragen zijn twee codes toegekend, omdat deze vragen “gestapeld” waren. Hierbij werden meerdere vragen in 1 vraag gesteld door bijvoorbeeld een berekening te vragen bij een verklaring.
Type vraag Aantal %
Berekenen 97 79%
B1 Berekenen kostprijs / verkoopprijs 20 16% B2 Overige voorcalculatorische berekeningen 17 14% B3 Berekenen bedrijfsresultaat / nettowinst 9 7% B4 Berekenen onderdeel van de verschillenanalyse 51 42%
Verklaren 23 19%
V1 Verklaren verbanden tussen verschillen 6 5%
V2 Verklaren oorzaak verschil 10 8%
V3 Verklaren voorcalculatorische kosten 7 6%
Treffen beheersmaatregelen 2 2%
M1 Treffen beheersmaatregelen 2 2%
Tabel 1: Examenvragen naar type
In Tabel 1 is te zien dat er 97 vragen zijn waar een berekening wordt gevraagd, 23 keer wordt een verklaring gevraagd en 2 keer wordt er gevraagd naar beheersmaatregelen. Hierin is dus een mismatch in hetgeen in de eindterm 31 staat (zie ontwerpvraagstuk) en hetgeen getoetst wordt op het eindexamen. In eindterm 31 wordt zoals eerder beschreven gevraagd naar alle 3 de fasen van
13
Emsley (2000). Echter, in de eindexamens zijn de rekenvragen oververtegenwoordigd, terwijl er slechts twee maal iets gevraagd wordt over beheersmaatregelen, waarbij beide vragen gestapeld zijn. De syllabus voor bedrijfseconomie wijkt af van de syllabus voor m&o. Dit is echter geen verklaring voor deze mismatch, omdat in de syllabus voor m&o ook expliciet beheersmaatregelen (of beleidsbeslissingen) worden genoemd. Zo vermeldt de laatste versie van de syllabus m&o in eindterm 14.49: “De kandidaat kan beschrijven welke beleidsbeslissingen het management kan koppelen aan de gevonden resultaten per kostencategorie” (CvTE, 2017). De eerste versie vermeldt in eindterm 42: “De kandidaat kan op basis van het variabele kostenbudgetteringssysteem voor bedrijven met homogene massaproductie het nacalculatorische budgetresultaat uitsplitsen in efficiëntie-, bezettings- en prijsresultaten en hij kan verklaren welke mogelijke beleidsbeslissingen uit de verkregen informatie voort kunnen vloeien.”
Wat verder opvalt is dat bij de vragen waar om een verklaring wordt gevraagd, vaak niet om de oorzaak van een verschil wordt gevraagd. Dit gebeurt bij 13 van de 23 verklaarvragen. De examenmakers kiezen er bij dit type vraag eerder voor om in te gaan op de rekenkundige verbanden (6 keer) of om een lagere orde denkvraag te stellen over de constante kosten (7 keer). Zo gaan dus slechts 10 van de 23 vragen van dit type over de kern van de verschillenanalyse.
Toets- en itemanalyse
Vanuit de theorie, zoals beschreven in de theoretische verkenning van het probleem, is bekend dat leerlingen bij de verschillenanalyse niet echt weten wat ze aan het doen zijn. Bij rote learning, wat vaak voorkomt bij de verschillenanalyse, kunnen leerlingen de formule oplepelen, maar deze vervolgens niet toepassen op nieuwe situaties (Lieberman, 2012; Messer, 2016). Aan de hand van de toets- en itemanalyse van CITO onderzoek ik of dit voor Nederlandse vwo-eindexamenkandidaten ook geldt. CITO publiceert sinds 2017 deze toets- en itemanalyse voor de eindexamens afgenomen in het eerste tijdvak. Derhalve zijn er slechts drie eindexamens beschikbaar. In Tabel 2 zijn de examenvraag, het type examenvraag en de p-waarde opgenomen.
14 Vraag Type p-waarde Type Gemiddelde p-waarde
2017-I B1 66 29 B4 63 B2 72,5 30 B4 51 B3 35 31 B4 45 B4 48,7 2018-I V1 39,5 15 B2 97 Totaal 53,5 16 B1 91 17 B4 33 18 B4 55 19 V1 41 2019-I 1 B1 50 2 B4 45 14 B1 57 15 V1 38 16 B3 35 17 B2 48
Tabel 2: Examenvragen naar type, met p-waarde
Er is opvallend goed gescoord op de vragen 15 en 16 uit het examen 2018-I. Deze vragen zijn respectievelijk “Bereken het machine-uurtarief” en “Bereken de standaardfabricagekostprijs van het bad model Salerno”. Bij beide vragen hoeft de leerling enkel de formule 𝐶
𝑁+ 𝑉 𝐵 te reproduceren. De benodigde getallen zijn gegeven zonder dat er gegevens zijn die de leerling niet nodig heeft. Bij deze vragen kan rote learning een effectieve leerstrategie zijn, waarmee de hoge score kan worden verklaard.
Vraag 17 uit hetzelfde examen is erg slecht gemaakt. De opdracht luidt: “Bereken het bezettingsresultaat op de machinekosten (zie formuleblad).” De leerling heeft hier niets aan het leren van de formule (𝑊 − 𝑁) ∙𝑁𝐶, omdat deze al gegeven is. Belangrijk is dat de leerling de juiste gegevens gebruikt om in de formule in te vullen. Dat is bij deze vraag lastig, omdat er heel veel gegevens zijn gegeven die nodig zijn voor de berekening van het efficiencyverschil (vraag 18). De leerling moet dus goed weten wat het verschil is tussen het bezettingsresultaat en het efficiencyverschil. Dit kan niet door rote learning, omdat hierdoor enkel de formule is onthouden,
15
maar er geen verbanden kunnen worden gelegd. Bij vraag 16 uit het examen 2019-I speelt dezelfde problematiek: “Bereken met behulp van het verwachte bezettingsresultaat het verwachte bedrijfsresultaat over 2019.” Hier dient de leerling de “big picture”, zoals beschreven in de taakanalyse, te zien.
Ook vraag 19 uit 2018-I is slecht gemaakt. De vraag luidt: “Leg uit dat de lijnen van het bezettingsresultaat en het efficiencyresultaat een tegengesteld verloop hebben.” Bij deze vraag speelt dezelfde problematiek als bij vraag 17. De leerling moet het verband tussen budgetresultaat en efficiencyverschil scherp hebben om een goed antwoord te formuleren. Uit het examen 2019-I is vraag 16 slecht gemaakt. De vraag luidt: “Teken in de grafiek op de uitwerkbijlage de lijn die het verband weergeeft tussen het verwachte bezettingsresultaat over 2019 en de productie/afzet van 0 tot 8.000 stuks.” Bij beide vragen moet een transfer plaatsvinden naar de betekenis van de verschillen, wat met rote learning niet lukt.
Uit de analyse van de p-waarden concludeer ik dat de in de theoretische verkenning geschetste problematiek ook in het Nederlandse onderwijs speelt. Rote learning lijkt hieraan ten grondslag te liggen. Op contextarme vragen waarbij een formule ingevuld dient te worden, wordt beter gescoord dan op vragen waarbij verbanden gelegd moeten worden. De transfer lijkt dus niet te worden gemaakt.
Verkenning van de methode
Zoals beschreven in de theoretische verkenning, schrijven Greenberg en Wilner (2015) over een ‘blur of equations’ in methodes. In deze empirische verkenning tel ik het aantal formules en variabelen bij de methode die ik op school hanteer: “Het Resultaat” (Repriels & Stoffels, 2020). Dit boekje behandelt de verschillenanalyse in hoofdstuk 3 (handelsonderneming) en hoofdstuk 6 (productieonderneming).
Over een lengte van 15 pagina’s tel ik minstens twintig formules met in totaal ongeveer vijftig variabelen. In bijlage 4 zijn kopieën van deze formules opgenomen. In totaal beslaan deze formules 3 pagina’s. Sommige “overzichten” beslaan een halve pagina. In het bijzonder kijk ik naar de uitleg van de verschillen op de constante kosten. Deze heb ik opgenomen in Figuur 3.
16
Figuur 3: Verschillen op de constante kosten
Hoewel er een poging is gedaan om een raamwerk te bieden, blijft dit voor de leerling ontzettend lastig om te begrijpen. Zelf heb ik een master in de accountancy afgerond, maar het begon zelfs mij bijna te duizelen toen ik dit zag. De stap van Su x C/Nu – Cw naar de formule daaronder ligt bijvoorbeeld niet erg voor de hand. Er staan hier te veel formules en afkortingen van variabelen. Ook is op geen enkele manier de moeite gedaan om in de presentatie van dit overzicht de boel overzichtelijk te houden. De observatie van Greenberg en Wilner (2015) lijkt voor deze methode in ieder geval te kloppen.
Verder heb ik de methode op dezelfde manier geanalyseerd als de eindexamens. De resultaten hiervan staan in Tabel 3. Hoofdstuk 6, waarin het grootste gedeelte van de verschillenanalyse wordt behandeld, telt 36 opdrachten, een D-toets met 17 opdrachten en 2 cases. Deze opdrachten zijn onderverdeeld in 196 vragen. Bij deze vragen heb ik geteld hoe veel met het woord “Bereken” beginnen. Dit komt 165 keer voor, wat 84% van het totaal aantal vragen betreft. Dit komt overeen met de eindexamens, waar 79% van het totaal aantal vragen rekenvragen betreft. Ook het percentage vragen van het type V1 (3%), type V2 (5%) en type V3 (6%) komt aardig overeen met wat er op het eindexamen wordt getoetst (5%, 8% en 6%, resp.). Het overige deel betreft vragen naar een definitie, wat in het eindexamen niet voorkomt (type D).
17
Type vraag Aantal %
Berekenen 165 84%
B Bereken … 165 84%
Verklaren 27 14%
V1 Verklaren verbanden tussen verschillen 6 3%
V2 Verklaren oorzaak verschil 10 5%
V3 Verklaren voorcalculatorische kosten 11 6%
Overig 4 2%
D Geven definitie 4 2%
Tabel 3: Vragen uit de methode naar type
5. Theoretische verkenning van de oplossingen
In de theoretische verkenning van de oplossingen bekijk ik vijf oplossingen uit de literatuur. Hierbij maak ik een afweging of en in hoeverre deze oplossingen bruikbaar zijn voor mijn eigen ontwerp. Hiermee dient deze theoretische verkenning, tezamen met de hiervoor beschreven empirische verkenning, als basis voor mijn ontwerpregels.
Het aanbieden van een raamwerk
Zoals beschreven bij de theoretische verkenning is een van de oorzaken van het probleem dat een duidelijk raamwerk waar leerlingen het geleerde materiaal kunnen ordenen ontbreekt, zodat leerlingen het grotere geheel gaan zien. De oplossing voor dit probleem ligt voor de hand: bied een duidelijk raamwerk aan. Dit blijkt echter niet eenvoudig. Bij de verkenning van de methode heb ik immers laten zien dat het raamwerk dat in de methode wordt gehanteerd, niet toereikend is, omdat deze veel te formulegedreven is. Daarom verken ik in deze paragraaf waar zo’n raamwerk dan wel aan dient te voldoen en welke werkvormen hierbij geschikt zijn.
Zowel Shank en Churchill (1977) als Greenberg en Wilner (2015) gebruiken een raamwerk dat opgebouwd is uit verschillende lagen. Zie hiervoor Figuur 4. De verschillen op de hogere lagen zijn het belangrijkst, maar bieden het minste inzicht in de oorzaak van het probleem. Hoe dieper de laag, hoe meer detail de verschillenanalyse kent en hoe groter het inzicht in de oorzaak wordt. Ook kan het verschil tussen de variabele en integrale kostencalculatie worden toegevoegd (Greenberg & Wilner, 2015). In principe kan een verschil bijna oneindig worden uitgesplitst, maar uiteindelijk is het voordeel van het toevoegen van detail kleiner dan de complexiteit van de analyse (Shank & Churchill, 1977). Deze redenering van Shank en Churchill (1977) is interessant in het licht van de principaal-agenttheorie. De principaal wil zo veel mogelijk inzicht in het functioneren van de agent, maar uiteindelijk wegen de kosten van het verwerven van deze inzichten niet meer
18
op tegen het voordeel (Jensen & Meckling, 1976). Uit het raamwerk moet het de leerling dus duidelijk worden dat hij begint bij het meest basale verschil, namelijk het verschil tussen de begrote en de werkelijke nettowinst. Dit verschil moet worden uitgediept, naargelang de wens van de manager. Het is van belang dat de leerling hierbij steeds slechts 1 laag dieper gaat (Shank & Churchill, 1977). Op deze manier is het begrip van de leerling van de verschillenanalyse en het belang voor de manager het grootst.
Figuur 4: Raamwerk volgens Shank & Churchill (1977)
VanZante (2007) kiest voor een andere aanpak. Hij geeft zijn leerlingen twee cases. Deze cases zijn erop gericht om de student het grotere geheel te laten inzien. Bij de cases geeft hij een tabel (Figuur 5) die de leerlingen volledig moeten invullen. VanZante laat de leerlingen de tabellen bij elk type verschil 1 voor 1 invullen. Daardoor heeft de leerling elk type verschil berekend en weet hij waar
19
het verschil zich bevindt in het grotere geheel. Voor mijn ontwerp is de aanpak van VanZante minder geschikt, omdat de verschillen alsnog 1 voor 1 behandeld dienen te worden en daardoor toch formulegedreven wordt.
Figuur 5: Ingevulde tabel met verschillen volgens VanZante (2007)
In het kader van mijn ontwerp spreekt de aanpak van Shank en Churchill mij erg aan. Het belang van de verschillenanalyse voor de manager wordt namelijk goed zichtbaar en zal daarom terugkomen in mijn ontwerp, dat gericht op de rol en de beslissingen van de manager. Echter, het raamwerk zelf is behoorlijk uitgebreid. Ook is er in de methode een raamwerk voorhanden dat erg lijkt op dat van Shank en Churchill (Figuur 6). Dit raamwerk is ook beter toegespitst op het vak bedrijfseconomie. Om deze reden zal ik een raamwerk niet expliciet opnemen in mijn ontwerp.
20
Het aanbrengen van common sense
Volgens Messer (2016) is het bieden van goede analogie een oplossing voor rote learning, omdat leerlingen op een contextueel niveau gaan nadenken over de stof. Messer gebruikt de sport golf in zijn lessen. De par van een hole is het begrote resultaat. Een birdie is een voordelig resultaat en een bogey een nadelig resultaat. Een golfer wordt afgerekend op de afwijking ten opzichte van de par, een werknemer wordt afgerekend op zijn performance ten opzichte van de begroting. Op deze manier wordt met een simpele alledaagse analogie een groot deel van de kern van de verschillenanalyse geraakt. Hoewel de vraag gesteld kan worden in hoeverre golf onderdeel uitmaakt van de gemiddelde zesdeklasser uit Amsterdam Nieuw-West, spreekt de analogie mij wel aan. Met een goede analogie wordt wel meteen duidelijk waarom een verschillenanalyse wordt uitgevoerd. Daarom zal ik in het ontwerp ook een alledaags voorbeeld gebruiken om het doel van de verschillenanalyse duidelijk te maken.
Leerlingen bedenken zelf de verschillen
Messer (2016) schrijft dat leerlingen bij de verschillenanalyse drie fasen moeten doorlopen: het identificeren van de relevante data, het afvragen wat er gebeurd is en het berekenen van de verschillen ten behoeve van het nemen van beslissingen. Messer benadrukt het belang van de tweede fase: het stellen van de juiste vragen. Alleen hierdoor zullen leerlingen de verschillenanalyse echt begrijpen in plaats van dat de trucjes van de docent worden herhaald. Leerlingen moeten zichzelf dus altijd eerst de vraag stellen wat er eigenlijk gebeurt in een onderneming. Ook zullen ze zichzelf de vraag moeten stellen wat ze zouden willen weten als ze zelf de manager waren. Door ze eerst de formules te geven, zullen ze geneigd zijn meteen te gaan rekenen. De leeractiviteit begrijpen wordt daarmee niet bereikt, enkel het trucje is onthouden. Daardoor blijft de leerling steken op een lagere orde denkniveau.
Een theorie die hierbij aansluit is het Ontwikkelingsgericht Onderwijs (Van Oers, 2003). Een van de kenmerken van Ontwikkelingsgericht Onderwijs is dat leerlingen hun eigen instrumenten construeren voor het oplossen van betekenisvolle problemen. Het is erop gericht “de belangen, interessen en mogelijkheden van de kinderen op een betekenisvolle manier te integreren” (Van Oers, 2003, p. 12). Pollard (2014) speelt hier met zijn ontwerp goed op in. Hij laat leerlingen hun eigen producten en ook getallen bedenken. Het resultaat is dat leerlingen actief met de stof bezig waren.
Ik verwacht dat het construeren van eigen instrumenten in het kader van de verschillenanalyse zal betekenen dat leerlingen zich afvragen wat ze zouden willen weten om de juiste beheersmaatregelen te treffen. Hierna moeten ze een instrument ontwikkelen om te meten
21
wat er gebeurt in de onderneming. Ik verwacht dat ze hiermee zelf een formule ontwikkelen die sterk lijkt op de formules uit de methode. Daarna hoeft er enkel nog een naam aan gegeven te worden.
Leerlingen ervaren de verschillenanalyse in een besluitvormingscontext
Zoals eerder in deze paragraaf beschreven, is het van belang dat de leerlingen de rol van de manager in de verschillenanalyse begrijpen.Thein (2006) schrijft dat leerlingen zelf de rol als manager moeten ervaren. Een van de manieren is een excursie, maar vanwege praktische en financiële bezwaren is een nabootsing hiervan ook effectief. Dit kan door leerlingen een casus uit laten voeren, waarin het nemen van beslissingen centraal staat. De informatie over het bedrijf moeten ze zelf verzamelen en de analyse moeten ze zelf uitvoeren. Thein benadrukt wel dat een grote casus te complex kan zijn voor leerlingen die net kennis maken met de verschillenanalyse.
Ook King en McConnell (2010) benadrukken dat het belangrijk is om leerlingen zelf te laten ervaren wat de verschillenanalyse is. Zij gebruiken een naambordje als product. Dit is dus meteen een herkenbaar product, waarmee ook meteen common sense is aangebracht. King en McConnell vragen daarna aan de leerling welke materialen er zijn gebruikt en hoeveel tijd het heeft gekost. Leerlingen wordt bij verschillende scenario’s gevraagd worden wat voor effect dit heeft op de verschillen. Ook kan bij deze activiteit gevraagd worden om de verantwoordelijke aan te wijzen voor de verschillen.
Ik vind de insteek van King en McConnell erg interessant. Ze slaan twee vliegen in een klap. Ze hebben common sense gecreëerd en ze dringen door tot de kern van de verschillenanalyse door de leerling in de rol van de manager te zetten. In het echte leven krijgen managers immers ook te maken met scenario’s. Dit wil ik daarom verwerken in mijn ontwerp.
Samenwerkend leren
Samenwerkend leren leidt tot actiever en effectiever leren, doordat leerlingen zich de stof zelf eigen maken. Door samenwerkend leren wordt vaker hoger orde denken bereikt dan bij individueel leren (Ebbens & Ettekoven, 2016). Dit is uitermate geschikt voor mijn ontwerp, omdat het doel is om leerlingen beslissingen te laten nemen op basis van de verschillenanalyse. Dit valt onder de leeractiviteit creatief toepassen. Bij deze leeractiviteit is een gestructureerde aanpak zoals frontaal een stappenplan of een raamwerk voorschotelen minder effectief. Daarom is samenwerkend leren, waarin leerlingen hun eigen aanpak ontwikkelen, effectiever.
Lieberman (2012) schrijft in zijn onderzoek dat het brein beter in staat is feiten te onthouden die sociaal gecodeerd zijn. Hierdoor is “peer tutoring”, oftewel samenwerkend leren,
22
een effectieve vorm van leren. De leeropbrengst is doorgaans hoger voor degene die het uitlegt, dan voor degene die uitleg ontvangt. De bevindingen van Lieberman sluiten goed aan bij mijn persoonlijke visie op onderwijs. Ik vind het belangrijk dat leerlingen elkaar onderwijzen, omdat ze uiteindelijk ook in een samenleving terecht komen waar ze van elkaar moeten leren. De werkvormen die in mijn ontwerp terugkomen, zullen daarom zeker coöperatief van aard zijn.
6. Ontwerp
Ontwerphypothese
Als ik de verschillenanalyse aanpak met een interventie waarin
• het zelf verklaren van de verschillen op een contextueel niveau; en • het treffen van beheersmaatregelen
centraal staan, verwacht ik dat leerlingen beter in staat zijn om de benodigde gegevens te identificeren, de verschillende componenten van de verschillenanalyse te berekenen en op basis daarvan passende keuzes te maken.
Ontwerpregels
1. Leerlingen bedenken zelf hoe de verschillen tussen de begrote en gerealiseerde nettowinst ontstaan, zonder vooraf de formules of concepten behandeld te hebben.
2. De verschillenanalyse bevat een analogie uit de belevingswereld van de leerlingen.
3. Het ontwerp plaatst leerlingen in de rol van manager, waarin de leerling wordt geconfronteerd met incomplete informatie en toeval.
4. De werkvormen uit het ontwerp zijn coöperatief van aard, zodat peer tutoring wordt bevorderd.
Lesontwerp
Voor de eerste les maak ik 4 groepjes van 4 personen. Deze groepjes blijven alle vier de lessen hetzelfde. Om peer tutoring te bevorderen, zal ik deze groepen heterogeen groeperen op cognitie (ontwerpregel 4). Ter oriëntatie op de verschillenanalyse start de lessenserie met een startopdracht tijdens les 1. Tijdens deze les krijgen de leerlingen de casus Ignacio voorgelegd. Ignacio is de eigenaar van een Texaans-Mexicaans restaurant. Dit is een casus waar leerlingen zich aan kunnen relateren (ontwerpregel 2). Tijdens deze startopdracht denken de leerlingen na over verschillen die mogelijk kunnen ontstaan tussen de voor- en nacalculatie. Hierdoor denken ze eerst na over de verschillen zelf, voordat ze de formules zien en gaan rekenen (ontwerpregel 1).
23
Tijdens les 2/3 (blokuur) gaan leerlingen de verschillen zelf ervaren aan de hand van een simulatieopdracht. Hierbij kopen leerlingen tortillachips in waarmee ze bakjes gaan vullen (de gerechten van Ignacio). Deze verkopen ze vervolgens aan mij. Hieruit vloeit de nettowinst (bedrijfsresultaat). Om aan te sluiten bij de uiteindelijke toetsing op het examen, berekenen ze hierna het verschil tussen de verwachte en gerealiseerde nettowinst. Dit verschil moet verklaard worden aan de hand van prijs-, efficiency- en bezettingsresultaat. Deze berekeningen dienen als toetsingsinstrument voor mijn educatief ontwerp.
Tijdens de laatste les, les 4, kruipen leerlingen weer in de rol van Ignacio. Aan de hand van de berekende verschillen tijdens het blokuur moeten ze verschillende maatregelen gaan bedenken om de winst te vergroten (ontwerpregel 3). Leerlingen leren hierbij dat de oorzaken van de problemen niet altijd te maken hebben met slechte budgettering, maar ook door toeval. Hiervan is specifiek voor horecaondernemingen de coronacrisis een goed voorbeeld. Voor een uitgebreide uiteenzetting van de lessen en het gebruikte materiaal, verwijs ik naar bijlagen 4 tot en met 10. Aanpassing tijdens uitvoering
Doordat ik de effectmeting heb aangepast (zie Aanpassing van de evaluatie), heb ik les 4 aangepast. Ik begin de les met een terugblik naar het blokuur, waarna ik de koppeling maak tussen de gevonden verschillen en de benamingen van deze verschillen. Vervolgens vullen de leerlingen het learner report (met opdracht 6.19 uit de methode) via Microsoft Forms in. Dit formulier is te vinden in bijlage 12. Hiermee is een les van 45 minuten gevuld.
7. Onderzoeksplan
Het doel van het effectonderzoek is om het effect van mijn interventie te meten. Deze effectmeting bestaat uit twee componenten. Ten eerste meet ik in hoeverre leerlingen door mijn interventie de verschillen uit de verschillenanalyse kunnen berekenen en ten tweede passende keuzes kunnen maken op basis van de berekende verschillen.
Het eerste component, het berekenen van de verschillen, zal ik toetsen middels een inhoudsanalyse op de verschillenanalyse die na de derde les ingeleverd moet worden. Bij het eerste component stel ik een streefnorm van 70%. Uit de analyse van de p-waarden blijkt dat bij dit type vraag op eindexamens 33 tot 55 procent een juist antwoord heeft. Dit wil ik verbeteren. 70 procent is hierbij realistisch en acceptabel. Een lagere norm zou een summiere verbetering ten opzichte van het “reguliere onderwijs” betekenen, terwijl een hogere norm niet realistisch is. De betrouwbaarheid van de meting wordt gewaarborgd door het opgestelde correctievoorschrift, waarin ik uiteenzet wanneer hoeveel punten toegekend worden en hoe om te gaan met ontbrekende verschillen. Dit correctievoorschrift is te vinden in bijlage 10.
24
Ik kies niet voor een voormeting, omdat de verschillenanalyse een zeer technisch onderdeel is van bedrijfseconomie, waar leerlingen uit vwo 6 voor het eerst mee te maken krijgen. Een voormeting zal als uitkomst hebben dat niemand enig idee heeft wat er moet gebeuren. Een evaluatie met behulp van een controlegroep is tevens niet mogelijk, omdat er geen parallelklassen zijn.
Het tweede component, het maken van keuzes, zal ik tijdens les 4 toetsen middels een hardop-denkenanalyse, omdat deze techniek zeer geschikt is om het leergedrag van leerlingen te analyseren. Hierbij selecteer ik twee leerlingen uit de klas om hun keuze voor een getroffen maatregel te onderbouwen. Deze analyse is valide, doordat ik in kaart kan brengen of en hoe de leerling de verschillenanalyse gebruikt in het bedenken van een beheersmaatregel. De betrouwbaarheid wordt gewaarborgd door het uitschrijven van een protocol.
Aanpassing van de evaluatie
Tijdens het uitvoeren van de lessen heb ik besloten om de wijze van effectmeting aan te passen. Het doel van dit effectonderzoek is om te meten in hoeverre mijn ontwerpregels ertoe leiden dat leerlingen de benodigde gegevens kunnen identificeren, de verschillende componenten van de verschillenanalyse kunnen berekenen en op basis daarvan passende keuzes kunnen maken. Een hardop-denkenanalyse leek mij hiervoor niet geschikt, omdat ik slechts 1 van deze effecten kan meten op basis van slechts 1 of 2 leerlingen.
Daarom heb ik gekozen voor een learner report. Hiermee kan ik niet alleen het leereffect in kaart brengen, maar ook de leerervaring. Het learner report bestaat uit twee delen. Het eerste deel omvat een kennistoets met 5 meerkeuzevragen en een toelichting. Het tweede deel is het daadwerkelijke learner report, waarbij leerlingen hun leerervaringen rapporteren.
Het eerste deel bevat een inhoudelijke vraag uit de methode, waarbij een bezettings- en efficiencyverschil wordt gevraagd. Hier heb ik één vraag aan toegevoegd, die ingaat op de beheersmaatregelen. Dit inhoudelijke deel heb ik toegevoegd om twee redenen. Enerzijds wil ik in toetsen of leerlingen in staat zijn het jargon (verkoop-, prijs-, efficiency- en bezettingsresultaat) te koppelen aan de verschillen. Dit zit niet in de effectmeting van les 3, omdat ik hier de namen van de verschillen nog niet heb behandeld. Ook wil ik toetsen of leerlingen beheersmaatregelen kunnen koppelen aan de verschillenanalyse. De beheersmaatregelen zijn immers niet meegenomen in de effectmeting in les 3. Anderzijds wil ik voorkomen dat leerlingen in het tweede deel meer leerervaringen rapporteren dan ze daadwerkelijk aan kennis hebben opgedaan (van Kesteren, 1989).
Het tweede deel van het learner report vraagt de leerlingen naar hun leerervaringen in alle vier de lessen. Ik vraag ze wat ze hebben geleerd in de betreffende les en ik vraag ze om een top
25
en een tip te geven, zodat de feedback meer richting geeft. Ik stel hierbij open vragen, wederom om te voorkomen dat leerlingen meer rapporteren dan ze daadwerkelijk geleerd hebben (van Kesteren, 1989).
8. Terugblik op de lessen
Les 1
Bij de eerste les liep ik tegen het probleem aan dat er slechts 11 leerlingen aanwezig waren. Hierdoor zat 1 leerling zonder groepsgenoten. Ik heb haar aan laten sluiten bij groep 3. Toen de leerlingen 5 minuten bezig waren, kwamen alsnog 2 leerlingen binnen. Hierdoor kwam het totaal op 13 leerlingen. Normaal gesproken vind ik groepjes van 5 te groot, omdat dit effectief samenwerken in de weg staat. Anderzijds wilde ik de bestaande groepjes, nu ze net lekker in de opdracht zaten, niet uit elkaar halen. Daarom waren er nu 2 groepjes van 4 leerlingen en 1 van 5 leerlingen.
Het beantwoorden van de vragen ging de leerlingen goed af. Ik heb geen vragen gekregen over de terminologie. Dit was dus vanuit de vorige lessen duidelijk overgekomen. De samenwerking binnen de groepjes begon wat stroef. De eerste minuten was er niet veel overleg, vermoedelijk omdat de eerste vraag daar niet toe uitdaagt. Bij de tweede vraag ontstond er in groep 2 een discussie.
AD: Luister, je moet de constante kosten verdelen over de 9.000, want hij produceert maar 9.000.
IT: Nee, hij heeft van tevoren al bepaald dat hij de kosten over 10.000 gaat verdelen. Je kunt toch niet elke keer dat bedrag veranderen?
AD: Ja maar hij verkoopt er maar 9.000. Dan klopt dat toch niet? IT: Jawel, want je gaat dat bedrag niet elke keer veranderen.
Mid: Volgens mij komen jullie er niet uit. Heb je het al aan je groepsgenoten gevraagd? Wat vinden CH en JF hiervan?
AD: Ja, JF, vertel!
JF: Ik heb echt geen idee, het zou allebei kunnen. CH: Ik denk dat IT gelijk heeft, want dat heeft hij altijd. Mid: Meeste stemmen gelden, AD. Schrijf maar op!
Ik was blij met deze discussie, omdat dit precies tot de kern van vraag 2 doordringt. Het gaat erom dat de opslag voor de constante kosten altijd wordt bepaald aan de hand van de normale productie en niet de begrote productie, ondanks dat dit wellicht logisch lijkt. IT gaf hier exact de juiste redenering, maar AD is er niet de leerling naar om hier naar te luisteren. Daarom besloot ik me ermee te bemoeien. Het volume van de discussie liep op en het zag er niet naar uit dat AD zijn ego opzij ging schuiven. Met mijn interventie heb ik geprobeerd om de andere groepsleden iets meer te laten participeren, wat slechts zeer beperkt lukte.
26
In groep 3 kwam ze ook niet uit vraag 2. DS besloot de vraag aan mij te stellen. DS: Meneer, is het 9.000 of 10.000 bij vraag 2?
Mid: Geen idee, wat denkt de rest?
DS: Ja, we hebben maar voor 9.000 gekozen, omdat hij maar 9.000 verkoopt. Dat lijkt logisch. Mid: Oké, prima, schrijf maar op.
AO: Oh, dan is het dus fout. DD: Ja als hij het zo zegt wel.
NA: Ik zei nog, als het 10.000 is, dan… DS: Oké, we maken er wel 10.000 van. Mid: We bespreken hem straks.
Het groepje heeft nu een antwoord genoteerd, maar snapt nog niet waarom de normale productie gebruikt moet worden bij de berekening van de opslag voor de constante kosten. Mede hierom besloot ik om deze later klassikaal te bespreken.
In groep 2 ontstond er discussie over vraag 3.
IT: Wat ben jij eigenwijs! Net was het 10.000, dus dan is het nu ook 10.000.
AD: Hij denkt dat-ie maar 9.000 kan verkopen. Dan gaat hij ook maar voor 9.000 inkopen, anders gaat het bederven ofzo. Dus dan moeten we die bedragen ook over 9.000 verdelen. AD heeft gelijk, maar wordt niet serieus genomen door zijn groep. Dit was jammer, omdat groepswerk hier dus niet leidde tot leren bij de andere drie groepsgenoten.
Na de bespreking, waarbij ik de antwoorden oplas en uitlegde waarom er voor 10.000 dan wel 9.000 stuks gekozen moest worden, leek het voor iedereen duidelijk. De les was bijna om, maar AD snapte de berekening van de kostprijs nog niet. Ik legde uit dat de variabele kosten door de begrote productie gedeeld moesten worden en de constante kosten door de normale productie. Ik vroeg hem terug te denken aan de discussie met IT.
AD: Jajaja, dan kom je op 1,53. Mid: Ja, precies.
AD: Ja maar als ik mijn constante kosten baseer op die 10.000 en ik verkoop maar 9.000, dan heb ik eigenlijk niet mijn constante kosten eruit gehaald. Waar blijven die andere doezoe3…
IT: Nee, maar het zijn constante kosten hè, alles…
Mid: Oh, jij bedoelt: stel je verkoopt echt 9.000 stuks, dan zijn je constante kosten er niet uit. AD: Ja! Precies!
Mid: Lekker, ja klopt! Dus wat is een verklaring bij jou, bij 4?
AD: Hij verkoopt minder, dus zijn kosten zijn niet gedekt, dus in principe… Waarschijnlijk gaat hij ook zijn verkoopprijs omhoog gooien.
AD raakt hier de kern van de relatie tussen de kostprijsberekening en het bezettingsresultaat, terwijl hij de formules nooit gezien heeft. Helaas verwoordt hij geen verklaring, wat bij vraag 4 wordt gevraagd. Hij zoekt wel meteen naar een oplossing, een beheersmaatregel.
27
Over de kwaliteit van deze maatregel valt te twisten, maar de opdracht heeft hem blijkbaar voldoende geleid richting het formuleren van zo’n maatregel.
Les 2/3
Ik begon het blokuur met het indelen van de groepjes. Dit ging erg makkelijk, omdat ik ze er tijdens de eerste les al op voorbereid waren. Ik deelde meteen de opdracht uit en ze mochten meteen aan de slag. Het werd wel snel duidelijk dat leerlingen niet gewend zijn aan vragen waarbij ze zelf iets mochten bepalen of schatten. Zo vroegen verschillende leerlingen: “Hoeveel moeten we produceren?” waarop ik antwoordde: “Geen idee, het is jouw onderneming.” Dat leerlingen behoefte hebben aan houvast, bleek ook uit de vraag of ze de zak chips mochten zien, zodat ze de inhoud konden aflezen. Dit heb ik niet toegestaan, omdat ik er zeker van wilde zijn dat er efficiency- en bezettingsresultaten zouden optreden.
De groepjes waren ruimschoots klaar met de voorcalculatie binnen de daarvoor bestemde tijd. Hierna begonnen ze met het inkopen van de zakken chips. De meeste groepjes hebben een flinke korting bedongen, waardoor er overal wel prijsverschillen op moesten treden.
Leerlingen vonden de nacalculatie lastig. Leerlingen zien hierin de kostenverschillen ((inkoop)prijs-, efficiency- en bezettingsresultaat) minder snel dan de omzetverschillen ((verkoopprijs- en afzetverschillen). Dit is op zich niet erg, omdat omzetverschillen ook onderdeel van de verschillenanalyse zijn, maar de doelen van de les zien met name toe op de kostenverschillen. Bij het berekenen van de kostenverschillen (vraag 6) kwamen er vragen voor meer houvast. Ik merkte dat deze vraag te uitgebreid is. Als leerlingen bij vraag 5 niet alle verklaringen kunnen vinden, kunnen ze deze bij vraag 6 ook niet berekenen. Leerlingen kwamen ook niet op het idee om de prijs- en efficiencyverschillen per gram te berekenen. Ze doen dit veelal per bakje, waarmee ze niet inzien dat hier ook een afzetverschil wordt meegenomen. Groepje 1, dat de verschillen wel per gram berekende, rondde alle getallen af op centen (€0,0225 vs. €0,02), waarmee het verschil tussen begrote en gerealiseerde nettowinst alsnog niet sloot.
Les 4
De vierde les ben ik begonnen met een klassikale uitleg. Dit betrof de aansluiting van de simulatie-opdracht op de methode. Hiertoe heb ik vraag 5 en 6 uit de simulatie-simulatie-opdracht kort besproken. Ik heb het bezettings-, efficiency- en prijsresultaat conceptueel kort toegelicht. Daarna heb ik een voorbeeldberekening gemaakt aan de hand van de simulatie-opdracht. Zie hiervoor bijlage 11.
Hierna heb ik de leerlingen aan het werk gezet met de opdracht in Forms, met het verzoek om dit alleen te doen. Hoewel dit in strijd is met mijn ontwerpregels, is het van belang dat ik de leereffecten voor het individu meet. Leerlingen gingen hierna individueel aan het werk, maar er
28
kwamen snel een hoop vragen over het verkoopresultaat. Dit is mogelijk het grootste hiaat in mijn lessenserie. Het verkoopresultaat is namelijk geen verklaring voor het verschil tussen voor- en nacalculatie. Het geeft immers enkel aan hoeveel nettowinst verwacht mag worden bij de werkelijke afzet. Dit is in geen van de opdrachten naar voren gekomen. Ook tijdens de klassikale uitleg is het verkoopresultaat niet aan bod gekomen. Om deze reden heb ik het verkoopresultaat in ongeveer twee minuten klassikaal uitgelegd.
Uitvoering van de effectmetingen
Effectmeting 1Tijdens de uitvoering van effectmeting 1 is er bij 2 groepjes een prijsverschil op de verkopen ontstaan. Dit komt doordat deze groepjes dusdanig karig gevulde bakjes chips bij mij afleverden dat ik weigerde om ze voor de door hen berekende prijs te kopen. Dit is in het echte leven een logisch scenario, maar het leverde een probleem op voor de effectmeting, omdat een prijsverschil op de verkopen niet is opgenomen in het correctievoorschrift. De berekening van dit verschil heb ik daarom niet beoordeeld.
Groepje 1 heeft een afzet van exact 8 bakjes gekozen en zijn hier tijdens de uitvoering niet van afgeweken. Hierdoor ontstaat er geen bezettingsresultaat. Dit scenario was reeds opgenomen in het correctievoorschrift, maar daarmee is de effectmeting bij dit groepje niet effectief geweest om te bepalen of het bezettingsresultaat kan worden verklaard en berekend.
Groepjes 1, 2 en 4 hebben ervoor gekozen om de opdracht samen te maken en de versie waar ze het meest tevreden over waren in te leveren. De andere versies waren gebruikt als klad en waren daarmee geenszins geschikt geweest om de effectmeting uit te voeren. Daarom vertonen de resultaten van deze groepjes geen individuele verschillen tussen de leerlingen.
Effectmeting 2
Het formulier in Forms (effectmeting 2) was in zijn totaliteit een fractie te lang. Alle leerlingen hadden het eerste deel van het formulier af, maar het tweede deel nog niet. Daarom heb ik hen gevraagd om het formulier te verzenden en later enkel het tweede deel nogmaals in te vullen. Vanwege de lockdown die na deze maandag werd afgekondigd, kon ik deze feedback niet in de les op woensdag afdwingen. Wel heb ik de leerlingen gemaild met de vraag om het formulier af te ronden. Hoewel een groot deel van de leerlingen hier gehoor aan heeft gegeven, heeft dit alles geleid tot een lagere respons op het feedbackgedeelte dan dat er leerlingen aanwezig waren. Met een respons van 12 op de 15 heb ik echter voldoende data om mijn onderzoek te voltooien.
29
9. Resultaten
Effectmeting 1
Vraag → 2c 3 4 5 6 1 IC 2 1 1 3 8 15 FG 2 1 1 3 8 15 SK 2 1 1 3 8 15 TA 2 1 1 3 8 15 2 IT 2 2 1 4 3 12 CH 2 2 1 4 3 12 AD 2 2 1 4 3 12 JF afwezig 3 DS 2 2 1 1 3 9 AO 2 2 1 2 4 11 DD 2 2 1 1 3 9 NA 2 2 1 2 3 10 4 ST 1 2 0 3 2 8 MN 1 2 0 3 2 8 QL 1 2 0 3 2 8 RT 1 2 0 3 2 8 MAX 2 2 1 4 8 17 GEM 1,7 1,7 0,7 2,8 4,1 11,1 % 87% 87% 73% 70% 52% 65%Tabel 4: Aantal toegekende punten per leerling per vraag (simulatie-opdracht)
Uit Tabel 4 blijkt dat leerlingen goed in staat zijn om een kostprijs te berekenen en de opslag voor de constante kosten te relateren aan de normale productie (beide 87%). De startopdracht heeft hierin dus voldoende effect gehad.
Zoals eerder beschreven had ik de indruk dat de nacalculatie lastig werd gevonden. De resultaten ondersteunen dit beeld. Leerlingen blijken prima in staat om oorzaken voor de verschillen aan te wijzen (vraag 5: 70%), maar weten dit vervolgens niet om te zetten in een goede berekening (vraag 6: 52%). Omdat vraag 6 zeer uitgebreid is, heb ik deze separaat geanalyseerd aan de hand van Tabel 5.
30
Afzet-verschil Bezettings-resultaat Efficiency-resultaat resultaat Prijs-1 IC 2* 2* 2 2 8 FG 2* 2* 2 2 8 SK 2* 2* 2 2 8 TA 2* 2* 2 2 8 2 IT 1 1 0 1 3 CH 1 1 0 1 3 AD 1 1 0 1 3 JF afwezig 3 DS 2 0 0 1 3 AO 2 0 0 2 4 DD 2 0 0 1 3 NA 2 0 0 1 3 4 ST 2 0 0 0 2 MN 2 0 0 0 2 QL 2 0 0 0 2 RT 2 0 0 0 2
*verschil niet mogelijk door gekozen afzet: punten toegekend
Tabel 5: Aantal toegekende punten per leerling per verschil (vraag 6)
Uit Tabel 5 blijkt dat leerlingen vooral moeite hebben met het bezettings- en efficiencyresultaat. Vaak wordt het efficiencyverschil al niet genoemd bij vraag 5, waardoor het berekenen ervan niet aan de orde komt. Zoals eerder beschreven letten leerlingen vooral op de omzetverschillen en op het verschil op de inkoopprijs. De opdracht is dus niet voldoende expliciet in de vraag naar de verschillende componenten van het budgetresultaat.
Uit de tabel blijkt verder dat het goede resultaat van groepje 1 vooral komt door de 4 “gratis” punten die zijn toegekend. Hierdoor is niet vast te stellen of dit groepje in staat is om het afzetverschil en het bezettingsresultaat te berekenen. Dit geeft een mogelijke vertekening in het resultaat van deze effectmeting.
Effectmeting 2
Inhoudsanalyse FormsDe tweede effectmeting betreft het formulier in Microsoft Forms. De resultaten van het inhoudelijke gedeelte zijn te vinden in Figuur 7. Hierbij valt op dat leerlingen goed in staat zijn om de kostprijs en het verkoopresultaat te berekenen (resp. 91,7% en 100%). De kostprijsberekening (vraag 1) lijkt hierin op de startopdracht met de casus van Ignacio. Deze les, waarin de kostprijsberekening centraal staat, lijkt hiermee effect te hebben gehad. De score van 100% op het verkoopresultaat is verrassend, aangezien ik dit verkoopresultaat in twee minuten heb behandeld. Wellicht is dit zo goed gegaan doordat ik dit heb behandeld toen de meeste leerlingen met deze vraag bezig waren. Dit kan het resultaat vertekend hebben.
31
Verrassend genoeg heeft de leerling die de kostprijs verkeerd heeft berekend het verkoopresultaat wel goed berekend. Ook de uitleg4 hierbij klopte. Vermoedelijk heeft deze leerling
buiten mijn zicht om het antwoord van €9,00 gecheckt bij een medeleerling.
Uit Figuur 7 blijkt dat het bezettingsresultaat door 75% van de leerlingen juist wordt berekend en zich daarmee boven de streefnorm (70%) bevindt. Eén leerling heeft geconcludeerd dat er sprake is van overbezetting en kwam hiermee op €150 voordelig uit. Twee andere leerlingen hebben verkeerd gelezen en hebben de verwachte productie van 300 vergeleken met de normale productie van 400. Dit zijn veelvoorkomende fouten bij het bezettingsresultaat, omdat leerlingen dus niet altijd weten welke getallen ze moeten gebruiken.
Het is vooral interessant om de grote variëteit aan berekeningen te zien. Dit is immers waar mijn ontwerp uiteindelijk om draait, omdat leerlingen volgens ontwerpregel 1 zelf de verschillen bedenken. Uit Tabel 6 blijkt dat leerlingen echt nadenken over de impact van de onderbezetting op de dekking van de constante kosten. Slechts enkelen hebben exact de formule uit de lesbrief
4 Gegeven uitleg: “Verkoopprijs: 20 euro. Verschil tussen kostprijs van 12 en verkoopprijs van 20 is 8 Euro.
8 x 350verkocht = 2800”
Beheersmaatregel
De verkoopprijs per kaars verlagen Meer kaarsen produceren
Minder kaarsvet per kaars gebruiken
Verkoopresultaat
€2.800 voordeligKostprijs
€9,00 €12,00Bezettingsresultaat
€150 nadelig €150 voordelig €300 nadeligFiguur 7: Gegeven antwoorden bij vragen 1, 3, 5, 7 en 9 in Microsoft Forms. Juiste antwoorden in groen.
Efficiencyresultaat
€114,29 nadelig €40 nadelig
32
gebruikt. Ook gebruiken veel leerlingen direct de €3,00 opslag uit de kostprijsberekening. Hierin zien de leerlingen het verband tussen de kostprijsberekening en het bezettingsresultaat.
LL Antwoord Uitleg
MN €150 nadelig 50×1200=60 000 (60 000:400=150) QL €150 nadelig 350-400= -50. X 1200/400= -150. FG €150 nadelig (350-400)x1200/400= €-150
DS €300 nadelig 300-400 x 3= -300 Werkelijke productie- normale productie x constante koste per product ND €150 nadelig 1200x (350-400):400€-150
IC €150 nadelig (350-400)x(1200/400)=-150 TA €150 nadelig 50 x 3 = 150
SK €150 voordelig 50x3=150
IT €150 nadelig Onderbezetting van 50. 50 x 3 = 150
ST €150 nadelig Minder geproduceert dan normaal. Dus -50 x 3 = -150 CH €150 nadelig 3 x (350-400) = -150
RT €300 nadelig Werkelijk 300. Normaal 400. -100 x 3 = -300
Tabel 6: Gegeven antwoorden met uitleg bij vraag 5, per leerling
Bij het efficiencyresultaat hebben 7 van de 12 leerlingen het juiste antwoord gegeven (58,3%). Hierbij moet een nuance worden geplaatst. Uit Tabel 7 blijkt dat 1 leerling juist heeft gegokt, waarmee het resultaat op 50% komt. Dit is onder de streefnorm. Enkele leerlingen (met name MN, QL en CH) hebben goed nagedacht over de betekenis van het efficiencyresultaat en daarbij de toegestane kosten gebruikt. Bij de anderen (FG, ND en IC) is minder duidelijk vast te stellen of ze zelf de formule hebben bedacht, of dat ze de formule (SH – WH)*sp hebben gereproduceerd.
LL Antwoord Uitleg
MN €50 nadelig Per kaars 800 gram. Voor 350 kaarsen ---> 280 kg. Er is dus 20 kg te veel gebruikt. 20×2,5 = 50 nadelig QL €50 nadelig Je gebruikt 300 maar mag 280 gebruiken. Is 20kg meer. 2,50x20 is -50 euro nadelig. FG €50 nadelig (350x 0,08 - 300) x 2,5 = -€50
DS €60 nadelig Standaard prijsx (standhaardhoeveelheid- werkelijke hoeveelheid ) Wilde hier nog wat over vragen :) ND €50 nadelig (350x0,8-300)x2,5=€-50
IC €50 nadelig 350x0.8-300x2.5=-50 TA €60 nadelig 0,8x300=240-300=-60 SK €40 nadelig —-
IT €60 nadelig Verwacht: 800 x 300 = 240 kg. Dus €60 nadelig ST €114,29 nadelig Gokje ;)
CH €50 nadelig 350 x 800 = 280000. 280000-300000 x (2:800) = -50 RT €50 nadelig ?
Tabel 7: Gegeven antwoorden met uitleg bij vraag 7, per leerling
De vraag over de beheersmaatregelen (vraag 9) staat niet in de lesbrief. Zoals eerder beschreven richt de methode zich niet op de beheersmaatregelen. De vraag die ik zelf heb toegevoegd, kent
