• No results found

Smeets, Esther, Onderwerponderzoek, Scheikunde

N/A
N/A
Protected

Academic year: 2021

Share "Smeets, Esther, Onderwerponderzoek, Scheikunde"

Copied!
71
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

Naam auteur(s) Esther Smeets

Vakgebied Scheikunde

Titel Heuristiek voor aanpak redeneervragen scheikunde

Onderwerp Oplossen contextrijke redeneervragen binnen scheikunde onderwijs met een SPA

Opleiding Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam

Doelgroep 4 havo

Sleuteltermen Redeneervragen, SPA, probleem oplossen, heuristiek

Bibliografische referentie

Geeft aan hoe andere gebruikers van het rapport zouden moeten verwijzen. Bijvoorbeeld:

Smeets, E. (2018). Heuristiek voor aanpak redeneervragen scheikunde. Amsterdam: Interfacultaire Lerarenopleidingen UvA.

Studentnummer 11158638

Begeleider(s) E. Joling

(2)

Samenvatting

De nieuwe scheikunde is context-concept gebaseerd, met talige contexten waarbij contextrijke redeneervragen zoals “verklaar” of “bereken” worden gesteld. Leerlingen ervaren hier problemen mee. Daarom bied ik leerlingen van 4havo een lessenserie aan gericht op het zelfstandig ontwerpen en toepassen van een systematische probleem aanpak (SPA) met behulp van samenwerkend leren. Daarnaast wordt in de lessen modelleren door docent gebruikt om leerlingen vertrouwd te maken met SPA. Het automatiseren van de SPA is essentieel en hier wordt nadrukkelijk tijd voor gereserveerd in de lessenserie.

Ik heb onderzocht of leerlingen na de lessenserie hoger scoren op redeneervragen vergeleken met een controleklas waarbij ook een inhoudsanalyses op de gegeven antwoorden uitgevoerd. Daarnaast is een learner report aangeboden ter evaluatie van leerlingervaring met de lessenserie en het gebruik van SPA.

De behaalde score op redeneervragen in de interventieklas is significant toegenomen. De inhoudsanalyse laat zien deze leerlingen een completer antwoord geven en de SPA controle stap beter uitvoeren. Leerlingen zelf rapporteren het gebruik van SPA echter als niet relevant omdat het lang duurt en er veel stappen zijn.

Desondanks, impliceert dit onderzoek de positieve bijdrage van het implementeren van een SPA-georiënteerde lessenserie aan de vaardigheid beantwoorden van redeneervragen binnen scheikunde onderwijs.

(3)

Inhoudsopgave

Probleem analyse 4

Probleem beschrijving 4

Probleem analyse 4

Probleem aanpak analyse 6

Ontwerphypothese en ontwerpregels 8

Onderbouwing ontwerplessen 9

Onderbouwing onderzoeksplan en effectmetingen 11

Verslag uitvoering ontwerp- en effectmetingen 12

Presentatie effectmetingen 14

Kwantitatieve effectmeting 14

Kwalitatieve effectmeting 17

Conclusie 19

Aanbevelingen 20

Bijlage 1 MDA lesplannen 22

Bijlage 2 Gebruikte lesmaterialen 30

Bijlage 3 Gebruikte onderzoeksinstrumenten 33

Bijlage 4 Ruwe onderzoeksdata 44

Bijlage 5 Empirische data probleemanalyse 68

(4)

Probleemanalyse Probleem beschrijving

Het curriculum van de nieuwe scheikunde voor de havo is gebaseerd op context-concept denken waarbij de relevantie van scheikundige kennis wordt gedemonstreerd door deze vanuit een voor de leerlingen herkenbare context te benaderen met als doel scheikunde aantrekkelijker te maken voor leerlingen (SLO, 2013). Deze contexten zijn talig waarbij leerlingen teksten moeten lezen en daaruit voor de vraag belangrijke feiten destilleren. Vervolgens geven zij een verklarend antwoord geven op de gestelde vraag waarbij de redenatie of gebruikte rekenmethode wordt uitgeschreven. Dergelijke vragen zijn geformuleerd als: “Leg uit waarom”, “Verklaar het verschil tussen”, “Bereken”, of “Beredeneer dat”. Afhankelijk van het getoetste onderwerp bestaan deze vragen voornamelijk uit bereken vragen of uit vragen waarbij een talig antwoord wordt verwacht. Leerlingen uit 4havo van het Zaanlands lyceum ervaren dergelijke contextrijke vragen binnen scheikunde waarbij een talig antwoord of berekening gevraagd wordt als ingewikkeld. Bij nabesprekingen van toetsen geven zij aan dat ze niet begrepen wat er precies van hen verwacht werd en “dat ze maar iets deden”. Bij het analyseren van redeneervragen valt het mij, en sectiegenoten, op dat leerlingen slecht scoren op dit type vragen doordat ze geen verklaring geven voor hun antwoord, een antwoord geven dat niet gevraagd werd en hun antwoord slecht structuren en daardoor verkeerde conclusies trekken. Uit een initiële inhoudsanalyse van een scheikundetoets gemaakt door de leerlingen werd geconcludeerd dat het aantal leerlingen dat de volledige score behaald op redeneervragen tussen de 4% en 43% ligt, afhankelijk van de vraag (bijlage 5).

In het huidige scheikunde onderwijsprogramma op het Zaanlands lyceum worden oplossingstechnieken voor dergelijke vragen niet expliciet behandeld. Tijdens het nabespreken van toetsen wordt het impliciet behandeld door het antwoord te modelleren door de docent en het correctievoorschrift te behandelen met de bijbehorende puntenverdeling voor verschillende deelantwoorden.

Het probleem van leerlingen met contextrijke redeneervragen wordt ook herkend in de literatuur, het SLO (2017) besteedt hier aandacht aan in haar handreiking schoolexamen behorend bij scheikunde en verschillende onderzoeken hebben dit probleem beschreven. Bij dit ontwerponderzoek heb ik me gericht op het probleem van het geven van verklarende antwoorden op contextrijke redeneervragen tijdens scheikundetoetsen in 4havo.

Probleem analyse

Mogelijke oorzaken voor het geschetste probleem van leerlingen bij contextrijke redeneervragen zijn: onvoldoende kennis, taalproblematiek en onvoldoende oefening in het beantwoorden van redeneervragen. Deze mogelijke problemen worden hierna toegelicht.

Een eerste mogelijk probleem voor leerlingen bij het beantwoorden van redeneervragen is onvoldoende feitelijke en conceptuele kennis over de getoetste lesstof. Dit beslaat kennis over gebruikte terminologie en wetmatigheden, en verbanden tussen elementen in de lesstof en vraagstelling (Sanders, 2013). Leerlingen beantwoorden de redeneervragen hierdoor niet helder en ontwijkend om deze tekortkomingen in de kennis te omzeilen. Bovendien krijgen leerlingen bij scheikunde toetsbesprekingen op het Zaanlands lyceum het advies altijd iets op te schrijven wanneer ze het antwoord niet weten omdat voor deelantwoorden punten te

(5)

verdienen zijn. Hierdoor wordt een onsamenhangend antwoord gegeven dat bestaat uit een opsomming van in de lesstof gebruikte termen.

Het beantwoorden van redeneervragen is een vaardigheid en vraagt naast de genoemde kennis dimensies, toepassing van procedurele en metacognitieve kennis. Procedurele kennis beslaat kennis over het te volgen stappenplan om een opdracht succesvol te volbrengen. Metacognitieve kennis is nodig om de eigen voortgang bij het maken van een toets te waarborgen en eventueel bij te sturen hierop (Sanders, 2013; Safari, 2015). Bezit van beide kennis dimensies is vereist bij de vaardigheid oplossen van redeneervragen. Wanneer de aanpak van een redeneervraag van een expert en beginner vergeleken wordt, valt op dat de expert probleem-gericht en systematisch te werk gaat en een werkplan ontwikkelt terwijl een beginner oplossing-gericht is en onmiddellijk op zoek gaat naar een oplossing in plaats van het probleem te analyseren. Leerlingen missen de kennis en ervaring om de expert aanpak toe te passen, procedurele en metacognitieve kennis (Woolfolk, 2013). Dit wordt herkend als een tweede probleem in het beantwoorden van redeneervragen.

Een derde probleem is geringe leesvaardigheid bij leerlingen. De taligheid van de eindexamens, en daarmee de schoolexamens, vormt een probleem voor veel leerlingen die moeite hebben met begrijpend lezen of dyslectie hebben (Fries, 2016; Visser, 2016). Door de lange teksten die leerlingen lezen raken ze in de war over wat er van hen verwacht wordt, welke vraag ze moeten beantwoorden en welke gegevens ze daarvoor tot hun beschikking hebben. Als gevolg hiervan geven leerlingen lange, onsamenhangende antwoorden of beantwoorden ze een vraag die niet gesteld wordt. Een aspect herkent als oorzaak van geringe leesvaardigheid bij leerlingen in beta vakken is het gebruik van cognitieve academische taal (CAT), welke gekenmerkt wordt door het gebruik van weinig contextuele steun en een hoge cognitieve complexiteit. Leerlingen komen in hun dagelijks leven in aanraking met dagelijks algemeen taalgebruik welke bestaat uit meer contextuele steun en minder cognitief complex is. Leerlingen hebben begeleiding nodig bij het aanleren van de CAT, het zogenaamde taalgericht vakonderwijs (Hajer & Meestringa, 2009). Het bieden van taalsteun aan 4havo leerlingen is effectief gebleken in de beantwoording van redeneervragen waarbij met name uitdrukkelijke aandacht voor het gebruik van signaalwoorden relevant is (Visser, 2016).

Een vierde probleem is het gebrek aan oefening met redeneervragen in de lespraktijk waar voornamelijk conceptuele kennis getoetst wordt bij het maken van huiswerkopgaven. Het oefenen met de vaardigheid probleem oplossen is essentieel voor de beheersing en het automatiseren ervan, waarbij deze oefening het meest waardevol is wanneer deze plaatsvindt in een werkvorm die samenwerkend leren stimuleert en waarbij feedback gegeven wordt op het werk van de leerling (Woolfolk, 2016). De scheikunde lessen van het Zaanlands lyceum zijn sterk gericht op zelfstandigheid van de leerlingen, waarbij antwoordmodellen te vinden zijn in de elektronische leeromgeving waarmee leerlingen hun eigen huiswerk kunnen controleren. Wanneer zij hier vragen over hebben kunnen ze deze in de les stellen en krijgen ze uitgebreidere toelichting. Het risico van deze werkwijze is dat leerlingen hun eigen, volgens de norm, onvolledige antwoorden goed achten en ze daardoor niet getraind worden in het geven van de vaardigheid beantwoorden van redeneervragen.

(6)

Van de verschillende genoemde problemen, heb ik me in dit ontwerponderzoek gericht op het als tweede gedefinieerde probleem, de gebrekkige procedurele en metacognitieve kennis bij leerlingen met betrekking tot de vaardigheid beantwoorden van redeneervragen. Ik heb voor dit probleem gekozen omdat ik verwacht dat ik binnen de kaders van dit ontwerponderzoek de meest effectieve interventie kan doen op dit probleem. Beperkte feitelijke en conceptuele kennis herken ik bij een deel van de leerlingen, voor dit onderzoek wil ik echter een interventie uitvoeren welke voor een groter gedeelte van de klas relevant is met betrekking tot het oplossen van redeneervragen.

Probleem aanpak analyse

Voor het gedefinieerde probleem zijn verschillende oplossingen te herkennen. De eerste is het bieden van meer oefening voor leerlingen met het oplossen over redeneervragen zoals het aanbieden van examenvragen uit voorgaande examens. Door meer te oefenen zullen leerlingen vertrouwen opbouwen met dit type vragen. Naast individueel oefenen kan er ook gebruik worden gemaakt van samenwerkend leren door in groepjes opgaven gezamenlijk te maken, of door klassikaal opdrachten te bespreken waarbij de docent de opdracht modelleert. In aanvulling op het oefenen van deze vragen zal er feedback nodig zijn om de leeropbrengst te vergroten, voortgang van de leerlingen te beoordelen en eventueel bij te sturen (Sluijsmans, 2013, Hattie, 2007). Er zijn verschillende methoden van feedback denkbaar, de eerste is het zelfstandig laten controleren van de antwoorden door middel van antwoordboekjes, het klassikaal bespreken van de antwoorden door een docent waarbij leerlingen hun eigen antwoorden controleren, het geven van peerfeedback door leerlingen op elkaars antwoorden onder begeleiding van de docent, het nakijken van de antwoorden door de docent (Sluijsmans, 2013, Hattie, 2007).

Het louter oefenen van opgaven is waarschijnlijk niet toereikend om de leerlingen de procedurele en metacognitieve kennis aan te leren vereist bij de vaardigheid van probleem oplossen. Hiervoor dient de leerlingen een probleemgerichte expert methode actief aangeleerd te worden. Een expert gebruikt een heuristiek voor het oplossen van complexe vragen, zoals systematische probleem aanpak (SPA) (Woolfolk, 2013). SPA is een gestructureerde methode om complexe vraagstukken op te lossen waar niet direct het antwoord duidelijk van is. Het volgen van een systematisch stappenplan vergroot de kans tot een oplossing te komen en verkleint de kans op het maken van fouten door het expliciteren van denkstappen. Een SPA bestaat uit verschillende fasen: vraag begrijpen - plan maken - plan uitvoeren - controle. Experts in het gebruik van SPA doorlopen sommige fases impliciet of zelfs niet en schakelen tussen verschillende fases op zoek naar de oplossing voor de vraag. Voor de leerlingen die de vaardigheid van het oplossen van redeneervragen nog niet niet beheersen is het belangrijk de verschillende fases met bijbehorende acties aan te leren waarbij ze in eerste instantie de fases chronologisch zullen doorlopen. Maar ook het idee van flexibele fases waartussen geschakeld moet worden om tot een oplossing te komen bij gecompliceerdere problemen moet toegelicht worden (Polya, 1957; Schoenfeld, 1992). Over het aanleren van complexe vaardigheden, zoals het gebruik van een SPA, zijn veel handreikingen te vinden in de literatuur. Zowel Polya (1957) als Schoenfeld (1992) raden aan om leerlingen de heuristiek aan te bieden in de vorm van modelleren door de docent, en vervolgens automatiseren door middel van toepassing. Echter, wordt ook aangeraden een werkvorm te gebruiken waarbij leerlingen actief betrokken zijn en directe feedback krijgt

(7)

(Terlouw, 2004). Een voorbeeld van dergelijke werkvorm is samenwerkend leren (Ebbens, 2016).

In dit ontwerponderzoek heb ik me gericht op de oplossing het aanleren van een heuristiek aan de leerlingen. Ik heb voor deze oplossing gekozen omdat ik verwachtte dat ik de meest efficiënte interventie kon verrichten door leerlingen de procedurele en metacognitieve kennis voor het beantwoorden van redeneervragen op deze manier expliciet kan aanleren.

(8)

Ontwerphypothese en ontwerpregels

Als ik het probleem van 4havo leerlingen met het beantwoorden van contextrijke redeneervragen op scheikundetoetsen te lijf ga met een lessenserie gericht op het ontwerpen van een SPA stroomschema door de leerlingen en het toepassen van dit stroomschema zullen leerlingen hoger scoren op redeneervragen bij scheikunde doordat ze minder fouten zullen maken welke voorkomen worden door het uitvoeren van de laatste SPA fase, ze de analyse stap gestructureerder uitvoeren en documenteren, en een conclusie trekken gebaseerd op deze analyse. Bovendien zullen leerlingen de het aanleren van een SPA ervaren als positieve bijdage aan hun scheikunde curriculum en het gebruik ervan rapporteren. De effectmeting van de interventie is drieledig. Ten eerste zal ik het aantal punten behaald door leerlingen op een toets voorafgaande aan de lessenserie, de voormeting, en na de lessenserie, de nameting, bepalen. In aanvulling hierop zal ik een inhoudsanalyse uitvoeren op de voormeting en nameting. Hiernaast zullen de leerlingen uit de interventieklas een learner report invullen over hun perceptie van de lessen uit de lessenserie gericht op het gebruik van een SPA.

De ontwerp lessen zullen aan de volgende ontwerpregels voldoen:

- De lessenserie stimuleert leerlingen tot het opstellen van een eigen SPA stroomschema met behulp van samenwerkend leren.

- Door middel van modelleren door docent zal het gebruik van SPA stroomschema aangeleerd worden waarbij de inhoud van de verschillende stappen wordt uitgelegd. - De lessenserie zet leerlingen aan tot de toepassing van het stroomschema oefenen waarbij

gebruikt wordt gemaakt van samenwerkend leren.

- De lessenserie stimuleert het automatiseren van het gebruik van SPA door zelfstandige oefening met redeneervragen door leerlingen.

(9)

Onderbouwing ontwerplessen

De lessen die ik voor deze klas verzorg bedragen 80 minuten. Hierbinnen heb ik aandacht besteed aan de theoretische achtergrond van de te behandelen stof volgens het PTA. De resterende tijd heb ik gebruikt om het gebruik van een SPA toe te lichten en expliciteren. Ik koos hierbij voor het gebruik van niet uitsluitend vragen aansluitend bij het te behandelen hoofdstuk omdat ik de leerlingen wil confronteren met verschillende type vragen waarbij een SPA gebruikt kan worden. Hieronder wordt de lesopzet met betrekking tot de SPA toelichten, de vakinhoudelijke lesfasen laat ik hierbij achterwege. De lesplannen voor de lessenserie zijn gegeven in bijlage A1.

Om de leerlingen de vaardigheid het beantwoorden van redeneervragen aan te leren heb ik gebruik gemaakt van de (sociaal) constructivistische leertheorie waarbij centraal staan authentieke taken, sociale interactie en eigenaarschap van leren. Hierbij worden verschillende aanbevelingen gedaan om de efficiëntie van leren te vergroten zoals het modelleren van de vaardigheid door een expert, samenwerkend leren, eigen kennis onder woorden brengen, reflecteren op het eigen leren en de opgedane kennis toepassen in een nieuwe omgeving (Woolfolk, 2013). Het aanleren van procedurele vaardigheden bestaat uit verschillende fasen welke ik in mijn lessenserie chronologisch zal verwerken, construeren van modellen, bijstellen en verfijnen van deze modellen en het verinnerlijken van de nieuwe kennis. Handreikingen in de literatuur over het aanleren van vaardigheden zijn dat het ondersteund dient te worden door voorbeelden, dit geleerd wordt door te doen en het beste resultaat behaald wordt uit een dialoog met docent en medeleerlingen (Ebbens, 2015; Woolfolk, 2013).

In de eerste les van de lessenserie over het gebruik van SPA heb ik leerlingen geconfronteerd met het onnodig verlies van punten op redeneervragen door een gebrekkige systematische aanpak om de aandacht te richten en het belang van de lessenserie aan te geven. De lessenserie begon door een vraag uit een recent eindexamen scheikunde aan de leerlingen voor te leggen waarop ze deze in groepjes moesten beantwoorden waarbij ze expliciet hun stappenplan uitschrijven. Het samenwerkend leren bevordert hardop denken waardoor denkstappen expliciet worden en leerlingen directe feedback van elkaar kunnen krijgen. Ook adviseert literatuur activerende didactiek voor havo leerlingen waarbij ze zelf aan de slag kunnen met de stof in plaats van klassikale instructie (Michels, 2006; Vermaas, 2007). Om optimaal samenwerkend leren te stimuleren moet het aan een aantal voorwaarden voldoen, waaronder positieve wederzijdse afhankelijkheid, individuele verantwoordelijkheid en evaluatie (Ebbens, 2015). Positieve wederzijdse afhankelijke in mijn les werd gewaarborgd door de leerlingen uit de groep verschillende taken te geven, leider, notulist van stappenplan, antwoord gever en data manager die toegang heeft tot binas en rekenmachine. Ieder groepslid moet uiteindelijk het opgestelde stappenplan kunnen toelichten aan klasgenoten in een volgende les waardoor ze individueel aanspreekbaar zijn. Evaluatie op inhoud vindt plaats in een volgende les. Samenwerkend leren bevordert naast de leeropbrengst de affectieve relatie van leerlingen met het vak en hun motivatie.

In de tweede les moesten de leerlingen een nieuwe vraag uit een recent eindexamen scheikunde oplossen, waarbij ik de instructie gaf om deze vraag op te lossen in de nieuwe groepssamenstelling. Hierbij maakten de leerlingen gebruik van hun opgestelde stroomschema’s, en moesten ze als groep gezamenlijk tot een verbeterd stroomschema

(10)

komen. Iedere leerling diende als expert voor zijn eigen stroomschema en lichtte deze toe voor de rest van de groep, dit vormt de individuele aanspreekbaarheid uit de voorgaande les. Ook in dit groepsverband heb ik leerlingen de rollen toebedeeld zoals in de eerste les, leider, notulist van stappenplan, antwoord gever en data manager. In deze les combineer ik twee werkvormen voor samenwerkend leren, de expertmethode en probleemoplossers (Ebbens, 2015). Bovendien werd van de leerlingen verwacht de stroomschema’s te evalueren en van feedback te voorzien, een oefening in metacognitieve vaardigheden. Vervolgens heb ik van de verschillende groepjes de stroomschema’s terug gevraagd en genoteerd op het bord. Aan de hand hiervan heb ik met de hulp van de klas een samenvattend stroomschema opgesteld, welke ik schematisch op het bord heb weergeven. Door het stroomschema zowel mondeling toe te lichten als visueel te representeren spreekt het leerlingen met verschillende leerstrategieën aan (Woolfolk, 2013).

In de derde les heb ik de leerlingen een SPA werkblad gegeven, naar voorbeeld van Terlouw (2004), welke we gebruikten in de komende lessen en diende als een overzicht van de SPA fasen. Het werkblad is te vinden in bijlage A2. Ik heb een voorbeeld vraag hardop denkend gemodelleerd waarbij is het werkblad invulde op het bord. Ik diende hierbij als de expert, en leerlingen leren door te kijken naar een voorbeeld (Woolfolk, 2013). Hierbij benoemde ik de verschillende technieken in de verschillende fasen bij het oplossen van een redeneervraag en deed het gebruik van deze voor.

Om de nieuwe vaardigheid te automatiseren zullen de leerlingen deze in de praktijk moeten brengen. Daarom heb ik geruime tijd in de lessen uit de lessenserie besteden aan het oefenen. Leerlingen gingen in deze les in tweetallen opdrachten maken waarbij ik ze opdracht gaf expliciet gebruik te maken van het werkblad. Aan het einde van de les heb ik feedback gegeven op het gebruik van het werkblad door klassikaal een vraag te beantwoorden waarbij ik het werkblad invulde op het bord zodat leerlingen deze kunnen vergelijken met hun eigen uitwerking.

Tijdens de vierde les heb ik de volledige les, 80 minuten, besteed aan het automatiseren van werken met een SPA. Deze les begon met het terugvragen van de stappen van de SPA en de relevante technieken uit de SPA fases. Vervolgens heb ik leerlingen de mogelijkheid gegeven om zelfstandig of in tweetallen te oefenen met het toepassen van de SPA met behulp van het werkblad waarbij ik beschikbaar was voor het beantwoorden van vragen. Deze les met uitvoerige oefening heb ik toegevoegd aan mijn lessenserie omdat het automatiseren van een nieuwe oplossingsstrategie tijd kost, zoals het aanleren van iedere vaardigheid. Aan het einde van deze les heb ik klassikaal vragen beantwoord waarbij ik op het bord het werkblad invulde als controle voor de leerlingen van hun werk. Bij dit klassikaal invullen heb ik input gevraagd uit de klas in een onderwijsleergesprek waarbij ik de antwoorden van leerlingen terug gaf aan de klas om de leerlingen te betrekken bij de les om het leereffect te vergroten (Ebbens, 2015).

(11)

Onderbouwing onderzoeksplan en effectmetingen

De opzet van dit onderzoek is quasi-experimenteel waarbij ik drie effectmetingen gebruikte. In het onderzoek gebruikte ik twee 4havo klassen waarbij in een van de klassen de interventie plaats zal vinden. Als effectmeting voor de interventie heb ik behaalde resultaten van de leerlingen op de voor- en nameting toets gebruikt welke 5 april en 22 mei plaatsvonden respectievelijk. Ik sluit leerlingen uit die bij een van de van effectmetingen afwezig waren. De voormeting toets bestaat uit module 4 t/m paragraaf 4. De nameting toets bestaat uit geheel module 4. De stof van deze twee toetsen vertoont dus een overlap waardoor er mogelijk een leereffect is opgetreden door het maken van de voormeting. Dit leereffect kan de meting beïnvloeden.

Bij deze toetsen heb ik het aantal behaalde punten op geselecteerde redeneervragen gebruikt als eerste effectmeting. De vragen heb ik geselecteerd zodat ze een variëteit aan mogelijke redeneervragen weerspiegelen, bijvoorbeeld zowel bereken en uitlegvragen. De tweede effectmeting was een inhoudsanalyse op de toetsresultaten om te inventariseren of de leerlingen daadwerkelijk de aangeleerde SPA methode toepassen na de interventie. Het scoringsvoorschift van de inhoudsanalyse op de geselecteerde redeneervragen is te vinden in bijlage 3. Ik zal hier een korte toelichting geven over enkele scoringsvariabelen. Een antwoord werd als correct aangeduid wanneer het volledig aantal punten voor deze vraag behaald is. De derde variabele werd als 1 gescoord bij een volledig juiste redenering/berekening waar geen elementen ontbrak. Een score van 2 wordt gegeven bij een juiste redenering/berekening waar elementen ontbraken. Een score van 3 wordt gegeven bij een onjuiste redenering/berekening. Bij een volledig ontbrekende redenering/berekening wordt 4 toegekend.

Naast deze kwantitatieve metingen, heb ik een kwalitatieve effectmeting uitgevoerd door middel van een learner report. Hierin heb geïnventariseerd of leerlingen het gebruik van de SPA rapporteren, en of ze de interventie zinvol vonden bij het aanleren van de vaardigheid redeneervragen oplossen. Dit leerrapport heb ik afgenomen in de klas met interventie voordat de nameting werd afgenomen zodat deze geen invloed heeft gehad op de beleving van de lessenserie door de leerlingen. Het leerrapport is bijgevoegd in bijlage 3. Het learner report is anoniem ingevuld om zoveel mogelijk sociaal wenselijke antwoorden uit te sluiten. Bij het analyseren van het learner report heb ik de antwoorden van de leerlingen gecategoriseerd en het aantal antwoorden per categorie geteld. Daarnaast heb ik het percentage leerlingen bepaald dat het gebruik van het stoomschema in de toekomst rapporteerde.

De interventie in dit onderzoek bestaat uit het aanleren van een nieuwe vaardigheid wat samenwerkend leren door de leerlingen vereist met veel interactie tussen leerlingen en met de docent. Om uit te sluiten dat dit samenwerkend leren de uitkomst van de effectmetingen beïnvloedt, heb ik in de parallelklas ook samenwerkend leren gestimuleerd zonder daarbij de SPA te expliciteren.

(12)

Verslag uitvoering ontwerp en effectmetingen

In grote lijnen is de uitvoering van de lessenserie gegaan conform de voorgestelde plannen in de ontwerpnotitie. Er zijn echter enkele afwijkingen ten opzichte van de gepresenteerde plannen opgetreden tijdens de uitvoering. Deze zal ik hieronder toelichten.

De eerste discrepantie heeft betrekking op de planning. In de originele planning werd voorgesteld om de lessenserie zowel voor als na de meivakantie uit te voeren in aanvulling op de behandeling van de reguliere lesstof. In de praktijk bleek dat ik de laatste week voor de meivakantie een hoofdstuk van de reguliere lesstof had afgerond en in deze week een nieuw hoofdstuk zou moeten behandelen. Dit leek mij echter niet zinvol omdat er dan twee weken vakantie aankwamen. Daarom heb ik besloten om de lessen in de laatste week voor de meivakantie in zijn geheel te wijden aan de lessen met betrekking tot het gebruik van SPA. Hiervoor zijn de originele SPA lessen 4 en 5 samengevoegd in een nieuwe SPA les 4. Als gevolg hiervan hebben de leerlingen minder tijd gehad bij de zelfstandige verwerking van de stof tijdens huiswerk. Maar er was meer tijd voor oefening in de klas. Bovendien heeft dit als gevolg gehad dat er meer tijd heeft gezeten tussen het afronden van de lessenserie en de nameting dan ik oorspronkelijk had gepland. In de laatste les voor de toets waarin ik de getoetste lesstof herhaalde, heb ik ook kort de leerlingen uit de interventieklas herinnerd aan de toepassing van het SPA schema.

In de ontwerpnotitie heb ik voorgesteld om als oefening gebruik te maken van opdrachten aansluitend bij het onderwerp uit het PTA dat behandeld werd tijdens de lessen. Het bleek complex om volgende geschikte examenopgaven te vinden die aansloten bij het onderwerp energie. Daarom heb ik besloten om examenopgaven die betrekking hebben op verschillende onderwerpen gebruikt voor oefening. Achteraf denk ik dat deze oefening met het toepassen van de SPA op een bredere range onderwerpen de leerlingen de brede inzetbaarheid van het schema laat zien. In de controleklas heb ik alleen lesstof en oefeningen aangeboden die paste binnen het PTA schema. Dit heeft als gevolg dat de interventieklas minder geoefend heeft met de lesstof die werd in de nameting vergeleken met de controleklas. Hierdoor is het mogelijk dat de feiten- en conceptuele kennis van de controleklas groter is met betrekking tot deze lesstof. Dit zou een invloed kunnen hebben op de effectmeting.

In de ontwerp notitie heb ik voorgesteld om als voormeting een toets over hoofdstuk 3, chemisch rekenen, te gebruiken en als nameting over hoofdstuk 4, energie effecten. Voor de uiteindelijke analyse heb ik als voormeting echter een toets gebruikt met betrekking tot hoofdstuk 4 t/m paragraaf 4. Ik eerste instantie had ik voor hoofdstuk 3 als voormeting gekozen en een mogelijk leereffect van het maken van de voormeting op de nameting te voorkomen. Echter, het onderwerp van hoofdstuk 3 wordt door leerlingen als zeer lastig ervaren waardoor er een groot verschil in moeilijkheid wordt ervaren tussen beide hoofdstukken. Om te voorkomen dat dit de effectmetingen sterk zou beïnvloeden heb ik gekozen voor hoofdstuk 4 t/m paragraaf 4 als voormeting met als risico dat er een leereffect optreedt bij het maken van de voormeting.

Ook heb ik in de ontwerp notitie beschreven het learner report na de inhoudelijke nameting uit te voeren. Ik heb er echter voor besloten om dit te vervroegen om te voorkomen dat de indruk die de leerlingen hebben over de toets het invullen van het learner report zou beïnvloeden. Het learner report is ingevuld tijdens een les vier weken na de laatste les van de lessenserie.

(13)

In de ontwerpregels van dit onderzoek staat dat leerlingen middels samenwerkend leren een stroomschema opstellen. Zoals vermeld heb ik hiervoor zoveel mogelijk de handreikingen van Ebbens (2013) opgevolgd om het effectief samenwerkend leren te stimuleren. Voor de leerlingen is het samenwerkend leren in dergelijke formatie onbekend waardoor het verdelen van de rollen voor hen geforceerd overkwam en de leerlingen zich niet aan deze rollen hielden, ondanks aansporingen van mij. Hierdoor valt de onderlinge positieve afhankelijkheid weg en kunnen groepsgenoten zich onttrekken aan het groepsproces of het proces domineren. Dit gaat ten koste van het efficiënt samenwerken. Desondanks hebben de verschillende groepjes een stroomschema opgesteld.

(14)

Presentatie effectmetingen

Kwantitatieve effectmetingen

De resultaten van de twee kwantitatieve effectmetingen worden hieronder gepresenteerd. Scoring redeneervragen

De eerste kwantitatieve effectmeting is het bepalen van de score van leerlingen op redeneervragen tijdens de voor- en nameting. Deze gemiddelde scores zijn weergeven in tabel 1.

Voormeting Nameting

Controleklas 6,4 ± 2,1 7,4 ± 1,7 p = 0,07 Interventieklas 5,8 ± 2,1 7,8 ± 1,8 p = 0,0025

p = 0,37 p = 0,46

Tabel 1. De behaalde score op geselecteerde redeneervragen

In de tabel zijn het aantal gescoorde punten op geselecteerde redeneervragen tijdens de voor- en nameting door de controle en interventieklas weergegeven. De score is gegeven als gemiddelde ± standaard deviatie. De aangegeven p-waarden zijn verkregen door een vergelijking van de twee gemiddelden bij de respectievelijke kolom of rij behorend bij de p-waarde. Voor de vergelijking binnen de voor- en nameting tussen de klassen is een tweezijdige t-toets gebruikt, bij het vergelijken van de voor- en nameting een eenzijdige t-toets.

Tijdens de voormeting heeft de controleklas heeft een hoger gemiddelde score op de geselecteerde vragen vergeleken met de interventieklas, maar dit verschil is niet significant. Dit toont aan dat beide klassen goed vergelijkbaar zijn voor dit onderzoek.

Beide klassen hebben een hogere gemiddelde score tijdens de nameting vergeleken met de voormeting, de controleklas is één punt gestegen en de interventieklas twee punten. Het verschil tussen voor- en nameting in de controleklas is echter niet significant (p = 0,07), terwijl het verschil in de interventieklas significant is (p = 0,0025). Dit impliceert dat de lessenserie een positief effect heeft op de score van leerlingen op redeneervragen en bevestigt de hypothese van dit ontwerponderzoek dat leerlingen hoger scoren na kennis te hebben gemaakt met het stroomschema. De niet significante toename in score bij de controleklas sluit uit dat de verbeterde score veroorzaakt is door een lager niveau van de nameting.

Zoals beschreven zijn er twee soorten redeneervragen aan leerlingen voorgelegd, berekenvragen en vragen waarop een talig antwoord gegeven moet worden. Om te onderzoeken of het stroomschema meer effect heeft op het beantwoorden van een van deze typen vragen zijn de toetsvragen gecategoriseerd. Bij de voormeting zijn vraag 5, 6, en 7 gecategoriseerd als talige vragen, en 8 en 9 als berekenvraag; bij de nameting is vraag 2 een berkenvraag en de overige vragen taalvragen. Per categorie wordt de proportie behaalde punten in voor- en nameting vergeleken tussen beide klassen met behulp van multiple comparison ANOVA. Dit leverde geen significante resultaten op. Dit impliceert dat de lessenserie geen verschillend effect heeft op beide typen redeneervragen. Echter is het ook mogelijk dat de beperkte groepsgrootte bij deze vergelijkingen en de correctie voor meerdere vergelijkingen voor het niet detecteren van een mogelijk effect.

(15)

Inhoudsanalyse

De tweede kwantitatieve effectmeting, de inhoudsanalyse, is gebruikt om te beoordelen of de hypothese stand houdt dat de lessenserie bijdraagt aan het minder maken van fouten welke voorkomen worden door het uitvoeren van de laatste SPA fase, de analyse stap gestructureerder uitvoeren en documenteren, en een conclusie trekken gebaseerd op deze analyse.

Het uitvoeren van de laatste SPA fase wordt getest door te evalueren of leerlingen de juiste eenheid en significante cijfers hebben genoteerd, en of de gestelde vraag is beantwoord.

Voormeting Nameting

Controleklas 52% 68% p = 0,25 Interventieklas 56% 84% p = 0,05

p = 0,79 p = 0,22

Tabel 2. Percentage leerlingen juiste laatste SPA fase

In de tabel is het percentage leerlingen gegeven dat een score 1 heeft op alle items omtrent laatste SPA fase, juiste eenheid, significante cijfers en vraag beantwoordt. De aangegeven p-waarden zijn verkregen door een vergelijking van de twee proporties bij de respectievelijke kolom of rij. Voor de vergelijking tussen proporties is gebruik gemaakt van de N-1 Chi-squared test.

Uit de inhoudsanalyse naar deze laatste SPA fase blijkt dat voorafgaande de lessenserie respectievelijk 52% en 56% van de leerlingen in de controle- en interventieklas deze fase correct uitvoerden (tabel 2). Tijdens de nameting is in beide klassen een toename van laatste SPA fase gemeten. De toename is groter in de interventieklas vergeleken met de controleklas, en is bijna significant in deze groep, 28 procentpunt in de interventieklas tegenover 16 procentpunt in de controleklas. Deze toename in de interventieklas is significant (p = 0,05). Het gestructureerd uitvoeren en documenteren van de analyse stap wordt geanalyseerd met de scores op de items redenering/berekening opgeschreven en belangrijke gegevens opgeschreven. Hierbij wordt het opschrijven van relevante data alleen gescoord bij berekenvragen, en niet bij talige vragen. Bij talige vragen is het overschrijven van gegevens minder relevant. Het onderstrepen van gegevens op het toetsblad is bij deze vragen ook een geschikte aanpak in een SPA, dit kan echter niet gecontroleerd worden omdat leerlingen deze zonder naam weer hebben ingeleverd.

Voormeting Nameting

Controleklas 70% 68% p = 0,88 Interventieklas 63% 75% p = 0,42

p = 0,58 p = 0,61

Tabel 3. Percentage leerlingen gegevens opschrijven

In de tabel is het percentage leerlingen gegeven dat de benodigde gegevens uit de vraag heeft overgeschreven. De aangegeven p-waarden zijn verkregen door een vergelijking van de twee gemiddelden bij de respectievelijke kolom of rij behorend bij de p-waarde. Voor de vergelijking tussen proporties is gebruik gemaakt van de N-1 Chi-squared test.

(16)

In tabel 3 is het percentage leerlingen weergegeven dat belangrijke gegevens heeft opgeschreven. Hoewel de interventieklas een toename van 12 procentpunt laat zien in het opschrijven van benodigde gegevens en de controleklas een afname van 2 procentpunt laat tabel 3 zien dat er geen significante verschillen zijn. De aangeboden lessenserie heeft dus geen invloed gehad op deze stap in het systematisch benaderen van een berekenvraag. Een andere stap uit de aangeboden SPA is het correct opschrijven van een toelichting bij het antwoord. Wanneer het opschrijven van berekening/redenatie wordt geëvalueerd valt op dat een meerderheid van de leerlingen een toelichting geeft (94% en 98% van alle antwoorden in respectievelijk controle- en interventieklas). Echter, deze toelichting is vaak incompleet of onjuist. In figuur 1 staat het percentage antwoorden aangegeven dat een volledig juiste, onjuiste of incomplete uitleg heeft.

Figuur 1. Percentage antwoorden met type berekening/redenering.

In het figuur wordt het percentage antwoorden weergegeven met een juiste, incomplete of onjuiste berekening/redenering heeft gegeven op de redeneervragen.

De hypothese is dat de lessenserie leidt tot een daling van het aantal antwoorden zonder of met een incomplete uitleg en een stijging van het aantal antwoorden met een juiste uitleg. Van leerlingen met een onjuiste uitleg is niet onderzocht of deze compleet is of niet en is een aanwijzing voor een gebrek aan feitelijke en/of conceptuele kennis.

Het percentage antwoorden zonder uitleg is niet significant veranderd. Het percentage juiste antwoorden neemt significant toe in de nameting bij beide klassen (p = 0,02 in beide klassen), wat suggereert dat de vraagstelling in deze meting meer uitnodigde tot het geven van complete antwoorden. De p-waardes behorend bij gegevens uit deze figuur zijn bepaald met behulp van two-way ANOVA. Tussen beide klassen is er geen significant verschil tussen het percentage volledig juiste antwoorden.

Grote verschuivingen zijn wel te zien in het percentage incomplete antwoorden tussen de voor- en nametingen. Uit figuur 1 blijkt dat voorafgaand aan de lessenserie de interventieklas vaker een incompleet antwoord formuleerde vergeleken met de controleklas (p = 0,005). Na de lessenserie geven zij minder vaak een incompleet antwoord, maar dit verschil is niet significant (p = 0,08). Wanneer de interventieklas voor en na de lessenserie wordt vergeleken, valt op dat het aantal volledig juiste antwoorden is gestegen (p = 0,02), terwijl het aantal incomplete

(17)

antwoorden is gedaald (p = 0,003). Dit beeld wordt niet herkend bij de controleklas waar het percentage onjuiste antwoorden gelijk blijft. De lessenserie lijkt hierbij een positieve bijdrage te leveren aan het correct beantwoorden van redeneervragen en een verschuiving van antwoorden van incompleet naar compleet te veroorzaken.

Opvallend is het grote aantal onjuiste antwoorden bij de interventieklas vergeleken met de controleklas (p = 0,005). Dit suggereert dat de leerlingen uit de interventieklas minder feitelijke en conceptuele kennis hebben waardoor de toelichting die gegeven wordt verkeerd is. Een oorzaak hiervan kan het minder oefenen van het PTA onderwerp zijn tijdens de lessenserie vergeleken met de controleklas door de tijd besteed aan het werken met het stroomschema. Samenvattend over dit item, de interventieklas laat een verschuiving zien van incomplete antwoorden naar juiste antwoorden terwijl de controleklas een verschuiving van onjuiste naar juiste antwoorden laat zien waarbij de incomplete antwoorden niet veranderen.

Een ander item gebruikt voor de inhoudsanalyse had als doel het evalueren van logische gevolg trekking uit de analyse die leerlingen gemaakt hebben. Hierbij valt op dat leerlingen in beide klassen tijdens beide effectmetingen juiste conclusies trekken uit de analyse en dat er geen effect is van de lessenserie hierop.

De inhoudsanalyse suggereert dat leerlingen de stappen aangereikt in de SPA hebben toegepast op de nameting en dat het uitvoeren hiervan een positief effect heeft op hun score. Kwalitatieve effectmeting

De hypothese van dit ontwerponderzoek is dat leerlingen de lessenserie over het gebruik van SPA als positief ervaren en het toekomstig gebruik van een SPA stroomschema rapporteren. Wanneer het learner report ingevuld door leerlingen uit de interventieklas wordt geanalyseerd valt op dat de meerderheid van de leerlingen, 55% geen toekomstig gebruik van het stroomschema rapporteert (figuur 2).

Figuur 2. Toekomstig gebruik SPA stroomschema

Antwoorden van leerlingen naar vraag over toekomstig gebruik stroomschema. Het percentage leerlingen per categorie is aangegeven.

Om oorzaken voor dit lage percentage aan te wijzen zijn de antwoorden op het learner report gecategoriseerd. Een overzicht van deze categorieën en het percentage leerlingen hierbij horend is gegeven in figuur 2. Ieder antwoord is in één categorie ingedeeld.

(18)

Vraag 1 Vraag 2 Vraag 3 Vraag 4 formuleren is belangrijk

(20%)

veel tekst/informatie te lezen (20%)

handig/fijn/nuttig (45%) helpt antwoorden formuleren en fouten voorkomen (35%) helpt bij een

gestructureerde aanpak (15%)

antwoord correct/compleet formuleren (20%)

duurt lang (15%) duurt lang (25%)

duurt lang (15%) geen moeilijkheid/bezit vaardigheid al (20%)

veel stappen/nieuwe informatie (15%)

ik ken het al/heb het niet nodig (15%)

ik pas dit al toe/ken ik al (15%)

aanpak van dit type vragen (20%)

overbodig (10%) geen antwoord (15%) controle stap is belangrijk

(10%)

veel stappen die geen antwoord (10%) niet fijn in gebruik (10%) lezen is belangrijk (10%) te veel stappen (10%) moeilijk (5%)

geen antwoord (10%) geen antwoord (10%) komen veel (5%)

Figuur 3. Resultaten learner report

In de figuur worden per vraag van het learner report de categorieën vermeld waarin de antwoorden van de leerlingen opgedeeld zijn. Tussen haakjes staat het percentage leerlingen dat een antwoord heeft gegeven vallend binnen de categorie.

Leerlingen geven verschillende oorzaken voor het niet gebruiken van het stroomschema, namelijk het te lang duren van het stappenplan, te veel stappen die nodig zijn en het overbodig zijn door de goede cijfers voor scheikunde.

De leerlingen die het gebruik van het stroomschema wel rapporteren geven aan met name de controle stap te zullen gebruiken om onnodige fouten zoals vergeten fase-aanduidingen, te vermijden. Een tweede positief punt dat leerlingen aanhalen is de nadruk die gelegd wordt op het lezen van de vraag en daaruit informatie destilleren voor het beantwoorden van de vraag. Een derde aspect dat leerlingen waarderen in gebruik van het schema is het leren formuleren van een antwoord.

(19)

Conclusie en discussie

De hypothese van dit onderzoek was dat met behulp van de lessenserie gericht op het ontwerpen van een SPA stroomschema door de leerlingen, en het toepassen ervan, zij hoger zullen scoren op redeneervragen bij scheikunde doordat ze minder fouten zullen maken welke voorkomen orden door het uitvoeren van de laatste SPA fase, ze de analyse stap gestructureerder uitvoeren en documenteren, en een conclusie trekken gebaseerd op deze analyse. Bovendien zullen leerlingen het aanleren van een SPA ervaren als positieve bijdrage aan hun scheikunde curriculum en het gebruik ervan rapporteren.

De gegevens uit dit onderzoek suggereren dat het aanbieden van de ontwikkelde lessenserie de score van leerlingen op redeneervragen inderdaad verhoogt. Verklaringen voor de hogere score zijn het completer formuleren van het antwoord en het consequenter uitvoeren van de controle fase van de SPA. Dit is opvallend gezien de mindere feitelijke- en conceptuele kennis in de interventieklas door de minder beschikbare tij voor het oefenen van de lesstof specifiek voor deze nameting vergeleken met de controleklas. Hiermee bevestigt dit onderzoek eerder onderzoek waarbij het gebruik van een heuristiek in beta-vakken als een positieve bijdrage aan het oplossen van complexe vragen werd beoordeeld (Satchakett, 2014). Een mogelijke alternatieve verklaring dat het niveau van de nameting lager is dan de voormeting wordt niet gesteund door de niet significante verbetering van de controleklas ten opzichte van de voormeting.

De meerderheid van de leerlingen rapporteert het toekomstig gebruik van SPA niet. Zij geven hiervoor als oorzaak dat het stappenplan te lang duurt en te veel stappen telt. De opmerkingen van leerlingen laten zien dat ik onvoldoende in staat ben geweest de relevantie en meerwaarde van het schema duidelijk te maken in de lessenserie, een van de docentdoelen uit de lessenserie. Leerlingen die het gebruik wel rapporteren geven als voordeel van de systematisch aanpak het goed lezen van de vraag en het formuleren van een compleet antwoord. Volgens de zelfdeterminatie theorie wordt motivatie bij leerlingen vergroot door een gevoel van autonomie, competentie en relatie (Woolfolk, 2013). In deze lessenserie zullen deze punten dus sterker benadrukt moeten worden. Bij meer autonomie valt te denken aan het gebruik laten maken van een eigen stroomschema in plaats van het aangeleverde schema in de lessenserie. Competentie kan vergroot worden door leerlingen meer feedback te geven op proces waardoor zij vertrouwen krijgen in het eigen kunnen in het werken met het schema. Het is opvallend dat ondanks dat leerlingen toekomstig SPA gebruik niet rapporteren zij wel een hogere score halen op deredeneervragen en stappen uit de aangereikte SPA methode gebruiken. Het is mogelijk dat leerlingen onbewust de stappen uitvoeren waardoor zij het gebruik niet rapporteren. Het is voor leerlingen bovendien lastig in te schatten welke lesstof bijdraagt aan hun ontwikkeling (van Sark, 2016). Het zou interessant zijn om de correlatie tussen het rapporteren van het SPA gebruik en de kwantitatieve metingen te analyseren. Echter, het learner report is anoniem ingevuld waardoor dit niet mogelijk is. Een tweede learner report na het inzicht in de verbeterde cijfers zou ook interessant zijn om te evalueren of dit leerlingen overtuigt van de meerwaarde van de SPA.

De ontwerp lessen voor dit onderzoek moesten aan een aantal ontwerpregels voldoen welke betrekking hadden op didactische aanpak en zijn opgesteld met als achtergrond handreikingen in de literatuur met betrekking tot het aanleren van vaardigheden. De bijdrage van deze ontwerpregels aan het resultaat is met de huidige onderzoeksopzet niet te beoordelen. Ik zal daarom een beschrijving geven van de indruk van mij als docent van de

(20)

effecten van de individuele ontwerpregels. De eerste en derde ontwerpregel betreffen het gebruik van samenwerkend leren. Het samenwerkend leren voldeed, zoals beschreven, niet aan de handreikingen van effectief samenwerkend leren doordat leerlingen hierin niet geoefend zijn. Leerlingen hebben echter wel samengewerkt waardoor zij elkaar hebben kunnen aanvullen tijdens het opstellen van het schema waardoor de kwaliteit van de stroomschema’s is toegenomen en waarbij zij elkaar hebben kunnen helpen bij het gebruik van het schema. De tweede ontwerpregel betreft het modelleren door de docent. Tijdens mijn lessen heb ik dit gedaan waarbij er onderwijsleergesprekken ontstonden met de klas. Tijdens deze onderwijsleergesprekken stelden leerlingen vragen en dachten hardop mee met de te nemen stappen. Ik verwacht dat leerlingen die hier actief aan mee deden een diepere verwerking van de lesstof hebben en het gebruik van het stroomschema beter beheersen (Terlouw, 2014). Voor de vierde ontwerpregel geldt hetzelfde, ik verwacht dat leerlingen die zelfstandig oefenen met het gebruik van het schema dit dieper zullen verwerken en daardoor beter kunnen toepassen bij redeneervragen. Om de invloed van de verschillende ontwerpregels te evalueren zijn aanvullende effectmetingen nodig welke in de aanbevelingen beschreven worden.

Concluderend, dit onderzoek suggereert dat de lessenserie de vaardigheid beantwoorden van redeneervragen vergroot doordat leerlingen een completer antwoord gaven en beter hun antwoord controleerden. Om de oorzaak van de toegenomen vaardigheid verder te definiëren en om de specifieke aspecten van de lessenserie die hieraan bijdragen in kaart te brengen is verder vervolg onderzoek nodig.

Aanbevelingen

De onderzoeksvraag geformuleerd in dit onderzoek is breed, zowel bereken- als uitlegvragen zijn geïncludeerd. Binnen de kaders van dit ontwerponderzoek zou ik aanraden om de onderzoeksvraag te specificeren tot een van deze typen. In de praktijk merkte ik dat beide typen vragen een dusdanig andere aanpak nodig hadden dat twee aparte schema’s waarschijnlijk beter werken. Bij een berekenschema gaat meer aandacht uit naar het structureren van gegevens zoals het opschrijven van reactievergelijkingen met daaronder de gegeven data en het gevraagde om vervolgens hieruit een plan van aanpak op te stellen. Echter, bij talige antwoorden is het relevanter meer aandacht te besteden aan het correct formuleren van het antwoord in plaats van een plan van aanpak op te stellen. Hierbij valt te denken aan implementatie van de door Visser (2016) voorgestelde methode van taalgericht onderwijs in beta-vakken waarbij de nadruk van signaalwoorden wordt onderstreept. Door het in dit onderzoek gebruikte stroomschema toe te passen op vragen waarbij een talig antwoord moet worden gegeven zijn leerlingen veel tijd kwijt aan het overschrijven van belangrijke gegevens, wat een overbodige stap is. Ik verwacht dat de waardering van leerlingen voor de toepassing van het stroomschema wordt vergroot wanneer er wordt gedifferentieerd tussen de twee typen vragen en iedere vraag een eigen schema heeft.

Er zijn belemmerende kaders waarbinnen dit onderzoek plaats vond zoals kort tijdsbestek en geen retentiemeting. Zoals vermeld kost het aanleren en automatiseren van nieuwe vaardigheden veel tijd. Daarom zou ik aanbevelen om het gebruik van de SPA te implementeren in het lesprogramma gedurende het gehele schooljaar. Een groter effect kan verkregen worden door het schema beta-vakken breed aan te bieden aan de leerlingen. Het gebruik van het stroomschema in verschillende contexten vergroot de flexibiliteit van

(21)

leerlingen met het toepassen van ervan en geeft inzicht van het nut in deze contexten (Berg, 1999). Daarnaast geeft het meer mogelijkheid tot oefening en dus een betere automatisering van toepassing van het schema. Met behulp van een retentiemeting kan vervolgens het gebruik van de SPA na een langere periode geëvalueerd worden.

Zoals vermeld kan met de huidige onderzoeksopzet geen uitspraken gedaan worden over het effect van de individuele ontwerpregels. Om uitspraken hierover te kunnen doen stel ik enkele aanpassingen voor aan de opzet. De invloed van het samenwerkend leren op het gebruik van het stroomschema kan aan leerlingen gevraagd worden in een learner report, vragenlijst of interview. Ook zou het bepalen van de time-on-task bij het oefenen van het SPA gebruik in de klas en het score verschil interessant kunnen zijn. Hierbij dient de time-on-task als maat voor automatiseren. In dit onderzoek is de inhoudsanalyse een indirecte methode om het daadwerkelijk gebruik van het SPA schema op de nameting te evalueren. Om direct bewijs hiervoor te verzamelen zou gebruik gemaakt kunnen worden van een hard-op-denken methode waarbij leerlingen gevraagd wordt om hardop de stappen toe te lichten die zij uitvoeren tijdens het maken van redeneervragen.

In deze onderzoeksopzet ben ik niet voldoende in staat geweest de relevantie van het stroomschema over te brengen aan de leerlingen. Zoals eerder beschreven zal in een vervolgonderzoek hier meer aandacht aan besteed moeten worden door gebruik te maken van de determinatie-theorie om motivatie te creëren bij leerlingen.

Een praktische aanbeveling met betrekking tot de effectmeting is het onderwerp en niveau van de twee metingen. In een vervolgonderzoek moet een leereffect dat optreedt tijdens de voormeting voor de nameting voorkomen worden door tijdens de beide verschillende lesstof te toetsen. Twee metingen over verschillende onderwerpen heeft echter als risico dat een van de onderwerpen als gemakkelijker wordt ervaren. Dit moet voorkomen worden om het niveau verschil tussen de metingen als alternatieve verklaringen voor het geobserveerde effect uit te kunnen sluiten.

Het item opschrijven belangrijke gegevens werd niet gescoord bij talige vragen omdat leerlingen deze ook kunnen onderstrepen op hun toetsblad welke anoniem werden ingeleverd. In een volgend onderzoek zal de leerlingen gevraagd worden hun naam te vermelden op de toetsbladen om dit te voorkomen.

(22)

Bijlage 1. MDA lesplannen lessenserie

Docent: SMEE Datum: 10/4 Tijd: Klas: H4c Aantal lln: 29

Lesonderwerp SPA 1

Beginsituatie Lln hebben ervaring met het beantwoorden van redeneervragen op toetsen en huiswerkopgaven. Ze hebben geen onderwijs gehad in deze vaardigheid.

Leerdoelen voor lln

Lln kunnen aan het einde van de les:

1. In eigen woorden benoemen dat ze een systematisch aanpak dienen te gebruiken bij het beantwoorden van redeneervragen.

2. In eigen woorden beschrijven dat dergelijke aanpak bestaat uit een aantal stappen die gevolgd worden in de beantwoording van een vraag 3. In groepsverband een stappenplan opstellen voor redeneervragen, en

de stappen hiervan toelichten.

Leerdoelen van lln

Leerlingen hebben aan het einde van de les inzicht in mogelijkheden om hun vaardigheid redeneervragen beantwoorden te verbeteren, en kunnen in eigen woorden uitleggen dat ze hiervoor verschillende stappen moeten volgen.

Docentdoelen - - Leerlingen overtuigen van het belang van het gebruik van SPA Leerlingen een werkvorm aanbieden waarin samenwerkend leren centraal staat

Media, spullen, hulp Opdrachten: havo 2015-I, 14, 15, 17

Tijd Lesfase Leerdoel Wat ik doe en zeg Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke! 7 Orienter en op doel 1 + 2 Lln in een onderwijsleergesprek vragen wat zij vinden van de vragen bij sk toets, hen

confronteren met het verlies van onnodige punten en aangeven dat we aan een oplossing hiervoor gaan werken in de aankomende lessen door een systematische aanpak.

Lln doen actief mee aan het

(23)

2

Verwerki ng instruer

en

Instructie geven tot het maken van de opgave (havo 2015-I, 14, 15, 17) in groepjes waarbij expliciet het gevolgde stappenplan genotuleerd wordt. De lln kunnen zelf groepjes vormen en binnen deze groepen de taken verdelen (leider, notulist, antwoord gever, gegevnsbeheerder). Opgave uitdelen. Lln luisteren, vormen groepjes en verdelen de taken binnen het groepje. 20 Verwerki ng begeleid en 2 + 3 Ik zal de voortgang in de gaten houden en lln aansporen aan de slag te gaan. Ik zal geen inhoudelijke vragen beantwoorden.

Lln in groepsverband maken de opdrachten waarbij ze expliciet hun stappen vermelden.

Stappen aangeven, uitleggen van hun stappen aan groepsgenoten, verdedigen van hun stappen.

5 Afronden 3

Ik zal de lln vragen of ze een stappenplan hebben kunnen maken. Zeggen dat iedereen volgende les dit stappenplan moet kunnen uitleggen aan mede-lln, en dat we verder aan de slag gaan hiermee.

Lln luisteren en zorgen dat ze allemaal het stappenplan hebben.

(24)

Docent: SMEE Datum: 16/4 Tijd: Klas: H4c Aantal lln: 29

Lesonderwerp SPA 2

Beginsituatie Lln hebben vorige les in groepsverband een SPA stroomschema opgesteld.

Leerdoelen voor lln

Lln kunnen aan het einde van de les:

1. In eigen woorden beschrijven dat een systematische aanpak van redeneervragen bestaat uit een aantal stappen die gevolgd worden 2. In groepsverband een bestaand stappenplan voor redeneervragen

verbeteren.

3. In eigen woorden toelichten van stappen uit zelf opgestelde stappenplan.

4. Een SPA toepassen op redeneervragen.

Leerdoelen van lln

Leerlingen hebben aan het einde van de les inzicht in mogelijkheden om hun vaardigheid redeneervragen beantwoorden te verbeteren, en kunnen in eigen woorden uitleggen dat ze hiervoor verschillende stappen moeten volgen.

Docentdoelen

- De expert-werkvorm toepassen in mijn lespraktijk

- Improviseren in de lespraktijk met de input die lln mij geven bij het opstellen van een gezamenlijk stroomschema waarbij ik sturende vragen stellen om de benodigde antwoorden van lln te krijgen. Media, spullen, hulp opdrachten havo 2014-I 7, 8, 9

Tijd Lesfase Leerdoel Wat ik doe en zeg Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke! 7 Voorken nis actiever en/orient eren op doel 1 Lln herinneren aan de stroomschema’s die ze in de vorige les hebben opgesteld in groepjes. Lln uitleggen dat we de stroomschema’s deze les nog beter gaan maken.

Lln doen actief mee aan het

(25)

5

Verwerki ng instruer

en

Instructie geven tot het vormen van nieuwe groepjes, waarbij iedereen twee rollen krijgt. De eerste rol is de expert rol en de tweede is notulist, antwoordschrijver, leider of

gegevensbeheerder. In dit groepje gaan lln nieuwe opdrachten (havo 2014-I 7, 8, 9) maken waarbij ze gezamenlijk een stroomschema maken. Opdracht uitdelen. Lln luisteren, vormen groepjes en verdelen de taken binnen het groepje. 15 Verwerki ng begeleid en 2 + 3 + 4 Ik zal de voortgang in de gaten houden en lln aansporen aan de slag te gaan. Bij het rondlopen zal ik sturende vragen stellen om de voortgang te stimuleren. Lln in groepsverband maken de opdrachten waarbij ze expliciet hun stappen vermelden.

Stappen aangeven, uitleggen van hun stappen aan groepsgenoten, verdedigen van hun stappen. Beoordelen stappenplan van groepsgenoten. 15 Check & feedbac k/Instrue ren vaardigh eden 2 + 3 + 4 Ik zal stroomschema’s terugvragen van de groepjes en deze notuleren op het bord. Gezamenlijk zal ik met de klas in een

onderwijsleergesprek hieruit een

stroomschema opstellen.

Welke stappen doe je al automatisch? Welke stappen moet je aandacht aan besteden?

Lln doen actief mee aan het onderwijsleergesprek Toelichten stappenplan, uitleggen stappenplan 5 Afronde n 1 Ik zal de lln vragen of er nog vragen zijn over het

stroomschema. Huiswerk opgeven waarbij lln gebruik moeten maken van de SPA.

Lln luisteren en zorgen dat ze allemaal het uiteindelijke

stappenplan hebben overgeschreven.

(26)

Docent: SMEE Datum: 17/4 Tijd: Klas: H4c Aantal lln: 29

Lesonderwerp SPA 3

Beginsituatie Klassikaal is er een stroomschema opgesteld waarmee redeneervragen beantwoord kunnen worden, Lln hebben hiervan gebruik gemaakt bij maken van huiswerk.

Leerdoelen voor lln

Lln kunnen aan het einde van de les:

1. In eigen woorden de stappen uit het SPA stroomschema beschrijven

2. In eigen woorden technieken uit de eerste SPA fase omschrijven 3. De verschillende technieken uit de eerste SPA fase toepassen 4. In eigen woorden technieken uit de tweede SPA fase omschrijven 5. De verschillende technieken uit de tweede SPA fase toepassen 6. In eigen woorden technieken uit de vierde SPA fase omschrijven 7. De verschillende technieken uit de vierde SPA fase toepassen 8. Een stappenplan toepassen op redeneervragen

Leerdoelen van lln

Leerlingen hebben aan het einde van de les inzicht in mogelijkheden om hun vaardigheid redeneervragen beantwoorden te verbeteren, en kunnen in eigen woorden uitleggen dat ze hiervoor verschillende stappen moeten volgen.

Docentdoelen Leerlingen motiveren tot het gebruik van de verschillende technieken in de SPA stappen welke theoretisch lijken

Media, spullen, hulp stroomschema, opdrachten havo 2014-I 9; havo 2016-I 7 Tijd Lesfase Leerdoel Wat ik doe en zeg Wat zij doen

(werkvorm) Leeractiviteit Noem de specifieke! 8 Voorken nis actiever en/orien teren op doel 1 Uitdelen werkbladen Lln herinneren aan het stroomschema welke we in de vorige les hebben opgesteld klassikaal in een onderwijsleergesprek door de verschillende stappen terug te vragen.

Lln doen actief mee aan het

onderwijsleergesprek

Benoemen stappen stroomschema.

(27)

5 Instruer en over vaardig heden 2 + 4 + 6 Ik zal een redeneervraag modelleren door hard op te denken waarbij ik expliciet gebruik maak van het stroomschema (havo 2014-I 9). Lln instrueren technieken te observeren welke ik gebruik in de SPA fasen en hier aantekeningen van te maken. Lln luisteren, maken aantekeningen en stellen vragen. 2 Orienter e op doel 2 + 4 + 6 Lln vragen hoe ik de stappen uit het stroomschema aanpakte.

Lln doen mee aan

onderwijsleergesprek. - Stappen aangeven

30 Instruer en over vaardig heden 2 + 4 + 6 In een onderwijsleergesprek zal ik verschillende technieken die toegepast kunnen worden in de SPA fasen toelichten door middel van

modelleren.

Lln doen actief mee aan het onderwijsleergesprek 1 Verwerk ing instruer en - Instructie geven in groepje opdrachten (havo 2016-I 7) te maken in tweetallen met expliciet gebruik te maken van het werkblad. -10 Verwerk ing begeleid en 3 + 5 + 7 + 8 Ik zal de eerste 5 minuten alleen vragen beantwoorden om de leerlingen aan de slag te helpen, de laatste 5 minuten zal ik ook inhoudelijke vragen beantwoorden tijdens het rondlopen. Lln gaan in tweetallen opdrachten maken. Toepassen/oefenen stroomschema, uitleggen schema aan groepsgenoten. 5 Check & feedbac k alle Klassikaal een werkblad invullen over een gemaakte vraag. Ik zal hierbij een werkblad op het bord projecteren en invullen.

Lln vult het werkblad in en controleert zijn eigen ingevulde blad.

Evalueren gemaakte opdracht en gebruik schema.

(28)

1 Afronden alle

Nagaan of er nog vragen zijn over het werkblad.

Huiswerk opgeven waarbij lln gebruik moeten maken van de SPA.

Lln luisteren en gaan na of ze nog vragen hebben over SPA gebruik.

(29)

Docent: SMEE Datum: 23/4 Tijd: Klas: H4c Aantal lln: 29

Lesonderwerp SPA 4

Beginsituatie Lln zijn bekend met een SPA werkblad en de verschillende technieken die ze kunnen gebruiken in de SPA fases.

Leerdoelen voor lln Lln kunnen aan het einde van de les:1. Zelfstandig het SPA stroomschema toepassen

2. Zelfstandig de juiste techniek uit de verschilde SPA fases toepassen Leerdoelen van lln Leerlingen hebben aan het einde van de les inzicht in mogelijkheden

om hun vaardigheid redeneervragen beantwoorden te verbeteren. Docentdoelen Leerlingen aansporen de SPA te blijven gebruiken en tijd te investeren

in het expliciet oefenen van het gebruik ervan.

Media, spullen, hulp stroomschema, opdrachten havo 2016-II 16 17, havo 2017-II 3, 6 Tijd Lesfase Leerdoel Wat ik doe en zeg Wat zij doen

(werkvorm) Leeractiviteit Noem de specifieke! 10 Voorken nis actiever en alle De stappen uit de SPA terugvragen, en enkele technieken uit de verschillende fasen in een onderwijsleergesprek waarin ik willekeurige lln aanwijs om antwoord te geven.

Lln doen actief mee aan het onderwijsleergesprek Benoemen stappen stroomschema. 1 Verwerk ing instruer en

Instructie geven tot het maken van opdrachten (havo 2016-II 16 17) met het expliciteren van de SPA stappen. Leerlingen maken de opdrachten individueel of in tweetallen. Lln luisteren 20 Verwerk ing begeleid en alle Ik zal de eerste 5 minuten alleen vragen beantwoorden om de leerlingen aan de slag te helpen, daarna ook inhoudelijke vragen. Lln maken de opdrachten individueel of in tweetallen. Toepassen/oefenen stroomschema. Uitleggen schema aan medeleerling.

(30)

5 Check & feedbac k alle Klassikaal een werkblad invullen over een gemaakte vraag. Ik zal hierbij een werkblad op het bord projecteren en invullen.

Lln doet actief mee aan het

onderwijsleergesprek en controleert zijn eigen ingevulde blad.

Benoemen van stappen stroomschema. Uitleggen stappen. 1 Verwerk ing instruer en

Instructie geven tot het maken van opdrachten (havo 2017-II 3, 6) met het expliciteren van de SPA stappen. Leerlingen maken de opdrachten individueel of in tweetallen. Lln luisteren 20 Verwerk ing begeleid en alle Ik zal de eerste 5 minuten alleen vragen beantwoorden om de leerlingen aan de slag te helpen, daarna ook inhoudelijke vragen. Lln maken de opdrachten individueel of in tweetallen. Toepassen/oefenen stroomschema. Uitleggen schema aan medeleerling. 5 Check & feedbac k alle Klassikaal een werkblad invullen over een gemaakte vraag. Ik zal hierbij een werkblad op het bord projecteren en invullen.

Lln doet actief mee aan het

onderwijsleergesprek en controleert zijn eigen ingevulde blad.

Benoemen van stappen stroomschema. Uitleggen stappen.

1 Afronden Nagaan of er nog

(31)

Bijlage 2 Gebruikte lesmaterialen

In deze bijlage is het gebruikte SPA stroomschema weergegeven

De stappen bij het oplossen van redeneervragen

Stap 1: Lees de vraag

-

Wat wordt gegeven

1. Lees en onderstreep 2. Reactievergelijkingen, eigenschappen, andere gegevens

-

Wat wordt gevraagd

3. Herformuleer de vraag a) in eigen woorden b) schema

c) symbool

d) signaalwoorden

4. Geef een schatting eenheid, teken, significante cijfers

Stap 2: Maak een plan

-

Hoe begin ik

5. Herken ik de vraag 6. Geef reactievergelijking

-

Hoe pak ik de vraag aan

7. Werk achterstevoren

-

Wat kan ik en heb ik nodig 8. Verband tussen gegeven en gevraagde (formule) 9. Welke gegevens kan ik opzoeken (binas)

Stap 3: Voer plan uit

(32)

-

Vraag beantwoord 10. Lees de vraag en je antwoord 11. Is je antwoord logisch

-

Kloppen de cijfers 12. Controleer significantie, eenheid, teken

(33)

Bijlage 3 Gebruikte onderzoeksinstrumenten

Bijlage 3.1 Inhoudsanalyse

Per geselecteerde redeneer toetsvraag zal een inhoudsanalyse gemaakt worden per leerling voor de voor- en nameting. Hiervoor zal ten eerste de score van de leerlingen op deze vragen berekend worden. Het kwalificeren van antwoorden als juist of onjuist, en het toekennen van punten aan een antwoord vindt plaats aan de hand van het vooraf opgesteld correctiemodel. Vervolgens zullen de verschillende variabelen, relevant voor de effectmeting van de interventie, gekwantificeerd worden volgens het scoringsvoorschrift weergevenven in tabel 1.

Variabele Scoringsvoorschrift Vraag gemaakt 1= ja 2= nee Correct antwoord 1 = ja 2 = nee 3 = geen antwoord Redenering/berekening opgeschreven 1 = ja, juiste

2 = ja, incompleet 3 = ja, onjuiste 4 = nee

5 = geen antwoord

Relatie antwoord en redenering/berekening 1 = correct antwoord, correcte uitleg 2 = correct antwoord, incomplete uitleg 2 = correct antwoord, onjuiste uitleg 3 = correct antwoord, geen uitleg 4 = onjuist antwoord, met uitleg 5 = onjuist antwoord, zonder uitleg 6 = geen antwoord

Belangrijke gegevens opgeschreven 1 = ja 2 = nee

3 = niet relevant 4 = geen antwoord

Significante cijfers 1 = correct

2 = incorrect 3 = geen antwoord 4 = niet relevant Eenheid 1 = correct 2 = incorrect 3 = geen antwoord 4 = niet relevant Is met het antwoord de vraag beantwoord 1 = ja

2 = nee

3 = geen antwoord Tabel 1. Scoringsvoorschrift inhoudsanalyse

De antwoorden van de voor- en nameting worden per leerlingen omgezet in kwantitatieve data met behulp van dit scoringsvoorschrift.

(34)

Bijlage 3.2 Learner report

In deze bijlage is het leerrapport weergegeven die leerlingen in zullen vullen na de nameting welke gebruikt wordt om hun ervaring met betrekking tot de lessenserie in kaart te brengen.

We willen graag weten wat je vind van de lessen over het beantwoorden van de redeneervragen met het stappenschema. Hieronder vind je een aantal zinnen die je aan kunt vullen en ons laat weten wat je vind van deze lessen. Je krijgt hier geen cijfer voor, en er zijn geen goede of foute antwoorden, het gaat erom wat jij vind!

Over het beantwoorden van redeneervragen heb ik geleerd dat

Wat ik lastig vind bij het beantwoorden van redeneervragen is

(35)

Het gebruik van het stappenplan vind ik

Zul jij het stappenplan wel of niet gebruiken bij het maken van opdrachten: wel / niet

Het stappenplan zal ik wel / niet gebruiken bij het maken van opdrachten omdat

(36)

Bijlage 3.3 Toetsen voor cijfer bepaling en inhoudsanalyse

De geselecteerde rendeneervragen uit de voormeting en nameting zijn in deze bijlage weergegeven. De antwoord modellen zijn te vinden in bijlage 3.4.

Voormeting Reactiesnelheid

Als een oplossing van kaliumpersulfaat, K2S2O8, en een oplossing van kaliumjodide, KI, bij elkaar worden gevoegd, wordt de oplossing bruin door de vorming van I2(aq). Hierbij vindt de volgende reactie plaats:

S2O82-(aq) + 2 I-(aq) —> I2(aq) + 2 SO42-(aq)

Carien bestudeert de snelheid van deze reactie. Dit kan zij doen, omdat zij aan de intensiteit van de bruine kleur de I2(aq) concentratie kan aflezen. Het verband tussen de intensiteit van de bruine kleur en de I2(aq) concentratie is weergegeven in het volgende diagram.

Hierbij is [I2] de I2(aq) concentratie uitgedrukt in 10-4 mol L-1.

Carien gaat nu als volgt te werk. Zij voegt oplossingen van kaliumpersulfaat en kaliumjodide bij elkaar. Het volume van het verkregen mengsel is 50,0 mL. Op bepaalde tijden meet ze de intensiteit van de bruine kleur.

5) 2p Leg met behulp van het botsende-deeltjes-model uit waardoor de reactiesnelheid bij het verlopen van Cariens proef kleiner wordt.

Referenties

GERELATEERDE DOCUMENTEN

A common approach for cell-centred calculations is where the non-orthogonality of the mesh is compensated for by defining a vector

• SNEL-groep: de eerste drie maanden een hoeveelheid krachtvoer die gebruikelijk is in de gangbare melkveehouderij, het resterende voer wordt met een snelle afbouw verdeeld over

Kansrijke locaties Onderstaande figuren geven weer hoe de oppervlakpercentages van de kansrijke polygonen voor de verschillende natuurdoeltypen verdeeld zijn over het hele

De spreuk omvat niet alleen een verlangen naar uitstel van het uiteindelijke oordeel; het behelst ook de intuïtie dat persoonlijke waardigheid een intrinsiek karakter heeft: met

Om deze reden is de algemene hypothese dan ook: Door het aanleren van een strategie zullen leerlingen hun antwoorden inhoudelijk beter kunnen formuleren en zullen de resultaten van

De huisvesting van de dieren in de opfokperiode (individueel of in een groep) zou van invloed kunnen zijn op het gedrag van de dieren. De huisvesting in de opfokperiode

Fliertoe identificeren we een lijn door de oorsprong met zijn twee snijpunten met de sfeer. De groep SL(3, IR) van 3 x 3-matrices met determinant 1 werkt op 1'2, aangezien Iijnen

After identifying where the United Nations went wrong in Somalia, this question can be answered by studying AMISOM’s approach to UNOSOM’s technical problems, response time and