Inleiding validatie
Het doel van de validatie van de lessenserie is het controleren of de lessenserie voldoet aan de ontwerpregels van dit onderzoek. Verschillende onderdelen zijn getest. Les 1 is gedeeltelijk uitgevoerd en is getest op validiteit met behulp van een learner-report. Daarnaast is de vragenlijst die in les 2 gebruikt wordt om voorkennis te testen voorgelegd aan een klas. De klas heeft deze vragenlijst gemaakt en zelf nagekeken met het bijgeleverde correctiemodel, vergelijkbaar met de wijze waarop het in de les 2 ingepland is. Verder is de gehele lessenserie beoordeeld door experts en feedback is verzameld met behulp van een groep interview.
Alle klassikale testen zijn uitgevoerd in 4VWO ANW klassen. Dit zijn klassen die, net zoals de
doelgroep van de lessenserie, 3 jaar WON les hebben ontvangen. Deze klassen zijn extra interessant voor de testen aangezien de ANW klassen, net zoals de doelgroep, bezig zijn met het verzamelen van literatuur en het lezen daarvan. Selectie van de klassen is willekeurig gebeurd op basis van
roostermogelijkheden van de onderzoeker. Om test-moeheid bij de leerlingen te voorkomen zijn de testen op verschillende weken uitgevoerd. De klassen zijn ook dezelfde klassen die bevraagd zijn in het vooronderzoek van de lessenserie. De onderzoeker geeft zelf geen les aan de ANW klassen.
Validatie van zoek strategieën Les 1
Inleiding en methode
In de eerste les wordt een deel van de les gebruikt om de leerlingen kennis te laten maken met zoek strategieën. Om dit onderdeel van de les te valideren is dit onderdeel uitgevoerd en met behulp van een testklas 4VWO leerlingen in de les ANW. Deze les is conform de planning van het MDA
uitgevoerd. Dat wil zeggen in de laatste 30 minuten van de les. De leerlingen uit de ANW klas zijn vergelijkbaar met de toekomstige doelgroep. De klas bestond uit 30 leerlingen. Ze hebben vrijwel allemaal WON voor drie jaar gevolgd. Een aantal hebben geen WON gevolgd in voorafgaande jaren en zijn uitsloten van het onderzoek (8 leerlingen). De leerlingen waren ten tijde van de validatie bezig met een literatuuronderzoek in het kader van ANW. Dit maakt de lesinhoud relevant en vergelijkbaar vergeleken met de beoogde doelgroep. De selectie van de klas was gebaseerd op
roostermogelijkheden en zonder enige voorkennis van de leerlingen of samenstelling van de klas. De klas is willekeurig geselecteerd voor dit onderzoek.
Er is uitgevraagd met behulp van een Learner report of de les voldoet aan de ontwerpregels. De leerlingen hadden 10 minuten beschikbaar voor het invullen van de vragenlijst. Dit was voldoende tijd. Het learner report is vormgegeven volgens een vrije variant. Er is gekozen voor 4 gesloten vragen, 4 open vragen en 2 mogelijkheden tot toelichting op de gesloten vragen. Er is gebruik
gemaakt van een combinatie van positieve en negatieve vraagstellingen. De analyse van de gegevens is gebeurd met de hulp van de ‘grounded method’ waarbij categorieën zijn gedefinieerd.
Resultaten
Aan het einde van de les is aan de klas gevraagd of ze de informatie uit de les (zoek strategieën) eerder hadden willen ontvangen. Meer dan 80% gaf aan dat ze dit prettig hadden gevonden (pers. observatie). Opvallend feit was dat tijdens de les gevraagd was aan de leerlingen welke database ze gebruikten in hun zoektocht naar literatuur. In alle gevallen was dit primair Google. Slechts 2 leerlingen gaven aan gebruik te maken van google Scholar of een verglijkbare database (pers. observatie).
Op de vraag of de leerling vinden dat deze les goed aansluit op de (andere) kennis die ze tijdens WON lessen hebben opgedaan, is 77% het met deze stelling eens. Uit de toelichting komt echter een variabel beeld naar voren. Van de leerlingen vond 40% de stof handig bij het zoeken naar literatuur. 14% geeft aan dat ze vaker literatuur zoeken bij WON. Het aantal leerlingen dat aangegeven hebben dat de les niet goed aansluit op de stof van WON-lessen geven twee van de vijf leerlingen aan deze stof nooit te hebben gehad bij WON, één leerling dat hij of zij geen WON meer heeft en één leerling heeft het al gehad.
Figuur 5: Respons vraag 1 Learner-report Figuur 6: Respons toelichting vraag 1 learner-report Geen van de leerlingen kende het concept van Boolean operators voor deze les. 82% van de leerlingen geven in hun toelichting een concrete leeropbrengst aan. Wat ze geleerd hebben over Boolean operators geeft 59% aan dat het makkelijker, sneller, handiger of efficiënter zoeken is en 23% steekt het functioneler in door aan te geven dat ze geleerd hebben hoe je and, or, not kunt gebruiken (categorie hoe te gebruiken). De categorie ‘anders’ waren twee antwoorden namelijk: “best veel” en “Dit echt voor meestal betrouwbare en wetenschappelijke artikelen zoekt”.
I K V O N D D E Z E L E S G O E D A A N S L U I T E N O P D E ( A N D E R E ) K E N N I S D I E I K I N W O N L E S S E N H E B O P G E D A A N eens oneens 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% p e rc e n ta ge le e rl in ge n T O E L I C H T I N G O P : I K V O N D D E Z E L E S G O E D A A N S L U I T E N O P D E ( A N D E R E ) K E N N I S D I E I K I N W O N L E S S E N H E B O P G E D A A N . ( P E R C A T E G O R I E )
De referenties gebruiken als zoekmiddel is minder duidelijk blijven hangen bij de leerlingen. Van de leerlingen was 86% niet op de hoogte van de mogelijkheden om referenties te gebruiken voor de les. Uit de open vraag komt er echter een variabeler beeld naar voren. 27% van de leerlingen geeft een antwoord waaruit blijkt dat ze geleerd hebben beter te kunnen zoeken. 23% van de leerlingen heeft geen antwoord gegeven op deze vraag. 9% van de leerlingen hebben een foutief onderdeel onthouden namelijk dat je kunt zien hoe oud een artikel is aan de hand van de referenties en een andere 9% wist het niet of gaf aan het niet te snappen.
Door de oefening nadenken over hun eigen zoekstrategie hebben het grootste gedeelte van de leerlingen geleerd hoe ze makkelijker, sneller of effectiever artikelen kunnen vinden. Ook hier heeft 23% van de leerlingen de vraag niet beantwoord. Van de leerlingen geeft 9% aan dat ze geleerd hebben hoe ze de behandelde leerstof moeten gebruiken. Er wordt door vrijwel alle respondenten
aangegeven dat er geen nadeel verbonden zit aan het volgen van deze les. De
uitzondering is dat een leerling aangeeft dat deze lestijd betekend dat hij of zij geen tijd kan besteden aan het eigen onderzoek en dat de les niet eerder gegeven is.
Op de vraag of deze les en de bijgevoegde bronnen gaan ze gaat helpen in het zoeken naar literatuur zijn 60% leerlingen het eens en 40% het zeer eens. Geen van de
respondenten heeft aangegeven dat ze het met deze stelling oneens- of zeer oneens zijn.
Discussie
Ondanks dat het een kleine groep betreft waarbij dit learner-report is afgenomen zijn er wel duidelijke trends waar te nemen. De leerlingen vinden de les (zeer) nuttig, waarbij geen enkele leerling aangeeft het minder nuttig of niet nuttig te vinden. De leerlingen
0% 10% 20% 30% 40% 50% 60% 70%
zeer eens eens oneens zeer oneens
P e rc en ta ge le e rl in ge n D E Z E L E S E N D E B I J G E V O E G D E B R O N N E N G A A N M I J H E L P E N I N H E T Z O E K E N N A A R L I T E R A T U U R 0% 10% 20% 30% 40% 50% 60% 70% P er ce n ta ge le er lin ge n O V E R B O O L E A N O P E R A T O R S H E B I K G E L E E R D D A T . . ( P E R C A T E G O R I E )
Figuur 7: Respons vraag 3 geleerd over Boolean operators, gecategoriseerd
Figuur 8: Respons vraag 6 les gaat mijn helpen, gecategoriseerd
0% 10% 20% 30% 40% 50% 60% 70% P er cen ta ge leer lin gen A N T W O O R D O P : D O O R D E O E F E N I N G N A D E N K E N O V E R M I J N Z O E K S T R A T E G I E H E B I K G E L E E R D D A T I K . . ( P E R C A T E G O R I E )
groot gedeelte van de leerlingen vindt dat de gevolgde les aansluit op de voorkennis. Het blijkt echter dat het begrip “aansluiten op voorkennis” lastig is uit de toelichting die door de leerlingen gegeven wordt. Door sommige leerlingen wordt dit geïnterpreteerd als een voorwaarde dat er nieuwe informatie gegeven wordt, terwijl andere leerlingen dit juist niet als voorwaarde stellen. Dit maakt dat de uitslag van deze vraag kritisch bekeken moet worden. Voor een concrete uitspraak hierover kan er beter gekeken worden naar de resultaten van het groepsinterview.
Het blijkt dat de leerlingen nog geen voorkennis over Boolean operators hadden, zoals ook uit het vooronderzoek naar voren kwam. Deze nieuwe kennis blijkt ook goed overgekomen in de les. De kennis over het gebruik van de referenties (verwijzingen) lijst is minder goed blijven hangen. Het is duidelijk dat de docent daar te weinig aandacht aan besteed heeft. Het is dus belangrijk om te zorgen dat naast de Boolean operators de andere zoektips voldoende aandacht krijgen van de leerlingen. Denk hier aan synoniemen, auteur, referenties en zoektermen vastleggen.
De leerlingen zien deze kennis als een zinnige aanvulling op de kennis die ze in eerdere WON lessen aangereikt hebben gekregen. In tegenstelling tot de ontwikkelde lessenserie zijn deze ANW
leerlingen al een tijdje bezig met het zoeken naar artikelen. De les wordt als waardevol ervaren en het blijkt uit de respons dat de leerlingen geleerd hebben om op een gestructureerde wijze te zoeken naar literatuur. De leerlingen zien dit zelf ook als de grootste meerwaarde.
Validatie van vragenlijst “check jezelf” les 2
Inleiding en methode
Zelfwerkzaamheid en zelf ontdekken zijn belangrijke elementen van een WON les blijkt uit het vooronderzoek van de experts. Uit het empirisch onderzoek bij leerlingen bleek dat betrouwbaarheid wel een begrip is waar de leerlingen bekend mee zijn, maar dat veel leerlingen niet actief manieren kunnen benoemen waarop ze deze betrouwbaarheid kunnen inschatten. Dit is een belangrijk element van het kritisch beoordelen van bronnen voor hun eigen onderzoek. Daarom is in les 2 gekozen om de leerlingen eerst een vragenlijst (zie bijlage XI) in te laten vullen en zelf na te laten kijken. Op basis van de resultaten van deze vragenlijst wordt gedifferentieerd tussen leerlingen met voldoende kennis en leerlingen die nog aanvulling nodig hebben. De verwachting is dat de leerlingen voor het grootste gedeelte extra aanvullende stof nodig hebben. Interessante vragen die hierbij naar voren komen zijn: Is deze conclusie ook terecht? En is de ontwikkelde vragenlijst door leerlingen in te vullen en na te kijken? Is de gestelde drempelwaarde van 6 punten wel reel en leidt dit ook tot differentiatie? Deze vragenlijst is daarom getest in een testklas 4VWO leerlingen in de les ANW. De leerlingen hebben dit onderdeel conform de planning van les 2 uitgevoerd. Dat wil zeggen aan het begin van de les en binnen een tijdskader van 10 minuten. De leerlingen uit de ANW klas zijn vergelijkbaar met de toekomstige doelgroep. Ze hebben allen WON voor drie jaar gevolgd en zullen de lessenserie rond dezelfde periode in het jaar (najaar) gaan volgen als deze wordt ingevoerd. De leerlingen zijn bezig met een literatuuronderzoek in het kader van ANW. Dit zorgt er ook voor dat de relevantie van deze stof voor de leerlingen vergelijkbaar is met de relevantie voor de toekomstige WON leerlingen. De selectie van de klas was gebaseerd op roostermogelijkheden en zonder enige voorkennis van de leerlingen of samenstelling van de klas. De klas is willekeurig geselecteerd voor dit onderzoek.
Resultaten
In de les (zie MDA) staat voor het invullen van de vragenlijst en het nakijken daarvan 10 minuten ingepland. Dit blijkt een goede inschatting te zijn. De leerlingen hebben het binnen deze tijd kunnen afronden. In de vragenlijst worden 2 items gecheckt: het begrip van de type bronnen en het begrip betrouwbaarheid. Voor beide onderdelen kan maximaal 8 punten gehaald worden, waarbij er gekozen is om 6 punten of hoger als voldoende kennis te definiëren.
Tabel 4: resultaten ingevulde vragenlijst: "Check jezelf" van les 2
Vragen Maximale
score
Gemiddelde
SD
Percentage
maximale
score
Percentage
minimale
score
1
3 1,3 1,0 17,9% 21,4%2
2 1,3 0,9 53,6% 25,0%3
3 0,4 0,8 3,6% 78,6%4
2 0,8 0,9 28,6% 53,6%5
6 2,1 1,2 0,0% 10,7%Geen van de leerlingen scoort zes of meer punten op het onderwerp type bron en 1 leerling (3,6%) scoort boven de grens van 6 op betrouwbaarheid. Op vraag 3 wordt door een groot gedeelte van de leerlingen minimaal gescoord. Een aantal leerlingen scoren net onder de drempelwaarde. 21% van de leerlingen scoren vijf punten op type bron en 18% van de leerlingen op betrouwbaarheid. Tabel 5: Resultaten per categorie vragenlijst "Check jezelf" les 2.
Vragen categorie Maximale
score
Gemiddelde
SD
Percentage
score 6 of
hoger
Percentage
score 5 of
hoger
TYPE BRON
8 3,0 1,6 0,0% 21,5%BETROUWBAARHEID
8 2,9 1,5 3,6% 17,5%Discussie
Doordat de klas vergelijkbare eigenschappen heeft met de toekomstige doelgroep is een
betrouwbare voorspeller is voor toekomstige WON leerlingen. De onderzoeker geeft zelf geen les aan deze klas, dus bias van de kant van de onderzoeker of vanuit de klas richting de onderzoeker is niet aannemelijk. De gerapporteerde resultaten zijn gebaseerd op de punten die de leerlingen zelf aan de vragenlijst van de medeleerling hebben gegeven. Er is niet getest of deze beoordeling door de leerlingen betrouwbaar gebeurd. Er is een risico op te streng beoordelen, maar dit leidt tot herhaling van de kennis en dus geen probleem van uitvoering van de lessenserie. Het risico op het teveel toekennen van punten door de leerlingen lijkt niet relevant te zijn, gezien de lage scores van de test. De vragenlijst van de leerling die voldoende had gescoord op het onderdeel betrouwbaarheid is door de onderzoeker beoordeeld. De vragenlijst is correct nagekeken.
Uit de test komt naar voren dat de leerlingen, conform de verwachting, niet voldoende kennis meer hebben op beide onderwerpen: type bron en betrouwbaarheid. Daarnaast is er 3,6% van de
leerlingen die op het onderdeel betrouwbaarheid geen extra ondersteuning nodig heeft. Daar is differentiatie dus zinnig. De vaststelling van de drempelwaarde van zes als grens voor “voldoende kennis” is een waarde gebaseerd op de ervaring van de onderzoeker. Uit deze test blijkt dat de meeste leerlingen meer dan 1 punt scoren onder de drempelwaarde. Een verlaging naar een
drempelwaarde naar 5 zal leiden tot een verhoging van 21,5% toename van het aantal leerlingen dat voldoende scoort op het onderwerp type bron en 17,5% toename op het onderwerp
betrouwbaarheid. Echter slechts 1 leerling (3,6%) had, bij verlaging van het puntenaantal voor beide onderwerpen een voldoende gescoord en dus geen aanvullende informatie nodig gehad. Met de achtergrond “Een leerling zal meer gemotiveerd zijn voor een taak indien hij een taak belangrijker
vindt en hij verwacht dat hij de taak met succes kan volbrengen” (Janssen, Hulshof, & van Veen, 2016,
p. 70) is het verlagen van de grenswaarde aantrekkelijk. Het maakt de opdracht voor de leerlingen potentieel haalbaarder. De grenswaarde van zes lijkt te hoog gekozen als een nevendoel van de les is om differentiatie te stimuleren. Daarom is het goed om de drempelwaarde aan te passen naar 5. Belangrijk element hierbij is dan wel dat de leerling die wel voldoende scoort op een onderdeel door de docent gestimuleerd om kennis te nemen van de aangeboden stof, om te controleren of deze kennis volledig strookt met de kennis die reeds aanwezig is. Het blijkt dat 79% van de leerlingen niet in staat zijn om een of meer punten te scoren op vraag 3. Deze vraag is complex. Het begrip primaire en secundaire bron moet gekoppeld moet worden aan referenties in een literatuurstuk. Dit maakt vraag 3 een vraag die niet alleen begrip, maar ook de mogelijkheid om dit toe te passen op
wetenschappelijke literatuur inzichtelijk maakt. Dit is juist wat de leerlingen zullen gaan doen met hun eigen literatuur. Om te verzekeren dat de zelfstudie van de leerlingen het juiste effect heeft is het wel belangrijk dat de docent in de les hier nog extra aandacht aan besteed. Conclusie van dit
onderzoek is dat de vragenlijst belangrijk is om de aanwezige voorkennis te testen, zodat de leerlingen daarmee een duidelijk beeld hebben van hun vaardigheden. De verwachting dat de voorkennis niet voldoende aanwezig is blijkt correct en dat maakt dat het belangrijk is om dit onderdeel in deze lessenserie terug te laten komen. Hiermee sluit dit onderdeel dus goed aan op de aanwezige voorkennis van de leerlingen (ontwerpregel 1).
Validatie lessenserie groepsinterview experts
Inleiding en methode
Om de lessenserie als geheel te kunnen valideren is gekozen om de lessenserie te laten beoordelen door experts in de vorm van een groepsinterview. Het interview heeft plaatsgevonden op 20 december 2018 in een aparte ruimte. Er waren 3 experts aanwezig en alle vormen van wetenschap waren daarmee vertegenwoordigd (alfa, bèta en gamma). Uit het vooronderzoek is naar voren gekomen dat dit van groot belang is, zodat de lessenserie vanuit al deze perspectieven ook
gevalideerd wordt. Er is gekozen voor een groepsinterview omdat de experts dan ook vrij op elkaars opmerkingen kunnen reageren en daarmee vindt, naar verwachting, ook een verdieping in de feedback plaats. De respondenten hebben het lesmaterialen van tevoren ontvangen. Deze bestond uit de beschrijving van de lessen, de bijbehorende documenten van de lessen, de rubrics en de studiehandleiding. Daarnaast ook de PowerPoint presentaties, zodat ze in staat zijn om volgorde duidelijk op te maken uit de animatie. Als achtergrondinformatie is de ontwerpnotitie van dit onderzoek, met het vooronderzoek ook toegevoegd. In de begeleidende mail is aangegeven dat de ontwerpnotitie als verdieping beschikbaar gesteld is. Alle experts hadden zich voorbereid en de documenten doorgenomen voor de bijeenkomst, waarbij 1 persoon ook de ontwerpnotitie had doorgenomen. Een tweetal experts waren ook geïnterviewd tijdens het vooronderzoek van de lessenserie en één expert niet. De namen van de experts zijn anoniem verwerkt en bekend bij de onderzoeker. Vrijwel het gehele interview is getranscribeerd en de responses zijn gecodeerd naar categorieën. Deze corresponderen ook met de hoofdvragen gesteld door de interviewer.
Tabel 6: Categorieën respons groepsinterview
Hoofdcategorie Toelichting
Aansluiting op voorkennis leerlingen
Aansluiting van de lessenserie aan op de voorkennis van de leerlingen van 4VWO met betrekking tot WON.
Inhoudelijk onderwerpen lessenserie
Krijgen de leerlingen in deze lessen geleerd hoe ze een artikel moeten schrijven door de onderwerpen te behandelen: literatuur op een gestructureerde wijze zoeken, organiseren en het artikel
gestructureerd schrijven. En doen de leerlingen ervaring op met betrouwbaarheid van bronnen, het maken van bronnenvermeldingen volgens APA richtlijnen en zullen dit door middel van gestructureerde peer-review reflecteren op het gemaakte werk.
Past het in de leerlijn Past de lessenserie binnen de leerlijn van WON van het CSG Jan
Arentsz.
Studiehandleiding en rubrics duidelijk
Is de studiehandleiding en rubrics voor 4VWO leerlingen, duidelijk?
Specifieke inhoudelijke opmerkingen
Inhoudelijke opmerkingen over opzet, lay-out, planning of content van de lessenserie.
Algemeen waardeoordeel Opmerkingen over algemene bruikbaarheid, kwaliteit en de
mogelijkheid om met deze lessenserie 4VWO leerlingen in staat te stellen om een artikel te schrijven volgens de opzet van een wetenschappelijk artikel over het onderwerp van hun keuze in het kader van het project sterrenkunde binnen de leerlijn van WON van het CSG Jan Arentsz.
Algemene opbouw van de lessen
Sluit de manier van lesgeven aan bij WON lessen, zoals eerder door experts aangeven is: praktische opdrachten, voorbeelden en oefeningen gerelateerd aan eigen onderzoek. Opbouw is logisch en begrijpelijk.
Resultaten
De resultaten zullen besproken worden aan de hand van de ontwerpregels en ontwerphypothese. Er zijn echter ook wat specifieke punten naar voren gekomen zie zeker interessant waren. Voor de start van het interview gaf 1 van de experts aan dat WON eigenlijk een foutief gebruik is van de naam voor de lessen. De N staat voor Nederland. Het moet WON-lessen zijn. Zie inleiding voor verwerking van deze feedback. Een ander belangrijk verbeterpunt dat door de experts naar voren gebracht werd was dat de suggestie gewekt werd in de lessenserie dat de leerlingen stoppen met het zoeken naar literatuur zodra ze de les over schrijven hebben gehad. “het zoeken stopt pas als je conclusie