LOGBOEK INDIVIDUELE SESSIE
PROTOCOL ONDERZOEK FEEDBACK GEVEN
2. Vertel als we zo dadelijk klaar zijn niet aan andere leerlingen wat jouw antwoorden waren Sommigen vinden het prima om daarover
te vertellen maar anderen vinden dat niet fijn, en dat kan vervelend zijn. Het beste is dus als niemand daar iets over zegt.
Zo weten we zeker dat jouw antwoorden privé blijven. Je kunt dus steeds eerlijk jouw eigen mening geven.
Oké, neem de voorkant van de vragenlijst voor je [Houd de eerste bladzijde omhoog zodat iedereen kan zie wat je bedoelt]. Deze bladzijde mag je gaan maken, dus je naam en andere gegevens invullen. Wacht nog even met bladzijde 2, daarbij geef ik zo uitleg. Als je vragen hebt, steek dan even je vinger op.
Is iedereen klaar met bladzijde 1? Dan gaan we nu naar bladzijde 2 en 3. Er staan instructies die ik met jullie samen wil doornemen.
Op de volgende bladzijdes zie je straks een aantal plaatjes. Op elk plaatje staat een situatie afgebeeld. Bekijk ieder plaatje eventjes en bedenk dan een kort verhaaltje dat past bij het plaatje.
Het maakt echt niet uit wat voor verhaal je bedenkt. Kijk maar wat er spontaan in je opkomt. Alles mag. Denk er vooral niet te lang over na.
Je hoeft het verhaaltje niet op te schrijven. Het is wel de bedoeling dat je de drie vragen die naast het plaatje staan, beantwoordt.
Als je klaar bent met plaatje 1 mag je meteen doorgaan naar het volgende plaatje totdat je ze allemaal hebt gehad. Ga alle plaatjes één voor één langs in de juiste volgorde. Sla geen vragen over.
Is alles duidelijk? Dan mag je beginnen met het eerste plaatje.
[In totaal staan voor dit deel van de klassikale vragenlijst ongeveer 15-20 minuten. Als je merkt dat sommige leerlingen veel langzamer zijn dan anderen, kan je ongeveer halverwege herhalen dat ze er niet te lang over hoeven te doen: “Wat je opschrijft hoeft niet lang te zijn. Het is prima als je bij iedere vraag één korte zin opschrijft”. Zorg ervoor dat leerlingen die klaar zijn met dit deel, rustig op hun plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Als je merkt dat de grote meerderheid klaar is maar enkele leerlingen nog niet zeg dan: “Ik zie dat de meesten klaar zijn met de plaatjes. Willen jullie even allemaal stoppen. Ik ga jullie nu uitleggen hoe het nu verder gaat. Diegenen die de plaatjes nog niet helemaal afhebben, mogen na mijn uitleg verder gaan.
Kijk nu op bladzijde 8 de vragenlijst. De vragen gaan over hoe je over jezelf denkt en wat voor persoon je bent.
[Houd het formulier duidelijk omhoog zodat de kinderen kunnen zien waar je naar verwijst; draai rond zodat iedereen het kan zien] Kijk naar het voorbeeld: “Ik vind het leuk om naar school te gaan”. Jij moet aangeven in hoeverre deze zin klopt VOOR HOE JIJ BENT. Als het helemaal niet klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje helemaal links. Als het een beetje klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de tweede plek van links. Als het meestal klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje de tweede plek van rechts. En als het altijd klopt dat je het leuk vindt om naar school te gaan, dan zet je een kruisje op de meest rechter plek. Zet per zin één kruisje.
Is alles duidelijk? Dan mogen diegenen die met de plaatjes klaar zijn, beginnen en de vragenlijst maken tot en met vraag 20. Diegenen die nog niet klaar zijn met de plaatjes, mogen nu alsnog eerst de plaatjes afmaken en daarna meteen doorgaan met de vragenlijst.
Als kinderen bezig zijn, zeg dan: Het is soms moeilijk om te kiezen tussen
antwoorden, maar probeer toch altijd één antwoord te kiezen. Je kunt niet twee antwoorden kiezen. Als je een antwoord wilt veranderen, kun je het
doorkrassen, en dan een kruisje op de goede plek zetten.
Als je al bij het stopteken op bladzijde 9 bent, controleer dan even of je overal antwoord hebt gegeven.
Op bladzijde 10 en 11 staan allemaal gebeurtenissen, zoals de eerste: “Je hebt veel huiswerk te doen voor school maar je hebt er helemaal geen zin in. Maar het moet toch wel echt nu gebeuren.” Bij elke gebeurtenis is de vraag hoe jij
echt niet waar ik moet beginnen en (b) dan ga ik er meteen mee aan de slag. Kies de reactie die het best bij jou past, ook als deze niet perfect past, en omcirkel de letter a of b.
Zijn er nog vragen? Je mag de vragenlijst nu helemaal afmaken.
[Zorg ervoor dat leerlingen die klaar rustig op hun plek blijven zitten en de leerlingen die nog bezig zijn niet storen. Vertel ze wat ze kunnen doen totdat iedereen klaar is.] Als je helemaal klaar bent, controleer dan of je je naam hebt opgeschreven, en of je overal antwoord hebt gegeven en niet per ongeluk ergens een dubbel antwoord hebt gegeven.
Is er nog iemand bezig? [Haal de vragenlijsten op. Als er leerlingen zijn die niet serieus hebben gewerkt waarvan je de naam niet weet, zet een onopvallend kruisje op de vragenlijst en schrijf na afloop op de voorkant van de vragenlijst van deze participant hoe de participant zich precies gedroeg.]
Ik kom de vragenlijsten nu ophalen, maar ik ga zo nog iets uitleggen.
Volgende week [of een ander moment, als dat zo is] gaan we beginnen met het andere deel van het onderzoek. Dan halen we jullie individueel, dus om de beurt, uit de klas om denkopgaven te maken. Als je aan de beurt bent zal ik precies vertellen wat de bedoeling is. [Stel leerlingen niet gerust, en vertel ze niet wat ze precies gaan doen.]
Dankjewel allemaal!
Als iedereen de vragenlijst heeft ingeleverd, controleer dan z.s.m. (liefst buiten zicht van de leerlingen) of de voor- en achternaam van de leerlingen leesbaar zijn. Als er tijd over is, controleer dan eveneens of leerlingen alle vragen hebben beantwoord en niet meer dan één antwoord hebben gegeven per vraag. Als er dubbele antwoorden zijn ingevuld, iets is overgeslagen of iets onleesbaar is, ga dan terug om het te laten corrigeren, maar alleen als de situatie daarvoor geschikt is (e.g., als leerlingen nog tijd en zin hebben).
Leg alle gecontroleerde vragenlijsten in de aparte doos voor ingevulde vragenlijsten. d. Mogelijk voorkomende vragen en situaties
• Als een kind afwezig is tijdens de klassikale afname. Doe de klassikale afname zoals gepland, dus zonder het afwezige kind. Probeer op een andere
dag de klassikale vragenlijst alsnog bij het kind af te nemen, bijvoorbeeld 1- op-1 op de gang, of door het kind ergens individueel te laten werken en dat je vooraf instructies geeft. Plan dit sowieso voor de individuele afname. Als dit echt niet kan, sla dan de klassikale afname voor dit specifieke kind over, en doe alleen de individuele afname.
• Als een kind zegt: “Het is zo saai!” Dan kun je simpelweg zeggen hoelang het nog duurt (e.g., “Het duurt nog 15 minuten, nog even dus”).
• Wat doen jullie met de gegevens? “We doen onderzoek met deze gegevens. School krijgt de gegevens niet te zien.”
• Wat gaan we de volgende keer doen? Als je het nog niet klassikaal hebt besproken: “Dat ga ik zo meteen klassikaal uitleggen.” Als je al wel klassikaal hebt besproken: “Jullie gaan denkopgaven doen. Ik vertel er de volgende keer meer over.” Stel kinderen niet gerust, want dit gaat ten koste van de
manipulatie. Zegt dus NIET dat het best meevalt of dat het heel leuk is om te doen.
• Waarom moet ik mijn naam opschrijven? Zijn mijn antwoorden wel anoniem? “Jouw antwoorden zijn privé; dus alleen de onderzoekers krijgen jouw antwoorden te zien—je klasgenoten niet, je ouders niet en je
leerkrachten niet.” Alleen als je er specifiek naar wordt gevraagd: “Je moet je naam opschrijven zodat we weten welke vragenlijsten bij welke leerling horen. Maar jouw gegevens worden straks wel losgekoppeld van jouw naam, dus het is wel anoniem.”
• “Ik twijfel tussen twee antwoorden. Mag ik ze allebei omcirkelen?” “Probeer per vraag één antwoord te kiezen. Als geen enkel antwoord precies past, kies dan het antwoord dat het best past”.
• “Als ik een vraag niet wil invullen, mag ik die dan overslaan?” “Probeer alle vragen te beantwoorden”. Als het kind zegt de vraag niet te willen beantwoorden, kun je naar hem/haar toegaan en zeggen: “Als je deze niet wilt beantwoorden, dan mag je die overslaan”.
• “Ik begrijp deze vraag niet, wat bedoelen jullie ermee?” Ga naar de leerling toe, en herhaal de vraag. Als de vraag dan nog niet duidelijk is, herhaal de vraag in simpelere bewoording.
Protocol individuele afname a. Algemene aandachtspunten
• Dit is een experimenteel onderzoek. In dit onderzoek is het cruciaal dat je alle kinderen precies dezelfde instructie geeft en op precies dezelfde manier behandelt. Het enige dat mag verschillen tussen kinderen is de inhoud van de envelop met de feedback.
• Je mag als proefleider niet vooraf weten welke feedback een kind krijgt. Dit voorkomt dat je kinderen “uitkiest” voor een bepaalde conditie. Pas tijdens het experiment kom je erachter in welke conditie het kind zit (dus welke feedback je geeft).
• Stel je tijdens het experiment altijd neutraal op tegenover kinderen. Dus
probeer kinderen niet gerust te stellen, op hun gemak te stellen, spanning weg te nemen, et cetera.
• Geef kinderen geen complimenten of kritiek. Dit is cruciaal, want een
compliment of kritiek zou direct interfereren met de experimentele manipulatie. De ervaring leert dat dit erg lastig is. Complimenten als ‘wat heb je een leuke trui aan’ ‘ik vind je tas zo stoer’ zijn erg snel gegeven maar probeer dit te allen tijde te voorkomen. Als je per ongeluk toch een compliment of kritiek geeft, noteer dit dan direct op het logformulier. Dan kunnen we hier rekening mee houden in de analyses.
• Sommige kinderen zijn heel stil terwijl andere kinderen heel extravert zijn. Het kan moeilijk zijn om stille en extraverte kinderen precies op dezelfde manier te bejegenen omdat extraverte kinderen vaak een gesprek met je proberen aan te gaan en omdat je introverte kinderen misschien gerust wilt stellen. Probeer alle kinderen precies gelijk te behandelen.
• Zorg dat op alle documenten van een kind zijn/haar proefpersoon nummer komt te staan. Zo weet je achteraf met zekerheid welke documenten bij elkaar horen.
• Draag nette kleding
• Zorg dat je tijdens het onderzoek altijd een mobiele telefoon bij je hebt met mijn nummer erin, zodat je me kunt bellen in noodgevallen. Zorg dat je telefoon op stil staat (dus trilfunctie ook uit). Kinderen mogen geen piepje horen.
• Zorg ervoor dat je een stabiele internetverbinding hebt voor de laptop in de kamer waar je de individuele sessie afneemt. Een verbinding met kabel is vaak stabieler dan WIFI.
• Zorg dat de laptop aangesloten is op het stroomnetwerk (de accu’s zijn vaak onbetrouwbaar), dat de computer muis goed werkt en dat je een fatsoenlijke ondergrond (mousepad) hebt voor de muis. Test dit van tevoren. Zorg er ook voor dat Windows geen updates kan uitvoeren tijdens de afname. Je kunt de
laptop ook ca. één uur vóór de test alvast aanzetten, dan zijn de updates klaar.
• Zorg dat het kind goed kan zien wat er op het scherm staat (vraag het even van tevoren en ga desnoods de helderheid instellen en/of de hoek van het scherm aanpassen)
b. Benodigdheden
• Laptop met stroom- en internetaansluiting + muis en mousepad (test van tevoren de werking van alles)
• Papieren:
1. Dit protocol
2. Het logboek (met het juiste proefpersoon nummer)
3. Stapel briefjes met experimentele manipulatie (zie Bijlage A voor hoe te randomiseren)
• Schrijfspullen: pennen voor jezelf
• Klassenlijst (met daarop aangeven wie wel/geen toestemming heeft)
c. Procedure
[Zet het programma klaar en vul het juiste proefpersoon nummer in qualtrics in. Maak oogcontact met het kind]
Hallo, ik ben X, en ik studeer aan de Universiteit van Amsterdam. We doen vandaag het individuele deel van het onderzoek. [Geen small talk voordat kinderen helemaal klaar zijn.] Je gaat zo denkopgaven doen. Dat gebeurt allemaal op deze laptop.
Lees de instructies altijd goed door. Alles wijst zich vanzelf. Als je toch een vraag hebt mag je die aan mij gaan stellen. Je mag nu eerst je voor- en achternaam en de naam van je school invullen.
Je mag nu naar het volgende scherm gaan. Ik ga ondertussen hier zitten. [Neem schuin achter het kind plaats. Het kind moet zich niet ongemakkelijk voelen door jouw aanwezigheid maar mag wel merken dat je meekijkt. Houd dus voldoende afstand. Let op tekens van ongemak en ga in een dergelijk geval iets verder weg zitten. Als het kind vraagt waarom je meekijkt zeg dan: “Ik ga een tijdje meekijken of alles duidelijk is”. In principe werkt het kind nu zelfstandig. Houd in de gaten of het kind de oefenopgaven goed doet. Soms kunnen kinderen een tijdje niets meer doen. Als je het gevoel hebt dat een kind dichtslaat of niet weet wat het moet doen, zeg dan: “Ik zie dat je hier niet verder gaat. Heb je misschien uitleg nodig?” Herhaal vervolgens de instructies in een simpele bewoording. Vraag het kind of het
geruststellende woorden in eerste instantie te vermijden maar voorkom dat het kind zich vervelend gaat voelen. Als je het gevoel hebt dat het kind echt emotionele steun nodig heeft, moet je die natuurlijk geven. Noteer in ieder geval duidelijk in het
logboek wat de situatie is geweest zodat we ermee rekening kunnen houden bij de analyses. Hetzelfde geldt als een kind het emotioneel moeilijk heeft tijdens de echte rekentaak]
[Houd in de gaten of het kind bij iedere oefenopgave twee getallen aanklikt (in plaats van 0, 1, of meer dan 2. Zeg indien nodig: Ik zie dat je maar 1 getal/meer dan 2 getallen aan vinkt. Je moet precies 2 getallen zoeken en aanvinken]
[terwijl het kind nog bezig is met het de oefenopgaven, pak je de bovenste brief van de conditie stapel en kijk je in welke conditie het kind zit]
d. MANIPULATIE
[Na de oefenopgaven volgt de echte test. Deze bestaat uit twee rondes. Tijdens iedere ronde moeten de kinderen 3 getal-zoekopgaves en 3 woord-zoekopgaves doen. Er zijn twee condities: sommige kinderen gaan in RONDE 1 eerst de getal- zoekopgaves doen en daarna de woord-zoekopgaves. In RONDE 2 draait de volgorde om. Bij andere kinderen is het precies omgekeerd: ze doen in RONDE 1 eerst de woord-zoekopgaves en daarna de getal-zoekopgaves. In RONDE 2 draait de volgorde om. Jij hoeft hier niets mee te doen – de computer bepaalt de volgorde