Instrumenten

In tabel 4.1 is per deelvraag aangegeven welk instrument gebruikt is om de deelvraag te beantwoorden. In de tabel wordt de afkorting TK gebruikt voor theoretisch kader, in hoofdstuk2 word een deel van die deelvragen al beantwoord. De resultaten van de data-verzameling worden in sectie 5.4 per deelvraag samengevat.

Deelvraag/Instrument TK O GV TR

DV1. Hoe kan TA-HelpMe bij het vak informatica worden ingezet?

X X DV2. Hoe kunnen aspecten van specifieke vragen stellen

door middel van TEL worden aangeleerd aan leerlingen in de vierde klas informatica van het voortgezet onderwijs?

X X X

DV3. Welk effect hebben de gebruikte tips in TA-HelpMe op het aantal specifieke vragen dat gesteld werd door de leerlingen?

X

DV4. Welk effect heeft het stimuleren van specifieke vragen stellen door leerlingen op de leerresultaten?

X X X DV5. In hoeverre be¨ınvloedt TA-HelpMe het zelfstandig

werken van leerlingen in het voortgezet onderwijs?

X

Table 4.1: Deelvragen van het onderzoek en de methode die gebruikt is om de deelvraag te beantwoorden, TK: theoretisch kader, O: observaties, GV: getypte vragen, TR: tentamen resultaten

4.2. ONDERZOEKSOPZET 29

Observaties

Ontwerp Tijdens dit onderzoek werd gebruik gemaakt van directe participerende observaties. Bij directe observaties wordt er live waargenomen wat er in de praktijk gebeurt [der Donk and Van Lanen, 2016]. Participerende observatie betekent dat de leraar actief deelneemt aan de te observeren situatie en het eigen handelen of het handelen van de klas wil observeren [der Donk and Van Lanen, 2016]. In tabel4.2

is de opzet voor het observatie formulier dat in de weken voor de formatieve toets is gebruikt te zien.

Tijdstip Leerlinggedrag dat wijst op de houding t.o.v. TA-HelpMe 10:20 Leerlingen openen voor het eerst TA-HelpMe

10:22 Leerlingen maken een eigen account aan

Table 4.2: Voorbeeld van een ingevuld observatie formulier

Tijdens de onderzoeksles was de begeleiding die geboden werd van belang, daarom is er voor die lessen een apart observatie formulier gemaakt, zie tabel4.3.

Tijdstip Docentgedrag Leerlinggedrag 10:20 legt uit waar de formatieve toets

staan

luisteren

10:22 kijkt of iedereen de toets kan vinden

zoeken de formatieve toets op

Table 4.3: Observatie formulier tijdens de onderzoeksles

Deelvragen De observaties zijn gebruikt om deelvraag 1, 2 en 5 van dit onderzoek te kunnen beantwoorden. Tijdens de observaties wordt er gekeken naar hoe TA-HelpMe ingezet kan worden in de informatica les. Daarnaast wordt er geobserveerd of de leerlingen de aspecten van specifieke vragen stellen aanleren via TA-HelpMe. Verder observeert de docent welke invloed TA-HelpMe heeft op het zelfstandig werken van de leerlingen in de informatica klassen.

Analyse Van de observaties wordt een observatie verslag gemaakt, daarin wordt zo objectief mogelijk beschreven wat er is waargenomen tijdens de les. Tijdens de analyse van de resultaten wordt er gekeken welke observaties te maken hebben met de deelvragen, die observaties worden in het hoofdstuk resultaten weergegeven.

30 CHAPTER4. METHODE

Getypte vragen

Ontwerp De vragen die door de leerlingen in TA-HelpMe getypt worden, worden opgeslagen in een database. De vraag, categorie en de sessie waarin de vraag getypt is worden opgeslagen. Voor de privacy van de leerlingen werd de naam van de leerling die de vraag had getypt niet opgeslagen. In sectie 4.1.3 wordt beschreven welke stappen een leerling moest doorlopen om een vraag in te kunnen dienen.

Deelvragen Dit instrument tracht de deelvragen die specifieke vragen stellen betreffen te beantwoorden. Voor deelvraag twee wordt er gekeken hoeveel specifieke vragen er in de wen-periode gesteld werden en die worden vergeleken met het aantal specifieke vragen dat gesteld wordt door de controle groep tijdens de onderzoeksles. Voor deelvraag drie wordt op dezelfde manier als deelvraag twee naar de getypte vragen gekeken. Voor deelvraag vier wordt er gekeken naar de hoeveelheid specifieke vragen die er door de test en controle groep is gesteld, dit wordt gebruikt in combinatie met de resultaten van de summatieve toets om een inzicht te krijgen in het effect op de leerresultaten.

Analyse De getypte vragen van de onderzoeksles worden gecategoriseerd en vergeleken met de getypte vragen van de wen-periode. Ook worden de getypte vragen van de testgroep en controle groep met elkaar vergeleken. De categorie ¨en die gehanteerd werden waren:

• Specifieke vraag • Generieke vraag • Foutmelding

• Niet informatieve invoer

Deze Categorie ¨en volgen uit de theorie van Webb die besproken is in sectie2.2. De vragen worden handmatig gelabeld.

4.2. ONDERZOEKSOPZET 31

Leerresultaten

Ontwerp Een schooljaar bevat op de middelbare school van het onderzoek vier perioden. In elke periode werd er bij deze klassen ´e ´en of meerdere summatieve toetsen afgenomen voor het voortgangsrapport. Voorafgaand aan het onderzoek waren er bij iedere groep vijf summatieve toetsen afgenomen. De klassen lopen parallel in onderwerp, maar verschillen in niveau. De toets vragen verschilden niet, de manier van nakijken echter wel. De beoordeling voor de havo klas was soepeler. Bij vwo werd er strenger gekeken naar de formulering en de argumenten die gegeven werden door de leerlingen. De week na de formatieve toets werd de summatieve toets over de module ”Gebruikersinterface” afgenomen. Ook deze toets kregen de klassen dezelfde toets vragen en werd de vwo-klas strenger beoordeeld.

Deelvragen Het analyseren van de leerresultaten is de methode die inzichten geeft voor de deelvraag ”Welk effect heeft het stimuleren van specifieke vragen stellen door leerlingen op de leerresultaten?”

Analyse Zoals in figuur 4.1 te zien was waren er vijf tentamens voltrokken voor het onderzoek plaats vond. Van deze tentamens word het gemiddelde cijfer dat de klas haalde gebruikt. Er wordt gekeken naar het verschil in cijfer tussen de niveaus. De data manipulatie die hiervoor plaats vind is het gemiddelde cijfer van het havo tentamen aftrekken van het gemiddelde cijfer dat de vwo klas voor dezelfde toets had behaald. Daarna wordt het gemiddelde van de resultaten van tentamen ¨e ¨en tot en met vijf per niveau berekend. Van die gemiddelden wordt weer het verschil uitgerekend, die data manipulatie geeft het gemiddelde verschil dat de niveaus behalen bij het maken van de tentamens. In figuur 4.1 is ook te zien dat na de onderzoeksles tentamen zes (t6) was ingepland. Van het gemiddelde cijfer dat de klassen haalden voor dit tentamen werd eveneens het verschil uitgerekend. Het verschil tussen de niveaus bij tentamen zes wordt vervolgens vergeleken met het gemiddelde verschil dat de niveaus behaalden. Er wordt een Chi-square test gebruikt om te zien of het verschil van tentamen zes significant afwijkt van het verschil van de voorgaande summatieve toetsen.

Chapter 5

Resultaten

In dit hoofdstuk worden eerst de resultaten per onderzoeksinstrument gepresenteerd. Vervolgens wordt in sectie 5.4 een samenvatting gegeven van de resultaten aan de hand van de deelvragen.

5.1 Observaties