Gevolgde werkwijze

Een belangrijk gedeelte van de opdracht aan de commissie was: Breng in kaart wat er wetenschappelijk gezien bekend is over de relatie tussen rekendidactiek en rekenvaardig- heid.

Voor de beantwoording van deze vraag heeft de commissie de volgende aanpak gevolgd.

De commissie heeft aan de hand van een aantal overzichtsartikelen en hoofd- stukken uit toonaangevende handboeken een beknopte inventarisatie gemaakt van resultaten en inzichten uit de internationale literatuur over de effectiviteit van instruc- tieprogramma’s. Deze inventarisatie is uitgevoerd om het Nederlandse onderzoek in een ruimer kader te plaatsen en wordt in paragraaf 4.2 gepresenteerd.

Daarnaast is een grotere inventarisatie gemaakt van nationaal onderzoek dat rechtstreeks relevant is voor de beantwoording van de vraag. Om de kans te verklei- nen dat belangrijke onderzoeken zich aan het zicht van de commissie zouden onttrek- ken, is aan ongeveer 50 onderzoekers gevraagd om de commissie te attenderen op relevante onderzoeken. Daarbij is gevraagd naar studies die voldoen aan de volgende voorwaarden:

Het moet gaan over onderzoek dat zich specifiek of uitsluitend op rekenen richt, of •

waarbij men in ieder geval de effecten voor rekenen apart kan nagaan.

Het moet gaan over onderzoek waarbij men de effecten voor kinderen in de leef- •

tijdsgroep 4-12 jaar apart kan nagaan.

Het moet gaan over onderzoek dat in de laatste twintig jaar is verricht. •

Het moet gaan over onderzoek dat in Nederland is verricht, in Nederlandse scholen •

en klassen, of om internationaal onderzoek waarbij men de bestudeerde effecten voor Nederland apart kan nagaan.

Het moet gaan over empirisch onderzoek, d.w.z. om onderzoek waarin op basis van •

empirische data, van welke aard ook, uitspraken worden gedaan over de relatie tussen onderwijsaanpak en rekenvaardigheid van leerlingen.

Het moet gaan om gepubliceerd onderzoek. Hierbij denken wij vooral aan publi- •

caties in nationale of internationale wetenschappelijke tijdschriften, boeken en proefschriften.

Deze inperkingen zijn deels door praktische omstandigheden ingegeven. De commis- sie beschikte over de tijd noch de middelen om een uitgebreidere studie van alle direct en indirect relevante onderzoeksliteratuur te maken. De commissie realiseert zich dat er ook veel relevant onderzoek is dat niet aan bovenstaande voorwaarden voldoet en dus niet is opgenomen in de literatuurstudie. Vanwege het sterk leeftijdsgebonden ka- rakter van onderwijsprocessen en de sterke historische, sociale en culturele bepaald- heid van deze processen achtte de commissie deze inperking echter in de gegeven omstandigheden verantwoord en noodzakelijk. Daarbij heeft de commissie gepro- beerd de veel langere geschiedenis van het internationale onderzoek naar het leren en onderwijzen van rekenen en wiskunde in het algemeen niet te veronachtzamen.

De deskundigen hebben in totaal 76 publicaties aangedragen. Daarvan voldeden er 27 aan de gestelde voorwaarden. Na aanvullend literatuuronderzoek door de commis- sie zijn uiteindelijk 53 publicaties in detail geanalyseerd. In 34 publicaties (over 28 studies) werd een vergelijking tussen twee of meer instructieprogramma’s of curricula gemaakt. Van deze studies zijn de groottes van de verschillen in rekenprestaties in kaart gebracht. De overige studies maakten geen vergelijking en zijn daarom niet in de overzichtsstudie opgenomen.

We hebben alleen onderzoeken opgenomen waarin resultaten over rekenprestaties of rekenvaardigheid werden gerapporteerd. Als daarnaast ook onderzoeksresultaten met betrekking tot strategiegebruik of motivatie beschikbaar waren, worden die ook besproken maar daar zijn geen kwantitatieve effecten voor berekend.

Paragrafen 4.3 en 4.4 beschrijven de resultaten van de literatuurstudie die door de commissie is uitgevoerd. De gevonden studies zijn ingedeeld in twee categorieën:

Interventiestudies

1. : studies met als doel het vaststellen van het effect van één of meer ontwikkelde rekenprogramma’s, waarin ofwel iets aan het reguliere curricu- lum wordt toegevoegd, ofwel een deel van het reguliere curriculum wordt vervan- gen. Het kenmerk van een interventiestudie is dat de onderzoekers interveniëren in het onderwijs. Deze studies worden beschreven in paragraaf 4.3. Daarbij zijn nog drie soorten studies onderscheiden: studies waarin minstens twee ontwikkelde programma’s die een (deel van) een leergang vervangen met elkaar en eventueel nog met een controleprogramma vergeleken worden (paragrafen 4.3.1 en 4.3.2),

studies waarin het effect van één of meer remediële of extra oefenprogramma’s wordt vastgesteld (paragraaf 4.3.3) en studies waarin een experimenteel program- ma wordt vergeleken met het zelfgekozen standaard curriculum (paragraaf 4.3.4).

Curriculumstudies

2. : studies met als doel het vaststellen van verschillen in reken- prestaties bij verschillende curricula, meestal geoperationaliseerd als rekenmetho- den. Het kenmerk van curriculumstudies is dat er door de onderzoekers niet wordt geïntervenieerd in het onderwijs; de gebruikte rekenmethoden zijn door de scho- len zelf gekozen. Deze studies worden beschreven in paragraaf 4.4. De curriculum- studies zijn vervolgens nog verdeeld in domeinspecifieke studies (paragraaf 4.4.1) en grootschalige studies waarin algemene rekenvaardigheden worden vastgesteld (paragraaf 4.4.2).

Per samenhangend cluster van onderzoeken zijn in de paragrafen 4.3 en 4.4 conclusies weergegeven.

Om de kwantitatieve resultaten van verschillende studies onderling te kunnen vergelijken, geven we resultaten zoveel mogelijk in effectgroottes (effect size, ES) weer. Hierbij is, waar mogelijk, statistisch gecorrigeerd voor aanvangsverschillen, verschil- len in rekenprestaties of andere relevante kenmerken tussen de groepen leerlingen die de onderzochte rekenprogramma’s of curricula gingen volgen. Deze correctie wordt bijvoorbeeld ook ten sterkste aanbevolen door Slavin (2008). De interpretatie van de absolute grootte van de ES is als gebruikelijk gekozen:

tussen 0,00 en 0,20: effect is verwaarloosbaar tot klein; •

tussen 0,20 en 0,50: effect is klein tot matig; •

tussen 0,50 en 0,80: effect is matig tot groot; •

groter dan 0,80: effect is groot. •

Een ES van 0,20 of hoger wordt door Slavin (2008) in onderwijsstudies als praktisch relevant gekwalificeerd.

De verschillende studies hebben meestal betrekking op specifieke rekendomeinen, verschillende typen interventies en doelgroepen van leerlingen. De paragrafen 4.3 en 4.4 bevatten daardoor een hogere mate van detail dan de rest van het rapport. De lezer die vooral in de hoofdlijnen is geïnteresseerd kan zich desgewenst beperken tot de be- spreking van het artikel van Slavin e.a. in paragraaf 4.2 en de samenvatting, conclusies en aanbevelingen in paragraaf 4.5.