De invloed van een enkelvoudig of gemengd basisschooladvies

4 Resultaten

4.1 De invloed van een enkelvoudig of gemengd basisschooladvies

Om te onderzoeken wat de invloed van een enkelvoudig of gemengd basisschooladvies is op de opstroom en afstroom van leerlingen in de brugklas ten opzichte van de score op de Cito eindtoets zijn een lineaire regressieanalyse (OLS) en een IV-regressieanalyse uitgevoerd. Zoals in het hoofdstuk Methode te lezen is, zijn de opstroom en afstroom allebei op twee manieren gecodeerd. Bij de variabelen opstroom 1 en afstroom 1 wordt het zitten in een brugklas waarin één of meerdere andere schoolniveaus worden aangeboden dan het advies op basis van de Citoscore, eventueel naast het advies op de Citoscore, gezien als opstroom of afstroom. Als een leerling bij een gemengd advies op basis van de Citoscore terechtkomt in een brugklas waarin alleen één van de twee niveaus wordt aangeboden, geldt dit ook als opstroom of afstroom. Bij de variabelen opstroom 2 en afstroom 2 wordt alleen het zitten in een brugklas waarin het geadviseerde niveau of de geadviseerde niveaus op basis van de Citoscore niet worden aangeboden gezien als opstroom of afstroom. Zo wordt een leerling die op basis van de Cito eindtoetsscore een havo/vwo advies krijgt en terecht komt in een havo brugklas bij codering 1 gezien als afgestroomd. Deze leerling wordt bij codering 2 echter gezien als een leerling die onderwijs op niveau volgt. Voor deze vier verschillende uitkomstvariabelen zijn eerst analyses uitgevoerd zonder controlevariabelen en vervolgens met controlevariabelen. De controlevariabelen die zijn meegenomen zijn sekse, het wel of niet wonen in een armoedeprobleemcumulatiegebied, geen migratieachtergrond, westerse migratieachtergrond, niet-westerse migratieachtergrond, geen leerlinggewicht, leerlinggewicht 0.3 en leerlinggewicht 1.2.

In Tabel 6 zijn in het bovenste gedeelte de uitkomsten van de OLS regressies te zien en in het onderste gedeelte de uitkomsten van de IV analyses. Uit de OLS regressies in kolom (1) en kolom (2) komt naar voren dat er geen significant verband is tussen het krijgen van een gemengd schooladvies en opstroom 1, als opstroom gezien wordt als een brugklas waar één of meerdere niveaus boven het advies op basis van de Citoscore worden aangeboden, ook als het advies op basis van de Citoscore ook wordt aangeboden. De uitkomsten van de OLS regressies in kolom (3) en kolom (4) laten zien dat er wel een significant negatief verband is tussen het krijgen van een gemengd advies en opstroom 2, waarbij opstroom wordt gezien als het zitten in een brugklas die alleen een niveau hoger dan het niveau op basis van de Citoscore aanbiedt.

De OLS regressies zijn echter niet betrouwbaar, als leerlingen met een gemengd basisschooladvies ook op andere kenmerken verschillen van leerlingen met een enkelvoudig basisschooladvies. Alhoewel de afhankelijke variabelen zijn gebaseerd op het niveau van de leerling vergeleken met de score op de Cito eindtoets, zou het zo kunnen zijn dat leerlingen met een gemengd basisschooladvies minder opstromen, omdat zij ook op andere, niet- geobserveerde, achtergrondkenmerken verschillen van leerlingen die een enkelvoudig advies hebben gekregen. Bij IV regressie speelt het probleem van niet-geobserveerde kenmerken niet, omdat de instrumentele variabele zorgt voor toevallige variatie in de onafhankelijke variabele. Daarom zijn de uitkomsten van de IV regressie betrouwbaarder.

In het tweede gedeelte van Tabel 6 staan de uitkomsten van de first stage en de second stage van de IV analyse. Met behulp van de first stage wordt gekeken of er een verband is tussen de instrumentele variabele en de onafhankelijke variabele. De first stage laat voor opstroom 1 en opstroom 2 zonder en met controlevariabelen een significant positief effect zien van het vallen onder een plaatsingswijzer waar in staat dat zowel een enkelvoudig als een gemengd advies gegeven mogen worden op het krijgen van een gemengd advies. Dit houdt in dat leerlingen die vallen onder een plaatsingswijzer die een gemengd advies toestaat meer kans hebben om een gemengd advies te krijgen dan leerlingen die vallen onder een plaatsingswijzer die een gemengd advies niet toestaat. In dit geval gaat het om 10,4% tot 11,5% meer kans om een gemengd advies te krijgen. Naast de regressiecoëfficiënten is ook de Kleibergen-Paap F-waarde weergegeven. Deze waarde geeft aan of het instrument sterk genoeg is om te gebruiken. Om te kunnen spreken van een instrument dat sterk genoeg is, moet de F-waarde hoger dan 10 zijn (Staiger & Stock, 1997). Zoals in Tabel 2 te zien is, zijn de F-waarden voor opstroom 1 en opstroom 2 zonder en met controlevariabelen boven de 10. De instrumentele variabele is dus sterk genoeg om te gebruiken.

Het onderste gedeelte van Tabel 6 laat de uitkomsten van de second stage van de IV analyse zien. Geen van de uitkomsten blijkt significant. In tegenstelling tot de uitkomsten van de OLS regressie is er bij de IV analyse alleen een negatieve coëfficiënt bij het krijgen van een gemengd advies voor opstroom 1, als daarbij de controlevariabelen worden meegenomen. De coëfficiënten voor opstroom 1 zonder controlevariabelen en voor opstroom 2 zonder en met controlevariabelen zijn positief, maar niet significant. Uit de IV analyses blijkt dus dat er geen effect is van het krijgen van een gemengd advies op opstroom. Dit houdt in dat leerlingen die een gemengd advies krijgen even vaak opstromen als leerlingen die een enkelvoudig advies krijgen.

Deze verschillen tussen de OLS coëfficiënten en de IV coëfficiënten kunnen te maken hebben met de manier waarop de coëfficiënten zijn berekend. In de OLS regressie wordt de gehele populatie meegenomen om de coëfficiënten te schatten. In de het IV-coëfficiënt wordt daarentegen alleen de groep leerlingen meegenomen die omdat zij vallen onder een plaatsingswijzer waar in staat dat een gemengd advies gegeven mag worden een gemengd basisschooladvies krijgt. Dit zijn de leerlingen die wanneer zij onder een plaatsingswijzer vielen die een gemengd advies niet toestond, een enkelvoudig advies hadden gekregen. Dit wordt het Local Average Treatment Effect (LATE) genoemd.

Tabel 6

Uitkomsten OLS en IV regressie voor opstroom waar een ander niveau dan Cito wordt aangeboden, eventueel naast het niveau op basis van Cito (opstroom 1) en opstroom bij het zitten in een brugklas die het niveau op basis van de Cito eindtoetsscore niet aanbiedt (opstroom 2)

Opstroom 1, brugklas waarin een ander niveau dan Cito wordt aangeboden, eventueel naast het Cito advies

Opstroom 2, brugklas waar het niveau op basis van Cito niet wordt aangeboden

(1) (2) (3) (4)

OLS Gemengd schooladvies 0.001 -0.003 -0.019*** -0.020***

SE (0.009) (0.008) (0.005) (0.005)

IV First stage

Plaatsingswijzer staat

gemengd advies toe 0.110

*** 0.104*** 0.115*** 0.109*** SE (0.012) (0.012) (0.012) (0.012) F-waarde 90.43 80.48 98.81 87.81 Second stage Gemengd schooladvies 0.058 -0.047 0.047 0.028 SE (0.133) (0.137) (0.067) (0.072)

Controlevariabelen Nee Ja Nee Ja

Aantal leerlingen 84112 84112 89999 89999

p < 0.10. **p < 0.05. ***p < 0.01

In Tabel 7 zijn de uitkomsten van de OLS analyse en de IV analyse voor afstroom 1 en afstroom 2 te zien. De regressiecoëfficiënten voor het krijgen van een gemengd advies vanuit de OLS analyse in kolom (1) en kolom (2) tonen een niet significant positief verband met afstroom 1. Afstroom wordt hierbij gezien als het zitten in een brugklas die één of meerdere niveaus lager dan het niveau op basis van de Citoscore aanbiedt, waarbij eventueel ook het niveau op basis van de Citoscore wordt aangeboden. De uitkomsten van de OLS regressies in kolom (3) en (4) laten een significant negatief verband zien tussen een gemengd schooladvies en afstroom 2, waarbij afstroom wordt gezien als het zitten in een brugklas die alleen één of meerdere niveaus onder het niveau op basis van de Citoscore aanbiedt. Voor afstroom 1 is er dus geen verschil in afstroom tussen leerlingen die een gemengd advies krijgen en leerlingen die een enkelvoudig advies krijgen. Voor afstroom 2 geldt dat leerlingen die een gemengd

advies krijgen minder vaak afstromen dan leerlingen die een enkelvoudig advies krijgen. Leerlingen die een gemengd advies hebben gekregen zitten dus minder vaak in een brugklas op een lager niveau dan het niveau op basis van de score op de Cito eindtoets dan leerlingen die een enkelvoudig advies hebben gekregen.

Net als bij opstroom speelt ook voor afstroom het probleem dat leerlingen die een gemengd basisschooladvies krijgen op niet-geobserveerde kenmerken zouden kunnen afwijken van leerlingen die een enkelvoudig basisschooladvies krijgen. Hierdoor zijn de OLS regressieanalyses ook bij afstroom niet betrouwbaar. Omdat dit probleem bij IV geen rol speelt, is ook voor afstroom een IV analyse gedaan.

Het middelste gedeelte van Tabel 7 laat de uitkomsten van de first stage van de IV analyse zien. De first stage laat een significant positief verband zien tussen het vallen onder een plaatsingswijzer waar in staat dat gemengde adviezen gegeven mogen worden en het krijgen van een gemengd advies. Dit betekent dat leerlingen die vallen onder een plaatsingswijzer die een gemengd advies toestaat een grotere kans hebben om een gemengd advies krijgen dan leerlingen die vallen onder een plaatsingswijzer die een gemengd advies niet toestaat. Verder zijn de Kleibergen-Paap F-waarden voor de vier verschillende modellen weergegeven. De F- waarden voor de vier verschillende modellen liggen tussen de 80.48 en de 98.81 en vallen dus allemaal boven de 10. Het instrument is dus sterk genoeg om te gebruiken.

In het onderste gedeelte van Tabel 7 staan de uitkomsten van de second stage van de IV analyse. Voor de vier verschillende modellen is allemaal een significant negatief effect gevonden van het krijgen van een gemengd advies op de afstroom ten opzichte van de score op de Cito eindtoets. Voor afstroom 1 zonder controlevariabelen is een significant effect gevonden op het 1%-niveau. Voor de andere drie modellen is een significant effect gevonden op het 5%-niveau. De coëfficiënten verschillen tussen -0.105 tot -0.331. Dit betekent dat er sprake is van een klein effect. De IV regressies laten wel een sterker negatief effect zien van het krijgen van een gemengd advies op de afstroom ten opzichte van de score op de Cito eindtoets dan de OLS regressies. Deze uitkomsten houden in dat leerlingen die een gemengd schooladvies hebben gekregen minder vaak afstromen ten opzichte van het advies op basis van de score op de Cito eindtoets dan leerlingen die een enkelvoudig advies hebben gekregen. Zoals in het hoofdstuk Methode beschreven is, krijgen enkelvoudig geadviseerde leerlingen vaker een hoger dan een lager basisschooladvies dan het advies op basis van de Citoscore, als dit niveau op basis van de Citoscore niet hoger is dan vmbo kl. Als het niveau op basis van de score op de Cito eindtoets niet hoger is dan vmbo kl, krijgen leerlingen die onder een enkelvoudige plaatsingswijzer vallen krijgen vaker een hoger dan een lager basisschooladvies

dan het advies op basis van de score op de Cito eindtoets. Als het niveau op basis van de Cito eindtoets vmbo gl/tl of hoger is, krijgen enkelvoudig geadviseerde leerlingen juist vaker een lager dan een hoger basisschooladvies dan het niveau op basis van de score op de Cito eindtoets. Dit zou de reden kunnen zijn dat leerlingen afstromen ten opzichte van het niveau op basis van de score op de Cito eindtoets. Als leerlingen een gemengd advies hadden gekregen, waren ze wellicht niet terecht gekomen in een brugklas met een lager niveau dan het advies op basis van de score op de Cito eindtoets.

Tabel 7

Uitkomsten OLS en IV regressie voor afstroom waar een ander niveau dan Cito wordt aangeboden, eventueel naast het niveau op basis van Cito (afstroom 1) en afstroom bij het zitten in een brugklas die het niveau op basis van de Cito eindtoetsscore niet aanbiedt (afstroom 2)

Afstroom 1, brugklas waarin een ander niveau dan Cito wordt aangeboden, eventueel naast het Cito advies

Afstroom 2, brugklas waar het niveau op basis van Cito niet wordt aangeboden

(1) (2) (3) (4)

OLS Gemengd schooladvies 0.004 0.007 -0.009*** -0.007**

SE (0.007) (0.007) (0.003) (0.003)