Methodologische reflectie

5.3.1 Opzet van het design

Er zijn een drietal methodologische beperkingen aan het onderzoek, die mogelijk van invloed zijn geweest op de resultaten.

In de multilevel analyses zijn er vooral variabelen opgenomen en in kaart gebracht op het leerlingenniveau. Variabelen met betrekking tot het docentgedrag zijn in de analyses niet betrokken. Zo zijn docenten en klassen niet geobserveerd en zijn ook geen docentenpercepties in kaart gebracht. Beschikbare gegevens over de leeromgeving zijn niet op klasniveau in de modellen gestopt, omdat de percepties in termen van persoonlijke statements geformuleerd waren (vgl. den Brok, Brekelmans, & Wubbels, 2006). Een interessante vraag zou zijn, of het herformuleren van statements over de leeromgeving in termen van klassenpercepties een effect zou hebben op de gevonden samenhangen.

Daarnaast waren er geen achtergrondvariabelen beschikbaar op klasniveau die te maken hadden met de docent of de klas zelf (zoals klassengrootte, ervaring van de docent, geslacht van de docent, etc.). Uit leeromgevingsonderzoek blijkt dat dergelijke

ervaring van de docent positief samenhangt met percepties over de leeromgeving, dat vrouwelijke docenten meestal een betere leeromgeving realiseren (in de ogen van leerlingen) en dat ook in kleinere en meer homogene klassen meer tevredenheid is over de leeromgeving (den Brok, Fisher, Rickards, & Bull, 2006; Levy, den Brok, Wubbels, & Brekelmans, 2003; Wubbels et al., 2006). Het opnemen van docentenpercepties zou bovendien nog als voordeel kunnen hebben dat mogelijke verschillen die te vinden zijn met percepties van leerlingen gebruikt zouden kunnen worden voor professionele ontwikkeling of het bijstellen van de leeromgeving (Wubbels et al., 2006).

Met betrekking tot de variabelen in dit onderzoek is vooral gekeken naar samenhangen en beschrijvende trends en naar verklaring met behulp van multilevel analyses. Echter, tussen veel variabelen bestaan vermoedelijk circulaire of reciproke verbanden. Mogelijke causaliteit had aangetoond kunnen worden met (multilevel) structurele model analyse. Vanwege de relatief kleine en homogene data set (zeker op klasniveau) was dit echter nu niet goed mogelijk.

Tenslotte zijn de in het onderzoek betrokken variabelen in kaart gebracht binnen één ROC en één sector (techniek), waarvan slechts een deel van de leerlingen in het onderzoek betrokken was. De bevindingen zijn daardoor vooralsnog niet generaliseerbaar naar de rest van het Da Vinci College, andere opleidingen of instituten.

De resultaten van dit onderzoek en de conclusies die op basis van de resultaten zijn geformuleerd, moeten daarom geïnterpreteerd worden met de hier genoemde beperkingen in het achterhoofd en daarmee sluiten de resultaten goed aan bij ander onderzoek. Dat interventies in de onderwijspraktijk, die beogen het onderwijs te vernieuwen en de effecten ervan op relevante leerlingvariabelen, empirisch nauwelijks kunnen worden aangetoond.

5.3.2 De kwaliteit van de metingen betrouwbaarheid en validiteit

Factoren die de interne validiteit van een onderzoek kunnen bedreigen zijn onder meer instrumentatie, statistische regressie en uitval (Swanborn, 1987). Instrumentatie-effecten kunnen optreden als de voortoets en de natoets niet identiek zijn. Bij de twee metingen, steeds in september en maart, zijn in dit onderzoek dezelfde vragenlijsten gebruikt. Het is dus uitgesloten, dat verschillen tussen de uitkomsten bij de verschillende metingen werden veroorzaakt door verschillen in de meetinstrumenten. Wel is het mogelijk, dat leerlingen anders hebben gescoord op dezelfde vragenlijsten tijdens de tweede meting als gevolg van herkenning (e.g. testing effect).

De instrumenten met betrekking tot de leeromgeving (projectmatig werken en de elektronische leeromgeving) verdienen verbetering. De theoretische structuur werd niet terug gevonden, waardoor de leeromgeving vrij globaal is meegenomen in de analyses. Bij het construeren van nieuwe items zouden deze als klassenperceptie in plaats van als persoonlijke perceptie geformuleerd kunnen worden. Wanneer docenten en leerlingen vooraf geïnterviewd worden, ontstaat ongetwijfeld nieuwe inspiratie voor items, zodat er meer items per schaal bedacht kunnen worden en ook andere aspecten dan interactie, donatie en constructie van projectonderwijs en natuurlijk leren gemeten

kunnen worden. Ook zou het instrument gevoeliger gemaakt kunnen worden voor het in kaart brengen van (subtiele) verschillen tussen de twee typen leeromgevingen en/of aanpassingen die binnen een leeromgeving plaatsvinden.

Om verstorende effecten en testeffecten zo veel mogelijk te minimaliseren was de onderzoeker steeds bij de afname aanwezig. Alle respondenten kregen vooraf aan het invullen van de vragenlijsten dezelfde informatie. Daarbij werd meegedeeld, dat de vragenlijst opnieuw in maart zou worden afgenomen. Opvallend was, dat leerlingen achteraf niet terug kwamen op de vragenlijsten. In vergelijking met de eerste meting werden de antwoordbladen bij de tweede meting ook serieus ingevuld. Echter, sommige leerlingen lieten bij de tweede afname blijken het niet leuk te vinden opnieuw de vragenlijst in te moeten vullen.

Er is sprake van statistische regressie, indien respondenten geselecteerd zijn op basis van hun score op de voortoets. De selectie heeft niet op deze wijze plaats gevonden, maar gebeurde random, zodat aangenomen wordt dat van statistische regressie geen sprake is. De leerlingen werden niet verplicht om mee te werken aan het onderzoek en er werd geen beloning in het vooruitzicht gesteld. Er is in dit opzicht sprake van vrij homogene data:

- de leerlingen waren hoofdzakelijk 16 tot 18 jaar en zaten in het eerste jaar van het MBO;

- ze volgden een beroepsopleidende leerweg op niveau 3 en 4;

- tot de proefgroep behoorden hoofdzakelijk jongens (er waren minder dan 5% meisjes);

- het aantal allochtone leerlingen was in alle groepen klein;

- de respondenten waren afkomstig uit het zuidelijke deel van Zuid Holland (rondom Dordrecht en Gorinchem).

Er wordt dan ook van uitgegaan dat selectie geen rol van betekenis heeft gespeeld. Zoals gezegd is de data set beperkt qua omvang: bij leeromgevingsonderzoek geldt dat een grotere steekproef vaak beter is voor preciezere schattingen, vaak meer variatie bevat en daarmee ook het verklaren van meer variatie mogelijk maakt.

De interne validiteit hangt samen met de interpretatie van de onderzoeksresultaten. De praktijk van de vernieuwingen stond op het moment van de metingen in de kinderschoenen. In het onderwijsjaar waarin de metingen werden verricht zijn bij de natuurlijk leren proefgroep echter geen afwijkingen in de richting van projectonderwijs en andersom waargenomen. Met andere woorden: natuurlijk leren bleef dicht bij haar theoretische ideaal, en was daarmee in onze ogen voldoende verschillend van het projectonderwijs. Uit de wijze waarop docenten zich hebben voorbereid en de begeleiding door het Algemeen Pedagogisch Studiecentrum tijdens het onderwijsjaar mag aangenomen worden dat daadwerkelijk natuurlijk leren werd gerealiseerd.

Door de relatief sterke homogeniteit en het specifieke karakter van de onderzoeksgroepen staat de externe validiteit van het onderzoek wel onder druk, wat betekent dat er beperkingen zijn ten aanzien van de generaliseerbaarheid van de