Dit onderdeel zal een beschrijving geven van de methode die gebruikt is om een eventuele relatie aan te tonen tussen taalvaardigheid en communicatieve
vaardigheid. Ook zal kort het onderzoek naar de betrouwbaarheid van can do statements besproken worden.
Proefpersonen
Voor deze studie is gebruik gemaakt van geschreven teksten van 493
Nederlandse scholieren van zes verschillende VWO scholen. Deze teksten zijn verzameld in september en oktober 2008. Het feit dat al de proefpersonen op het VWO zitten ,verklaart ook waarom zij destijds allemaal een erg hoge score hadden op de CITO toets.
De proefpersonen zaten in de brugklas of in de derde klas van het VWO, dit betekent dat er een groep 12/13 jarigen was en een groep met 14/15 jarigen. Er was niet alleen onderscheid tussen de leeftijd, maar ook tussen de verschillende types scholen. Hoewel het allemaal VWO opleidingen waren, was er wel
onderscheid tussen regulier onderwijs en tweetalig onderwijs. De teksten zijn verzameld bij leerlingen van 6 verschillende middelbare scholen. Vier van deze middelbare scholen boden de keuze tussen tweetalig of regulier onderwijs, de andere twee scholen boden hun lessen enkel aan in het Nederlands. Vier van de zes scholen hadden een openbaar karakter, de twee andere scholen waren reformatorisch van aard. De verschillen tussen de zes scholen zouden ook een verschil in de resultaten van de leerlingen kunnen veroorzaken. Leerlingen die tweetalig onderwijs genieten zullen waarschijnlijk beter in Engels zijn dan hun leeftijdsgenootjes die hun lessen enkel in het Nederlands krijgen. Ook zou het mogelijk kunnen zijn dat leerlingen op een openbare school meer in contact komen met het Engels, omdat zij veel Engels binnenkrijgen via televisie, films en internet. Leerlingen op een reformatorische school kijken vaak minder of geen tv, dit zou dus betekenen dat zij minder in contact komen met het Engels. Ook dit zou kunnen leiden tot een mogelijk verschil in prestatie tussen de leerlingen van
de openbare scholen en de leerlingen van de reformatorische scholen. Een
derde reden voor een mogelijk verschil in prestatie is de leeftijd van de leerlingen. Hoogstwaarschijnlijk zullen de leerlingen uit de derde klas beter presteren dan de leerlingen uit de brugklas, zij hebben immers meer onderwijs in het Engels gehad. Hoewel er dus genoeg reden is aan te nemen dat er verschillen in prestatie
zullen zijn tussen de leerlingen onderling, is dit verder niet van belang voor dit onderzoek. We willen immers de onderzoek of er een relatie bestaat tussen taalvaardigheid en communicatieve vaardigheid, dit zullen we doen door de taalvaardigheid en de communicatieve vaardigheid van elke leerling met elkaar te vergelijken. De leerlingen worden dus feitelijk met zichzelf vergeleken, niet met andere proefpersonen. Het is voor dit onderzoek dus verder niet van belang dieper in te gaan op de verschillen tussen de scholen en de leerlingen.
Materiaal en procedure
De resultaten van dit onderzoek zijn gebaseerd op geschreven teksten van de boven genoemde proefpersonen. Het was de bedoeling dat de proefpersonen een stuk tekst zouden schrijven van maximaal 150 woorden. Het was niet de bedoeling dat voor deze teksten heel specifiek taalgebruik vereist was, daarom zijn de onderwerpen voor deze teksten vrij algemeen gehouden: de brugklassers werd gevraagd iets over hun nieuwe school, nieuwe vrienden etc. te vertellen en de derdeklassers werd gevraagd te vertellen wat het meest vreselijke was dat zij in hun zomervakantie hadden meegemaakt, deze verhalen hoefden niet op de waarheid gebaseerd te zijn.
Meten taalvaardigheid
Dit onderzoek is gericht op het vinden van een eventuele correlatie tussen
taalvaardigheid en communicatieve vaardigheid. Hiervoor is het dus noodzakelijk niet alleen een beoordeling van communicatieve vaardigheid te hebben, maar ook van de taalvaardigheid van de proefpersonen. De meting van deze
taalvaardigheid is in een eerder onderzoek al eens gedaan met dezelfde teksten als in dit onderzoek gebruikt zijn. Om een beoordeling te kunnen geven van de
taalvaardigheid zijn de teksten op een holistische wijze beoordeeld op de taalvaardigheid. Deze beoordeling is op een erg betrouwbare manier gedaan. Een groep van acht ervaren docenten Engels (drie moedertaalsprekers van het Engels, twee van het Nederlands en van het Chinees, Portugees en Spaans ieder een) hebben de teksten op de onderstaande manier beoordeeld.
Allereerst hebben de beoordelaars afhankelijk van elkaar sets van zes teksten beoordeeld van zwak naar sterk, de teksten werden dus in een bepaalde volgorde geplaatst. Uit de discussie hierover tussen de acht beoordelaars
ontstonden vervolgens een aantal punten die vooral een belangrijke rol bleken te spelen in deze beoordeling, bijvoorbeeld de vocabulaire, gebruik van eerste taal en accuratesse. Vervolgens werden 100 teksten aan de hand van deze punten beoordeeld, dit werd gezamenlijk gedaan door de beoordelaars. Uit deze beoordelingen kwam vervolgens een achtpuntsschaal (0-7) van taalvaardigheid voort. Een 0 op deze schaal houdt bijvoorbeeld in dat een tekst voornamelijk in het Nederlands geschreven is, sporadisch kan er wat Engels in de tekst
voorkomen. Wanneer een proefpersoon 3 punten scoort dan betekent dit dat het Engels al wat verder gevorderd is: het Engels is nog steeds vrij simpel, er wordt voornamelijk gebruik gemaakt van een eenvoudige tegenwoordige en verleden tijd en de zinnen zijn vrij kort. Wel is er al wat meer creativiteit in het gebruik van het Engels te zien. Een 7 was het hoogst wat er gescoord kon worden op
taalvaardigheid, dit kwam echter maar weinig voor in het onderzoek. Een 7 betekent namelijk dat het Engels bijna niet te onderscheiden is van dat van een moedertaalspreker van het Engels, hoewel er nog wel af en toe een fout
gemaakt zou kunnen worden.
De beoordelaars werden onderverdeeld in twee groepen van vier, deze groepen beoordeelden vervolgens de rest van de teksten allemaal individueel en gingen vervolgens in gesprek over deze beoordelingen. De vier beoordelaars kwamen dan vervolgens op een bepaald niveau uit voor elke tekst. Wanneer de beoordelaars er niet uitkwamen met z’n vieren, dan werd de andere groep gevraagd naar hun mening. Om de betrouwbaarheid van de beoordelingen nog
hoger te maken, zijn vervolgens alle teksten nogmaals beoordeeld door twee van de beoordelaars, dit deden zij in overleg met elkaar.
Meten communicatieve vaardigheid
De manier waarop de communicatieve vaardigheid is gemeten is vergelijkbaar met de manier waarop de taalvaardigheid is gemeten. Waar bij de
taalvaardigheid vooral is gekeken naar de talige aspecten hebben we bij de beoordeling van de communicatieve vaardigheid voornamelijk gekeken naar de inhoud van de teksten. We hebben hierbij gebruik gemaakt van de al eerder genoemde ERK niveaus voor schrijfvaardigheid. Er is voor gekozen ook deze niveaus te gebruiken, omdat deze niveaus niet alleen informatie geven over schrijfvaardigheid, maar ook over de communicatieve component van
schrijfvaardigheid. Immers, een kaart of een brief schrijven is niet alleen maar schrijfvaardigheid, er komt ook veel communicatieve vaardigheid bij kijken. Het schrijven van een brief heeft totaal geen zin als er geen informatie gegeven wordt, dan zouden het enkel loze woorden zijn.
Ook bij het meten van de communicatieve vaardigheid is gebruik gemaakt van een beoordelingsschaal met 6 waardes. De hoogste score was hierbij een 5 en de laagste score een 0. Wanneer een tekst beoordeeld werd met een 0, dan stond er echt geen enkele communicatieve informatie in de tekst. Een 0 werd alleen gegeven bij hoge uitzondering. Wanneer een tekst een 5 kreeg
toegewezen, gaf dat aan dat er uitermate veel communicatieve informatie in de tekst zat. Ook een 5 werd alleen bij hoge uitzondering gegeven.
Hoewel het officieel de bedoeling was enkel en alleen naar de
communicatieve informatie in een tekst te kijken, lukt het soms niet bepaalde zinsconstructies te negeren. Na het beoordelen van een aantal teksten, viel bijvoorbeeld op dat in de teksten die vrij hoog scoorden, vaak meer
verbindingswoorden gebruikt werden dan in de teksten die lager scoorden. Ook was het opvallend dat deze teksten vaak meer bijwoorden en bijvoeglijke
naamwoorden gebruikten dan de teksten die lager scoorden. De teksten zijn dus beoordeeld op de communicatieve informatie die ze gaven, hierbij is echter ook
rekening gehouden met het gebruik van verbindingswoorden en bijwoorden. Er kan wel gesteld worden dat ook deze verbindingswoorden en bijwoorden uit zichzelf al een bepaalde communicatieve informatie overbrengen, dat is de reden waarom ze zijn meegenomen in de beoordeling van de communicatieve
vaardigheid.
Bij het beoordelen van de communicatieve vaardigheid is gewerkt met de ERK niveaus die betrekking hebben op de schrijfvaardigheid. De niveaus geven bijvoorbeeld aan of een leerling in staat is een korte ansichtkaart te schrijven of een uiteenzetting over een bepaald onderwerp. Alle teksten zijn naast de ERK niveaus van schrijfvaardigheid gelegd en zo hebben alle teksten een ERK niveau toegewezen gekregen. Er is gekeken naar het hoogste ERK niveau dat de
leerling in staat zou zijn te bereiken, op basis van zijn geschreven tekst. Hoewel de leerlingen dus niet daadwerkelijk een ansichtkaart, boodschappenlijstje of korte brief hebben geschreven, is toch beoordeeld of zij eventueel in staat zouden zijn dit te kunnen. Om een idee te geven van deze werkwijzen, zal hieronder een voorbeeld gegeven worden van een tekst:
my new school is ok. i don't got really much to say about it. my new friends are friendly and a lot of teachers are a littlebit annoing. further i don't can say much about everything. the end
Er is voor gekozen deze tekst te beoordelen met een 2, dit omdat deze leerling waarschijnlijk wel in staat zal zijn korte notities te maken of een korte brief te schrijven, maar hoogstwaarschijnlijk niet in staat zal zijn een eenvoudige
samenhangende tekst te schrijven. De geschreven tekst is immers ook niet heel erg samenhangend.
Omdat gebleken is bij het beoordelen van de eerste teksten dat de hogere scores vaak samengingen met een hoger gebruik van bijwoorden en
verbindingswoorden, is ook gekeken naar het gebruik van deze elementen in de teksten. Naast deze twee elementen is ook gekeken naar de verschillende onderwerpen die in een tekst besproken werden en tot in welk detail deze
onderwerpen zijn uitgewerkt. Naast de ERK niveaus zijn de teksten dus ook op een globale en holistische wijze beoordeeld op de volgende aspecten:
- verbindingswoorden / bijzinnen
- hoeveelheid informatie - bijwoorden
Hoewel de leerlingen allemaal een tekst moesten schrijven over hetzelfde onderwerp, was het vaak opvallend dat sommige leerlingen veel dieper op dit onderwerp ingingen dan sommige andere leerlingen. Een leerling kan
bijvoorbeeld vertellen dat hij op vakantie is geweest naar Frankrijk, maar hij kan ook vertellen waar precies in Frankrijk en of hij daar kampeerde of in een hotel overnachtte. De teksten werden dus beoordeeld op de verschillende
onderwerpen die een leerling behandelde en hoever er op deze onderwerpen ingegaan werd.
Naast het gebruik van verbindingswoorden is er ook gelet op het gebruik van bijwoorden. Volgens ons kunnen ook bijwoorden een verschil maken bij communicatieve vaardigheid. Immers, wanneer een leerling zinnen maakt waarin nauwelijks bijwoorden voorkomen, dan zullen deze zinnen minder informatie bevatten dan wanneer er wel bijwoorden in voor zouden komen. Wanneer er in een tekst enkel staat dat het warm was in Frankrijk, dan is dat minder informatief dan wanneer er zou staan dat het heel erg warm was in Frankrijk. We hebben er dus voor gekozen ook de hoeveelheid bijwoordelijke bepaling mee te laten wegen bij het beoordelen van de teksten.
Alle teksten zijn, net als bij de taalvaardigheid, op een holistische wijze
beoordeeld. Dit houdt in dat de teksten in zijn geheel zijn beoordeeld. De wijze van beoordelen is gebaseerd op de gegeven ERK niveaus en de drie
bovenstaande genoemde kenmerken.
Om de beoordeling zo betrouwbaar mogelijk te krijgen, zijn alle teksten beoordeeld door twee beoordelaars. Beide beoordelaars waren masterstudenten taalwetenschap en hadden dus behoorlijk wat kennis over taal in het algemeen en het gebruik van taal. Om de betrouwbaarheid van de beoordeling te vergroten hebben zij eerst 50 teksten samen beoordeeld, om er zo zeker van te zijn dat ze
de teksten uiteindelijk op een vergelijkbare manier zouden beoordelen. Nadat deze 50 teksten beoordeeld waren hebben de beoordelaars elk afzonderlijk de overige teksten beoordeeld. Elke tekst kreeg dus een waarde van 0 tot en met 5, waarbij 0 de laagste waarde is en 5 de hoogste. Nadat alle teksten afzonderlijk door de beoordelaars waren beoordeeld, werden de uitkomsten van deze
beoordelingen met elkaar vergeleken. Het grootste deel van de teksten was door de afzonderlijke beoordelaars met dezelfde waarde beoordeeld. Wanneer dit niet het geval was werd de tekst nogmaals bekeken en werd er gediscussieerd over de waarde die deze tekst zou moeten krijgen. Uiteindelijk kwamen de
beoordelaars dan tot de definitieve waarde die de tekst dan als beoordeling kreeg. Op deze manier kwam er een lijst met waarden tot stand, voor elke tekst één waarde.
Het uiteindelijke doel van het onderzoek is het ontdekken van een eventuele relatie tussen taalvaardigheid en communicatieve vaardigheid, ongeacht of deze relatie positief of negatief is. Om deze eventuele relatie te ontdekken is onderzocht of er een correlatie is tussen de beoordeling van de taalvaardigheid en van de communicatieve vaardigheid. Dit is gedaan door zowel in excel als in SPSS een correlatietest uit te voeren. De resultaten van deze correlatietesten zullen verderop verder besproken worden.
Voordat de correlatie berekend kon worden zijn is de beoordeling van de taalvaardigheid aangepast aan die van de communicatieve vaardigheid. Bij het beoordelen van de beide vaardigheden is namelijk niet gebruik gemaakt van exact dezelfde waarden: de taalvaardigheid is beoordeeld met waarden van 0 tot en met 7, terwijl de waarden van communicatieve vaardigheid liepen van 0 tot en met 5. De waarden van de taalvaardigheid konden eenvoudig aangepast worden, omdat deze, evenals de waarden van communicatieve vaardigheid, gecalibreerd zijn met de ERK-niveaus (Kops Hagedoorn, ).
- De waarde 0 valt in beide gevallen buiten de ERK niveaus, dit geeft aan dat het niveau nog lager is dan niveau A1.
- De waarden 1 en 2 van taalvaardigheid zijn vergelijkbaar met waarde 1 van communicatieve vaardigheid. Dit komt overeen met ERK-niveau A1.
- De waarde 3 van taalvaardigheid is vergelijkbaar met waarde 2 van communicatieve vaardigheid. Dit komt overeen met ERK-niveau A2.
- De waarden 4 en 5 van taalvaardigheid zijn vergelijkbaar met waarde 3 van communicatieve vaardigheid. Dit komt overeen met ERK-niveau B1.
- De waarde 6 van taalvaardigheid is vergelijkbaar met waarde 4 van communicatieve vaardigheid. Dit komt overeen met ERK-niveau B2.
- De waarde 7 van taalvaardigheid is vergelijkbaar met waarde 5 van communicatieve vaardigheid. Dit komt overeen met ERK-niveau C1.
betrouwbaarheid can do statements
Hoewel het uiteindelijke onderwerp van dit onderzoek de relatie tussen
taalvaardigheid en communicatieve vaardigheid is, hebben we er voor gekozen ook een kort onderzoek te doen naar de betrouwbaarheid van can do statements. Het gebruik van can do statements is een manier van zelfevaluatie die
regelmatig gebruikt wordt bij zowel het beoordelen van taalvaardigheid als het beoordelen van communicatieve vaardigheid. Bij dit onderzoek zijn dezelfde proefpersonen gebruikt als bij het voorgaande onderzoek. Door verschillende omstandigheden zijn er wel een aantal proefpersonen afgevallen, waardoor het uiteindelijke aantal proefpersonen op 400 kwam.
Van de proefpersonen was al bekend wat zij hadden gescoord op taalvaardigheid en communicatieve vaardigheid. Deze waardes zijn in dit onderzoek vergeleken met wat een gemiddelde score die zij zichzelf hadden gegeven op een aantal can do statements. De proefpersonen moesten op een schaal van 0 tot 5 beoordelen in hoeverre zij zichzelf in staat achtten zich te
redden in een 33 taalsituaties. Zij moesten bijvoorbeeld aangeven of ze in staat zouden zijn sportuitslagen of nieuwsberichten te begrijpen of in hoeverre ze in staat zouden zijn films zonder ondertiteling te begrijpen. De complete lijst van deze can do statements is te vinden in de bijlagen.
Omdat ook de scores op de can do statements gecalibreerd zijn met de ERK niveaus is het mogelijk de scores te vergelijken met zowel taalvaardigheid als communicatieve vaardigheid. Uiteindelijk is de correlatie tussen de can do statements met zowel taalvaardigheid als communicatieve vaardigheid berekend. Op deze manier kan aangetoond worden of leerlingen in staat zijn juist in te schatten wat hun prestaties zijn op taalvaardigheid en communicatieve vaardigheid.